neurali:gradient_descent
Differences
This shows you the differences between two versions of the page.
Both sides previous revisionPrevious revisionNext revision | Previous revision | ||
neurali:gradient_descent [2020/06/08 22:20] – external edit 127.0.0.1 | neurali:gradient_descent [2023/06/06 18:40] (current) – profpro | ||
---|---|---|---|
Line 5: | Line 5: | ||
https:// | https:// | ||
- | | + | E' usato nelle reti neurali per la fase di addrestramento? |
+ | |||
+ | Data una rete neurale N x M | ||
+ | |||
+ | | ||
* l è indice di un generico layer (1..N) | * l è indice di un generico layer (1..N) | ||
- | * Ml è il numero di neuroni su un layer l | + | * Ml è il numero |
* j è indice di un generico neurone sul layer l (1..Ml) | * j è indice di un generico neurone sul layer l (1..Ml) | ||
Line 19: | Line 23: | ||
- Si calcola una funzione di errore: e = yo - y | - Si calcola una funzione di errore: e = yo - y | ||
- Poiché il valore attuale di un peso w[n+1] **dipende dal valore del peso al passo precedente w[n]** | - Poiché il valore attuale di un peso w[n+1] **dipende dal valore del peso al passo precedente w[n]** | ||
- | - Si applica una formula che modifica il valore attuale dei pesi in base all' | + | - Si applica una **formula** che modifica il valore attuale dei pesi in base all' |
NOTA: w[n+1] vuol dire che si sta svolgendo un passo n dell' | NOTA: w[n+1] vuol dire che si sta svolgendo un passo n dell' | ||
- | La formula è stata ottenuta calcolando l' | + | La **formula** è stata ottenuta calcolando l' |
- | **Un' | + | **Un' |
- al vecchio peso, | - al vecchio peso, | ||
- all' | - all' | ||
- ad un coefficiente etaxx | - ad un coefficiente etaxx | ||
- | Si otterrà una dipendenza dalla derivata della funzione di attivazione | + | ==Conseguenze== |
+ | |||
+ | Si otterrà una **dipendenza** dalla derivata della funzione di attivazione | ||
Si ottiene una **dipendenza dell' | Si ottiene una **dipendenza dell' | ||
Line 38: | Line 44: | ||
[[neurali: | [[neurali: | ||
- | etaxx viene chiamato " | + | **etaxx** viene chiamato " |
====nota sui pesi iniziali==== | ====nota sui pesi iniziali==== |
neurali/gradient_descent.1591647603.txt.gz · Last modified: 2020/06/08 22:20 by 127.0.0.1