User Tools

Site Tools


neurali:gradient_descent

Differences

This shows you the differences between two versions of the page.

Link to this comparison view

Both sides previous revisionPrevious revision
Next revision
Previous revision
neurali:gradient_descent [2020/06/08 22:20] – external edit 127.0.0.1neurali:gradient_descent [2023/06/06 18:40] (current) profpro
Line 5: Line 5:
 https://en.wikibooks.org/wiki/Artificial_Neural_Networks/Error-Correction_Learning https://en.wikibooks.org/wiki/Artificial_Neural_Networks/Error-Correction_Learning
  
-  * N è il numero di layer+E' usato nelle reti neurali per la fase di addrestramento? 
 + 
 +Data una rete neurale N x M 
 + 
 +  * N è il numero totale di layer
     * l è indice di un generico layer (1..N)     * l è indice di un generico layer (1..N)
-  * Ml è il numero di neuroni su un layer l+  * Ml è il numero totale di neuroni su un layer l
       * j è indice di un generico neurone sul layer l (1..Ml)       * j è indice di un generico neurone sul layer l (1..Ml)
  
Line 19: Line 23:
   - Si calcola una funzione di errore: e = yo - y   - Si calcola una funzione di errore: e = yo - y
   - Poiché il valore attuale di un peso w[n+1] **dipende dal valore del peso al passo precedente w[n]**   - Poiché il valore attuale di un peso w[n+1] **dipende dal valore del peso al passo precedente w[n]**
-  - Si applica una formula che modifica il valore attuale dei pesi in base all'errore calcolato rispetto all'output atteso+  - Si applica una **formula** che modifica il valore attuale dei pesi in base all'errore calcolato rispetto all'output atteso
  
 NOTA: w[n+1] vuol dire che si sta svolgendo un passo n dell'addestramento. L'addrestramento consiste nel fare dei calcoli che modificano i pesi. w[n+1] significa che si è giunti a fornire un certo input (n+1-esimo), che ha prodotto (istantaneamente) un certo output e che ha permesso di ottenere una nuova versione del peso w NOTA: w[n+1] vuol dire che si sta svolgendo un passo n dell'addestramento. L'addrestramento consiste nel fare dei calcoli che modificano i pesi. w[n+1] significa che si è giunti a fornire un certo input (n+1-esimo), che ha prodotto (istantaneamente) un certo output e che ha permesso di ottenere una nuova versione del peso w
  
-La formula è stata ottenuta calcolando l'[[neurali:errore quadratico medio]] di tutti i dati attesi di esempio, aggiungendo un termine (weight decay) che tende a diminuire la dimensione dei pesi per evitare [[neurali:parametri_di_progettazione_ann|overfitting]] ((http://ufldl.stanford.edu/wiki/index.php/Backpropagation_Algorithm)) . Se voglio minimizzare questo errore variando i pesi sinaptici, si deve eseguire una derivata rispetto ai pesi+La **formula** è stata ottenuta calcolando l'[[neurali:errore quadratico medio]] di tutti i dati attesi di esempio, aggiungendo un termine (weight decay) che tende a diminuire la dimensione dei pesi per evitare [[neurali:parametri_di_progettazione_ann|overfitting]] ((http://ufldl.stanford.edu/wiki/index.php/Backpropagation_Algorithm)) . Se voglio minimizzare questo errore variando i pesi sinaptici, si deve eseguire una derivata rispetto ai pesi
  
-**Un'altra** formula produce il nuovo peso in base:+**Un'altra** **formula** produce il nuovo peso in base:
     - al vecchio peso,      - al vecchio peso, 
     - all'errore, che dipende da sigmaxx     - all'errore, che dipende da sigmaxx
     - ad un coefficiente etaxx     - ad un coefficiente etaxx
  
-Si otterrà una dipendenza dalla derivata della funzione di attivazione sigmaxx (deve essere facile da derivare)+==Conseguenze== 
 + 
 +Si otterrà una **dipendenza** dalla derivata della funzione di attivazione **sigmax**x (deve essere facile da derivare)
  
 Si ottiene una **dipendenza dell'output di un layer (l+1) dal layer precedente (l)** che spiega il significato del nome [[neurali:error backpropagation]] Si ottiene una **dipendenza dell'output di un layer (l+1) dal layer precedente (l)** che spiega il significato del nome [[neurali:error backpropagation]]
Line 38: Line 44:
 [[neurali:parametri_di_progettazione_ann]] [[neurali:parametri_di_progettazione_ann]]
  
-etaxx viene chiamato "dimensione del passo", ma poi, nella backpropagation rule si chiama "learning rate"+**etaxx** viene chiamato "dimensione del passo", ma poi, nella //backpropagation rule// si chiama "learning rate"
  
 ====nota sui pesi iniziali==== ====nota sui pesi iniziali====
neurali/gradient_descent.1591647603.txt.gz · Last modified: 2020/06/08 22:20 by 127.0.0.1