Differences

This shows you the differences between two versions of the page.

Link to this comparison view

Both sides previous revision Previous revision
Next revision
Previous revision
neurali:gradient_descent [2015/07/09 16:04]
profpro
neurali:gradient_descent [2018/04/25 07:55] (current)
Line 21: Line 21:
   - Si applica una formula che modifica il valore attuale dei pesi in base all'​errore calcolato rispetto all'​output atteso   - Si applica una formula che modifica il valore attuale dei pesi in base all'​errore calcolato rispetto all'​output atteso
  
 +NOTA: w[n+1] vuol dire che si sta svolgendo un passo n dell'​addestramento. L'​addrestramento consiste nel fare dei calcoli che modificano i pesi. w[n+1] significa che si è giunti a fornire un certo input (n+1-esimo),​ che ha prodotto (istantaneamente) un certo output e che ha permesso di ottenere una nuova versione del peso w
  
 La formula è stata ottenuta calcolando l'​[[neurali:​errore quadratico medio]] di tutti i dati attesi di esempio, aggiungendo un termine (weight decay) che tende a diminuire la dimensione dei pesi per evitare [[neurali:​parametri_di_progettazione_ann|overfitting]] ((http://​ufldl.stanford.edu/​wiki/​index.php/​Backpropagation_Algorithm)) . Se voglio minimizzare questo errore variando i pesi sinaptici, si deve eseguire una derivata rispetto ai pesi La formula è stata ottenuta calcolando l'​[[neurali:​errore quadratico medio]] di tutti i dati attesi di esempio, aggiungendo un termine (weight decay) che tende a diminuire la dimensione dei pesi per evitare [[neurali:​parametri_di_progettazione_ann|overfitting]] ((http://​ufldl.stanford.edu/​wiki/​index.php/​Backpropagation_Algorithm)) . Se voglio minimizzare questo errore variando i pesi sinaptici, si deve eseguire una derivata rispetto ai pesi
  • neurali/gradient_descent.txt
  • Last modified: 2018/04/25 07:55
  • (external edit)