User Tools

Site Tools


neurali:parametri_di_progettazione_ann

Differences

This shows you the differences between two versions of the page.

Link to this comparison view

Both sides previous revisionPrevious revision
Next revision
Previous revision
neurali:parametri_di_progettazione_ann [2016/07/04 16:47] – [Parametri di progettazione] profproneurali:parametri_di_progettazione_ann [2023/06/09 10:59] (current) profpro
Line 1: Line 1:
 + < [[neurali:reti neurali artificiali]]
  
 +====== Parametri di progettazione ======
 +
 +Quando si decidono i parametri di progettazione, si deve tenere conto che questi andranno ad influire anche sui parametri per l'addestramento
 +
 +=====parametri per l'addestramento======
 +
 +Il risultato finale dipende anche dall'addestramento
 +
 +**Vedere dettagli in [[neurali:error backpropagation#precondizionamento]]**
 +
 +  - weight decay, un parametro che evita che i pesi crescano troppo (vedere [[neurali:gradient_descent]])
 +  - learning rate (tipicamente 0.3)
 +  - momentum parameter (tipicamente 0.05)
 +  - numero iterazioni per addestramento (tipicamente 5 milioni)
 +
 +====Numero di neuroni====
 +
 +Aumentare il numero di neuroni per ogni hidden layer può aumentare la flessibilità computazionale della rete, la potenza di calcolo, ma anche la complessità dell'algoritmo di addestramento, e aumenta anche il numero di vincoli del sistema.
 +
 +Un numero insufficiente di neuroni porta a non poter rispondere alle richieste del problema.
 +
 +In altre parole aumenta in modo eccessivo il bias (...)
 +====Overfitting====
 +
 +Eccessivo numero di iterazioni, durante l'addestramento, porta l'errore a zero tra output fornito e output desiderato, nei casi di esempio forniti durante l'addestramento, ma errore eccessivo negli altri casi.
 +
 +Anche un eccessivo numero di neuroni, può portare a un **overfitting**, perché la capacità computazionale della rete supera le dimensioni dei dati forniti in input. Dentro la rete neurale ho troppi neuroni.
 +La rete neurale riesce ad imitare alla perfezione i dati di addestramento, ma se si forniscono dati diversi si allontana molto dalla semplice inerpolazione dei dati.
 +
 +In altre parole aumenta eccessivamente la **varianza** dell'output effettivo della rete 
 +====Momentum parameter====
 +
 +Determina uno spostamento da un eventuale minimo locale (minimo relativo)
 +
 +==== Learning rate ====
 +etaxx viene chiamato "dimensione del passo", ma poi, nella backpropagation rule si chiama "learning rate"
 +
 +determina la velocità con cui si converge verso il minimo dell'errore quadratico medio nell'algoritmo [[neurali:gradient_descent]]
 +
 +Per evitare avvininamenti alla soluzione a volte troppo lenti oppure divergenti, si può vedere il learning rate variabile ([[neurali:delta-bar-delta]])