neurali:parametri_di_progettazione_ann
Differences
This shows you the differences between two versions of the page.
Both sides previous revisionPrevious revisionNext revision | Previous revision | ||
neurali:parametri_di_progettazione_ann [2016/07/04 16:47] – [Parametri di progettazione] profpro | neurali:parametri_di_progettazione_ann [2023/06/09 10:59] (current) – profpro | ||
---|---|---|---|
Line 1: | Line 1: | ||
+ | < [[neurali: | ||
+ | ====== Parametri di progettazione ====== | ||
+ | |||
+ | Quando si decidono i parametri di progettazione, | ||
+ | |||
+ | =====parametri per l' | ||
+ | |||
+ | Il risultato finale dipende anche dall' | ||
+ | |||
+ | **Vedere dettagli in [[neurali: | ||
+ | |||
+ | - weight decay, un parametro che evita che i pesi crescano troppo (vedere [[neurali: | ||
+ | - learning rate (tipicamente 0.3) | ||
+ | - momentum parameter (tipicamente 0.05) | ||
+ | - numero iterazioni per addestramento (tipicamente 5 milioni) | ||
+ | |||
+ | ====Numero di neuroni==== | ||
+ | |||
+ | Aumentare il numero di neuroni per ogni hidden layer può aumentare la flessibilità computazionale della rete, la potenza di calcolo, ma anche la complessità dell' | ||
+ | |||
+ | Un numero insufficiente di neuroni porta a non poter rispondere alle richieste del problema. | ||
+ | |||
+ | In altre parole aumenta in modo eccessivo il bias (...) | ||
+ | ====Overfitting==== | ||
+ | |||
+ | Eccessivo numero di iterazioni, durante l' | ||
+ | |||
+ | Anche un eccessivo numero di neuroni, può portare a un **overfitting**, | ||
+ | La rete neurale riesce ad imitare alla perfezione i dati di addestramento, | ||
+ | |||
+ | In altre parole aumenta eccessivamente la **varianza** dell' | ||
+ | ====Momentum parameter==== | ||
+ | |||
+ | Determina uno spostamento da un eventuale minimo locale (minimo relativo) | ||
+ | |||
+ | ==== Learning rate ==== | ||
+ | etaxx viene chiamato " | ||
+ | |||
+ | determina la velocità con cui si converge verso il minimo dell' | ||
+ | |||
+ | Per evitare avvininamenti alla soluzione a volte troppo lenti oppure divergenti, si può vedere il learning rate variabile ([[neurali: |