User Tools

Site Tools


neurali:multi-layer

Differences

This shows you the differences between two versions of the page.

Link to this comparison view

Both sides previous revision Previous revision
Next revision
Previous revision
neurali:multi-layer [2015/07/09 15:59]
profpro [Multilayer]
neurali:multi-layer [2020/06/08 22:20] (current)
Line 1: Line 1:
 +======Multilayer======
  
 +http://www.willamette.edu/~gorr/classes/cs449/multilayer.html
 +
 +Le reti neurali con uno o più hidden layer con più neuroni, sono anche **non lineari**
 +
 +Quindi forniranno come soluzione l'imitazione di funzioni non lineari.
 +
 +Abbiamo visto che i pesi sinaptici nelle reti lineari si possono calcolare analiticamente perché la soluzione è lineare. Ad esempio, usando la regressione lineare, poiché la funzione [[neurali:errore quadratico medio]] è (in tal caso) quadratica, essa è facilmente derivabile e si trova facilmente il minimo errore rispetto ai pesi sinaptici.
 +
 +Nelle reti non lineari per minimizzare l'errore quadratico medio si devono usare, invece, tecniche di iterazione numerica:
 +
 +Applicando questo algoritmo [[neurali:gradient descent]] alle reti neurali si ottiene il metodo Backpropagation
 +
 +==== ====
 +
 +Quanti hidden layer servono per un certo problema di imitazione?
 +
 +  - ne basta uno!
 +  
 +Quanti neuroni per ogni layer?
 +
 +  - con un neurone su un hidden layer si ottiene una imitazione della stessa funzione di attivazione
 +  - con due neuroni su un hidden layer si ottiene una imitazione della somma dei grafici di due funzioni di attivazione
 +  - ecc.
 +
 +NOTA: Attenzione a non esagerare con il numero di neuroni : problema [[neurali:parametri di progettazione ann#overfitting]]
 +
 +====Bias unit====
 +Sia nelle reti single layer che multi layer, ci sono un quarto tipo di neuroni (o unità neurali) (oltre input, hidden e output): 
 +
 +  - **bias unit**
 +
 +Essi generano un output costante pari ad uno, ed hanno un proprio peso sinaptico.
 +
 +Esiste un bias unit per ogni neurone che non appartiene all'input layer, quindi ce ne sono molti, ma solitamente sono omessi nello schema neurale, come sott'intesi.
neurali/multi-layer.txt · Last modified: 2020/06/08 22:20 (external edit)