User Tools

Site Tools


neurali:multi-layer

Differences

This shows you the differences between two versions of the page.

Link to this comparison view

Both sides previous revisionPrevious revision
Next revision
Previous revision
Next revisionBoth sides next revision
neurali:multi-layer [2015/07/09 15:59] – [Multilayer] profproneurali:multi-layer [2020/06/08 22:20] – external edit 127.0.0.1
Line 1: Line 1:
 +======Multilayer======
  
 +http://www.willamette.edu/~gorr/classes/cs449/multilayer.html
 +
 +Le reti neurali con uno o più hidden layer con più neuroni, sono anche **non lineari**
 +
 +Quindi forniranno come soluzione l'imitazione di funzioni non lineari.
 +
 +Abbiamo visto che i pesi sinaptici nelle reti lineari si possono calcolare analiticamente perché la soluzione è lineare. Ad esempio, usando la regressione lineare, poiché la funzione [[neurali:errore quadratico medio]] è (in tal caso) quadratica, essa è facilmente derivabile e si trova facilmente il minimo errore rispetto ai pesi sinaptici.
 +
 +Nelle reti non lineari per minimizzare l'errore quadratico medio si devono usare, invece, tecniche di iterazione numerica:
 +
 +Applicando questo algoritmo [[neurali:gradient descent]] alle reti neurali si ottiene il metodo Backpropagation
 +
 +==== ====
 +
 +Quanti hidden layer servono per un certo problema di imitazione?
 +
 +  - ne basta uno!
 +  
 +Quanti neuroni per ogni layer?
 +
 +  - con un neurone su un hidden layer si ottiene una imitazione della stessa funzione di attivazione
 +  - con due neuroni su un hidden layer si ottiene una imitazione della somma dei grafici di due funzioni di attivazione
 +  - ecc.
 +
 +NOTA: Attenzione a non esagerare con il numero di neuroni : problema [[neurali:parametri di progettazione ann#overfitting]]
 +
 +====Bias unit====
 +Sia nelle reti single layer che multi layer, ci sono un quarto tipo di neuroni (o unità neurali) (oltre input, hidden e output): 
 +
 +  - **bias unit**
 +
 +Essi generano un output costante pari ad uno, ed hanno un proprio peso sinaptico.
 +
 +Esiste un bias unit per ogni neurone che non appartiene all'input layer, quindi ce ne sono molti, ma solitamente sono omessi nello schema neurale, come sott'intesi.
neurali/multi-layer.txt · Last modified: 2023/06/09 14:55 by profpro