< < architettura della rete

Recurrent Neural Network

Esistono diversi tipi:

  • fully recurrent network
  • Hopfield network
  • Elman Network

https://en.wikibooks.org/wiki/Artificial_Neural_Networks/Recurrent_Networks

https://en.wikipedia.org/wiki/Recurrent_neural_network

Rispetto alle reti Feed Forward, le reti RNN sono diverse nel senso che il loro output dipende dalla storia completa della rete dalla prima volta che è stata usata.

Per ottenere questo risultato, ogni layer della rete deve avere due tipi di connessioni:

  • il tipo tradizionale che proviene dal layer precendete (in grigio)
  • il nuovo tipo che proviene anche dai layer successivi (in nero) o da se stesso

In questo semplice esempio, l'output del passo N-1 viene rimesso in input al passo N fornendo una semplice memoria dello stato passato.

Questo permette di ottenere una specie di memoria di tipo predittivo, come quella del cervello: funzione_memoria_predittiva

Questa enorme complicazione delle connessioni porta sia vantaggi che svantaggi.

Ad esempio, cambia l'algoritmo di addestramento.

  • neurali/recurrent_neural_network.txt
  • Last modified: 2018/04/25 07:55
  • (external edit)