Esistono diversi tipi:

• fully recurrent network
• Hopfield network
• Elman Network

https://en.wikibooks.org/wiki/Artificial_Neural_Networks/Recurrent_Networks

https://en.wikipedia.org/wiki/Recurrent_neural_network

Rispetto alle reti Feed Forward, le reti RNN sono diverse nel senso che il loro output dipende dalla storia completa della rete dalla prima volta che è stata usata.

Per ottenere questo risultato, ogni layer della rete deve avere due tipi di connessioni:

• il tipo tradizionale che proviene dal layer precendete (in grigio)
• il nuovo tipo che proviene anche dai layer successivi (in nero) o da se stesso

In questo semplice esempio, l'output del passo N-1 viene rimesso in input al passo N fornendo una semplice memoria dello stato passato.

Questo permette di ottenere una specie di memoria di tipo predittivo, come quella del cervello: funzione_memoria_predittiva

Questa enorme complicazione delle connessioni porta sia vantaggi che svantaggi.

Ad esempio, cambia l'algoritmo di addestramento.