Differences

This shows you the differences between two versions of the page.

--- neurali:long_short-term_memory [2015/07/11 09:40] – profpro
+++ neurali:long_short-term_memory [2020/06/08 22:20] (current) – external edit 127.0.0.1
@@ Line 1: / Line 1: @@
+====== Long Short-Term Memory ======
+Questo tipo di rete cerca di migliorare le [[neurali:Recurrent Neural Network|RNN]]
+  * È una rete universale nel senso che può riprodurre qualsiasi algoritmo
+  * ha vinto premi per riconoscimento scrittura e riconoscimento voce
+  * https://en.wikipedia.org/wiki/Long_short_term_memory
+Nelle reti RNN è possibile memorizzare l'output di alcuni neuroni (facendolo tornare indietro), ma solo per un passo di tempo discreto. Ben presto il valore fornito da un neurone viene mescolato insieme agli altri ed è difficile tenerne conto per l'addestramento.
+<del>Viceversa anche i pesi delle RNN cambiano ma molto più lentamente</del>
+Questo tipo di rete cerca di allungare la memoria dei neuroni di ben 10 volte o anche più.
+Al posto di un neurone di stato (con memoria), contiene un blocco con una struttura che permette di conservare più a lungo le informazioni
+===== Vediamo in dettaglio i blocchi =====
+{{ :neurali:lstm_block.svg.png?nolink |https://en.wikipedia.org/wiki/File:Lstm_block.svg
+}}
+La cella centrale (SIGMA) funge da memoria, infatti ha un anello su se stessa.
+In basso ci sono gli ingressi, con [[neurali:funzione attivazione logistic sigmoid]]
+Percorrendoli da sinistra verso destra:
+  - input dei dati da elaborare
+  - input gate: ha il potere di modificare il peso della connessione tra esterno e interno del blocco, cioè di decidere quando qualcosa deve entrare nel blocco
+  - fattore?
+  - output gate: ha il potere di modificare il peso della connessione tra interno ed esterno del blocco, cioè di decidere quando qualcosa deve uscire dal blocco