Ricompensa Globale oppure Locale
Reinforcement learning in populations of spiking neurons, di Robert Urbanczik, Walter Senn (2008)
Nella teoria del Reinforcement Learning (LD) si applica una plasticità sinaptica modulata dalla ricompensa.
C'è il problema che la ricompensa arriva solo alla fine, non negli stati intermedi
C'è anche il problema che la ricompensa è globale, cioè non è indirizzata ai singoli neuroni. Con la ricompensa localizzata al singolo neurone si ottiene un apprendimento più veloce anche con reti molto popolose. Per indirizzarla a tutti i neuroni ci vorrebbero troppe connessioni.
Nella ricerca citata in alto alla pagina, si dimostra che si può usare anche la ricompensa globale per modulare le plasticità sinaptiche, a patto di aggiungere queste informazioni aggiuntive:
- memoria degli impulsi del singolo neurone, precendeti alla ricompensa
- memoria degli impulsi della popolazione (che significa?)
tempotron è un modello di neurone