neurali:percettrone
Differences
This shows you the differences between two versions of the page.
Both sides previous revisionPrevious revisionNext revision | Previous revision | ||
neurali:percettrone [2019/08/17 22:24] – profpro | neurali:percettrone [2023/06/09 14:02] (current) – [Funzioni di attivazione non lineari] profpro | ||
---|---|---|---|
Line 1: | Line 1: | ||
+ | ====== Percettrone ====== | ||
+ | https:// | ||
+ | |||
+ | Il percettrone svolge il compito che il neurone svolge | ||
+ | |||
+ | * ogni percettrone è definito da tre elementi: | ||
+ | * dai **pesi** delle connessioni (sinapsi) (w nella figura) | ||
+ | * una funzione zetaxx(w,x) **funzione di aggregazione** come la **somma pesata** degli input x (prodotto scalare x · w). Rif. [[neurali: | ||
+ | * che somma i contributi dei neuroni che precedono il neurone attuale | ||
+ | * una funzione sigmaxx(zetaxx) **funzione di attivazione** (lineare o non lineare) | ||
+ | * solo se la precedente somma zetaxx supera una certa soglia, il neurone produce a sua volta un impulso | ||
+ | |||
+ | | ||
+ | |||
+ | * Ogni funzione di attivazione è caratterizzata da una thetaxx **soglia di attivazione** | ||
+ | * a volte dentro al cerchio del neurone si trova rappresentata thetaxx, altre volte c'è il disegnino della funzione sigmaxx(zetaxx) | ||
+ | * Ogni percettrone si attiva se la somma dei segnali provenienti in ingresso supera la soglia di attivazione. | ||
+ | |||
+ | {{: | ||
+ | |||
+ | Alcune possibili funzioni di attivazione a soglia in cui //f(x)// supera zero solo se la variabile //x// supera un certo valore di soglia: **quale scegliere? | ||
+ | |||
+ | ====RISPOSTA==== | ||
+ | non è meglio scegliere la funzione di attivazione più facile da calcolare al computer, infatti esiste un teorema dell' | ||
+ | |||
+ | Universal Approximation Theorem | ||
+ | |||
+ | https:// | ||
+ | |||
+ | {{: | ||
+ | |||
+ | ====Funzioni sigmoidee nelle reti neurali==== | ||
+ | |||
+ | https:// | ||
+ | |||
+ | Le funzioni sigmoidee sono spesso usate nelle reti neurali per introdurre la non linearità nel modello e/o per assicurarsi che determinati segnali rimangano all' | ||
+ | |||
+ | ... | ||
+ | |||
+ | Questa relazione polinomiale semplice fra la derivata e la funzione stessa è, dal punto di vista informatico, | ||
+ | ===== Funzione di attivazione ===== | ||
+ | |||
+ | ==== Funzione di attivazione lineare ==== | ||
+ | |||
+ | |||
+ | http:// | ||
+ | |||
+ | Matematicamente il comportamento di un percettrone può essere descritto come una funzione (//funzione di attivazione// | ||
+ | |||
+ | In questo esempio, la funzione di attivazione è del tipo a soglia (binaria 0, 1). Tale funzione è detta anche a gradino, rect o funzione di Heaviside. Anche gli input x potrebbero essere binari. | ||
+ | |||
+ | {{: | ||
+ | |||
+ | * //x//, è il l' | ||
+ | * //w//, è il peso moltiplicato ad ogni input (scalare o vettore) | ||
+ | * //- b//, è la soglia di attivazione (bias) | ||
+ | |||
+ | Nel caso generale in cui ci siano più valori in ingresso (un vettore) si effettua un **prodotto scalare** tra //x// e //w//. | ||
+ | |||
+ | Altri esempi di funzioni di attivazione (lineare) sono | ||
+ | * y=sign(x); (output binario +1,-1) | ||
+ | * y=rampa | ||
+ | * y=x | ||
+ | |||
+ | Nel 1969 si è dimostrato che un solo percettrone con **due input** potrebbe imitare solo funzioni // | ||
+ | |||
+ | https:// | ||
+ | |||
+ | Il problema dell' | ||
+ | |||
+ | |||
+ | - [[neurali: | ||
+ | |||
+ | ==== Funzioni di attivazione non lineari ==== | ||
+ | |||
+ | In natura, si osserva spesso una funzione con saturazione. | ||
+ | |||
+ | Il software [[neurali: | ||
+ | |||
+ | Il software [[neurali: | ||
+ | |||
+ | Si tratta di funzioni che vanno spesso da 0 a 1 (oppure da -1 a 1) e che quindi potrebbero essere già note a coloro che hanno studiato in matematica le distribuzioni di probabilità. Per le distribuzioni di probabilità anche l' | ||
+ | - funzione hopfield (sign) o Step | ||
+ | - [[neurali: | ||
+ | - [[neurali: | ||
+ | - [[neurali: | ||
+ | - [[neurali: | ||
+ | - [[neurali: | ||
+ | - [[neurali: | ||
+ | - [[neurali: | ||
+ | - [[neurali: | ||
+ | |||
+ | |||
+ | {{ : | ||
+ | |||
+ | DA FINIRE | ||
+ | |||
+ | Se il sistema (la rete neurale) è **lineare** (zero layer e funzione attivazione lineare) può risolvere solo problemi in cui le [[neurali: | ||
+ | |||
+ | Un sistema **dinamico** possiede la capacità di continuare a modificare il proprio output in base al proprio stato interno (non continuare ad apprendere) anche durante la fase di produzione (vedere neurali: | ||
+ | |||
+ | [[neurali: |