Appunti di informatica

User Tools

Site Tools

Trace:
neurali:percettrone

Differences

This shows you the differences between two versions of the page.

Link to this comparison view

Both sides previous revisionPrevious revision
Next revision		Previous revision
neurali:percettrone [2020/06/08 22:20] – external edit 127.0.0.1neurali:percettrone [2023/06/09 14:02] (current) – [Funzioni di attivazione non lineari] profpro
Line 7: Line 7:
   * ogni percettrone è definito da tre elementi:   * ogni percettrone è definito da tre elementi:
     * dai **pesi** delle connessioni (sinapsi) (w nella figura)     * dai **pesi** delle connessioni (sinapsi) (w nella figura)
-    * una funzione zetaxx(w,x) **somma pesata** degli input x (prodotto scalare x · w)+    * una funzione zetaxx(w,x) **funzione di aggregazione** come la **somma pesata** degli input x (prodotto scalare x · w). Rif. [[neurali:neuroni#somma_di_afferenze_sinaptiche]]
       * che somma i contributi dei neuroni che precedono il neurone attuale       * che somma i contributi dei neuroni che precedono il neurone attuale
     * una funzione sigmaxx(zetaxx) **funzione di attivazione** (lineare o non lineare)      * una funzione sigmaxx(zetaxx) **funzione di attivazione** (lineare o non lineare) 
Line 20: Line 20:
 {{:neurali:pesi_rete.png?nolink&200|}} {{:neurali:pesi_rete.png?nolink&200|}}
  
-Alcune possibili funzioni di attivazione a soglia in cui //f(x)// supera zero solo se la variabile //x// supera un certo valore di soglia: quale scegliere? Probabilmente una facile da calcolare al computer...+Alcune possibili funzioni di attivazione a soglia in cui //f(x)// supera zero solo se la variabile //x// supera un certo valore di soglia: **quale scegliere?** Probabilmente una facile da calcolare al computer... 
 + 
 +====RISPOSTA==== 
 +non è meglio scegliere la funzione di attivazione più facile da calcolare al computer, infatti esiste un teorema dell'approssimazione universale secondo il quale, per poter generare un approssimatore è necessario usare funzioni **non lineari**. 
 + 
 +Universal Approximation Theorem 
 + 
 +https://en.wikipedia.org/wiki/Activation_function#Comparison_of_activation_functions
  
 {{:neurali:640px-gjl-t_x_.svg.png?nolink&640|https://en.wikipedia.org/wiki/File:Gjl-t%28x%29.svg}} {{:neurali:640px-gjl-t_x_.svg.png?nolink&640|https://en.wikipedia.org/wiki/File:Gjl-t%28x%29.svg}}
  
 +====Funzioni sigmoidee nelle reti neurali====
 +
 +https://it.wikipedia.org/wiki/Funzione_sigmoidea
 +
 +Le funzioni sigmoidee sono spesso usate nelle reti neurali per introdurre la non linearità nel modello e/o per assicurarsi che determinati segnali rimangano all'interno di specifici intervalli. Un popolare elemento neurale artificiale computa la combinazione lineare dei relativi segnali in ingresso ed applica una funzione sigmoidea limitata al risultato; questo modello può essere visto come variante "regolare" del classico neurone soglia. Un motivo per la relativa popolarità nelle reti neurali è perché la funzione sigmoidea soddisfa questa proprietà:
 +
 +...
  
 +Questa relazione polinomiale semplice fra la derivata e la funzione stessa è, dal punto di vista informatico, semplice da implementare. 
 ===== Funzione di attivazione ===== ===== Funzione di attivazione =====
  
Line 49: Line 64:
   * y=x   * y=x
  
-Nel 1969 si è dimostrato che un solo percettrone con **due input** potrebbe imitare solo funzioni //[[http://en.wikipedia.org/wiki/Linearly_separable|linearmente separabili]]// come AND  e OR, mentre non potrebbe imitare una funzione XOR perché quest'ultima non è linearmente separabile. http://automatica.ing.unibs.it/mco/cgsa/neurali/il_percettrone.htm+Nel 1969 si è dimostrato che un solo percettrone con **due input** potrebbe imitare solo funzioni //[[http://en.wikipedia.org/wiki/Linearly_separable|linearmente separabili]]// come AND  e OR, mentre non potrebbe imitare una funzione XOR perché quest'ultima non è linearmente separabile.  
 + 
 +https://web.archive.org/web/20160305060552/http://automatica.ing.unibs.it/mco/cgsa/neurali/il_percettrone.htm
  
 Il problema dell'[[neurali:addestramento]] delle reti neurali artificiali si riduce ad un problema di convergenza della soluzione di un algoritmo di ottimizzazione. Il problema dell'[[neurali:addestramento]] delle reti neurali artificiali si riduce ad un problema di convergenza della soluzione di un algoritmo di ottimizzazione.
  
  
-  - [[neurali:funzione attivazione linear]]+  - [[neurali:funzione attivazione lineare]]
  
 ==== Funzioni di attivazione non lineari ==== ==== Funzioni di attivazione non lineari ====
Line 67: Line 84:
   - funzione hopfield (sign) o Step   - funzione hopfield (sign) o Step
   - [[neurali:funzione attivazione Step]] (funzione a gradino) usata per i classificatori binari   - [[neurali:funzione attivazione Step]] (funzione a gradino) usata per i classificatori binari
-  - [[neurali:funzione attivazione sigmoid]] (o log-sigmoid) 
   - [[neurali:funzione attivazione logistic sigmoid]]   - [[neurali:funzione attivazione logistic sigmoid]]
 +  - [[neurali:funzione attivazione sigmoid]] (o log-sigmoid) caso particolare della logistic
   - [[neurali:funzione attivazione tangente iperbolica]]   - [[neurali:funzione attivazione tangente iperbolica]]
   - [[neurali:funzione attivazione softmax]] (usata nei layer di output)   - [[neurali:funzione attivazione softmax]] (usata nei layer di output)
Line 74: Line 91:
   - [[neurali:funzione attivazione gaussiana]]   - [[neurali:funzione attivazione gaussiana]]
   - [[neurali:funzione attivazione radius]]   - [[neurali:funzione attivazione radius]]
 +
 +
 +{{ :neurali:functions.jpg?nolink&400 |}}
  
 DA FINIRE DA FINIRE
neurali/percettrone.1591647604.txt.gz · Last modified: 2020/06/08 22:20 by 127.0.0.1