Il neurone e i suoi componenti Il nucleo I dendriti Lassone Le connessioni sinaptiche

Reti neuronali artificiali (RNA) (Artificial Neural Networks, ANN) dalla neurobiologia e neurochimica, -struttura di elaborazione distribuita ed altamente interconnessa (~10 11 neuroni e ~10 15 connessioni nel cervello umano, ~1ms tempi di commutazione, ~10 -6 joule/ciclo) - meccanismi di apprendimento e adattamento (anche dalla neuropsicologia) approccio storico approccio funzionale

Riconoscitore lineare: y= w T x= i w i x i ; i=1 N Percettrone: y= (s) con s= w T x= i w i x i ; i=1 N s= campo indotto locale Riconoscitore a stadi: y= (s 2 ) con s 2 =f(s 1 ) con s 1 = w T x= i w i x i ; i=1 N Riconoscitore generalizzato: y=f(W,x)

Metodo di addestramento istantaneo (al singolo campione) Riconoscitore lineare y= w T x E=(d-y) 2 =e 2 w=- dE/dw E=- dE/dw) 2 <0 dE/dw=-ex w=- dE/dw = ex Riconoscitore a stadi y= (s 2 ) con s 2 =f(s 1 ) con s 1 = w T x= i w i x i ; i=1 N w=- dE/dw =- dE/dy)(dy/ds 2 ) (ds 1 /ds 2 ) (ds 2 /dw) w= e (s 2 ) (ds 1 /ds 2 ) x

Metodo di addestramento a blocchi (al singolo campione) Riconoscitore lineare y= w T x= i w i x i ; i=1 N E= E [d-y] 2 = E [e] 2 E= E [d- i w i x i ] 2 = E [d 2 +2 i w i dx i + i (w i x i ) 2 ] = E [d 2 ]+ 2 i w i E [dx i ] + E [ i (w i x i ) 2 ] L errore minimo si ha quando dE/dw=0 e cioè E/ w i = 2 E [dx i ] +2 w i E [x i ) 2 ]=0 w i = - E [x i ) 2 / E [dx i ]

Caratteristiche delle RNA - non linearita - apprendimento(senza maestro)/addestramento (con maestro) - adattamento (plasticita e stabilita) - risposta probativa (affermazione di non riconoscimento) - informazioni contestuali - tolleranza ai guasti - analogie neurobiologiche - realizzazione VLSI - uniformita di analisi e progetto

I metodi di apprendimento delle RNA Apprendimento (addestramento non supervisionato) a) e definito il numero delle classi K b) e definito il criterio di appartenenza ad un stessa classe eapplicato solo il campione X Addestramento (apprendimento supervisionato) e applicata la coppia campione-classe (X,Y*) Ibridi (adattativi) a) e definito il criterio di appartenenza ad un stessa classe e applicata la coppia campione-classe (X,Y*), ma non la struttura

Metodo di aggiornamento sequenziale dei pesi Insieme d addestramento: (x k,y* k ), k=1-Q, Vettore uscita desiderato y* k = (y* k m, m=1-M) Vettore uscita y k = (y k m, m=1-M) prodotto da x k =(x k i,i=1-N) Funzione errore: E (W)= 1/2 m (y* k m -y k m ) 2 = 1/2 m e k m ) 2 Formula d aggiornamento: w ji =-.dE/dw ji = - j y i = (s j ).e j y i dove e j = m w mj m e m = - (s m ).e m Formule d aggiornamento (per ogni coppia x k,y* k, si e omesso lapice k) strato d uscita O: y m = (s m ) e m = y* m -y m m = e m (s m ) w jm = m y j strato nascosto H2: e j = m m w jm j = e j (s j ) w kj = j y k strato nascosto H1: e k = j j w kj k = e k (s k ) w ik = k x i

Addestramento globale dei pesi sinaptici Insieme d addestramento: (x k,y* k ), k=1-Q, Vettore uscita desiderato y* k = (y* k m, m=1-M) Vettore uscita prodotto da x k =(x k i,i=1-N) y k = (y k m, m=1-M) Funzione errore globale: E g (W j )= 1/2 k m (y* k m -y k m ) 2 = 1/2 k m e k m ) 2 Retropropagazione dell errore (per ogni coppia x k,y* k, si e omesso lapice k) strato d uscita O: y m = (s m ) e m = y* m -y m m = e m (s m ) strato nascosto H2: e j = m m w jm j = e j (s j ) strato nascosto H1: e k = j j w kj k = e k (s k ) Formula per l aggiornamento globale: w ji = -.dE g /dw ji = k k j y k i = k (s k j ).e k j dove e k j = hj w hj k h e k j = - (s k j ).e k j

Note a) metodo dei momenti: w ij (n)= w ij (n-1) + i (n)x j (n) con <1 b) suddivisione suggerita per l insieme di addestramento+validazione add.val. 1. Sessione 2. Sessione 3. Sessione 4. Sessione 3) normalizzazione: traslazione al valor medio: decorrelazione e equalizzazione della covarianza (trasformazione con autovalori) 4) inizializzazione: pesi casuali e piccoli (funzionamento al limite della zona lineare), =.1, ~.9

Inferenza statistica delle RNA RNA x, c k y 1 (x) y m (x) y k (x) y M (x) E 2 = X P(x)( k P(c k /x) m [y m (x)-y* m (x)] 2 }) E 2 = X P(x)( m { k P(c k /x) [y m (x)- m (x) k ] 2 }) y* 1 (x) = l (x) = 0 y* m (x) = m (x) = 0 y* k (x) = k (x) = 1 y* M (x) = M (x) = 0 c k =( l (x) …. k (x) ….. M (x))

E 2 = X P(x)( m { k [y m (x)- m (x)] 2 P(c k /x) }) Ma k [y m (x)- m (x)] 2 P(c k /x)= y m 2 (x)-2y m (x) P(c m /x) + P(c m /x)= poiche m (x)=1 solo per k = m e k P(c k /x)=1, aggiungendo e togliendo P 2 (c m /x) si ha: [y m 2 (x)-2y m (x) P(c m /x) + P 2 (c m /x)] + [P(c m /x) - P 2 (c m /x)] = = [y m (x)-P(c m /x)] 2 + P(c m /x) [1- P(c m /x)] dove solo il primo addendo dipende dalla rete per cui addestrandola correttamente si ottiene il minimo di E 2 : y m (x)=P(c m /x)

yAyA 1 3 x1x1 1 2 x2x2 y A* x1x1 x2x2 y A =f A (s) = 0.5 X A A* y A* =f A* (s) =

x 2 x 1 c ab y c a b A + x 2 x 1 1

y x 1 x 2 MPL per EXOR 1 1 x 1 x 2 y x x 1 y=0 y=1

x1x1 x2x2 z=f(s) = 0.5 X z=f(s) =-T z=f(s) =T A A* I 13 x1x1 1 2 x2x2 yAyA y A* z u(z-T) u(-z-T)

MLP per riconoscimento di due classi con pdf gaussiane equiprobabili (HAYKIN Cap.4.8) B x2x2 A X A zona di decisione ottima Bayesiana B A rArA x1x1 X XAXA X discriminante MLP x 1 1 x 2 yAyA yByB MLP: Pe = Bayesiana: Pe = Parametri di addestramento =0.1, =0.5

X(n) x 1 (n) x 16 (n)

RNA con apprendimento non supervisionato a)Numero di classi (cluster) predefinito b) Criterio di verosimiglianza predefinito (il numero di cluster dipende dalla distribuzione statistica dei campioni) -origine del modello: disposizione e interazione eccitatoria/inibitoria dei neuroni della corteccia cerebrale; -metodo di apprendimento; -metodo di riconoscimento (tassellazione di Voronoi); - estensione a reti con apprendimento supervisionato.

1 i N 1 j N 1 j M X Von der Malsburg Kohonen WjWj W1W1 WMWM yjyj y1y1 yMyM

xi xi w ji 1 i N 1 j M yiyi Fig.10 Mappa autorganizzata (SOM) ed attivazione del nodo d uscita j = argmin[ (x,w h ); h=1 M] y j =1; y h =0 per h j) Caratteristiche - riduzione della dimensionalita (neuroni su reticolo) -competizione (per l attivazione del nodo d uscita) -cooperazione (per l apprendimento) -adattamento sinaptico: eccitazione/inibizione

j wjwj wiwi i x x2x2 x1x1 spazio discreto delle uscite spazio continuo dei campioni

Si puo realizzare una strutturazione globale mediante interazioni locali (Turing, 1952) La strutturazione e realizzata da interazioni prodotte da attivita ed interconneaaioni neuronali Principio 1. Le interconnessioni tendono ad essere eccitatorie Principio 2. La limitazione delle risorse permette laumento di determinate attivita a scapito di altre Principio 3. Le modifiche dei pesi sinaptici tendono ad essere cooperative Principio 4. Un sistema autorganizzato deve essere ridondante

Competizione neurone vincente: j = argmin[||x-w h ||) ; h=1 M] oppure: j = argmax[x T w h ; h=1 M] distanza (Manhattan)reticolare, o laterale, dei nodi i e j:d(j,i) 2 funzione di vicinato: h i (j) = exp[- d(i,j) 2 /2 2 ] Cooperazione I neuroni i del vicinato di j sono eccitati e e cooperano all: Adattamento sinaptico w i = h i (j)(x-w i ) e diminuiscono con le sessioni di apprendimento Fase di autorganizzazione: = , d(i,j) decrescente da massima fase di convergenza statistica: =0.01, 1 d(i,j) 0

Aggiornamento pesi della SOM W=(w 1,w 2,...,w M ) vettore prototipo E j (W)= 1/2 i h i (j) (x- w i ) 2 con i=1 M e h i (j) funzione di vicinato di j E j (W)= grad(E j (W)). W= i ( E(W)/ w i ). w i w i = - E j (W)/ w i = h i (j) (x- w i ).

Addestramento delle SOM supervisionate Learning Vector Quantizer (LVQ) dati di addestramento: (X, C) a) apprendimento della SOM (solo X) b) addestramento (con X,C) b2) addestramento dello strato d uscita (con o senza competizione nello strato nascosto) b1) etichettatura b3) etichettatura e addestramento dello strato nascosto (con competizione) Wc= +/- (X-Wc) se X appartiene o no a C

Reti Neuronali Adattative Teoria della risonanza adattativa (Adaptive Resonance Theory, ART) Meccanismo psicofisiologico: 1) Attenzione selettiva: ricerca di una situazione nel dominio di conoscenza 2) Risonanza: se l attenzione selettiva rileva una situazione nota 3) Orientamento: ricerca o creazione di una nuova situazione Vantaggi: compatibilita fra plasticita e stabilita Svantaggi: complessita della struttura e dell algoritmo di apprendimento

Apprendimento: Attivazione dello strato di riconoscimento (feedforward) Competizione (attenzione selettiva) Retroproiezione allo strato di confronto (verifica della risonanza) Creazione di un nuovo neurone di riconoscimento strato di riconoscimento strato di confronto 1 j P P+1 1 i N WjWj x 1 x i x N ZjZj X

strato di riconoscimento strato di confronto 1 j P P+1 1 i N w ji x 1 x i x N z ij j=argmax [X T W h,h=1,P] Attenzione selettiva X T Z j > risonanza: adattamento pesi W j e Z j X T Z j < j se X T Z h > risonanza: adattamento pesi W h e Z h se X T Z h < per h=1,P si crea un nuovo nodo P+1

Fig. 15 Criterio di appartenenza ad un prototipo (Raggiodi convergenza, raggio di attenzione selettiva) x2x2 x1x1 W1W1 o WPWP o WjWj o W P+1 = X o R Raggio di attenzione selettiva X o

strato nascosto competitivo strato d ingresso w ji 1 j P P+1 1 i N wij=1 strato delle classi Fig.16 SOFM supervisionata adattativa 1 h M rete di controllo della risonaza e dell orientamento x,y

o wjwj o W P+1 = X o Rj X risonanza j=c W j = (X-W j ) att. selett. insuff. j><c R j = ( (W j,X)-R j ) W j = (W j -X) wjwj o o Rj X att. selett. eccess. j=c R j = ( (W j,X)-R j ) W j = (X-W j ) wjwj o o Rj X j wPwP o RPRP orientamento j >< c W P+1 = X; P+1 c; R P+1 =1/2 (X,W P ) R P+1