BIOINGEGNERIA S. Salinari Lezione 6

Hanno la struttura di figura: Connessioni nei due sensi RETI DI HOPFIELD Hanno la struttura di figura: Connessioni nei due sensi Presenza di ingressi dall’esterno su ogni unità Funzione di attivazione binaria a soglia Vi = 0 se j wijVj + Ii < qi Vi = 1 se Sj wijVj + Ii  qi Matrice delle connessioni simmetrica w11 w12 ....... w1N W = w21 w22 ....... w2N ............. wN1 wN2 ....... wNN w21 w12 w11 w22 w33 w13 w31 w32 w23 u1 u2 u3 I1 w11 w12 w13 w12 w22 w23 w13 w23 w33

RETI DI HOPFIELD Per dimostrare la convergenza della rete applichiamo il criterio di Liapunov: Definiamo la funzione di Liapunov E = - ½ Sj(i j) wijViVj – Si IiVi + SiViQi Si deve dimostrare che DE < 0 Si consideri l’unità i-esima. Si assuma wii > 0 per ogni i, DV/Dt = Vi(t)-Vi(t-Dt ) se Dt = 1 DV = Vi(t)-Vi(t-1) Si possono avere 3 casi Vi(t-Dt ) = 0 Vi(t) = 1 DV = +1 Vi(t-Dt ) = 1 Vi(t) = 0 DV = -1 Vi(t-Dt ) = 0 Vi(t) = 0 DV = 0 o Vi(t-Dt ) = 1 Vi(t) = 1 DV = 0 Calcoliamo la DE = (DE/ DVi)  DVi = - (Sj(i j) wijVj + Ii – Qi) DVi DV = +1  Sj(i j) wijVj + Ii – Qi  0 da cui DE < 0 DV = -1  Sj(i j) wijVj + Ii – Qi < 0 da cui DE < 0 DV = 0  DE < 0 situazione di equilibrio convergenza ottenuta La convergenza si può dimostrare anche per reti di Hopfield con matrice dei pesi simmetrica e funzione di attivazione sigmoidale ( Reti di Hopfield Continue ) Si possono implementare memorie associative, memorizzando le configurazioni da riconoscere sugli stati stabili della rete.

La regola di Hebb Nella costruzione di memorie associative è necessario fornire una regola per l’aggiornamento dei pesi. La regola usata è spesso la regola di Hebb. Si basa sull’affermazione di Hebb per cui: ”Se due neuroni connessi fra loro si attivano contemporaneamente per un certo tempo viene facilitata la trasmissione del segnale fra i due”. Ciò si traduce in un aumento del peso wij della connessione fra l’unità i e l’unità j. In particolare Dwij = hSiSj con h tasso di apprendimento. Si consideri una rete con connessioni bidirezionali e con funzioni di attivazione non lineari del tipo ui uj Sj Si wij +1 q -1

La regola di Hebb L’aggiornamento avviene secondo la seguente procedura: Viene presentata alla rete le configurazion appartenenti all’insieme di apprendimento. Per la generica uscita Si si verifica se il valore ottenuto è corretto Se il valore di Si è corretto i pesi vengono rinforzati secondo la regola: wij=wij+Dwij=wij+hSiSj se Si ed Sj hanno lo stesso segno. wij=wij+Dwij=wij-hSiSj se Si ed Sj hanno segno diverso. L’operazione viene ripetuta per ogni unità di uscita. Si procede quindi in senso inverso effettuando la stessa verifica per ogni unità di ingresso Sj. Il procedimento si arresta quando viene raggiunta la condizione di stabilità sgn(Sj wijSj) = Si. Sj wij Si uj ui Se la rete ha degli strati nascosti la regola di Hebb può ancora essere applicata ma non è garantita la convergenza.

La regola di Hebb Analisi della Stabilità Assumiamo di avere una sola configurazione di uscita Si {-1 +1}. Perchè la rete sia stabile si deve verificare che sgn(Sj wijSj) = Si. Assumiamo inoltre che wij = 1/N SiSj, Si ricordi inoltre che, per la funzione di attivazione scelta, SjSj =1. Si può verificare che la soluzione è stabile se in ingresso i valori errati sono minori del 50%. i S1 Se2 Se4 S3 S5 Posto hi = Sj wijSj l’ingresso al neurone i sarà:

La regola di Hebb Analisi della Stabilità Nel caso di più configurazioni (P) di uscita si ha: Diafonia se piccola ( | | <1) si ha la stabilità