La presentazione è in caricamento. Aspetta per favore

La presentazione è in caricamento. Aspetta per favore

BIOINGEGNERIA S. Salinari Lezione 6. RETI DI HOPFIELD Hanno la struttura di figura: Connessioni nei due sensi Presenza di ingressi dallesterno su ogni.

Presentazioni simili


Presentazione sul tema: "BIOINGEGNERIA S. Salinari Lezione 6. RETI DI HOPFIELD Hanno la struttura di figura: Connessioni nei due sensi Presenza di ingressi dallesterno su ogni."— Transcript della presentazione:

1 BIOINGEGNERIA S. Salinari Lezione 6

2 RETI DI HOPFIELD Hanno la struttura di figura: Connessioni nei due sensi Presenza di ingressi dallesterno su ogni unità Funzione di attivazione binaria a soglia V i = 0 se j w ij V j + I i < i V i = 1 se j w ij V j + I i i Matrice delle connessioni simmetrica w 11 w w 1N W =w 21 w w 2N w N1 w N w NN w 21 w 12 w 11 w 22 w 33 w 13 w 31 w 32 w 23 u1 u2 u3 I 1 w11 w12 w13 w12 w22 w23 w13 w23 w33

3 RETI DI HOPFIELD Per dimostrare la convergenza della rete applichiamo il criterio di Liapunov: Definiamo la funzione di Liapunov E = - ½ j ( i j) w ij V i V j – i I i V i + i V i i Si deve dimostrare che E < 0 Si consideri lunità i-esima. Si assuma w ii > 0 per ogni i, V/ t = Vi(t)-Vi(t- t ) se t = 1 V = Vi(t)-Vi(t- ) Si possono avere 3 casi 1.Vi(t- t ) = 0 Vi(t) = 1 V = +1 2.Vi(t- t ) = 1 Vi(t) = 0 V = -1 3.Vi(t- t ) = 0 Vi(t) = 0 V = 0 o Vi(t- t ) = 1 Vi(t) = 1 V = 0 Calcoliamo la E = ( E/ Vi) Vi = - ( j (i j) w ij V j + Ii – i) Vi V = +1 j (i j) wijVj + Ii – i 0 da cui E < 0 V = -1 j (i j) wijVj + Ii – i < 0 da cui E < 0 V = 0 E < 0 situazione di equilibrio convergenza ottenuta La convergenza si può dimostrare anche per reti di Hopfield con matrice dei pesi simmetrica e funzione di attivazione sigmoidale ( Reti di Hopfield Continue ) Si possono implementare memorie associative, memorizzando le configurazioni da riconoscere sugli stati stabili della rete.

4 La regola di Hebb Nella costruzione di memorie associative è necessario fornire una regola per laggiornamento dei pesi. La regola usata è spesso la regola di Hebb. Si basa sullaffermazione di Hebb per cui: Se due neuroni connessi fra loro si attivano contemporaneamente per un certo tempo viene facilitata la trasmissione del segnale fra i due. Ciò si traduce in un aumento del peso w ij della connessione fra lunità i e lunità j. In particolare w ij = S i S j con tasso di apprendimento. Si consideri una rete con connessioni bidirezionali e con funzioni di attivazione non lineari del tipo +1 uiuj SjSiwij

5 La regola di Hebb Laggiornamento avviene secondo la seguente procedura: Viene presentata alla rete le configurazion appartenenti allinsieme di apprendimento. Per la generica uscita Si si verifica se il valore ottenuto è corretto Se il valore di Si è corretto i pesi vengono rinforzati secondo la regola: wij=wij+ wij=wij+ SiSj se Si ed Sj hanno lo stesso segno. wij=wij+ wij=wij- SiSj se Si ed Sj hanno segno diverso. Loperazione viene ripetuta per ogni unità di uscita. Si procede quindi in senso inverso effettuando la stessa verifica per ogni unità di ingresso Sj. Il procedimento si arresta quando viene raggiunta la condizione di stabilità sgn( j w ij S j ) = S i. ui uj SjSi wij Se la rete ha degli strati nascosti la regola di Hebb può ancora essere applicata ma non è garantita la convergenza.

6 La regola di Hebb Analisi della Stabilità Assumiamo di avere una sola configurazione di uscita Si {-1 +1}. Perchè la rete sia stabile si deve verificare che sgn( j w ij S j ) = S i. Assumiamo inoltre che w ij = 1/N S i S j, Si ricordi inoltre che, per la funzione di attivazione scelta, S j S j =1. Si può verificare che la soluzione è stabile se in ingresso i valori errati sono minori del 50%. Posto hi = j w ij S j lingresso al neurone i sarà: i i S1S1 Se 2 Se 4 S3S3 S5S5

7 La regola di Hebb Analisi della Stabilità Nel caso di più configurazioni (P) di uscita si ha: Diafonia se piccola ( | | <1) si ha la stabilità


Scaricare ppt "BIOINGEGNERIA S. Salinari Lezione 6. RETI DI HOPFIELD Hanno la struttura di figura: Connessioni nei due sensi Presenza di ingressi dallesterno su ogni."

Presentazioni simili


Annunci Google