BIOINGEGNERIA S. Salinari Lezione 5. L’algoritmo di retropropagazione Premesse 1.Reti Duali Si definiscono reti duali reti per cui è verificata la seguente.

Presentazione sul tema: "BIOINGEGNERIA S. Salinari Lezione 5. L’algoritmo di retropropagazione Premesse 1.Reti Duali Si definiscono reti duali reti per cui è verificata la seguente."— Transcript della presentazione:

1 BIOINGEGNERIA S. Salinari Lezione 5

2 L’algoritmo di retropropagazione Premesse 1.Reti Duali Si definiscono reti duali reti per cui è verificata la seguente relazione : y = W x v = W T z x1 x2 x3 y1 y2 w11 w21 w31 w12 w22 w32 v1 v2 v3 z1 z2 w11 w21 w31 w12 w22 w32

3 L’algoritmo di retropropagazione 2. La Funzione di Attivazione Le funzioni di attivazione utilizzate nella LMS e nel percettrone sono rispettivamente la funzione lineare ( y =  i w i x i ) e la funzione di Heaviside (y=0 per x< , y=1per x ≥  ). Nelle reti neurali vengono spesso utilizzate funzioni di attivazione semilineari che posseggono la caratteristica di risultare derivabili, quali la funzione logistica o sigmoide, che ha equazione : F(y) y 1 y 1  Caratteristica di tale funzione è che:

4 L’algoritmo di retropropagazione Si consideri una rete costituita da M unità ( u 1,u 2,..., u j,...,u M ) distribuite fra unità di ingresso, di uscita e nascoste. Si indichi con okj lo stato dell’unità uj in corrispondenza all’applicazione alla rete del k-esimo elemento della sequenza d’ingresso. Di conseguenza per una unità di ingresso okj  xkj, per una unità di uscita okj  ykj. L’ algoritmo di retro propagazione serve per il calcolo dei pesi di una rete feedforward con strati nascosti e funzioni di attivazione semilineari. Si basa sull’assunzione che la variazione dei pesi dei rami della rete debba essere tale da produrre una diminuzione dell’errore quadratico medio totale: Dove l’indice k si riferisce alla k-esima coppia in-out della sequenza di apprendimento e l’indice j alla j-esima unità della rete. Si considerino i due casi: x1 x2 x3 y1 y2 w11 w21 w31 w12 w22 w32 Strato d’ingressoStrato nascosto u1 u2 u3 u4 u5 u6 z  i wji oki f(z) uj

5 uj: Unità di uscita L’algoritmo di retropropagazione Se la f(z kj ) è la funzione logistica si avrà: uj: Unità nascosta ui uj ut wjiwtj  kj  kt

6 L’algoritmo di retropropagazione Passi dell’algoritmo 1.Si applica l’ingresso x k = (x 1 x 2...x N ) T 2.Si calcolano tutte le o kj = f(  i w ji o ki ) per tutte le unità di uscita e nascoste 3.Si calcolano le  kj per le unità di uscita  kj = (t kj – o kj )f’(z kj ) 4.Si calcolano le  kj per le unità nascoste  kj =  t  kt w tj f’(z kj ) 5.Si aggiornano i pesi.

7 L’algoritmo di retropropagazione Esempio : EXOR y1 = wn1 x1+wn2 x2-  1 yo = wo1 x1+wo2 x2+won y1-  2  o = (to-yo)yo(1-yo)   wo1=  ox1,  wo2=  ox2,  won=  oy1,  2=  o  n =  o won y1(1-y1)   wn1=  nx1,  wn2=  nx2,  1=  n x1 x2 no y1y0 wn1 wn2 wo2 wo1 11 22 11 11