BIOINGEGNERIA S. Salinari Lezione 5. Lalgoritmo di retropropagazione Premesse 1.Reti Duali Si definiscono reti duali reti per cui è verificata la seguente.

Presentazione sul tema: "BIOINGEGNERIA S. Salinari Lezione 5. Lalgoritmo di retropropagazione Premesse 1.Reti Duali Si definiscono reti duali reti per cui è verificata la seguente."— Transcript della presentazione:

1 BIOINGEGNERIA S. Salinari Lezione 5

2 Lalgoritmo di retropropagazione Premesse 1.Reti Duali Si definiscono reti duali reti per cui è verificata la seguente relazione : y = W x v = W T z x1 x2 x3 y1 y2 w11 w21 w13 w12 w22 w23 v1 v2 v3 z1 z2 w11 w12 w13 w21 w22 w23

3 Lalgoritmo di retropropagazione 2. La Funzione di Attivazione Le funzioni di attivazione utilizzate nella LMS e nel percettrone sono rispettivamente la funzione lineare ( y = i w i x i ) e la funzione di Heaviside (y=0 per x<, y=1per x ). Nelle reti neurali vengono spesso utilizzate funzioni di attivazione semilineari che posseggono la caratteristica di risultare derivabili, quali la funzione logistica o sigmoide, che ha equazione : F(y) y 1 y 1 F(y) Caratteristica di tale funzione è che:

4 Lalgoritmo di retropropagazione Si consideri una rete costituita da M unità ( u 1,u 2,..., u j,...,u M ) distribuite fra unità di ingresso, di uscita e nascoste. Si indichi con okj lo stato dellunità uj in corrispondenza allapplicazione alla rete del k-esimo elemento della sequenza dingresso. Di conseguenza per una unità di ingresso okj xkj, per una unità di uscita okj ykj. L algoritmo di retro propagazione serve per il calcolo dei pesi di una rete feedforward con strati nascosti e funzioni di attivazione semilineari. Si basa sullassunzione che la variazione dei pesi dei rami della rete debba essere tale da produrre una diminuzione dellerrore quadratico medio totale: Dove lindice k si riferisce alla k-esima coppia in-out della sequenza di apprendimento e lindice j alla j-esima unità della rete. Si considerino i due casi: z i wji oki f(z) uj x1 x2 x3 y1 y2 w11 w21 w31 w12 w22 w32 Strato dingressoStrato nascosto u1 u2 u3 u4 u5 u6 w64 w65

5 uj: Unità di uscita Lalgoritmo di retropropagazione Se la f(z kj ) è la funzione logistica si avrà: uj: Unità nascosta ui uj ut wjiwtj kj kt

6 Lalgoritmo di retropropagazione Passi dellalgoritmo 1.Si applica lingresso x k = (x 1 x 2...x N ) T 2.Si calcolano tutte le o kj = f( i w ji o ki ) per tutte le unità di uscita e nascoste 3.Si calcolano le kj per le unità di uscita kj = (t kj – o kj )f(z kj ) 4.Si calcolano le kj per le unità nascoste kj = t kt w tj f(z kj ) 5.Si aggiornano i pesi.

7 Lalgoritmo di retropropagazione Esempio : EXOR yn = wn1 x1+wn2 x2- 1 yo = wo1 x1+wo2 x2+won yn- 2 o = (to-yo)yo(1-yo) wo1= ox1, wo2= ox2, won= oyn, 2= o n = o won yn(1-yn) wn1= nx1, wn2= nx2, 1= n x2 x1 no yny0 wn1 wn2 wo2 wo1 1 2 1 1