La presentazione è in caricamento. Aspetta per favore

La presentazione è in caricamento. Aspetta per favore

Reti neuronali artificiali dinamiche Dynamic Artificial Neural Networks I campioni: sequenze di vettori Pattern: sequences of vestors X=(x(n),n=1 N) Esempi:Segnali.

Presentazioni simili


Presentazione sul tema: "Reti neuronali artificiali dinamiche Dynamic Artificial Neural Networks I campioni: sequenze di vettori Pattern: sequences of vestors X=(x(n),n=1 N) Esempi:Segnali."— Transcript della presentazione:

1 Reti neuronali artificiali dinamiche Dynamic Artificial Neural Networks I campioni: sequenze di vettori Pattern: sequences of vestors X=(x(n),n=1 N) Esempi:Segnali temporali (vocali, audio, radar, ecc.), Segnali immagine (fisse o in movimento-video) Examples: Temporal signals (speech, audio, radar, etc.) Image signals (pictures, video signals) I campioni di un stessa classe hanno generalmente lunghezze diverse Pattern of the same class do not need to have the same length Lapprendimento, ma non il riconoscimento, può richiedere la segmentazione del segnale Learning, but not recognition, may require the pattern segmentation

2 x2x2 r(t) x(t) t=10 t=0 TrTr TxTx x1x1 D(r,x) = |r(t)-x(t)|dt Distorsione temporale fra r(t) e quello di x(t); Time warping between r(t) and x(t) Tr= r( (t)), ma (t) non è definita ;but (t) is not defined G r (x) = min [ D(x,Tr); T C ] C è linsieme delle distorsioni (t); C is the set of the time warping - non significativa, not meaningful

3 t x(t) T è l insieme dei ritardi 0 e delle distorsioni G r (x) = min [ |x( )-Tr( )| d ; T C] - x(t) t r(t) 0 T is the set of delay 0 and time warping

4 Richiamo al riconoscimento di segnali con HMM (Hidden Markov Model) Review of HMM for temporal signal recognition Principio di ottimalità (Bellman):In un sistema a stati finiti la scelta ottimale attuale è indipendente dalle scelte ottimali precedenti Optimality principle (Bellman):The optimal local choice in a finite state system is independent of the preceeding optimal choices Catena di Markov Markov Chain S B C E b) P AA P BB P AC P BA P CB P CC

5 E=K B=k C S Grafo degli stati; States Graph : S k,n = (s k,n) ( k=1 K e n=1 N) C ott (S k,n ) = C k,n + argmin[C ott (S j,n-1 )+t jk ; j precedente di k; j preceding k] dove; where C k,n = ( k -x n ) 2 k 2 tjk=-log(P jk ) 1 n-1 n N S k,n

6 HMM/ w1 HMM/ w2 HMM/ w3 WLC WLC=Word Link Controller w 1 Id 1 c 2 w 3 Id 2 c 2 +p 3 w 2 Id 2 c 2 +p 2 w1w1 Id 2 c 2 +p 1 AddressPoint toTerminated word Accumulated Cost Properties Id4Id2w1C4Last word recognised Id3Id1w2C3 Id2Id1w1C2 Id1-w2C1First word recognised

7 x1x1 x2x2 X(1) X(2) X(n+1) X(n) X(N) x1x1 x2x2 X(1),1 X(2),2 X(n+1),n+1 X(n),n X(N),N n Traiettorie nello spazio delle caratteristiche Trajectories in the pattern space (a) e nello spazio caratteristiche-tempo and in the pattern-time space (b) 1 2 n n+1 N a) b)

8 wjwj x(n) s j (n) s j (n) = w j x. (n-1) Connessione sinaptica dinamica elementare; Basic Dynamic Synaptic Connection

9 x(n) x(n-1)x(n-2)x(n-3) w0w0 w2w2 w3w3 w1w1 z -1 Connessione sinaptica dinamica; Dynamic Synaptic Connection + j w4w4 1 wjwj x(n) s j (n) x. (n)=[x. (n),...,x. (n-P),1)] T ; w T =[w 0,...,w P+1, ] s j (n) = h w h.x. (n-h) = w j. x(n)

10 x i (n) x(n-1)x(n-2)x(n-3) w0w0 w2w2 w3w3 w1w1 z -1 Nodo con connessione sinaptica dinamica (FIR non lineare) Node with dynamic connections (Non linear FIR) + j w4w4 1 x i. (n)=[x. (n),...,x. (n-P),1)] T ; w j T =[w j0,...,w j(P+1), ] s j (n) = h w jh.x i. (n-h) = w j. x i (n) z j (n) = (s j (n)) (.) wjwj z j (n) s j (n)

11 Tipologie di RNA dinamiche Dynamic ANN typologies 1) RNA a ritardo (Time-delay Neural Networks: TDNN) 1.1) TDNN a ritardo concentrato (Focused TDNN) 1.2) TDNN a ritardo distribuito (RNA convoluzionale) Distributed TDNN (Convolutional TDNN) 2) RNA ricorrenti; Recursive Dynamic ANN 3) RNA spazio-temporali; Spatiotemporal ANN 4) Reti di Hopfield; Hopfield Networks 5) Memorie associative; Associative Memories Apprendimento supervisionato; Supervised Learning a)a epoche; epoch learning b)in tempo reale; real time learning

12 x(n) x(n-1)x(n-2) x(n-3) y(n) T T T x(n-4) x(n-5) T T TDNN a ritardo concentrato ; Focused TDNN RNA MLP, SOM

13 x(n) x(n-1)x(n-2) y(n-1) y(n+1) T T y(n) T T RNA ricorrente; Recursive Dynamic ANN RNA MLP, SOM Strato dingresso Strato di contesto Input layer Context layer

14 1 j P wjwj x(n) RETE SPAZIO-TEMPORALE ; Spatiotemporal Netwok Analogia topologica con le SOM e HMM Topological analogy with SOM and HMM y(n) segnale di Abilitazione; Start signal segnale di riconoscimento; End signal

15 MLP Input memory of length Q; lunghezza del campo ricettivo; length of the receptive field: L= Q+1 Nodi dello strato nascosto; nodes of the hidden layer: M= Q+1 numero massimo di pesi diversi; maximum number of different weights: (Q+2)M; TDNN completamente connessa; Completed connected TDNN x(n) scalare o vettore; scalar or vector x(n) TT T T 1 i M y(n) x(n-Q) y i (n) zizi i

16 xnxn T T T T T T ycyc T x n-1 x n-2 strato di convoluzione Convolution layer strato di integrazione Integration layer strato di separazione delle classi Class separation layer TDNN convoluzionale a pesi distribuiti; Distributed weights convolutional TDNN

17 x(n) y T T T x(n-5) T T z1z1 z4z4 w2w2 w1w1 w3w3 Espansione temporale di una TDNN convoluzionale Time expansion of a convolutional TDNN Finenstra temporale e lunghezza del campo ricettivo: P=6; Time window and length of the receptive field: P= 6 numero di pesi; number of weights: Q=3 Nodi dello strato nascosto; number of nodes of the hidden layer: M= P-Q+1=4 M

18 A ddestramento delle TDNN; Supervised learning of TDNN a)TDNN a ritardo concentrato o convoluzionale il segnale desiderato (classe) può essere presentato solo al termine dell epoca la sequenza è segmentata, addestramento come MLP spaziale addestramento a epoche b) TDNN a ritardo concentrato il segnale desiderato è presentato in ogni istante processo stazionario, addestramento sequenziale come MLP addestramento in tempo reale Esempio: predittore non lineare c) TDNN convoluzionale il segnale desiderato è presentato in ogni istante processo stazionario, addestramento sequenziale come MLP addestramento in tempo reale

19 n1n1 n0n0 n Addestramento delle TDNN; Supervised learning of TDNN a) Riconoscimento di segnali:Addestrameno a epoche con retropropagazione temporale dellerrore totale ed aggiornamento globale: n 0

20 x(n) x(n-1) x(n-2)x(n-3) T TT x(n-h) x(n-12) T T T T y b y d y g TDNN per il riconoscimento dei fonemi b, d, g,Processi non stazioanri TDNN for b,d,g phonemes recognition, Npn stationary processes T=20ms (12x20ms = 0,24s)

21 X(n) x 1 (n) x 16 (n) Estenzione delle TDNN convoluzionali a segnali immagine Convolutional TDNN for image signals

22 x(n) x(n-1)x(n-2)x(n-3) w1w1 w2w2 w3w3 w4w4 x(n+1) w j = e(n+1) (x(n+1)x(n-i) + z -1 (.) Predittore non lineare (processo stazionario); Addestramento in tempo reale Non linear predictor (stationary process); ; realtime learning y*(n)=x(n+1) e(n+1)_

23 x(n) y(n) T T T x(n-5) T T M v1v1 v4v4 w2w2 w1w1 w3w3 (n) = [y*(n)-y(n)] [v(n)] = e(n) [v(n)]; v i (n+1) = v i (n)+ (n)z i (n); i (n-k)= (n-k)v i (n) [z i (n-k)] i=1 4 (gradiente locale del nodo i di H 1 ) w k (n+1) = w k (n) + 1/M[ i i (n-3)x(n-3-k-i+1)] per k=1,2,3 Addestramento in tempo reale di TDNN convoluzionale a uno strato Real time learning of a single hidden layer convolutional TDNN z i (n) (.) = vivi H1H1

24 v2v2 v3v3 y(n) x 1 (n) TDNN convoluzionale a due strati ( processi non stazionari) Two hidden layer convolutional TDNN (non stationary processes) (.) v1v1 z 1 (n) w1w1 x 3 (n)w3w3 w2w2 z -1 (.) + x 2 (n) + s(n) E tot (W,v)= 1/2 n (y*(n)-y(n)) 2 z 2 (n) z 3 (n)

25 Processing equations Output layer (OL): y(n)= [s(n)]; s(n)= j z j (n) T v j OL dynamic synaptic weights: v j =[v 0j,...,v Pj, ] Vector activity of node i of the hidden layer (HL): z j (n)=[1,z j (n),…,z j (n-P)]; z j (n)= [s j (n)]; s j (n)= w i T x i (n); HL synaptic weights: w i =[w 0i,...,w Pi, ] Input vector i: x i (n)=[1, x i (n),...,x i (n-P)]; Local gradient of the OL: (n)= e(n) [s(n)]; v j (n+1)= v j (n)+ (n)z j (n) Local gradients of the HL: j (n-P j )=[ j (n),…, j (n-P) ]; j (n- P j )= [s j (n- P j )] j (n- P j ) T v j Updating expression: w ji (n+1)=w ji (n)+ i (n- P j ) T x i (n- P j ) Real time learning of a two hidden layers convolutional TDNN

26 + w ij w jj j x i (n) s(n) (s) y(n) T + w ij w jj j y i (n) s(n) (s) y j (n) T + w ji w hi i s(n) (s) y 1 (n) T y k (n) Neuroni artificiali dinamici: retroazione locale (a) e con interazione (b) Dynamical Articial neurons: local feedback (a), interacting nodes (b) a) b) w ji >> w ij w ii w kj w 1i y h (n) y 1 (n) w 1j -1< w jj <1

27 u(n) y 1 (n+1) T T 1 12 w 12 w 11 w 22.. y 2 (n+1) y 2 (n) y 1 (n) w 21 v 12 v 22 v 11 v 21 RNA dinamica elementare; Basic Dynamic ANN (Flip-flop) 12 u y1y1. y2y2

28 x(n) x(n-1)x(n-2) y(n-1) y(n+1) T T y(n) T T RNA ricorrente; Recursive Dynamic ANN RNA MLP, SOM Strato dingresso Strato di contesto Input layer Context layer

29 n0n0 n1n1 n1n1 n0n0 nH n Metodi di addestramento per RNA dinamiche Riconoscimento di segnali R etropropagazione temporale a epoche (aggiornamento globale: n 0

30 u(n) y 1 (n+1) w 12 w1w1 w2w2 y 2 (n+1)y 2 (n) y 1 (n) w 21 v1v1 v2v2 u(n+1) v1v1 v2v2 Espansione temporale per l addestramento della rete Flip/flop Time expansion for the Flip/flop network updating w1w1 w2w2 y 2 (n-1) y 1 (n-1).. w1w1 w2w2 s 1 (n)= u(n)v 11 + v 12 + y 1 (n-1)w 1 +y 2 (n-1)w 12 s 2 (n)= u(n)v 22 + v 21 + y 1 (n-1)w 21 +y 2 (n-1)w 2 y 1 (n)= (s 1 (n)); y 2 (n)= (s 2 (n)) E(v,w,n)= ½[ (y 1 *(n)-y 1 (n)) 2 + (y 2 *(n)-y 2 (n)) 2 ] w 12 w 21 w 12 u(n-1) v1v1 v2v2 w1w1 w2w2. w 21 w 12

31 u(n) x(n) x(n+1) (n) T =[x(n), u(n)] con x(n) = (x j (n);j=1 M w j T =[w aj,w bj ], W =[w aj,w bj,j=1 M] x(n+1)= (W a T x(n)+W b T u(n)]= [W T (n)] y(n)=Cx(n) j w bj z -1 C z -1 y(n) Struttura canonica della rete ricorrente Canonical structure of a recurrent ANN network w aj

32 u(n) x(n-1) y(n) Sviluppo temporale della struttura canonica per adddestramento con retropropagazione nel tempo Time expansion of the canonical structure for backpropagation through time learning WaWa WbWb x(n+1) u(n+1) y(n+1) y*(n) y*(n+1) e(n) e(n+1) WaWa WbWb _+_+ _+_+ (n) T =[x(n), u(n)]; x(n+1)= (W a T x(n)+W b T u(n)]= [W T (n)]; x(n)

33 u(n) x(n)x(n+1) y(n) u(n 0 ) x(n 0 ) y(n 0 ) x(n 0 +1) RNA u(n 0 +1) y(n 0 +1) RNA u(n 1 -1) y(n 1 -2) x(n 1 -1) RNA u(n 1 ) y(n 1 ) x(n 1 ) RNA T RNA ricorrente con sviluppo temporale da n 0 a n 1 Bachpropagation through from n 0 to n 1 for a Recursive ANN x(n 0 +2) x(n 1 -2) y*(n 0 ) y*(n 0 +1) y*(n 1 -2) y*(n 1 )

34 u(n) x(n) y(n+1) x(n+1) y(n) u(n 0 ) x(n 0 ) y(n 0 +1) x(n 0 +1) RNA u(n 0 +1) y(n 0 +2) RNA u(n 1 -2) y(n 1 -1) x(n 1 -1) RNA u(n 1 -1) y(n 1 ) x(n 1 ) RNA T x(n 0 +2) x(n 1 -2) u(n) u(n-1) Espansione temporale di RNAD mista TDNN/recursiva; Time expansion of a mixed TDNN/recursive Dynamic ANN

35 e 1 e h = y* h - y h e M w hj w ji O H2 H1 I ( s h ) ( s j ) w ik ( s i ) yjyj w hj = h y j h = e h s(s h ) e j = h w hj j = e j (s j ) w ji = j y i yiyi e i = j j w ji i = e j (s j ) x 1 x k x N w ik = i x k Rete di retropropagazione dell errore per RNA statiche Backpropagation network for feedforward ANN 1 h M 1 j M H2 1 i M H1 1 k N yhyh

36 e j (n 0 ) j (n) = (s j (n))[e j (n) + h w ahji T h (n+1)]; h (n 1 +1)=0 w aji = n j (n+1) x i (n); w bji = n j (n) u i (n); i,j= 1,…,N; n=n 0 +1,...,n 1 h (n 0 +1) e j (n)=y*(n)-y(n) h (n+1) e j (n 1 ) h (n) j (n 1 ) u(n 0 ), x(n 0 -1) Rete e formule per l addestramento a epoche con retropropagazione temporale di solito si impone solo y*(n1)=1 Backpropagation network and updating expressions for backpropagation through learning; usually only y*(n1)=1 is given n n0n0 n1n1 u(n), x(n-1) u( n 1 ), x(n 1 -1)

37 Addestramento in tempo reale e retropropagazione temporale troncata Realtime updating with truncated temporal backpropagation h (n-H+1) h (l+1) e j (n) h (n-H) h (l) h (n 1 ) j (n) = (s j (n))e j (n) j (l) = (s j (l))[ h w hj (l) T h (l+1)]; e per n-H

38 u(n) y(n) Addestramento in tempo reale: Percettrone ricorrente Realtime learning: Recursive Perceptron x(n)=y(n-1) T v w y(n)= [s(n)]; e(n)=y*(n)-y(n); s(n)=w(n) u(n)+v(n)x(n); Stato della rete; network state: x(n) = y(n-1) Aggiornamento del peso dingresso; input weight updating : w(n) = e(n) dy(n)/dw = e(n) (s(n) ds(n)/dw = (n) u(n) Aggiornamento del peso di contesto; context weight updating: v(n) = e(n) dy(n)/dv = e(n) (s(n)).ds(n)/dv = (n)[x(n)+v(n) dx(n)/dv] dx(n)/dv = dy(n-1)/dv = [s(n-1)][x(n-1)+v(n-1) dx(n-1)/dv] condizione iniziale; initial condition: dx(1)/dv = k

39 u(n) x(n) x(n+1) (n) T =[x(n), u(n)] con x(n) = (x j (n);j=1 M w j T =[w aj,w bj ], W =[w aj,w bj,j=1 M] x(n+1)= (W a T x(n)+W b T u(n)]= [W T (n)] y(n)=Cx(n) j w bj z -1 C z -1 y(n) Struttura canonica della rete ricorrente Canonical structure of a recurrent ANN network w aj

40 Addestramento in tempo reale (Vedi: S. Haykin Neural Networks Cap. 15.8) E(W,n)=1/2e(n) T e(n); e(n)=y*(n)-y(n)= y*(n)-Cx(n) dE(W,n)/dw j =[de(W,n)/dw j ] T e(n) = -e(n) T Cdx(n)/dw j aggiornamento dei pesi di contesto; updating of the weights of the context layer: w j (n)= - dE(W,n)/dw j = e(n) T Cdx(n)/dw j Matrice delle derivate dello stato; matrix of the state derivatives: j (n) = dx(n)/dw j =dx(n)/ds(n).[ds(n)/dw j ] w j (n) = e(n) T C j (n)

41 Calcolo di; computation of: j (n) j (n) = dx(n)/dw j =dx(n)/ds(n).[ds(n)/dw j ] x (n+1) = ( ( w 1 T (n)),..., ( w j T (n)),..., ( w q T (n)) s (n+1)=W(n) T (n) = w a (n) T x (n)+ w b T U(n-1) derivando si ha la recursione; recursive expression: j (n)= (n-1)[W a (n-1) j (n-1)+U j (n-1)] con j (0)=0 Dove; where: (n)= diag[ ( w 1 T (n)),..., ( w j T (n)),..., ( w q T (n)] U j (n) T =[0,..., (n) T,...,0] alla j-esima riga

42 x1x1 x2x2 W1W1 W3W3 W2W2 W4W4 u(n) Rete spazio temporale: struttura globale analoga alle SOM e HMM Spatiotemporal network: structure similar to SOM and HMM w4w4 w3w3 wiwi w1w u(n) Conness. con ritardo Reset 0 y i (n)

43 s K s i s i-1 s 1 Addestramento ad epoche della RNA spazio-temporale: vedi HMM Backpropagation through time of a spatiotemporal ANN v i-1,i vivi u (n) wiwi u (n+1) v i-1,i vivi u (n-1) v i-1,i vivi u (N) u (1)

44 v i (n) u (n) w i (n) x i (n+1) i C z -1 y(n) v i-1,i (n) Addestramento in tempo reale della RNA spazio-temporale Realtime learning of a spatiotemporal ANN

45 (a) RNA spazio-temporale con attivazione in cascata; Spatiotemporal ANN with cascade activation; (b) nodo; node. Addestramento non supervisionato (metodo di Hecht-Nielsen) Unsupervised learning (Hecht-Nielsen Method) wKwK wiwi w2w2 w1w1 y 0 (n)=1 1 y 1 (n) 2 y i-1 (n) i y i (n) K y N (n) y N-1 (n) x(n) y i (n) + i s i (n) u(s i -S i ) y i-1 (n) aiai x(n) w i ) u(R i ) a) b) y i-1 (n-1)

46 x1x1 x2x2 w1w1 w3w3 w2w2 x x x o x SOM RNA Hopfield w2w2 x n=0 n >0 w (n) w 2 w(0)=x Classificatore statico Static classifier Classificatore Dinamico Dynamic classifier RNA dinamiche per il riconoscimento di campioni statici Dynamic ANN for static pattern recognition

47 w 3 (n) Rete di Hopfield; Hopfield Network w 2 (n) w 1 (n) w 3 (0) = x 3 T ij i j w 2 (0) = x 2 w 1 (0) = x 1 T ij =T ji n> 0 n =0


Scaricare ppt "Reti neuronali artificiali dinamiche Dynamic Artificial Neural Networks I campioni: sequenze di vettori Pattern: sequences of vestors X=(x(n),n=1 N) Esempi:Segnali."

Presentazioni simili


Annunci Google