BIOINGEGNERIA S. Salinari Lezione 7. RETI CON APPRENDIMENTO SUPERVISIONATO A DISTANZA Nello sviluppo delle reti neurali si è proceduto indebolendo via.

Presentazione sul tema: "BIOINGEGNERIA S. Salinari Lezione 7. RETI CON APPRENDIMENTO SUPERVISIONATO A DISTANZA Nello sviluppo delle reti neurali si è proceduto indebolendo via."— Transcript della presentazione:

1 BIOINGEGNERIA S. Salinari Lezione 7

2 RETI CON APPRENDIMENTO SUPERVISIONATO A DISTANZA Nello sviluppo delle reti neurali si è proceduto indebolendo via via le ipotesi su cui si era basata la costruzione della rete stessa. Così per le reti ad apprendimento supervisionato, fin qui considerate, si è passati da reti ad un solo strato adattivo (lo strato relativo alle unità di uscita), quali le reti LMS ed il perceptron, a reti comprendenti strati nascosti per cui è stato elaborato lalgoritmo di apprendimento della Back Propagation. Il passo successivo consiste nellindebolire il concetto di insegnante: in questo senso si è passati da reti a cui veniva fornito linsieme di apprendimento, cioè un insieme di ingressi per cui erano note le corrispondenti uscite desiderate, a reti con apprendimento supervisionato a distanza ed infine a reti con apprendimento non supervisionato. Nelle reti con apprendimento supervisionato a distanza i pesi relativi alle connessioni fra le varie unità della rete non vengono ricavati in base alluscita desiderata corrispondente ad un determinato ingresso ma allobiettivo che si vuole raggiungere. Nelle rete con apprendimento non supervisionato deve essere la rete stessa ad estrarre dallinsieme degli ingressi che vengono presentati le somiglianze, le correlazioni, le caratteristiche comuni ecc. in modo da costruire dei prototipi a cui fare riferimento quando venga presentato un nuovo ingresso.

3 RETI CON APPRENDIMENTO SUPERVISIONATO A DISTANZA Si consideri il braccio di un robot con due articolazioni: Cinematica diretta: Note 1 e 2 determinare le coordinate (x1, x2) del punto raggiunto Cinematica inversa: Date le coordinate (x1, x2) del punto che si vuole raggiungere determinare le posizioni 1 e 2 delle articolazioni del braccio robotico Dinamica diretta: Dato lingresso di controllo u e lo stato del sistema ( d /dt) determinare laccelerazione Dinamica inversa: Noto lo stato del sistema ( d /dt) e laccelerazione desiderata determinare lazione di controllo. x1,x2 La dinamica inversa è quindi in generale definita dallequazione u = d 2 /dt 2 + d /dt+k in cui i parametri e k non sono noti. Si può quindi pensare utilizzare una rete neurale per modellare la dinamica inversa attraverso esempi. MIMD u stato Stato successivo Stato successivo*

4 RETI CON APPRENDIMENTO SUPERVISIONATO A DISTANZA Si potrebbe pensare di affrontare il problema come un problema di apprendimento supervionato sfruttando, per generare il set di apprendimento, il problema diretto: applicando quindi delle azioni e osservandoleffetto prodotto. Linsieme così costituito potrebbe essere utilizzato per addestrare un modello inverso direttamente, invertendo i ruoli degli ingressi e delle uscite Si deve però osservare che generalmente il problema inverso può essere mal posto: lo stesso punto obiettivo potrebbe corrispondere a più punti nellinsieme di partenza. Si potrebbe pensare, per ovviare a questo problema, di convergere ad un punto medio fra quelli possibili; va però osservato che, nel caso in cui linsieme dei punti nello spazio di partenza non risultasse convesso tale punto medio potrebbe cadere al di fuori dellinsieme ammissibile e quindi la convergenza si potrebbe avere verso una soluzione errata. In figura ad esempio la regione non convessa di sinistra è limmagine inversa di un punto appartenente allo spazio degli effetti. I due punti blu scuro corrispondono quindi a due azioni che portano allo stesso risultato. Una soluzione effettiva a tale problema potrebbe essere quella di utilizzare reti a moduli di esperti in cui si hanno più reti neurali che agiscono ciascuna in differenti zone dello spazio. In tal caso verrebbe eventualmente fornita più di una soluzione ottima fra cui potrebbe essere scelta quella da adottare.

5 RETI CON APPRENDIMENTO SUPERVISIONATO A DISTANZA Un approccio differente è dato proprio dallapprendimento supervisionato a distanza in cui il modello inverso viene appreso combinando in serie la rete neurale che si vuole addestrare con il modello diretto. y u y*y* + - Dinamica diretta Modello diretto Il modello diretto viene appreso utilizzando la funzione di costo J = (y-y*) T (y-y*)/2 y-y* errore di predizione e il gradiente stocastico w J = - y*/ w (y-y*) Applicando la discesa del gradiente stocastico e propagando allindietro gli errori si ottiene la regola di aggiornamento dei pesi per il modello diretto che viene mantenuto fisso durante lapprendimento del modello inverso. Per lapprendimento del modello inverso si minimizza la funzione costo J = (y-y) T (y-y)/2 y-y, errore di performance, misura la differenza fra leffetto desiderato e quello ottenuto. In tal caso si ha: w J = - u T / w y T / u (y-y) u T / w si calcola facilmente u uscita w pesi del modello inverso, (y-y) uscita desiderata meno uscita effettiva si calcola anche facilmente, y T / u viene sostituita da y*/ u Dinamica diretta Rete neurale y*u y stato y-y