RETI NEURALI - 2

TIPI DI APPRENDIMENTO Esistono due tipi di apprendimento: Supervisionato Non supervisionato L’apprendimento supervisionato fa uso di una serie di esempi di cui si conosce l’output L’apprendimento non supervisionato classifica l’input mediante autoorganizzazione

APPRENDIMENTO SUPERVISIONATO

APPRENDIMENTO SUPERVISIONATO Algoritmo: N esempi ciascuno composto da k input J output Ogni ciclo viene chiamato epoca di apprendimento Durante l’addestramento la rete impara la relazione fra input ed output

APPRENDIMENTO SUPERVISIONATO Algoritmo:

APPRENDIMENTO SUPERVISIONATO Regola Delta generalizzata: Errore = ( Dj – Oj) 2 Dwij = - e(d err / dwij) Vogliamo minimizzare l’errore Facciamo piccoli spostamenti di segno opposto alla derivata della funzione errore

APPRENDIMENTO SUPERVISIONATO

APPRENDIMENTO SUPERVISIONATO In questo modo ci spostiamo sempre nella direzione opposta a quella in cui l’errore cresce: se l’errore E cresce all’aumentare di wji i pesi vengono diminuiti, mentre se E diminuisce al crescere di wji i pesi vengono aumentati. Ad ogni ciclo ci avviciniamo al minimo dell’errore Quando l’errore è minore di e la rete si ferma.

APPRENDIMENTO SUPERVISIONATO Questo è il cosiddetto metodo del gradiente decrescente E’ la base dell’algoritmo di apprendimento backpropagation (retropropagazione dell’errore) Nelle reti a più strati non si può applicare direttamente perché mentre conosciamo l’errore sullo strato di output non conosciamo l’errore sullo strato hidden L’algoritmo arriva alla soluzione mediante manipolazioni matematiche

APPRENDIMENTO SUPERVISIONATO Quando la rete ha appreso si congelano i pesi e si utilizza la rete in testing, ossia per risolvere problemi nuovi Quanto migliore è la scelta del training set, tanto più facile per la rete è generalizzare Le reti backpropagation sono le più potenti e versatili attualmente implementate

APPRENDIMENTO SUPERVISIONATO TEOREMA DI HECHT-NIELSEN-KOLMOGOROV:  Data una qualsiasi funzione f:{0,1}n --> Rm, f(x) = y, f puo’ essere implementata esattamente da una rete neurale feedforward a tre strati con n elementi nel primo strato, 2n+1 elementi nello strato nascosto, ed m elementi nello strato di output.  

APPRENDIMENTO NON SUPERVISIONATO La SOM e’ stata sviluppata negli anni 80 da T. Kohonen sulla base di precedenti studi di neurofisiologia. Consiste in uno strato di N elementi, detto strato competititvo. Ciascuno di questi riceve n segnali x1,…,xn che provengono da uno strato di input di n elementi, le cui connessioni hanno peso wij.

APPRENDIMENTO NON SUPERVISIONATO La SOM e’ stata sviluppata negli anni 80 da T. Kohonen sulla base di precedenti studi di neurofisiologia. Consiste in uno strato di N elementi, detto strato competititvo. Ciascuno di questi riceve n segnali x1,…,xn che provengono da uno strato di input di n elementi, le cui connessioni hanno peso wij.

APPRENDIMENTO NON SUPERVISIONATO

APPRENDIMENTO NON SUPERVISIONATO Per stimare l’intensita’ Ii dell’input : Ii = D(wi,x) wi=(wi1,…,win)T  x i =(x1,...,xn)T D(u,x) e’ una qualche funzione distanza, ad es. quella euclidea.

APPRENDIMENTO NON SUPERVISIONATO A questo punto viene messa in atto una competizione per valutare quale elemento ha la minore intensita' di input (ossia quale wi e’ il piu’ vicino ad x). La SOM prevede a questo punto un meccanismo cosiddetto di inibizione laterale, che e' presente anche in natura sotto forma di trasformazioni chimiche a livello sinaptico.

APPRENDIMENTO NON SUPERVISIONATO Nella regione corticale del cervello, neuroni fisicamente vicini mostrano legami piu' forti, mentre ad una certa distanza iniziano a mostrare legami inibitori. Ciascun elemento riceve sia stimoli eccitatori da parte degli elementi adiacenti (neighborhood), sia stimoli inibitori da parte degli elementi piu' lontani, secondo la forma "a cappello messicano".

APPRENDIMENTO NON SUPERVISIONATO

APPRENDIMENTO NON SUPERVISIONATO L'esistenza della neighborhood e' utile per non polarizzare la rete su pochi neuroni vincenti. A questo punto ha luogo la fase di apprendimento, secondo la cosiddetta "winner Take All Law" (WTA). I dati di training consistono in una sequenza di vettori di input x .

APPRENDIMENTO NON SUPERVISIONATO Lo strato di Kohonen decide poi il neurone vincitore sull abase della distanza minima. Ora i pesi vengono modificati secondo la legge  winew = wiold + a(x - wiold)zi   0<a<1 e decresce lentamente nel tempo con una legge del tipo   a(t) = a [1 - t/d] dove d e' un'opportuna costante.  

APPRENDIMENTO NON SUPERVISIONATO  

APPRENDIMENTO NON SUPERVISIONATO Essendo zi <> 0 solo per il neurone vincitore, i pesi dei neuroni vincenti ruotano sempre piu' verso gli stimoli vettorialmente piu' vicini, fino a sovrapporsi idealmente con essi.  La SOM effettua cosi' una quantizzazione vettoriale, ossia una mappatura da uno spazio a molte dimensioni in uno spazio con numero minore di dimensioni, conservando la topologia di partenza.  

APPRENDIMENTO NON SUPERVISIONATO La SOM classifica bene pattern topologicamente ben distribuiti, ma si trova in maggiore difficolta' nel caso di ditribuzioni non lineari. E’ evidente l'importanza della configurazione iniziale dei pesi, che deve essere il piu' possibile simile alla topologia di input.