Apprendimento Automatico Apprendimento non supervisionato: Reti Neurali Apprendimento non supervisionato: Reti di Kohonen Stefano Cagnoni

Mappe auto-organizzanti (SOM) di Kohonen Homunculus Modello biologico di partenza Nella corteccia cerebrale esistono mappature (proiezioni) di stimoli sensoriali su specifiche reti di neuroni corticali. I neuroni senso-motori costituiscono una mappa distorta (l’estensione di ciascuna regione è proporzionale alla sensibilità della corrispondente area corporea, non alle dimensioni) della superficie corporea. Tuttavia, parti adiacenti della corteccia corrispondono a parti adiacenti della superficie corporea.

Mappe auto-organizzanti (SOM) di Kohonen Interazioni laterali fra neuroni eccitazione laterale a breve raggio (50-100 mm) azione inibitoria (fino a 200-500 mm) azione eccitatoria debole a lungo raggio (fino a qualche cm) approssimabili come:

Mappe auto-organizzanti (SOM) di Kohonen Mappe “sensoriali”, costituite da un singolo strato di neuroni in cui le unità si specializzano a rispondere a stimoli diversi in modo tale che: ingressi di tipo diverso attivino unità diverse unità topologicamente vicine vengano attivate da ingressi simili

Mappe auto-organizzanti (SOM) di Kohonen Singolo strato di neuroni ni i=1,w*h (w=largh. h= alt. mappa) Ogni ingresso X={xj, j=1,N} è collegato a tutti i neuroni (quindi ad ogni neurone afferiscono N connessioni) Ogni connessione è associata ad un peso wij Funzione di attivazione fi 1/d(Wi,X) d= distanza Presenza di interazioni laterali (proporzionali alla distanza fra neuroni secondo la funzione a cappello di messicano)

Mappe auto-organizzanti (SOM) di Kohonen I pesi di ciascun neurone vengono modificati: in senso eccitatorio, proporzionalmente al valore della propria funzione di attivazione e di quelle dei neuroni appartenenti ad un loro vicinato e in funzione della distanza da essi; in senso inibitorio, proporzionalmente al valore della funzione di attivazione dei neuroni esterni al vicinato e in funzione della distanza da essi. Quindi, se si ripropone lo stesso ingresso alla rete: i neuroni che avevano un valore elevato di attivazione e i vicini mostreranno un’attivazione ancora maggiore i neuroni che rispondevano poco risponderanno ancor meno

Mappe auto-organizzanti (SOM) di Kohonen Se si presentano alla rete dati ben distribuiti nello spazio degli ingressi, in modo iterativo, ogni neurone si specializza a rispondere a dati di un certo tipo Inoltre, neuroni vicini rispondono a stimoli vicini proiettando, in pratica, lo spazio degli ingressi sullo strato di neuroni. Risultati: riduzione di dimensionalità dei dati da N (dim. dell’ingresso) a m (dimensione della mappa); ogni dato è rappresentato dalla coordinata dell’unità su cui si proietta, cioè quella in cui il dato genera la massima attivazione, cioè quella per cui i cui pesi sono più simili (vicini) al dato stesso.

Mappe auto-organizzanti (SOM) di Kohonen In pratica: una SOM su cui sia stato operato il training partiziona lo spazio degli ingressi in tanti sottospazi quanti sono i neuroni ogni sottospazio si di S={Xk} è definito come: si = {Xj t.che d(Xj,Wi) = mint (Xi,Wt) } si ottiene la cosiddetta Tassellazione di Voronoi dello spazio di ingresso

Mappe auto-organizzanti (SOM) di Kohonen Semplificazioni del modello per implementazione algoritmo di addestramento: si modificano i pesi solo nell’intorno del neurone che ha max attivazione (neurone vincente, questo tipo di addestramento è detto anche competitive learning) si considerano solo le interazioni laterali eccitatorie all’interno di un intorno limitato del neurone vincente NB Modificare i pesi in senso eccitatorio significa renderli più simili all’ingresso (si incrementa l’attivazione in corrispondenza dell’ingresso stesso); modificarli in senso inibitorio significa renderli meno simili (l’attivazione diminuisce).

Mappe auto-organizzanti (SOM) di Kohonen a=C (a = learning rate, C costante positiva piccola << 1) Dato un training set X = { xi | , Xi=(xi1, xi2, ….,, xim), i=1…N } Inizializza i pesi con valori compatibili con i dati - Per ogni esempio xi nel training set: determina l’unità vincente nw modifica i pesi dell’unità vincente e di quelle che si trovano in un suo intorno nel modo seguente: wj(t+1) = wj (t) + a (xi - wj (t)) a(t+1) = a(t) * (1 - g) (g costante positiva piccola << 1 ) finché la rete non raggiunge una configurazione stabile o a = 0

Mappe auto-organizzanti (SOM) di Kohonen Modello semplificato delle interazioni laterali fra neuroni adiacenti la cui intensità ha un andamento tipico a cappello messicano. Nell’algoritmo si usa un modello semplificato in cui l’attivazione è uniforme nell’intorno del neurone vincente (a finestra rettangolare). L’intorno è tipicamente quadrato (per semplicità) ma può assumere qualunque forma (comune anche esagonale) E’ possibile prevedere anche un’area che circonda l’intorno considerato in cui si ha un effetto inibitorio, in cui cioè la regola diventa wj(t+1) = wj (t) - a (xi - wj (t)) Esiste un isomorfismo fra lo spazio di ingresso e lo spazio dei pesi

Mappe auto-organizzanti (SOM) di Kohonen Realizzano il clustering dei dati, cioè l’identificazione, nello spazio degli ingressi, di nuvole di dati che si addensano in zone dello spazio di ingresso, inducendone una partizione ogni partizione è rappresentabile mediante il centroide della nuvola, che nelle reti di Kohonen corrisponde ai pesi associati ad una unità della mappa il clustering è di tipo non supervisionato, in quanto non abbiamo alcuna informazione a priori sulle classi di appartenenza dei dati a posteriori è possibile classificare i dati in base alla partizione dello spazio degli ingressi cui appartengono

Versione supervisionata (Learning Vector Quantization o LVQ) La partizione di cui è centroide il vettore dei pesi associati ad una unità della mappa rappresenta il prototipo (o una approssimazione) per una certa classe di dati. Vector Quantization = procedura mediante la quale si definisce un codice di lunghezza limitata che approssima i valori di dati simili sostituendoli con un codice fisso. Il codice è tale da minimizzare l’errore che si commette sostituendo ad un insieme di dati vicini lo stesso elemento (il centroide dei dati) di tale codice. Utilizzabile per la compressione di segnali o immagini. Es. immagini a colori rappresentate con una palette di dimensioni limitate. Unendo questi concetti è possibile definire un algoritmo di apprendimento supervisionato con una regola simile alle SOM.

Learning Vector Quantization (LVQ) a=C (a = learning rate, C costante positiva piccola << 1) Dato un training set X = { (xi,li) | , Xi=(xi1, xi2, ….,, xim), i=1…N, liZ} Inizializza i pesi con valori compatibili con i dati, assegnando etichette random ai neuroni corrispondenti (o utilizzando alcuni degli esempi), purché rappresentino tutte le classi. Per ogni esempio xi nel training set: determina l’unità vincente nw modifica i pesi dell’unità vincente nel modo seguente: wj(t+1) = wj (t) + D a (xi - wj (t)) (D =1 se li = lw; D = -1 altrimenti) a(t+1) = a(t) * (1 - g) (g costante positiva piccola << 1 ) finché la rete non raggiunge una configurazione stabile o finché non si raggiunge un errore sufficientemente basso

Learning Vector Quantization Non è più necessario modellare le interazioni laterali fra neuroni: si effettua una quantizzazione, non una proiezione come nel caso delle SOM. La rete non è più una mappa, ma un insieme di prototipi indipendenti l’uno dall’altro La classificazione di un dato avviene assegnando al dato l’etichetta associata al prototipo che rappresenta la partizione dello spazio degli ingressi entro cui si colloca il dato, cioè il prototipo più vicino al dato. Errore valutabile come errore di approssimazione (vector quantization) o come accuratezza (classificazione) Problema del dimensionamento della rete: di quanti prototipi ho bisogno ?

Learning Vector Quantization L’algoritmo LVQ fissa a priori la dimensione della rete. Se i neuroni sono pochi (partizioni “grandi”), vi è elevata probabilità che in una partizione giacciano dati appartenenti a classi diverse. Se i neuroni sono troppi posso avere overfit. Al limite, posso azzerare l’errore di classificazione sul training set se utilizzo una rete che ha tanti neuroni quanti esempi nel training set e pesi uguali agli esempi stessi. Si possono usare strategie di dimensionamento dinamico della rete, in funzione delle prestazioni della rete.

Optimum-Size Learning Vector Quantization (OSLVQ) E’ necessario predisporre un validation set, da utilizzare per valutare le prestazioni della rete, ai fini di effettuare le modifiche opportune. Modifiche = cancellazioni o inserimento di neuroni Se un neurone viene attivato da pattern appartenenti ad una classe diversa in numero significativo, è necessario inserire un nuovo neurone corrispondente a tale classe nella partizione corrispondente. Se un neurone non viene mai attivato o se, in sua assenza, i pattern che giacciono nella sua partizione vengono ugualmente classificati in modo corretto, si può eliminare il neurone

Optimum-Size Learning Vector Quantization (OSLVQ) Si definiscono le costanti, a, b, g e Niter a = numero max di errori tollerato in una partizione b = numero minimo di pattern che devono attivare un neurone g = numero max di neuroni vicini della stessa classe Per ogni Niter iterazioni dell’algoritmo LVQ Se in una partizione P si ha che Nerr > a, allora si aggiunge un neurone. I pesi del nuovo neurone sono inizializzati con le coordinate del centroide (media) dei pattern, appartenenti alla classe su cui si commettono più errori in P, che cadono in tale partizione. Se il neurone è attivato da Np < b pattern, allora si elimina il neurone. Se Nn > g neuroni vicini appartengono alla stessa classe, si elimina il neurone. finché la rete non si stabilizza o raggiunge prestazioni “sufficienti”