La presentazione è in caricamento. Aspetta per favore

La presentazione è in caricamento. Aspetta per favore

Learning Non Supervisionato. LEARNING NON SUPERVISIONATO  Non c’è insegnante  Reti con Input e Output, Nessun Feedback dall’ambiente  La Rete deve.

Presentazioni simili


Presentazione sul tema: "Learning Non Supervisionato. LEARNING NON SUPERVISIONATO  Non c’è insegnante  Reti con Input e Output, Nessun Feedback dall’ambiente  La Rete deve."— Transcript della presentazione:

1 Learning Non Supervisionato

2 LEARNING NON SUPERVISIONATO  Non c’è insegnante  Reti con Input e Output, Nessun Feedback dall’ambiente  La Rete deve scoprire Da Sola Caratteristiche, Regolarità, Correlazioni, etc. nei dati di input. (AUTO-ORGANIZZAZIONE)  Durante il Learning i pesi variano in accordo con una Regola Interna specificata A Priori LNS-1

3 LNS-2 Cosa possono individuare tali reti?  FAMILIARITA’ Quando un nuovo input è simile ai pattern visti in passato (ex: un output a valori continui)  ANALISI DELLE COMPONENTI PRINCIPALI estendendo il caso precedente a più unità porta ad una base lungo cui misurare la somiglianza a esempi precedenti  CLUSTERING Un set di output a valori binari può indicare a quale categoria appartiene un dato input  CODIFICA L’output può essere una versione codificata dell’input  FEATURE MAPPING Un output con una data struttura geometrica (ex: una matrice) può mappare gli input in punti diversi della struttura, realizzando una mappa topografica dell’input  Input simili  Output vicini

4 LNS-3 Quando utilizzare le Reti NON Supervisionate:  Quando il learning supervisionato non è possibile  Quando il learning supervisionato è troppo lento  In cascata ad una rete supervisionata

5 LNS-4 LEARNING HEBBIANO 1940:Donald Hebb, studiando la comunicazione tra neuroni, verificò che l’eccitazione ripetuta di un neurone i da parte di un neurone j portava all’abbassamento della soglia di eccitazione del neurone i. LA COMUNICAZIONE E’ FACILITATA DALL’ECCITAZIONE RIPETUTA j i w ij xjxj yiyi Estensione ai sistemi neurali artificiali: Il peso della w ij della connessione tra i neuroni i e j cresce al fluire di un segnale da j a i: Regola di Hebb

6 LNS-5  1 Strato  D Input  1 Output Lineare  y w1w1 w2w2 wDwD x1x1 x2x2 xDxD  x w y Gli Input più frequenti avranno, a lungo termine, più influenza e produrranno un output maggiore. grande y y = 0 L’ampiezza di y misura la somiglianza tra Input e Pesi Durante il learning, i pesi sono esposti ai dati di Input e condensano l’informazione in essi contenuta nel loro valore  I PESI SONO LA MEMORIA A LUNGO TERMINE DELLA RETE

7 LNS-6 Per un singolo peso: PROBLEMA:I pesi crescono senza limite ed il learning non si ferma mai  REGOLA DI OJA (versione stabile)  Vincolare la crescita dei pesi: 1.Rinormalizzazione dei pesi dopo l’aggiornamento: oppure Regola di Oja 2.Aggiungere un termine proporzionale a y 2, nella formula di Hebb

8 LNS-10 Regola di Oja Mantiene i pesi con norma unitaria

9 per  piccolo Input effettivo LNS-11 Posto: Dimostrazione:

10 LNS-7 Hebb  correlazione Learning on-line Learning batch Matrice di autocorrelazione degli Input Il learning Hebbiano aggiorna i pesi con una stima della funzione di autocorrelazione

11 LNS-8 Hebb  potenza Set di dati potenza in uscita definita positiva La regola di Hebb muove i pesi nella direzione del gradiente, nel campo di potenza dei dati di Input  Divergenza (campo illimitato) Es: D=2 w2w2 w1w1 V

12 LNS-9  Legame Potenza - Varianza  Massima Potenza  Massima Varianza  Varianza - Informazione Esempio: Nube di punti 2-D Spazio a dimensione minore (Componente Principale) E’ la direzione a maggiore varianza

13 Esempio: I pesi partono da piccoli valori random e vengono aggiornati secondo la regola di Oja: L’output finale è la proiezione dell’input x nella direzione di w È dovuto alla scelta di UNITA’ LINEARI LNS-12 w0w0 w x1x1 x2x2 w0w0 w x1x1 x2x2

14 LNS-13 a) Input a media zero = 0 Output a media zero = 0 (qualunque sia la direzione di w) MA la direzione di w Oja fa sì che sia massimo b) Input a media diversa da zero Output con media massima in corrispondenza di w Oja La direzione di w Oja fa sì che sia massimo

15 LNS-14 Significato di w Oja R matrice di autocorrelazione scalare reale w è un autovettore di R e l’autovalore massimo x1x1 x2x2 a asse principale

16 Ricapitolando: La regola di Oja converge ad un vettore peso che ha le seguenti proprietà:  w ha la direzione dell’ autovettore di R con autovalore massimo  w ha la direzione che massimizza la La forma quadratica, per w fissato è massimizzata quando w ha la direzione dell’autovettore massimo di R LNS-15 Per dati con

17 LNS-16 ANALISI DELLE COMPONENTI PRINCIPALI (PCA) La regola di Oja produce un vettore di pesi nella direzione in cui si trova la maggiore informazione sui dati di input COMPONENTE PRINCIPALE Come trovare altre direzioni che tengono conto il più possibile della varianza dei dati di Input? Scopo  Trovare un sistema di coordinate ORTONORMALE M vettori tra loro ortogonali M vettori di lunghezza unitaria che riduca la dimensione dei dati, massimando l’informazione contenuta

18 LNS-17 Esempio PCA B A O OA PRIMA COMPONENTE PRINCIPALE (AD ALTA VARIANZA) OB SECONDA COMPONENTE PRINCIPALE (A BASSA VARIANZA) La proiezione lungo OA consente di evidenziare i cluster  La prima componente principale si prende lungo la direzione a massima varianza;  La seconda lungo la direzione a massima varianza del sottospazio ortogonale alla prima;  La terza lungo …

19 LNS-18 Procedura: se Sia C la matrice di covarianza di x : dove: autovalori di C e colonne di Q:autovettori corrispondenti y  vettore delle componenti principali di x matrice di autocorrelazione

20 Scartando le combinazioni a piccola varianza: MDMD LNS-19 Riassumendo:

21 LNS-20 PCA Algoritmi basati sulla risoluzione di equazioni matriciali Reti NeuraliRETI NEURALI PCA    x1x1 x2x2 xDxD w 11 w 21 w 31 w 1D w2Dw2D w MD y1y1 y2y2 yMyM Rete Lineare

22 LNS-21 Regola di Sanger I componente principale (regola di Oja)  xjxj w1jw1j y1y1 i = 1  proiezione in uno spazio ortogonale alla I componente  xjxj w2jw2j y2y2 i = 2 II componente principale i = 3

23 LNS-22 N.B.I pesi relativi alla II CP convergeranno solo dopo la convergenza dei pesi della I CP, e così via … PCA è il miglior “feature extractor” LINEARE 1 COMPRESSIONE DATI Non esiste un sistema lineare che fornisca migliori caratteristiche per la ricostruzione  applicazione PCA per la compressione dei dati TR y W W -1 x al trasmettitore: compressione  proiezione al ricevitore: decompressione

24 LNS-23 2 CLASSIFICAZIONE x 1  ricostruzione x 2  classificazione 2 CLASSI Direzione principale x2x2 1 2 x1x1

25 Reti Competitive e di Kohonen

26 CK-1 LEARNING NON SUPERVISIONATO COMPETITIVO  Scopo: clusterizzare i dati in ingresso  Codifica  Compressione  Elaborazione di immagini  Ottimizzazione combinatoria y2y2 y1y1 x1x1 x2x2 x3x3 x4x4  Non sono robuste  Non possono rappresentare una conoscenza gerarchica  Un Output per ogni categoria Feature Mapping (Kohonen)  Solo un’unità è attiva (vincitore)

27 CK-2 SEMPLICE LEARNING COMPETITIVO x = [x 1,..., x N ](0, 1) y = [y 1,..., y N ](0, 1)... x1x1 x2x2 x3x3 xNxN y1y1 yMyM x wiwi wi xwi x IL VINCITORE E’ L’UNITA’ PIU’ VICINA ALL’INPUT VINCITORE

28 CK-3 IL LEARNING w(t = 0) = random REGOLA INSTAR w i new x x-wix-wi wiwi  (x-w i )   Sposta w i* verso x p  Fa sì che l’unità i* abbia maggiore probabilità di vincere in futuro per un Input simile a x

29 CK-4 Esempio di CLUSTERING P = 1, …, N numero di esempi p1p1 p2p2 Input binari Input continui Stato iniziale Stato finale w i vettori prototipo - individuano dei punti nello spazio Tassellazione di Voronoi

30 CK-5 1 solo strato  partizioni convesse dello spazio degli input N° di cluster da fissare a priori troppi cluster  cluster morti input simili in cluster diversi pochi cluster  ogni unità rappresenta + di un cluster Problema delle unità morte COSCIENZA

31 CK-6  Anche i neuroni vicini al vincitore possono essere attivi (bolla di attività)  Connessioni laterali funzione della distanza dal vincitore w ij i - j distribuzione a cappello messicano  E’ possibile un mappaggio topologico dallo spazio degli ingressi a quello delle uscite COMPETIZIONE SOFT

32 CK-7... y1y1 yMyM x1x1 x2x2 y2y2 y1y1 x1x1 x2x2

33 CK-8 RETI DI KOHONEN -Cappello messicano SENZA connessioni laterali -Le relazioni di vicinato compaiono nel learning -Output organizzato secondo una griglia 2-D 1- D 2 vicini Input 2-D Rete 1-D

34 CK-9 y2y2 y1y1 x1x1 x2x2 … xDxD  funzione di vicinato Rete di KohonenRete elastica x wiwi wi xwi x w i - x ALGORITMO DI LEARNING

35 CK-10 Scelta sperimentale del numero di neuroni Conservazione della DENSITA’ dei dati di Input  (n)  (n) V i (0) V i (t 1 ) V i (t 2 )

36 Esempi CK-11

37 CK-12 Applicazioni:  Controllo di motori  Riconoscimento del parlato  Ottimizzazione combinatoria  Quantizzazione vettoriale (LBG algorithm)  Kohonen è un algoritmo ottimale per la quantizzazione vettoriale  LVQ Learning Vector Quantization


Scaricare ppt "Learning Non Supervisionato. LEARNING NON SUPERVISIONATO  Non c’è insegnante  Reti con Input e Output, Nessun Feedback dall’ambiente  La Rete deve."

Presentazioni simili


Annunci Google