Formalismo ed applicabilità del metodo ICA (Independent Component Analysis) Francesca Marcucci Università di Perugia e INFN Udine 31 gennaio 2003.

Presentazione sul tema: "Formalismo ed applicabilità del metodo ICA (Independent Component Analysis) Francesca Marcucci Università di Perugia e INFN Udine 31 gennaio 2003."— Transcript della presentazione:

1 Formalismo ed applicabilità del metodo ICA (Independent Component Analysis) Francesca Marcucci Università di Perugia e INFN Udine 31 gennaio 2003

2 ICA: Independent Component Analysis i=1,..,M j=1,..,N Modello: Ms 1 s 2 s 3....... s M Supponiamo che M segnali di media nulla s 1 s 2 s 3....... s M ma siano osservabili solo N N combinazioni lineari delle variabili s i x j = a ij · s i x=As A={a ij } Statistical latent variables model A Se la matrice A non è nota il problema puo essere risolto facendo alcune assunzioni s i sulle proprietà statistiche delle sorgenti s i n Dovrebbe essere considerato anche un termine aggiuntivo n per il rumore x=As + n ICA è una tecnica statistica per la decomposizione di un complesso dataset nelle sue sottoparti indipendenti ed è particolarmente utile nella soluzione di problemi di Blind Source Separation (BSS)

3 Ipotesi per l applicabilità di ICA: N >= MM=N N >= M (nel seguito assumiamo M=N senza perdita di generalità) al massimo una delle sorgenti e gaussiana s i le sorgenti s i sono statisticamente indipendenti A la matrice A ha rango massimo n=0 per ora n=0, ma il modello puo essere esteso anche se di più difficile risoluzione Ambiguità del metodo: Il metodo fornisce una misura dell indipendenza delle componenti ma non da informazioni sullEnergia (varianza) e sull ordine in cui si ottengono, ovvero la matrice A puo essere scritta (dopo la convergenza) come: A=PD P=permutazione D=matrice diagonale Soluzione: Whitening or Sphering

4 PREPROCESSAMENTO DEI DATI: Se i dati s i non hanno media nulla allora si sottrae il valor medio (ad x i ) Whitening o sphering: Serve ad ottenere dei nuovi dati x con varianza unitaria x=Vx dove E{ x x T }=1 (=I) Se E{ x x T }=C allora V=C -1/2 infatti E{ x x T }= E{V x x T V T }=C -1/2 C C -1/2 =I

5 Illustrazione del metodo: Supponiamo di avere due variabili indipendenti uniformemente distribuite nella regione illustrata, con media nulla e varianza unitaria 1/2 3 |s i |< 3 Ad es. P(s i )= 0 altrove Applichiamo 2 3 A= 2 1 Le direzioni ci danno informazione sulle colonne di A s1s1 s2s2 x2x2 x1x1

6 Per stimare una delle componenti indipendenti consideriamo y = w T x = i w i x i se w fosse l i-ima riga di A -1 allora y= s i z = A T w y = w T x = w T As = z T s WWW T =I Se i dati hanno varianza unitaria W e una matrice ortogonale WW T =I … cerchiamo un metodo piu generale Procedimento: Si basa sul teorema del limite centrale: La distribuzione della somma di variabili random indipendenti tende ad una distribuzione gaussiana

7 Come usare il teorema del limite centrale? Ora abbiamo y = z T s ossia una combinazione lineare delle sorgenti indipendenti. Tale somma è piu gaussiana delle componenti originarie e lo diventa al minimo quando y=s i ossia z ha solo li-imo elemento non nullo. w scelto in modo da massimizzare la non-gaussianità di w T x Misure di non-gaussianità: KURTOSIS KURTOSIS kurt(y)=E{y 4 } – 3(E{y 2 }) 2 è nullo per variabili gaussiane quindi si cerca il max di |Kurt(y)| NEGENTROPY NEGENTROPY J(y)=H(y gauss ) – H(y) con H(y)= f(y) log f(y) dy è nulla per variabili gaussiane (quelle con la max entropia H) MUTUAL INFORMATION MUTUAL INFORMATION I(y 1,…,y M ) = i H(y i ) – H(y) È nulla per variabili indipendenti e non negativa va minimizzata

8 Modello di rete neurale: y xx WQ y è una stima del vettore s y = W x Q è una stima della matrice A x = Q y 1. Apprende una matrice W tale che y=Wx sono indipendenti 2. Apprende una matrice Q tale da minimizzare E{||n|| 2 }=E{||x-Qy|| 2 }

9 x x x V Q y BTBT W=B T V Con pre-withening:

10 LEARNING: Massimizzare/minimizzare rispetto a w una delle funzioni F(w) precedenti imponendo dei vincoli ad esempio E{y 2 }=1 e E{y}=0, ad esempio utilizzando i moltiplicatori di Lagrange : gradient-ascendent method: w k+1 = w k + L wk Newton-Like method: L w 2 = r(w) R xx L w 2 w k = - L wk w k+1 = w k - R xx -1 L wk / r(w)ALGORITMI: Herault-Jutten: fallisce per piu di 2 sorgenti EASI: performance uniforme Bells and Seinowskys: performance uniforme e non richiede pre-withening Chicocki and Amari: per feedforward e recurrent network BIGRADIENT: necessario prewhitening, molto flessibile NONLINEAR PCA: senza prewhitening separa solo componenti sinusoidali. Adatto principalmente per funzioni sub-gaussiane

11 FastICA : Caso semplice one-unit (una sola unità computazionale 1 neurone con peso w) FastICA trova un vettore unitario w tale che massimizzi la non-gaussianità di w T x (utilizzando la Negentropy) con il metodo Newton-Like 1. Sceglie un iniziale vettore w random 2. calcola w+ = E{xg (w T x)} – E{g (w T x)} w g derivata di una funzione non quadratica 3. controlla se w = w+ / ||w+|| 4. se non converge (w w+ = 1, hanno la stessa direzione) ritorna al punto 2 Tale algoritmo one-unit permette di determinare solo 1 componente ma può essere facilmente esteso per la stima di più componenti indipendenti improntando una rete several-unit con neuroni di pesi w 1,…,w n Converge più rapidamente del metodo ICA; non necessita della stima di funzioni g o di parametri di altri parametri, è gratuito e disponibile sul web.

12 Recente applicazione: (Baccigalupi et al. 2002) SCOPO: SCOPO: Separazione di componenti astrofisiche sovrapposte, ricostruendone sia le caratteristiche spaziali che spettrali, senza assunzioni a priori se non lindipendenza e lassenza di componenti gaussianeMODELLO: x i (r, )= ij s j (r, ) (N differenti processi fisici) x=vettore M-dim M canali di misura (diverse bande di frequenza) e strumento caratterizzato da una PSF B(r, ) e funzione di risposta t ( ) x (r)= B(r-r, ) j t ( )s j (r, ) dr d + n Ipotesi: 1. funzione separabile s j (r, ) = f j ( ) s j (r) 2. B(r-r, )=B(r) indipendente dalla frequenza 3. aij= t ( )f ( ) d x(r)=A s(r) * B(r) + n 4. n è un rumore bianco, indipendente dal segnale, Gaussiano e stazionario

13 Synchrotron angular power spectra Inputoutput

14 CMB angular power spectra

15 Limiti: La ricostruzione della matrice di separazione peggiora nellì ipotesi in cui il rapporto tra due componenti è fortemente variabile lungo la skymap ES: le polveri dominano sul piano galattico mentre CMB domina ad alte latitudini La ricostruzione è ottenuta con un errore migliore dell 1% nelle regioni in cui S/N 1.5, lerrore cresce fino al 10% per S/N 1

16 Ancora un applicazione in astrofisica: (Maria Funaro, Erkki Oja e Harri Valpola,2002) Scopo: Individuare e rimuovere gli artefacts che influenzano le immagini (fluttuazioni,stelle della nostra galassia, rumore strumentale) basandosi sull analisi del profilo temporale della luminosità dei pixel e sullindipendenza delle componenti dell immagine. Dati: Immagini della Galassia M31 N T M X = AS Modello: N pixel T immagini M sorgenti X = AS X X matrice TxN riga X t : singola immagine al tempo t colonna X n : serie temporali (curve di luce) del pixel n S S matrice MxN righe: immagini delle componenti indipendenti per il singolo pixel n X n = a m S mn A A matrice TxM : le M colonne di A (mixing vectors a m ) sono delle curve di luce virtuali le cui combinazioni lineari danno quelle reali X n a m caratterizza il comportamento temporale della sorgente m S mn caratterizza il comportamento spaziale

17 T = 35 e N=100x100 pixel dopo whitening 35 10 componenti indip. Immagine originaria 1° e 2° autovettori: Raggi cosmici

18 5° autovettore: Sorgente puntiforme

19 Conclusioni Ci sono pochi casi in letteratura di applicazioni ICA in astrofisica, ma in questo campo lindipendenza delle componenti assicura lapplicabilità del metodo. La bontà statistica del metodo e legata principalmente alla minimizzazione della funzione di costo nella rete neurale implementata. E necessario verificarne laccuratezza con modelli simulati piu vicini alla realtà osservativa ICA è sicuramente piu rapido dei metodi tradizionali … ma è ugualmente attendibile? PROPOSTA: Utilizzare in un primo momento FastICA,Likelihood e Wavelet con gli output del light simulator e confrontare i due metodi