Inferenza del modello di "Eventi Complessi" da una base di sequenze temporali Attilio Giordana e Ugo Galassi Dipartimento di Informatica, Università del.

Presentazione sul tema: "Inferenza del modello di "Eventi Complessi" da una base di sequenze temporali Attilio Giordana e Ugo Galassi Dipartimento di Informatica, Università del."— Transcript della presentazione:

1 Inferenza del modello di "Eventi Complessi" da una base di sequenze temporali Attilio Giordana e Ugo Galassi Dipartimento di Informatica, Università del Piemonte Orientale, Via Bellini 25G, 15100 Alessandria, Italy. attilio.giordana@mfn.unipmn.it@mfn.unipmn.it

2 Traccia della Presentazione -Caratterizzazione del problema -Approccio metodologico. -Introduzione al Modello di Markov Nascosto Strutturato (S-HMM). -Un algoritmo capace di apprendere da un insieme di sequenze e da cononoscenza a priori -Una validazione sperimentale dell’algoritmo. -Uno sguardo alle applicazioni in corso di sviluppo

3 Il problema xfhqnrqcwtkfustokyhugliimiamiudwuumxoosakaiwdvaznancyug oiggohmisseptozkyounbiinksmmiamivizayyoosakbjemhxclsjnbancyqssacraowkqv zusvodvzmdxctaxcdtokyooqeenrmmiamkihsapwuzosakaipwlozgsnancyahn sxfbhdqvmcbwwtokygahcuzrmiamiugnoaowkposakaiyphftbunxncytktsmreq xfhqnrqcwtkfustokyhugliimiamiudwuumxoosakaiwdvaznancyug oiggohmisseptozkyounbiinksmmiamivizayyoosakbjemhxclsjnbancyqssacraowkqv zusvodvzmdxctaxcdtokyooqeenrmmiamkihsapwuzosakaipwlozgsnancyahn sxfbhdqvmcbwwtokygahcuzrmiamiugnoaowkposakaiyphftbunxncytktsmreq Come scoprire questo tipo di eventi? Sparsi, affetti da rumore Come li si può caratterizzare? Come si può costruirne un modello generativo?

4 Le Soluzioni del Signal Processing e della Bio-Informatica acattaagatataaaaa.cattaagatatgacta.............. S1S2S3 TATAGCIEEIPROMOTEREXON GENE -Un’architettura gerarchica -Un processo d’astrazione dove un evento complesso è descritto a livelli di granularit à cresente.

5 Hidden Markov Model (Definizione) Dato un insieme di stati Q e un insieme di simboli V: Un HMM l è definito da una tripla: = : A è una distribuzione di probabilit à su QxQ che per ogni coppia di stati q i, q j definisce la probabilit à a ij transizione tra q i, q j B è una distribuzione di probabilit à su QxV che per ogni stato q i definisce la probabilit à b ik di emettere l ’ osservazione o = v k, essendo v k un simbolo di V  è una distribuzione su Q che specifica per ogni stato q i la probabilit à di essere lo stato iniziale

6 Alcune Considerazioni - La struttura della « machina a stati finiti » determina il « mixture model » che definisce la distribuzione di probabilit à sulle sequenze che appartengono al suo linguaggio -Quando la struttura del modello è complessa, il numero di stati necessari può essere molto grande (molti parametri da stimare). -Il modo comunemente usato per ridurre la complessit à : Eliminare gli archi che a priori si sa essere « non importanti ».

7 Forward-backward Come si calcola la probabilit à che un HMM l produca una data sequenza di osservazioni Come si calcola la probabilit à che un HMM produca una data sequenza di osservazioni  t (i) definisce la probabilit à di essere nello stato q i al tempo t dopo le osservazioni o 1, o 2, …, o t Data una sequenza di osservazioni O = o 1, o 2, …, o t, ….. o T P(O| ) =  i  T (i)  t (i) definisce la probabilit à di essere nello stato q i al tempo t sapendo che seguiranno le osservazioni o t+1, ….. o T

8 L’HMM Strutturato: S-HMM Blocco base: Blocco composito: Blocco Nullo Si richiede che A k definisca un grafo orientato senza cicli

9 Stima delle Probabilit à nell ’ S-HMM Complessit à : Blocchi base: Tra Blocchi:

10 Stima delle Probabilit à nell ’ S-HMM …… Complessit à : Blocchi base: Tra Blocchi:

11 Che cosa ci offre l’S-HMM? 1.Drastica riduzione degli archi (meno parametri da stimare). 2.Possibilit à di usare sottomodelli comuni 3.Possibilit à di « lavorare » localmente su un sotto-modello 4.Possibilit à di inserire modelli costruiti con modalit à differenti 5.Bassa complessit à : tendenzialmente lineare nel numero degli stati. Vantaggi: Svantaggi: 1.Non modella i cicli ma soltanto le tracce 2.Può essere impreciso sui bordi di giunzione tra sotto-modello differenti E` una semplificazione dell ’ HMM gerarchico (Fine, Singer, Yoram) Distribuzione iniziale  sugli stati è sostituita dagli archi uscenti dallo stato di partenza I

12 La Modellizzazione del Tempo Nell’area del trattamento dei segnali si tende a introdurre una ulterire distribuzione di probabilit à sulla durata della permanenza in uno stato: Si perde la « Markovianicit à »: modello Semi-Markoviano! A BABABA Un approccio alternativo consiste nell’utilizzare una discretizzazione fine del tempo: il numero di stati può crescere molto! AAABBBBABAAAAAAABBBAAAAA

13 Il Problema della Modellizzazione Fine P{d q = t} t 12345678 234567H1 1.0 0.8 0.25 1.0 0.2 0.75 12345H p p p p 1-p 5 p1p1 p{dqdq  t}  p 1 t Non è realistico! 1-p 1 (A) * q

14 L’S-HMM che siamo capaci di « Costruire in modo automatico »

15 L’Algoritmo di Apprendimento: EDY (Discovery) Insieme di sequenze di apprendimanto Estensione del modello con nuovi « motif » Raffinamento del modello Controllo Finch è si trovano regolarit à

16 Come funziona… Estensione del modello SM1G1G2 E SM1 G1 G2 E M2G3G4 SM1 G1 G2 E M2G3G4 M3 G6G5 I motif sono scoperti come regolarit à che emergono dal rumore. In un gap si possono scoprire dei motif che non erano rilevabili considerando l’intera sequenza P(motif | S) < P(motif | S,  )

17 Scoperta delle regolarit à nelle sequenze ____p_ari_s___ ____prar _ os___ _ _____ari_s___ …acvsparissxhsjs….. …ruxzkpraroswhltrs….. …fdxzsarismigs….. x z k p r a r o s w h l s p a r i s y o u Clustering+ allineamento multiplo Relazione di equivalenza debole: edit distance

18 Validazione del metodo Sequenze artificiali il cui modello generativo è noto: 1.Un S-HMM è costruito a mano e usato per produrre un insieme S di sequenze. 2.EDY è usato per estrarre un modello ’ dalle sequenze. 3.Si segmenta ogni sequenza S sia con che con ’. 4.Le due segmentazioni s( ) et s( ’) vengono allineate calcolando la distanza di editing tra i segmenti considerati « motif ». 5.La distanza relativa tra due segmentazioni s( ) et s( ’) sequenza è condiderata l ’ errore del modello ’ sulla sequenza S.

19 Un Esempio $ seq0.str gap 3 fcfbffbeceggagegdcdbbcddbbc…….. obs a faacea gap 0 ccaeaggeadggfeacdggabggf obs b faaad gap 1 gafecgbfcabbdccabcfe obs c efcccbe gap 1 dafdcabfcbaf obs a faaceea gap 1 abcgbcdfgbfccebdafbdegdcbdfcc…. obs b afaaad gap 1 cdagaadaegagfcc obs c fcbe gap 3 geagbagfagbbdg………….. $ seq0.str gap 0 cfcegdbgccfccdbbdcfdcba……….. obs c acea gap 1 ccaeaggeadggfeacdggabggf obs a faaad gap 1 gafecgbfcabbdccabcfe obs b efcccbe gap 1 dafdcabfcbaffa obs c aceea gap 2 abcgbcdfgbfccebdafbdegdcbdfcc……… obs a afaaad gap 1 cdagaadaegagfcc obs b fcbe gap 0 geagbagfagbbdg …….. $ Err(s  = 3 Target Appreso

20 Discovering a target model – 3 motifs x-axis represents the length of motifs Length: 500-1000 350 problems of varying complexity

21 x-axis represents the length of motifs Discovering a target model – 6 motifs

22 x-axis represents the length of motifs Discovering a target model – 6 motifs with different occurring probability

23 x-axis represents the alphabet cardinality Discovering a target model – 3 motifs

24 x-axis represents the alphabet cardinality Discovering a target model – 6 motifs

25 x-axis represents the alphabet cardinality Discovering a target model – 6 motifs with different occurring probability

26 DNA g1 TCTGACC g2 CGACCTG g3 CATGC g4 GCACTC GCTCA g6 CAGCTGA B E g5 g7

27 User Profiling 1: SSSSS...............AAAAA.........IIIIIII..........................TTTTT..........TTTTTTT..............…AAAAAA 2: SSSSSSSSSSSSSS...........AAAAAIIIIII......................TTTTT...........TTTTTTT...…AAAAAAAAAAAAAAA 3:SSSSSSSSSSSSSSS........IIIIIIAAAAAAA..................TTTTTT..........TTTTTTTT....................................................................................................AAAAAAA

28 www.mfn.unipmn.it/~edygroup

29 Conclusione Abbiamo presentato il modello markoviano nascosto strutturato che semplifica e rende pi ù efficiente il modello gerarchico Abbiamo mostrato come possa essere costruito incrementalmente in modo automatico Esiste un’implementazione capace di trattare dati di rimarchevoli dimensioni. Applicazioni alla biologia molecolare e al process profiling.

30 Bibliografia \bibitem{botta:ecai04} M.Botta and U.Galassi, and A.Giordana. \newblock Learning complex and sparse events in long sequences. \newblock In {\em Proceedings of the European Conference on Artificial Intelligence, ECAI-04}, Valencia, Spain, August 2004. \bibitem{brown93} M.~Brown and S.J. Rogers. \newblock User identification via keystroke characteristics of typed names using neural networks. \newblock {\em International Journal of Man-Machine Studies}, 39:999--1014, 1993. \bibitem{durbin:dna} R.Durbin, S.Eddy, A.Krogh, and G.Mitchison. \newblock {\em Biological sequence analysis}. \newblock Cambridge University Press, 1998. \bibitem{fine1998} S.Fine, YSinger, and N.Tishby. \newblock The hierarchical hidden markov model: Analysis and applications. \newblock {\em Machine Learning}, 32:41--62, 1998. \bibitem{gussfield:book} D.~Gussfield. \newblock {\em Algorithms on Strings, Trees, and Sequences}. \newblock Cambridge University Press, 1997. \bibitem{durbin:dna} R.~Durbin, S.~Eddy, A.~Krogh, and G.~Mitchison. \newblock {\em Biological sequence analysis}. \newblock Cambridge University Press, 1998.

31 Bibliografia (ancora) \bibitem{joyce90} R.~Joyce and G.~Gupta. \newblock User authorization based on keystroke latencies. \newblock {\em Communications of the ACM}, 33(2):168--176, 1990. \bibitem{murphy2001} K.~Murphy and M.~Paskin. \newblock Linear time inference in hierarchical hmms. \newblock In {\em Advances in Neural Information Processing Systems (NIPS-01)}, volume~14, 2001. \bibitem{rabiner:hmm} L.R. Rabiner. \newblock A tutorial on hidden markov models and selected applications in speech recognition. \newblock {\em Proceedings of IEEE}, 77(2):257--286, 1989. \bibitem{xie2002} L.~Xie, S.~Chang, A.~Divakaran, and H.~Sun. \newblock {\em Learning hierarchical hidden Markov models for video structure discovery}, volume Tech. Rep. 2002-006. \newblock ADVENT Group, Columbia University, December 2002. \bibitem{Bonafonte1993} Antonio~Bonafonte Josep. \newblock Duration modeling with expanded hmm applied to speech recognition, 1993. \bibitem{Galassi2006} U.~Galassi, A.~Giordana and M.~Botta. \newblock {\em Learning Profiles based on Hierarchical Hidden Markov Models}. \newblock {\em Fundamenta Informaticae}, invited paper, to appear.

32 Bibliografia (ancora….) \bibitem{Levinson1986} S.E. Levinson. \newblock Continuous variable duration hidden markov models for automatic speech recognition. \newblock {\em Computer Speech and Language}, 1:29 -- 45, 1986. \bibitem{Pylkkonen2004} Janne Pylkk~Znen and Mikko Kurimo. \newblock Using phone durations in finnish large vocabulary continuous speech recognition, 2004. \bibitem{Tweed2005} D.~Tweed, R.~Fisher, J.~Bins, and T.~List. \newblock Efficient hidden semi-markov model inference for structured video sequences. \newblock In {\em Proc. 2nd Joint IEEE Int. Workshop on Visual Surveillance and Performance Evaluation of Tracking and Surveillance}, pages 247--254, Beijing, China, 2005. \bibitem{Yu2003} S-Z Yu and H.~Kobashi. \newblock An efficient forward-backward algorithm for an explicit duration hidden markov model. \newblock {\em IEEE Signal Processing Letters}, 10(1), 2003. \bibitem{bouchaffra:2006} D.~Bouchaffra and J.~Tan. \newblock Structural hidden markov models using a relation of equivalence: Application to automotive designs. \newblock {\em Data Mining and Knowledge Discovery}, 12:79, 96, 2006.