governare l’Information Overload Text Mining STALKER/OML Analisi dati Analisi risultati Intro Text Mining governare l’Information Overload Federico Neri (neri@synthema.it) LEXICAL SYSTEMS LAB

Information Overload 80% testuali 20% numerici Text Mining STALKER/OML Analisi dati Analisi risultati Intro Information Overload Migliaia di documenti vengono prodotti ogni giorno: 80% testuali 20% numerici neri@synthema.it

Information Overload Internet/Intranet, DB, ... Text Mining STALKER/OML Analisi dati Analisi risultati Intro Information Overload Internet/Intranet, DB, ... HTML, XML, PDF, Word, TXT, … Inglese, Francese, Tedesco, Italiano, Arabo, Cinese, Russo… neri@synthema.it

Percezione e Conoscenza della realtà che ci circonda Text Mining STALKER/OML Analisi dati Analisi risultati Intro Information Overload Brevetti, Pubblicazioni scientifiche E-mail WEB Telefonate Stampa Percezione e Conoscenza della realtà che ci circonda neri@synthema.it

Che cosa è il Text Mining Intro STALKER/OML Analisi dati Analisi risultati Text Mining Che cosa è il Text Mining Insieme di tecniche linguistico-matematiche per Analizzare fonti testuali Strutturare e classificare automaticamente il contenuto Trovare l’informazione nascosta Supporto nel Processo Decisionale neri@synthema.it

Che cosa non è il Text Mining Intro STALKER/OML Analisi dati Analisi risultati Text Mining Che cosa non è il Text Mining Non è analisi puntuale di un testo, ma analisi quantitativa e qualitativa di un insieme esteso di testi. Non è una metodologia di archiviazione di testi in argomenti predefiniti, noti a priori. Non è routing dell’informazione. neri@synthema.it

Informazione come Supporto nel Processo Decisionale Intro STALKER/OML Analisi dati Analisi risultati Text Mining Informazione come Supporto nel Processo Decisionale Text Mining per Ottenere una visione di insieme degli argomenti Accedere all’informazione su base tematica Trovare l’informazione nascosta Trovare l’informazione d’interesse neri@synthema.it

Come gestire migliaia di documenti? Intro Text Mining Analisi dati Analisi risultati STALKER/OML Come gestire migliaia di documenti? Database Banche dati Internet neri@synthema.it

Come gestire migliaia di documenti? Innovazione online Intro Text Mining Analisi dati Analisi risultati STALKER/OML Come gestire migliaia di documenti? Innovazione online Banche dati STALKER/OML server SEARCHBOX+TWIDEXPERT (Analisi linguistica, statistica) Modelli Dizionari Grammatiche Back-end Internet Clustering engine Search engine Front-end Ufficio1 Intranet Banca dati Ufficio3 Ufficio2 neri@synthema.it

Architettura (STALKER) Intro Text Mining Analisi dati Analisi risultati STALKER/OML Architettura (STALKER) Banche dati Banca dati Crawler Modelli Dizionari Grammatiche Clustering engine Search engine Stalker server Internet Lexical plugin TWID TWIDExpert Reverse indexes SearchBox neri@synthema.it

Monitoraggio, consultazione e approfondimento STALKER/OML Intro Text Mining Analisi dati Analisi risultati Il processo produttivo Back-end Scelta e preparazione dei dati Analisi dei dati e storage Front-end Ricerca e Analisi dei risultati Monitoraggio, consultazione e approfondimento neri@synthema.it

Scelta e Preparazione dati (BackEnd) Intro Text Mining STALKER/OML Analisi dati Analisi risultati Scelta e Preparazione dati (BackEnd) Scelta: Preparazione: neri@synthema.it

Preparazione dei Dati (BackEnd) (brevetti, pubblicazioni, e-mail, …) Intro Text Mining STALKER/OML Analisi dati Analisi risultati Preparazione dei Dati (BackEnd) (brevetti, pubblicazioni, e-mail, …) Analisi Lessicale per Distinguere “ciò che è detto” da “come viene detto” trovare convergenze nel significato cogliere l’informazione da classificare neri@synthema.it

Identicazione automatica dei descrittori per ciascun documento Intro Text Mining STALKER/OML Analisi dati Analisi risultati Preparazione dei Dati (BackEnd) (Analisi lessicale) Analisi Morfo-sintattica e/o Terminologica Identicazione automatica dei descrittori per ciascun documento rimuovere Ambiguità Analisi Logica Analisi Semantica trovare Sinonimi espandere Acronimi raggruppare Varianti Grafiche estrarre Espressioni Composte neri@synthema.it

Analisi Grammaticale riduce le ambiguità Intro Text Mining STALKER/OML Analisi dati Analisi risultati Preparazione dei Dati (BackEnd) (Analisi lessicale - Morfo-sintattica) DETTI DETTO: nome, masc. plur. DETTARE: verbo, ind. pres. 2a pers. sing. DARE: verbo, ind. pass. rem. 1a pers. sing. DIRE: verbo, part. pass. masc. plur. TRATTO TRATTO, TRATTARE Analisi Grammaticale riduce le ambiguità Lemma invio, inviati, invia  inviare [verb] capi stazione  capo stazione [noun] neri@synthema.it

Preparazione dei Dati (BackEnd) (Analisi lessicale - Morfo-sintattica) Intro Text Mining STALKER/OML Analisi dati Analisi risultati Preparazione dei Dati (BackEnd) (Analisi lessicale - Morfo-sintattica) neri@synthema.it

trovare convergenza nel significato Intro Text Mining STALKER/OML Analisi dati Analisi risultati Preparazione dei Dati (BackEnd) (Analisi lessicale - Semantica) trovare Sinonimi ( $, dollaro, biglietto verde, … ) espandere Acronimi ( ANP  Autorità Nazionale Palestinese ) raggruppare Varianti Grafiche ( visto, veduto ) estrarre Espressioni Composte ( carta di credito, Ministro degli Esteri ) trovare convergenza nel significato neri@synthema.it

Multilingual Teminology Intro Text Mining STALKER/OML Analisi dati Analisi risultati Preparazione dei Dati (BackEnd) Lemmatizer/ Teminology detector Mono-lingual Dictionaries, Grammars Identificazione della lingua Parsing, lemmatizzazione Estrazione terminologica Multi-lingual Dictionaries Multilingual Teminology matcher Allineamento multilingua Indexer Documents DB Indicizzazione terminologica Ricerca e clustering non solo lemmi, ma soprattutto terminologie neri@synthema.it

Trovare l’informazione rilevante Intro Text Mining STALKER/OML Analisi dati Analisi risultati Preparazione dei Dati (BackEnd) (Analisi lessicale - Morfo-statistica) Analisi Morfologica + pattern matching (n+base(n)  credit card, fuel cell, … ) ( base(n)+prep+n+prep+n  arma di distruzione di massa, ... ) Analisi Statistica Soglia di Frequenza Soglia di Significatività (n > 1, 1 = f(SW-MW,nTot,…) ) ( log((1/n) * (nTot/nDoc) * f(POS)*...) > 2 ) Trovare l’informazione rilevante neri@synthema.it

non solo lemmi, ma terminologie Intro Text Mining STALKER/OML Analisi dati Analisi risultati Preparazione dei Dati (BackEnd) guanto[NOUN] paraffina [NOUN] guanto di paraffina [NOUN] rilevare [VERB] traccia[NOUN] polvere[NOUN] polvere da sparo[NOUN] non solo lemmi, ma terminologie neri@synthema.it

Multilingual Teminology Intro Text Mining STALKER/OML Analisi dati Analisi risultati Analisi Statistica Lemmatizer/ Teminology detector Mono-lingual Dictionaries, Grammars Multi-lingual Dictionaries Indexer Multilingual Teminology matcher Identificazione della lingua Parsing, lemmatizzazione Estrazione terminologica Allineamento multilingua Indicizzazione terminologica Documents DB Ricerca e clustering neri@synthema.it

Analisi Statistica neri@synthema.it Intro Text Mining STALKER/OML Analisi dati Analisi risultati Analisi Statistica neri@synthema.it

classi affini per contenuto STALKER/OML Intro Text Mining Analisi dati Analisi risultati Ricerca e Classificazione Ricerca per chiavi ed accesso puntuale Raggruppamento in classi affini per contenuto Concatenazione fra classi correlate neri@synthema.it

Analisi dei risultati Liste ordinate Mappe neri@synthema.it Intro Text Mining STALKER/OML Analisi dati Analisi risultati Analisi dei risultati Liste ordinate Mappe neri@synthema.it

Scoperta di risultati inaspettati Intro Text Mining STALKER/OML Analisi dati Analisi risultati Scoperta di risultati inaspettati Consultare documenti per tema Trovare relazioni nascoste neri@synthema.it

I nuovi sviluppi: motore di ricerca in linguaggio naturale multilingua Intro Text Mining STALKER/OML Analisi dati New I nuovi sviluppi: motore di ricerca in linguaggio naturale multilingua neri@synthema.it

I nuovi sviluppi: document analyser Intro Text Mining STALKER/OML Analisi dati New I nuovi sviluppi: document analyser neri@synthema.it

Indirizzi utili Trovare l’informazione neri@synthema.it Intro Text Mining STALKER/OML Analisi dati Info Indirizzi utili Trovare l’informazione neri@synthema.it http://www.synthema.it/textmining http:// www.spi-rit.net neri@synthema.it