Riconoscimento di forme Docente: Edmondo Trentin trentin@dii.unisi.it http://www.dii.unisi.it/~trentin

Problemi di classificazione Il cambiamonete Riconoscimento del parlato Riconoscimento del labiale Riconoscimento del parlatore Identificazione per sistemi di sicurezza (iride, impronte digitali) Riconoscimento di caratteri Classificazione di immagini Classificazione in ambito biomedico (ECG) e bioinformatico (genomica funzionale e strutturale)

Schema generale del sistema Estrai feature Classifica Evento Classe Nel mondo reale si verifica un EVENTO (es. istanza di un oggetto) Un PROCESSO DI ESTRAZIONE DI FEATURE rappresenta una descrizione digitalizzata dell’evento all’interno di uno spazio vettoriale Un PROCESSO DI CLASSIFICAZIONE determina la CLASSE di appartenenza dell’evento tra c classi possibili

Importanza delle feature Lo stesso problema di classificazione assume difficoltà diversa a seconda delle feature che si hanno a disposizione (es. gender classifier) Le feature devono essere il più possibile compatte (dim. ridotta) e informativamente ricche

Tipi di feature Numeriche (discrete o continue): numero di pixel neri in una bitmap, frequenza di un suono, angolo di inclinazione di una linea di testo manoscritto, peso e dimensioni di un oggetto, … Simboliche: simboli o stringhe di simboli su un certo alfabeto finito e discreto (es. testi letterari, sequenze aminoacidiche) Qualitative: alto, basso, grosso, piccolo, rosso, blu, buono, cattivo, normale, strano, … Useremo soprattutto feature numeriche. Quelle qualitative potranno essere codificate con valori numerici.

Estrazione di feature: esempio 1

Estrazione di feature: esempio 2 Coefficenti “spettrali” Forma d’onda

Funzione discriminante Sia dato un problema a c classi I pattern x sono vettori d-dimensionali Per ogni classe i, i=1,…,c, si cerca di definire una funzione discriminante g(i,x) tale che: g(i,x)>g(j,x) sse x è di classe i Ad ogni nuovo evento, il classificatore si limita dunque a determinarne la classe di appartenenza sulla base della funzione discriminante che ha valore maggiore

Approccio intuitivo 1: distribuzioni di probabilità delle classi

Approccio intuitivo 2: superfici di separazione

Programma del corso 1. INTRODUZIONE Esempi di problemi di classificazione. Estrazione di feature e classificatore. Feature numeriche (discrete o continue) e qualitative. Esempi di estrazione di feature. Funzione discriminante. Approcci intuitivi: linea di separazione, superficie di separazione, caratterizzazione statistica della distribuzione. Classificazione su dati statici e dinamici. Richiamo di elemnti di statistica multivariata. La Normale multivariata.

2.1 Teoria Bayesiana delle decisioni 2.APPRENDIMENTO SUPERVISIONATO 2.1 Teoria Bayesiana delle decisioni Apprendimento supervisionato. Teorema di Bayes. Rischio Bayesiano, probabilita' di errore, equal error rate. Classificazione: 2-classi vs c-classi. Superfici di separazione. Funzioni discriminanti: il caso notevole della Normale.

2.2 Stimatori parametrici Nozione di stimatore parametrico nel caso supervisionato. Stima a massima verosimiglianza (ML). Stima ML per i parametri della Normale. Validazione e generalizzazione: training, validation e test set. Leave-1-out. Many-fold crossvalidation. Bootstrap.

2.3 Stimatori nonparametrici Elementi su density estimation e Parzen Window. Tecniche nearest neighbor (NN) e k-NN. Discriminanti lineari (superfici di separazione 2-class/c-class; funzioni discriminanti lineari generalizzate; separabilita' e non-separabilita'; algoritmo di Widrow-Hoff; relazione con i Simple Perceptron); reti neurali artificiali (ANN); universalita'; relazioni tra MLP e classificatori Bayesiani; funzioni a base radiale (RBF); elementi di generalizzazione e regolarizzazione.

3. APPRENDIMENTO NON SUPERVISIONATO Misture di densita', identificabilita', stima ML unsuprevised. Stima ML per misture di componenti Gaussiane. Approccio algoritmico: k-means. Clustering: misure di similarita', ottimizzazione iterativa (mse), clustering gerarchico (agglomerativo, partitivo). ANN competitive e loro relazione con k-means; ANN a ML per stima di densita' di probabilita'.

4. CLASSIFICAZIONE DI DATI SEQUENZIALI Esempi (OCR e bioinformatica); il problema del riconoscimento del parlato: modello acustico e modello del linguaggio; reti neurali ricorrenti, backpropagation through time, limitazioni. Modelli di Markov nascosti (HMM); i 3 problemi fondamentali, trellis, algoritmi di Baum-Welch e Viterbi, limitazioni. Ibridi ANN/HMM: modello di Rigoll, segmental neural net, approccio di Bengio; uso della rete per stime di probabilita': paradigma di Bourlard&Morgan, paradigma di Trenin&Gori. Applicazioni.

5. CENNI ALLA CLASSIFICAZIONE DI DATI STRUTTURATI Dati strutturati e grafi, esempi. ANN ricorsive e encoding net; caso supervisionato e non-supervisionato.