Bioinformatica Classificazione

Presentazione sul tema: "Bioinformatica Classificazione"— Transcript della presentazione:

1 Bioinformatica Classificazione
Dr. Giuseppe Pigola –

2 Classificazione e Predizione
Processo di individuazione di una etichetta della classe categoriale di appartenenza di un oggetto; Se una banca deve decidere se assegnare o meno un prestito ad un correntista, «lo classifica» assegnando una etichetta categoriale (ad es. affidabile / non affidabile); Il medico che deve fare una diagnosi su un paziente «lo classifica» assegnando una etichetta (ad es. malato / sano); PREDIZIONE La predizione modella una funzione continua (mentre la classificazione ha a che fare con valori discreti) e consente di individuare dati sconosciuti o mancanti. Bioinformatica

3 Classificazione CLASSIFICAZIONE: TRE FASI
ADDESTRAMENTO: Costruzione del modello tramite un training set; STIMA DELL’ACCURATEZZA: Calcolo della percentuale di correttezza nell’individuazione della classe durante il processo di classificazione. Velocità; Robustezza: Capacità di discriminare dati corretti e errati; Scalabilità; Interpretabilità di ciò che si ottiene dal classificatore; UTILIZZO: Il modello viene utilizzato per classificare input sconosciuti; Bioinformatica

4 Classificazione: Preparazione dei Dati
DATA CLEANING: Si cerca di eliminare o ridurre il rumore provvedendo a risolvere il problema di dati mancanti; RELEVANCE ANALYSIS: Analizzare i dati e mantenere solo quelli effettivamente discriminanti per la fase di classificazione; DATA TRANSFORMATION AND REDUCTION: Si normalizzano alcuni tipi di dati. La normalizzazione consiste nello scalare i valori di un attributo in un range predefinito (ad esempio [0,1]); Dato un set di dati generalmente viene suddiviso in due parti: Una parte verrà utilizzata per addestrare il modello, l’altra verrà usata per testare il modello; Bioinformatica

5 Support Vector Machines - SVM
Bioinformatica

6 Support Vector Machines - SVM
Le SVM machines sono state sviluppate negli AT&T Bell Laboratories da Vapnik e Chervonenkis; Prime applicazioni: OCR (optical character recognition); Riconoscimento di oggetti [Blanz et al., 1996]; Indentificazione di oratori [Schmidt, 1996]; Identificazione di facce in immagini [Osuna, et al. 1997]; Classificazione di testi [Joachims, 1997]. Software: Bioinformatica

7 Support Vector Machines - SVM
Sono metodi di classificazione che garantiscono una elevata accuratezza della predizione; Necessitano di pochi dati. Non sono generalmente affette da overfitting; Spesso però è difficile modellare un problema con le SVM, specialmente quando si ha a che fare con spazi multidimensionali; Obiettivo del metodo è quello di costruire una «funzione di classificazione» che si spera possa classificare nuovi dati; Considereremo il caso di classificazione con 2 classi, ma tutto può essere esteso al caso di k classi; Bioinformatica

8 Support Vector Machines - SVM
Per il calcolo della funzione f distinguiamo due casi: Classificazione Lineare (I dati sono linearmente separabili): Esiste nello spazio Rn almeno un iperpiano in grado di separare le tuple del training set (punti di Rn) di classe C1 da quelle di classe C2; Classificazione non Lineare (I dati non sono linearmente separabili): Non esiste nello spazio Rn un iperpiano in grado di separare le tuple di classi diverse; Bioinformatica

9 SVM – Classificazione Lineare
Trovare l’iperpiano che separa «meglio», cioè l’iperpiano che rende massimo il margine, ovvero la distanza tra l’iperpiano e il punto di classe C1 (o C2) più vicino ad esso; Tale iperpiano è detto Maximum Marginal Hyperplane (MMH); Per R2 bisogna trovare la retta che rende massima la distanza dal punto più vicino di C1 o C2; Bioinformatica

10 SVM – Classificazione Lineare
H1,H2 = i due iperpiani passanti, rispettivamente, per i punti di C1 e C2 più vicini al MMH. I punti di C1 e C2 per cui passano H1 e H2 sono detti vettori di supporto e m è il margine. Bioinformatica

11 SVM – Classificazione Lineare
Date m coppie (x,y) con xRn e y{-1,1}, vogliamo trovare wRn e bR tali che: L’iperpiano separatore H è l’insieme di punti tali che Bioinformatica

12 SVM – Classificazione Lineare
Osserviamo che l’iperpiano H1 passa per un punto (una tupla) (xi,yi) con yi=1 mentre H2 passa per un punto (xi,yi) con yi = -1. Dunque: Gli elementi del training set (xi,yi) soddisferanno i vincoli O equivalentemente Bioinformatica

13 SVM – Classificazione Lineare
Vogliamo allora rendere massima Sia P un vettore di supporto e H l’iperpiano separatore. Nel caso di R2 P=(x1,x2) e se H è una retta Generalizzando in Rn, se P(x,y) è un vettore di supporto con xRn avremo Bioinformatica

14 SVM – Classificazione Lineare
Il segno + (-) indica che x giace sul lato positivo (negativo) dell’iperpiano; Il problema di massimizzare il margine m allora si riduce al problema di minimizzare la norma 2 del vettore dei pesi W con la condizione Bioinformatica

15 SVM – Classificazione Lineare
Possiamo formulare la massimizzazione del margine come un problema di ottimizzazione quadratica vincolata Con vincoli Metodo dei moltiplicatori di Lagrange Bioinformatica

16 SVM – Classificazione Lineare
Potremo classificare una nuova tupla X mediante la funzione di classificazione: Dove è un prodotto scalare riga per colonna; Gli i e b0 sono parametri legati a W e sono ottenuti col il metodo dei moltiplicatori di Lagrange; Se allora X verrà classificata come C2; Altrimenti sta in C1; Bioinformatica

17 SVM – Classificazione Non Lineare
Bioinformatica

18 SVM – Classificazione Non Lineare
Nello spazio di Rn non esiste un iperpiano in grado di separare le tuple di classi diverse; Soluzione «soft margin»: Si cerca l’iperpiano che divide i punti nel modo più pulito possibile, introducendo delle costanti di scarto i per ogni tupla ti. Se H1 e H2 sono gli iperplani passanti per i vettori di supporto: i ha valore zero se la tupla ti sta nelle regioni esterne a H1 e H2 (cioè è correttamente classificata); i avrà un valore maggiore di zero (corrispondente alla distanza di ti dal vettore di supporto) se ti è classificata male (ovvero si trova nella regione compresa tra gli iperpiani H1 e H2); Bioinformatica

19 SVM – Classificazione Non Lineare
Potremo esprimere allora i vincoli O euqivalentemente Bioinformatica

20 SVM – Classificazione Non Lineare
La funzione Diventa un limite superiore sul numero di errori possibili; Assegnando un costo agli errori (e tenendo conto dei vincoli) la funzione da minimizzare diverrà Con c parametro (c elevato = alta penalità assegnata agli errori); Bioinformatica

21 SVM – Classificazione Non Lineare
Un modo alternativo consiste nel proiettare il training set in uno spazio dimensionale maggiore in cui sia possibile fare una classificazione lineare Bioinformatica

22 SVM – Classificazione Non Lineare
Ad esempio un vettore tridimensionale X=(x1,x2,x3) può essere mappato in uno spazio a 6 dimensioni utilizzando una funzione di mapping  La tupla nel nuovo spazio sarà allora La funzione di classificazione sarà allora trasformata in Bioinformatica

23 SVM – Classificazione Non Lineare
Il mapping è però un’operazione molto complessa; E’ possibile utilizzare invece le cosiddette «funzioni kernel»; Se X è lo spazio dei dati originale e Z è quello dei dati mappati, una funzione kernel K è tale che per ogni x,y Cioè K restituisce il prodotto tra le immagini di x e y. Con  funzione di mapping allora possiamo calcolare la funzione di classificazione come Bioinformatica

24 SVM – Classificazione Non Lineare
A ciò segue che, invece di applicare il mapping possiamo direttamente usare una funzione kernel K (che deve soddisfare le proprietà del prodotto scalare come commutativa, distributiva, etc etc); Alcune tipiche funzioni Kernel: Una funzione Kernel non lineare separerà (ad es. in R2) le tuple con delle curve e non rette. Bioinformatica

25 SVM – Applicazioni alla Bioinformatica
Una sequenza proteica può essere convertita in un punto 20-dimensionale considerando la composizione aminoacidica (vettore di frequenze); Predire la struttura secondaria e 3D di proteine; Individuazione di omologie remote fra proteine; Classificazione funzionale di geni e proteine; Ricerca di pattern in sequenze biologiche; Analisi di dati di espressione genica provenienti da microarrays; Bioinformatica