La presentazione è in caricamento. Aspetta per favore

La presentazione è in caricamento. Aspetta per favore

L Oggetto o entità definito da un nome: p.es. un neo, un volto, un sintomo, un segnale biomedico, un paziente, un esame clinico, … l Rappresenta lunità

Presentazioni simili


Presentazione sul tema: "L Oggetto o entità definito da un nome: p.es. un neo, un volto, un sintomo, un segnale biomedico, un paziente, un esame clinico, … l Rappresenta lunità"— Transcript della presentazione:

1 l Oggetto o entità definito da un nome: p.es. un neo, un volto, un sintomo, un segnale biomedico, un paziente, un esame clinico, … l Rappresenta lunità statistica oggetto dellanalisi ed è definito attraverso un insieme di attributi (variabili statistiche) Pattern

2 l Variabile multimensionale insieme delle variabili statistiche qualitative e quantitative che descrivono i pattern l Spazio multimensionale ha dimensione pari al numero di variabili e contiene i pattern rappresentabili come punti Fenomeni multidimensionali

3 Pattern recognition l Si traduce in italiano con Riconoscimento di configurazioni, ma è preferibile non tradurre Pattern l Individuazione (classificazione) di insiemi o gruppi di pattern con caratteristiche omogenee cluster l Riguarda metodi di apprendimento supervisionato e non supervisionato

4 Riconoscimento e classificazione l Riconoscimento del pattern e suo assegnamento a una classe o cluster l Classe o cluster insieme di oggetti (unità statistiche) aventi proprietà comuni, descritte dai loro pattern: p.es. classe dei pazienti malati, cluster dei segnali cardiaci, classe delle auto depoca, cluster dei denti cariati, …

5 l Valutazione del valore prognostico di test clinici l Scelta di opportune strategie sanitarie l Valutazione del significato diagnostico di un insieme di variabili cliniche l Individuazione di aspetti patologici l … Applicazioni biomediche e sanitarie

6 Cluster analysis l La cluster analisi è il nome generico attribuito a un largo insieme di metodi statistici orientati ad individuare gruppi in un campione di oggetti. Di solito i gruppi sono chiamati cluster. l Nella cluster analysis non è necessario conoscere a priori la struttura dei gruppi, cosicché essa rappresenta un attrattivo strumento esplorativo

7 Metodi di cluster analysis l Supervisionati il tipo dei cluster e il loro numero è definito dallanalista o progettista del modello l Non Supervisionati i cluster sono identificati nello spazio delle variabili con procedure statistiche e/o algoritmi di raggruppamento basati sullapprendimento da campioni

8 Problemi da affrontare I.Definizione delle classi Imporre uno schema di classificazione agli oggetti II.Classificazione Trovare una regola di classificazione sulla base di campioni di oggetti precedentemente classificati

9 Soluzione del I problema DEFINIZIONE DELLE CLASSI Il problema è immediatamente risolto se è disponibile una divisione degli oggetti in classi o le classi sono determinabili in modo empirico Viceversa, si possono usare tecniche di cluster analysis non supervisionata: consentono di raggruppare oggetti in classi basandosi su misure di distanza o di similarità

10 Soluzione del II problema CLASSIFICAZIONE Lesistenza di campioni classificati implica che esiste un possibile schema di classificazione E quindi necessario estrarre questo schema e trasformarlo in una regola pratica di classificazione; giocano un ruolo fondamentale la scelta delle variabili in base al loro potere discriminante

11 Obiettivo matematico Per alcuni problemi di classificazione la percezione umana può essere migliore dei classificatori quantitativi: p.es. riconoscimento del sesso dal volto o diagnosi di malignità di un neo In generale i classificatori quantitativi sono superiori alluomo, specialmente quando gli oggetti non possono essere percepiti direttamente e sono rappresentati da dati numerici in forma tabellare Trovare una funzione o una regola che rappresenti gli oggetti in un insieme di indici identificativi delle diverse classi

12 Pre- processing e feature extraction Classificazione Assegnazione alla classe Informazioni: variabili, classi e dati empirici (campione di progetto) Decisione Schema di un sistema di classificazione PATTERN

13 Metodi statistici e regole di classificazione VANTAGGI 1.Sono oggettivi e possono essere ripetuti da altri 2.Permettono di valutare le performance della regola di classificazione 3.Permettono di misurare formalmente la dimensione relativa di ogni singola classe

14 Metodi statistici e regole di classificazione VANTAGGI 4.Permettono di determinare quanto un particolare esempio sia rappresentativo della sua classe 5.Permettono di stabilire quali sono gli aspetti di un oggetto che risultano più importanti per la sua classificazione 6.Permettono di descrivere e testare le differenze fra le classi

15 Metodi statistici e regole di classificazione PROBLEMATICHE 1.Scelta delle variabili (feature selection): standardizzazione, componenti principali,... 2.Scelta della misura di distanza o di similarità: distanza Euclidea, distanza di Mahalanobis, coefficiente di similarità di Gower, … 3.Scelta del metodo di cluster: gerarchico o non gerarchico

16 Metodi statistici e regole di classificazione PROBLEMATICHE 4.Analisi del potere di separazione della scelta finale delle variabili 5.Scelta del metodo di classificazione: classificatore bayesiano, parametrico, non parametrico, logistico, rete neurale … 6.Valutazione del classificatore: scelta del testing set, scelta del metodo di valutazione.

17 Misure di associazione tra oggetti METRICHE Possono essere adottate diverse misure di distanza o coefficienti di similarità dipendentemente dal tipo di variabili con cui i pattern sono definiti Le funzioni distanza più sofisticate dal punto di vista matematico sono chiamate metriche. Le proprietà formali di una metrica sono: Sia E una rappresentazione simbolica di uno spazio di misura e siano X, Y e Z tre punti qualsiasi in E. Allora la funzione distanza D è una metrica se e solo se soddisfa le seguenti condizioni: 1.D(X,Y) = 0se e solo se X=Y 2.D(X,Y) 0per tutti gli X e Y in E 3.D(X,Y) = D(Y,X)per tutti gli X e Y in E 4.D(X,Y) D(X,Z)+D(Y,Z)per tutti gli X, Y e Z in E

18 Distanze euclidea e di Mahalanobis Le metriche più utilizzate sono la distanza euclidea D E e la distanza di Mahalanobis D M x (i), x (k) = vettori delle osservazioni i e k = matrice di covarianza delle osservazioni T = operazione di trasposizione N.B. D M tiene conto delle mutue correlazioni tra variabili

19 Altre distanze o metriche La norma-p o distanza-p, D p, tra due punti x (i) e x (k), detta anche distanza di Minkowski, è: N.B. La norma-2 coincide con la distanza euclidea D 2 =D E Norma-1, detta di Manhattan Norma-, detta di Chebyshev

20 Coefficiente di similarità di Gower È una misura generale di associazione valida per variabili qualitative e quantitative G (i,k) = coefficiente di similarità di Gower tra i pattern i e k c(x j ) (i,k) = misura di somiglianza tra i e k per la variabile x j w(x j ) (i,k) = peso dicotomico: 0/1 = confronto insensato/sensato

21 Coefficiente di similarità di Gower TIPI DI VARIABILI x j dicotomica xj(i)xj(i) xj(k)xj(k) cw /1 x j politomica xj(i)xj(i) xj(k)xj(k) cw aa11 b00 ca01 bb11 se x j (i) = 0 e x j (k) = 0, c e w possono essere posti a 0 o a 1 w=0, solo se x j (i) o x j (k) mancante G (i,k) = coefficiente di similarità di Gower tra i pattern i e k R j = campo di variazione R j = x j (max) - x j (min ) x j quantitativa

22 Cluster analysis senza supervisore l Tecniche gerarchiche Si suddividono in agglomerative o divisive: la fusione/divisione tra gruppi avviene a diversi livelli dando luogo a una struttura ad albero l Tecniche non gerarchiche Il numero di gruppi è deciso a priori

23 Dendogramma Rappresentazione grafica ad albero dei raggruppamenti gerarchici

24 Metodi gerarchici agglomerativi Data una misura di distanza D (i-j) tra due punti generici i e j, due cluster, p e q, sono aggregati considerando la loro distanza D (p-q), valutata con diversi metodi: Metodo single-link Metodo complete-link Metodo average-link Metodo Ward (m = punto medio) ( minimo incremento degli scarti quadratici entro gruppi) Metodo del baricentro o centroide (m p,m q = baricentri dei due cluster)

25 Metodo gerarchico del legame singolo 1.Ordinamento delle osservazioni in ordine crescente: ogni osservazione è trattata come un gruppo con un solo membro 2.Esame di tutte le coppie di gruppi adiacenti per trovare i due più vicini tra loro, considerando la distanza tra i loro membri più vicini 3.Ripetizione del passo 2 fino a quando non vi è un solo gruppo In un contesto unidimensionale il metodo agglomerativo del single-link è molto semplice e può essere descritto come segue:

26 Metodo gerarchico del legame singolo Nodi terminali Distanza tra gruppi * * * * * * * Dendrogramma x1x1 x2x2 ESEMPIO IN 2 DIMENSIONI

27 Metodo non gerarchico k-means Il numero k di gruppi deve essere noto a priori I cluster si formano con la seguente procedura iterativa, non lineare: 1.Scelta di un punto iniziale per ognuno dei k cluster 2.Attribuzione di ogni caso al cluster più vicino 3.Calcolo del vettore delle medie (centroide) per ciascuno dei cluster formati al passo 2 4.Ripetizione dei passi 2 e 3 finché i centroidi non cambiano più N.B. Il metodo è influenzato dalla scelta dei punti iniziali

28 Metodo non gerarchico k-means Scegliendo una metrica euclidea il metodo converge Minimizza la seguente funzione (errore entro-cluster): x ij = caso i-mo del j-mo cluster m j, n j = media, numerosità del j-mo cluster N.B. Sebbene I non possa essere stabilito a priori, in pratica lalgoritmo converge dopo pochissimi passi, tipicamente < 5-6 Lalgoritmo ha complessità O (n*k*I*d) n = numero dei punti I = numero iterazioni d = numero variabili (dimensione)

29 Metodo non gerarchico k-means Esempio con n = 10, d = 2 e k = 2 Passo 1. Gruppo A Gruppo B * * Passo 2. Passo 4. Passo 3.

30 Tecniche di partizione Siano W e B le matrici di covarianza, rispettivamente, entro e tra gruppi e sia T la loro somma: La maggioranza delle tecniche di partizione individua gruppi che minimizzano varie funzioni di tali matrici. I tre criteri più usati sono: 1.Minimizzazione determinante |W|, equivalente alla massimizzazione del rapporto |T|/|W| 2.Minimizzazione della traccia (varianza totale) di W, equivalente alla massimizzazione della traccia di B 3.Massimizzazione della traccia di BW -1

31 Metodi non supervisionati CONSIDERAZIONI FINALI l La prima tecnica di partizione (minimo di |W|) isola gruppi con variabili molto correlate al loro interno autovalori bassi l I metodi basati sulla traccia di W dipendono dallunità di misura delle variabili. l Il numero di cluster può essere scelto a priori o cambiato durante lanalisi l Tecniche iterative non lineari molti minimi, la soluzione dipende dalla condizione iniziale l Si arriva a una partizione in gruppi del set iniziale anche se esso ha una distribuzione multinormale

32 Metodi non supervisionati CONSIDERAZIONI FINALI l La forma dei cluster dipende dalla tecnica usata: p.es. il single-link trova cluster a catena, i metodi di partizione basati sulla traccia di W formano cluster ipersferici, quelli basati sul determinante formano cluster tutti della stessa forma esistono perciò molti aggiustamenti l È bene eseguire più tipi di cluster analisi, studiarne la stabilità, confrontare i risultati, decidere quali scartare/conservare analisi esplorativa l In generale, le tecniche di cluster devono essere accompagnate da unanalisi esperta in grado di giudicare criticamente i risultati alla luce della competenza ed esperienza nel campo in cui lanalisi è condotta. l È utile studiare statisticamente i gruppi formati per esempio tramite analisi descrittive

33 Classificatori supervisionati l Metodi statistici, modelli matematici, algoritmi, alberi decisionali, ecc., che assegnano pattern a classi predeterminate, cioè definite a priori l Effettuano pattern recognition ed eventualmente prendono una decisione l Il problema centrale è quello di assegnare un oggetto (caratterizzato da un insieme di n variabili) in una classe nota

34 Classificazione di lesioni cutanee attraverso dermoscopia digitale Neo benigno Melanoma Lo scopo è quello di diagnosticare le lesioni cutanee come nei o melanomi Classificazione con supervisore: 2 classi

35 Scelta variabili e acquisizione dati l Geometria: area, perimetro, diametri massimo e minimo, circolarità, frattalità dei bordi … l Colore: quantità di rosso/blu/verde lesione e cute … l Tessitura: contrasto, entropia … l Isole di colore: disomogeneità, sbilanciamenti e concentrazioni locali o periferiche di colore … Informazioni a priori: scelta di d variabili utili a fini diagnostici Dati empirici: campione di n esempi utilizzato per costruire il classificatore

36 Pre-processing e feature extraction Invece di utilizzare le variabili nella loro forma originale, esse possono essere convenientemente trasformate per: l introdurre importanti informazioni a priori; l codificare variabili qualitative e discrete; l rendere adimensionali le variabili quantitative per poterle confrontare tra loro; l trattare i dati parzialmente mancanti; l sceglierne un sottinsieme ottimale per ridurre la dimensionalità del fenomeno e filtrare gli errori statistici.

37 Codifica variabili qualitative In generale, la codifica di variabili qualitative deve tener conto del problema in esame, ma ricorrendo a una codifica di tipo binario si risolvono molti dei problemi connessi con la natura delle variabili Codifica dummy: n categorie n-1 bit Es.: variabile = gruppo sanguigno (n=4) Categorie della variabile b1b1 b2b2 b3b3 A100 B010 AB001 ZERO000

38 Standardizzazione Rende le variabili quantitative adimensionali in modo da poterle gestire nellambito multivariato N.B. Le nuove variabili z i (i=1,2,…,d) hanno media nulla e varianza (deviazione standard) unitaria i = media campionaria della variabile x i i = deviazione standard campionaria della variabile x i N = numerosità campionaria

39 Feature extraction Scelta sottinsieme ottimo di variabili Riduzione della dimensionalità Aumento della generalizzazione Trasformazione e scelta delle variabili più informative Tecniche per la riduzione della varianza Componenti principali Tecniche stepwise Criteri statistici di scelta delle variabili più discriminanti: F di Fisher, lambda di Wilks, divergenza di Kullback, area sotto la curva ROC, … Criteri di ingresso/uscita e fermata: livello di significatività, decremento non significativo dellerrore, … Tecniche con controllo del potere discriminante Fukunaga-Koontz

40 La sciagura della dimensionalità La dimensione dello spazio delle variabili influenza fortemente le prestazioni del classificatore poiché: l i dati di addestramento sono campioni di dimensione N finita; l N è spesso limitato da ragioni pratiche, economiche o connaturate col fenomeno studiato (p.es. numero di melanomi) ; l laumento di dimensione comporta un aumento anche cospicuo del numero di parametri N p del modello; l Se il rapporto N / N p è troppo basso le stime di alcuni parametri sono molto incerte e perdono di significato, compromettendo le prestazioni del classificatore.

41 Progetto del modello di classificazione Stima del rischio sanitario Probabilità di evento sanitario sfavorevole (p.es. diagnosi di melanoma, M) condizionata alle informazioni contenute nelle variabili scelte e nei dati campionari Metodi non bayesiani Stima diretta della probabilità diagnostica Regressione logistica Reti neurali artificiali K-nearest-neighbour Algoritmi genetici Uso del teorema di Bayes Metodi bayesiani

42 Classificatori a punteggio intero Scoring model Invece di stimare la probabilità dellevento sanitario sfavorevole valutano il rischio attraverso una scala discreta di n valori interi positivi s i (i = 0, 1, 2,..., n) che includono lo zero per rappresentare il rischio nullo Utili in ambiente clinico: pratici, non richiedono computer; non distolgono medici e operatori sanitari da diagnosi e cura. d = numero di variabili s i = punteggio intero associato alli-ma variabile x i λ i = coefficiente binario 0/1 rischio basso/alto (cut-off su x i ) Alcuni derivano dalla semplificazione di modelli probabilistici arrotondando i loro parametri allintero più vicino

43 Addestramento classificatore DATI CLINICI MELANOMI NEI LEARNING SET TESTING SET

44 Bias e varianza ERRORE DI MODELLOERRORE STATISTICO Learning set Testing set Bias elevato Varianza elevata Bias e varianza minimizzate x2x2 x1x1

45 Complessità e Generalizzazione l Generalizzazione: capacità del classificatore di mantenere le stesse prestazioni anche su nuovi dati l Compromesso ottimo tra bias e varianza l Modello né troppo semplice, né troppo complesso l Principio del rasoio di Occam (William of Occam, XIV sec.): la metafora del rasoio esprime lidea dellopportunità metodologica di eliminare con tagli di lama e mediante approssimazioni successive le ipotesi troppo complesse ed inutili per la spiegazione del fenomeno

46 melanominei Blue content Area (mm 2 ) x Tipi di modelli e generalizzazione overfitting underfitting good fit

47 Underfitting e Overfitting l Underfitting: lerrore di modello (bias) può essere ridotto, utilizzando modelli di tipo più sofisticato o aumentando la complessità degli stessi, p.es. con un aumento del numero di parametri l Overfitting: il modello è troppo complesso, stima anche gli errori campionari, memorizza i dati del learning set invece di apprendere le regole sottostanti, perde capacità predittiva, aumenta la varianza

48 Minimizzazione errore Funzioni errore Le principali funzioni errore sono il root mean square error (RMSE) e la probabilità media di errata classificazione Pm ec

49 Controllo delloverfitting Tecniche di cross-validazione Una parte dei dati viene efficientemente usata per controllare il potere di generalizzazione del modello Testing set Training set Training set Training set Training set k=5 Testing set Training set Training set Training set Training set Testing set Training set Training set Training set Training set Testing set Training set Training set Training set Training set Testing set Training set Training set Training set Training set Metodo di rotazione k-fold Metodo leave-one-out Training = N-1 k=N Testing = 1 Il miglior modello è quello che minimizza lerrore sui dati di learning, mantenendo lo stesso errore sui dati di testing

50 Regolarizzazione Un diverso tipo di approccio per controllare complessità e generalizzazione è quello di introdurre un termine di penalizzazione allerrore da minimizzare = parametro di controllo del termine di regolarizzazione Loverfitting introduce forti oscillazioni, con regioni di ampia curvatura. Conviene allora introdurre una penalizzazione sulla derivata seconda (smoothing). P.es., nel caso semplice della funzione di regressione y(x) si ha:

51 Early stopping Un approccio per limitare loverfitting utilizzato con modelli a molti parametri, stimati con tecniche iterative, è quello di arrestare laddestramento del classificatore quando comincia a perdere in generalizzazione training set validation set Iterazioni Errore Learning Stop Overfitting

52 Divergenza di Kullback-Leibler Per valutare la bontà di un classificatore è utile avere una misura della separazione tra le classi N.B. N.B. La D KL non è simmetrica quindi a rigore non può essere considerata una metrica

53 Divergenza di Kullback-Leibler DISTRIBUZIONI GAUSSIANE Nel caso in cui le distribuzioni delle classi siano gaussiane, la D KL simmetrica e diventa quindi una metrica, semplificandosi in: i = vettore delle medie associato alla classe i i = matrice di covarianza associato alla classe i

54 Valutazione delle prestazioni del classificatore MELANOMA Con due sole classi possiamo concepire la probabilità a posteriori di melanoma P m stimata dal classificatore come un test diagnostico la cui soglia decisionale P d individua la seguente matrice di classificazione: VERI POSITIVI FALSI POSITIVI FALSI NEGATIVI VERI NEGATIVI NeiMelanomi P m > P d P m P d

55 Ad ogni soglia P d corrisponde una coppia (SE, SP) Riportando in ascisse 1-SP e in ordinate SE si traccia una curva i cui punti rappresentano le prestazioni del classificatore per ogni P d Curva ROC R eceiver O perating C haracteristic SE 1-SP * Area di errore AUC Area Under ROC Curve

56 SE SP PdPd SE=0.9 SP=0.5 SE=0.75 SP=0.75 SE=0.5 SP=0.89 SENSIBILITÀ TROPPO BASSA SPECIFICITÀ TROPPO BASSA SP SE Sensibilità, specificità e soglia di decisione P1P1 P2P2 P3P3 SE PdPd


Scaricare ppt "L Oggetto o entità definito da un nome: p.es. un neo, un volto, un sintomo, un segnale biomedico, un paziente, un esame clinico, … l Rappresenta lunità"

Presentazioni simili


Annunci Google