WEKA: Machine Learning Algorithms in java

Presentazione sul tema: "WEKA: Machine Learning Algorithms in java"— Transcript della presentazione:

1 WEKA: Machine Learning Algorithms in java
Ilaria Bordino

2 Collezione di algoritmi di Machine Learning – Package java Open Source
Introduzione a WEKA Collezione di algoritmi di Machine Learning – Package java Open Source Acronimo di Waikato Environment for Knowledge Analysis Scaricabile gratuitamente presso Scritto in java, utilizzabile su qualunque sistema operativo dotato di piattaforma java. WEKA -- ML in java Ilaria Bordino

3 Collezione estensiva di tool per Machine Learning e Data Mining
Introduzione a Weka Collezione estensiva di tool per Machine Learning e Data Mining Classificazione: implementazione java di tutte le tecniche di Machine Learning correntemente utilizzate. Regressione Regole di associazione Algoritmi di clustering WEKA -- ML in java Ilaria Bordino

4 Weka: riferimenti utili
Home page di Weka: qui è possibile scaricare software e dataset di esempio Page Un Wiki con la documentazione di Weka Un wiki con risposte a vari problemi che possono sorgere usando Weka WEKA -- ML in java Ilaria Bordino

5 Weka: schemi per la classificazione
Decision trees Rule learners Naïve Bayes Decision Tables Locally weighted regression SVM Instance-based learners Logistic regression WEKA -- ML in java Ilaria Bordino

6 Weka: Predizione Numerica
Linear regression Model tree generators Locally weighted regressione Instance-based learners Decision Tables Multi-layer perceptron WEKA -- ML in java Ilaria Bordino

7 Regression via classification Classification via regression
Meta Schemi Bagging Boosting Stacking Regression via classification Classification via regression Cost sensitive classification Schemi per clustering EM CoWeb WEKA -- ML in java Ilaria Bordino

8 Scaricare l’archivio .ZIP di Weka e decomprimerlo
Installazione Assicurarsi che sulla propria macchina sia presente una installazione del JRE ( Scaricare l’archivio .ZIP di Weka e decomprimerlo Aprire un terminale ed entrare nella directory di Weka Digitare il comando java -jar weka.jar WEKA -- ML in java Ilaria Bordino

9 Ambienti operativi SimpleCLI: Ambiente a linea di comando da usare per invocare direttamente le varie classi da cui Weka è composto. Explorer: ambiente da utilizzare per caricare degli insiemi di dati, visualizzare la disposizione degli attributi, preprocessare i dati ed eseguire  algoritmi di classificazione, clustering, selezione di attributi e determinazione di regole associative. WEKA -- ML in java Ilaria Bordino

10 Ambienti operativi Experimenter: è una versione batch dell'Explorer. Consente di impostare una serie di analisi, su vari insiemi di dati e con vari algoritmi, ed eseguirle alla fine tutte insieme. È possibile in questo modo confrontare vari tipi di algoritmi, e determinare quale è il più adatto a uno specifico insieme di dati. Knowledge Flow: una variante dell'Explorer, in cui le operazioni da eseguire si esprimono in un ambiente grafico, disegnando un diagramma che esprime il "flusso della conoscenza". È possibile selezionare varie componenti (sorgenti di dati,  filtri, algoritmi di classificazione) e collegarli in un diagramma tipicamente detto "data-flow” . WEKA -- ML in java Ilaria Bordino

11 Ambienti operativi: Explorer
WEKA -- ML in java Ilaria Bordino

12 Weka può prelevare I propri dati usando 3 funzioni:
Formato dei dati Weka può prelevare I propri dati usando 3 funzioni: Open File: preleva i dati da un file di testo sul computer locale, in formato ARFF, CSV, C45 o Binary serialized istances. Il formato standard di Weka è ARFF. Open URL: preleva i dati da un file su web, in uno dei formati di cui sopra; Open DB: preleva i dati da un server database supportato dai driver JDBC. WEKA -- ML in java Ilaria Bordino

13 Preprocessamento dei dati
Una volta aperto l'insieme di dati di interesse, in basso a sinistra compare l'elenco degli attributi che compongono i dati in questione.  Cliccando su un attributo, sul lato destro appaiono delle informazioni statistiche: per attributi nominali abbiamo l'elenco dei possibili valori e, per ognuno di essi, il numero di istanze con quel valore. per attributi numerici, abbiamo invece informazioni sul valore massimo, minimo, media e deviazione standard, oltre a numero di valori diversi, numero di valori unici e numero di istanze col valore mancante WEKA -- ML in java Ilaria Bordino

14 Preprocessamento dei dati
Sotto le informazioni statistiche abbiamo un istogramma. Con gli attributi nominali viene visualizzato, per ogni valore, una barra di altezza proporzionale al numero di istanze con quel valore. Per gli attributi numerici le informazioni sono simili, ma il sistema decide automaticamente in quanti intervalli divedere il range dell'attributo e quindi quante barre visualizzare. Una volta caricati i dati, è possibile modificarli applicando un filtro o una procedura di modifica interattiva. Esempi: modificare tutte le istanze con un valore fisso per un attributo, cancellare o rinominare attributi… WEKA -- ML in java Ilaria Bordino

15 ARFF è il formato dati standard di WEKA.
Formato ARFF ARFF è il formato dati standard di WEKA. Un file ARFF è composto da una intestazione e dal corpo dati vero e proprio. L’intestazione contiene il nome del set dei dati e una intestazione degli attributi. Per ogni attributo è possibile specificare il tipo: numerico, categoriale, stringa o data. I dati veri e propri sono forniti creando una riga per ogni istanza, e separando i campi con delle virgole. Ovunque è possibile inserire dei commenti, facendoli precedere dal simbolo %. WEKA -- ML in java Ilaria Bordino

16 % Relazione weather-data @attribute outlook {sunny, overcast, rainy}
Formato ARFF: esempio @relation weather % Relazione weather-data @attribute outlook {sunny, overcast, rainy} @attribute temperature real @attribute humidity real @attribute windy {TRUE, FALSE} @attribute play {yes, no} @datasunny,85,85,FALSE,nosunny,80,90,TRUE,no overcast,83,86,FALSE,yes WEKA -- ML in java Ilaria Bordino

17 Nell’esempio fornito osserviamo che:
Formato ARFF: Esempio Nell’esempio fornito osserviamo che: La weather specifica un nome per la relazione. La riga @attribute outlook {sunny, overcast, rainy} specifica che l’attributo di nome outlook è di tipo categoriale e può assumere i valori sunny, rainy e overcast. La temperature real specifica che l’attributo di nome temperature è di tipo numerico La indica l’inizio dei dati veri e propri. WEKA -- ML in java Ilaria Bordino

18 Formato ARFF Si può utilizzare il valore ? come dato per indicare un valore mancante. In generale, ogni volta che serve individuare un attributo particolare come la “classe” dell’istanza, ad esempio nei problemi di classificazione o selezione degli attributi, l’ultimo attributo gioca questo ruolo. Si può comunque sempre specificare un diverso attributo, caso per caso. WEKA -- ML in java Ilaria Bordino

19 Elenco dei package principali: weka.associations
Architettura Elenco dei package principali: weka.associations weka.attributeSelection weka.classifiers weka.clusterers weka.core weka.estimators weka.experiment weka.filters weka.guipackage weka.gui.experiment weka.gui.explorer WEKA -- ML in java Ilaria Bordino

20 Il package weka.core Il package core è il package centrale del sistema Weka. Contiene classi a cui quasi tutte le altre classi fanno accesso. Classi principali: Attribute: un oggetto di questa classe rappresenta un attributo. Contiene il nome dell’attributo, il suo tipo e, in caso di attributo nominale, I possibili valori. Instance: un oggetto di questa classe contiene I valori degli attributi di una particolare istanza. Instances: un oggetto di questa classe mantiene un insieme ordinato di istanze, ovvero un dataset. WEKA -- ML in java Ilaria Bordino

21 Il package weka.classifiers
Contiene implementazioni degli algoritmi più comunemente utilizzati per classificazione e predizione numerica. La classe più importante è Classifier, che definisce la struttura generale di un qualsiasi schema di classificazione o predizione; Contiene due metodi, buildClassifier() e classifyInstance(), che debbono essere implementati da tutti gli algoritmi di apprendimento, Ogni algoritmo di apprendimento è una sottoclasse di Classifier e ridefinisce questi metodi. WEKA -- ML in java Ilaria Bordino

22 Altri package Weka.clusterers:
Contiene un’implementazione di due importanti metodi di apprendimento non supervisionato: COBWEB ed EM. Weka.estimators: Contiene sottoclassi di una generica classe Estimator, che calcola vari tipi di distribuzioni di probabilità. WEKA -- ML in java Ilaria Bordino

23 Il package weka.filters
Tool per il preprocessamento dei dati: discretizzazione, normalizzazione, resampling, selezione, trasformazione o combinazione di attributi. La classe Filter definisce la struttura generale di tutte le classi che contengono algoritmi di filtering. Tali classi sono tutte implementate come sottoclassi di Filter. Il package weka.attributeSelection Mette a disposizione classi per effettuare riduzioni dimensionali su una collezione di dati. Queste classi vengono utilizzate da weka.filters.attributeSelectionFilter, ma possono anche essere usate separatemente. WEKA -- ML in java Ilaria Bordino

24 Alberi di decisione: Metodo di classificazione supervisionato.
Classificatori: J48 Alberi di decisione: Metodo di classificazione supervisionato. Un albero di decisione è una semplice struttura in cui I nodi non terminali rappresentano test su uno o più attributi mentre I nodi terminali riflettono I risultati della decisione. Approccio reso popolare da J.R.Quinlan C4.5 è l’ultima implementazione di pubblico dominio del modello di Quinlan. L’algoritmo J48 è l’implementazione Weka dell’albero di decisione C4.5 WEKA -- ML in java Ilaria Bordino

25 Alberi di decisione: approccio generale
Scegliere un attributo che meglio differenzia i valori dell’attributo di output. Creare nell’albero un ramo separato per ogni possibile valore dell’attributo scelto. Dividere le istanze in sottogruppi che riflettano I valori dell’attributo scelto. Per ogni sottogruppo, terminare il processo di selezione degli attributi se (a) tutti I membri di un sottogruppo hanno lo stesso valore per l’attributo di output (in questo caso il ramo considerato va etichettato con il valore specificato) WEKA -- ML in java Ilaria Bordino

26 Alberi di decisione: approccio generale
(b) Il sottogruppo contiene un singolo nodo oppure non è più possibile individuare un attributo in base al quale fare differenziazioni. In questo caso, il ramo considerato viene etichettato con il valore dell’attributo di output che caratterizza la maggior parte delle istanze rimanenti. Il processo illustrato viene ripetuto per ogni sottogruppo che non è stato etichettato come terminale. L’algoritmo viene applicato ai dati di training. L’albero di decisione creato viene quindi testato su un dataset di test. Se non sono disponibili dati di test J48 esegue cross validation sui dati di training. WEKA -- ML in java Ilaria Bordino

27 J48: Opzioni Attributo di output: può essere scelto soltanto tra gli attributi di categoria. Fattore di confidenza: determina il valore da utilizzare per fare pruning (rimozione dei rami che non portano guadagno in termini di accuratezza statistica del modello); default: 25% Numero minimo di istanze per foglia: un valore alto creerà un modello più generale, un valore basso un albero più specializzato; WEKA -- ML in java Ilaria Bordino

28 Test data set: permette di specificare un insieme di dati di test.
J48: Opzioni Numero di cartelle per cross validation: determina come costruire e testare il modello in assenza di dati di test. Se questo valore è x, 1 – 1/x dei dati di training viene usato per costruire il modello e 1/x viene usato per il test. Il processo viene ripetuto x volte, in modo che tutti I dati di training siano usati esattamente una volta nei dati di test. La stima complessiva si ottiene facendo la media delle x stime d’errore. Valore tipico: 10 Test data set: permette di specificare un insieme di dati di test. WEKA -- ML in java Ilaria Bordino

29 Alberi di decisione: Vantaggi e Svantaggi
Semplici da comprendere e da convertire in un insieme di regole di produzione; Possono classificare sia dati numerici che di categoria, ma l’attributo di output deve essere di categoria. Non ci sono assunzioni a priori sulla natura dei dati. Molteplici attributi di output non sono consentiti. Gli alberi di decisione sono instabili. Leggere variazioni nei dati di training possono produrre differenti selezioni di attributi ad ogni punto di scelta all’interno dell’albero. WEKA -- ML in java Ilaria Bordino

30 meta.ClassificationViaRegression functions.Logistic functions.SMO
Altri classificatori bayes.NaiveBayes meta.ClassificationViaRegression functions.Logistic functions.SMO lazy.Kstar lazy.Ibk rules.JRip WEKA -- ML in java Ilaria Bordino

31 Classificatori: parametri generali
-t: file di training (formato ARFF) -T: file di test (formato ARFF). Se questo parametro manca, di default si esegue 10-fold cross validation -k: specifica numero di cartelle per cross validation -c: selezionare la variable classe -d: salvare il modello generato dopo il training; -l: caricare un modello salvato in precedenza -i: descrizione dettagliata delle prestazioni -o: disabilita output human- readable WEKA -- ML in java Ilaria Bordino

32 Output di un classificatore:
weka.classifiers.trees.J48 java weka.classifiers.trees.J48 -t data/weather.arff –I La prima parte è una descrizione leggibile del modello generato. Il nodo alla radice dell’albero determina la prima decisione I numero in parentesi alla fine di ogni foglia indicano il numero di esempi contenuti nella foglia stessa Se una o più foglie non sono pure (tutti esempi della stessa classe), viene indicato anche il numero di esempi che non sono stati classificati correttamente WEKA -- ML in java Ilaria Bordino

33 Output del classificatore: esempio
J48 pruned tree   outlook = sunny | humidity <= 75: yes (2.0) | humidity > 75: no (3.0) outlook = overcast: yes (4.0) outlook = rainy | windy = TRUE: no (2.0) | windy = FALSE: yes (3.0)  Number of Leaves : 5  Size of the tree : 8 WEKA -- ML in java Ilaria Bordino

34 Tempo impiegato per l’apprendimento
Time taken to build model: 0.05 seconds Time taken to test model on training data: 0 seconds Per un albero di decisione l’apprendimento è piuttosto veloce e la valutazione ancora di più Nel caso di schema di apprendimento lazy, la fase di test sarebbe sicuramente molto più lunga di quella di training WEKA -- ML in java Ilaria Bordino

35 Classificatore: valutazione prestazioni
= Error on training data ==  Correctly Classified Instance % Incorrectly Classified Instances % Kappa statistic Mean absolute error Root mean squared error Relative absolute error % Root relative squared error % Total Number of Instances WEKA -- ML in java Ilaria Bordino

36 Classificatore: valutazione prestazioni
== Detailed Accuracy By Class ==  TP Rate FP Rate Precision Recall F-Measure Class yes no Classificatore perfetto? Il modello costruto con il training set è troppo ottimistico  WEKA -- ML in java Ilaria Bordino

37 Classificatore: cross validation
== Stratified cross-validation ==  Correctly Classified Instances % Incorrectly Classified Instances % Kappa statistic Mean absolute error Root mean squared error Relative absolute error % Root relative squared error % Total Number of Instances WEKA -- ML in java Ilaria Bordino

38 Classificatore: cross validation
== Detailed Accuracy By Class ==  TP Rate FP Rate Precision Recall F-Measure Class yes no == Confusion Matrix ==  a b <-- classified as 7 2 | a = yes 3 2 | b = no WEKA -- ML in java Ilaria Bordino

39 Classificatore: cross validation
Risultati più realistici: accuratezza intorno al 64% Kappa statistic: misura il grado di accordo della predizione con la vera classe – 1.0 significa accordo perfetto Le altre metriche d’errore non sono molto significative ai fini della classificazione; Possono essere usate ad esempio per regressione Matrice di confusione: istanze classificate correttamente su una diagonale WEKA -- ML in java Ilaria Bordino

40 F-Measure: 2*Precision*Recall/(Precision+Recall),
Classificatore True Positive (TP) rate: frazione di esempi classificati classe x, fra tutti quelli che sono realmente di classe x FAlse Positive (FP) rate: frazione di esempi classificati classe x, ma appartenenti a un’altra classe, fra tutti quelli che non appartengono alla classe x Precision: frazione di esempi realmente di classe x fra tutti quelli classificati come x tp/ (tp + fp) Recall: tp / (tp + fn) F-Measure: 2*Precision*Recall/(Precision+Recall), WEKA -- ML in java Ilaria Bordino

41 Clustering Le tecniche di clustering si applicano per suddividere un insieme di istanze in gruppi che riflettano qualche meccanismo o caratteristica naturale del dominio di appartenenza delle istanze stesse. Queste proprietà fanno sì che delle istanze siano accomunate da una “somiglianza” più forte rispetto agli altri dati nella collezione. Il clustering richiede approcci differenti da quelli usati per classificazione e regole di associazione. WEKA -- ML in java Ilaria Bordino

42 Clustering Lo scopo di un algoritmo di clustering è quello di suddividere un insieme di documenti in gruppi che siano quanto più possibile coerenti internamente, e allo stesso tempo diversi l’uno dall’altro. I documenti all’interno di un cluster dovrebbero essere quanto più possibile diversi da quelli inseriti all’interno di un altro cluster. Il clustering è la forma più comune di apprendimento non supervisionato: nessun uso di esperti umani per assegnare le istanze alle classi WEKA -- ML in java Ilaria Bordino

43 Clustering Il clustering è un problema fondamentalmente diverso dalla classificazione: la classificazione è una forma di apprendimento supervisionato. Lo scopo della classificazione è quello di replicare una distinzione in categorie che un assessor umano ha imposto sui dati. L’input chiave di un algoritmo di clustering è la misura di distanza che viene usata per suddividere le istanze in gruppi. WEKA -- ML in java Ilaria Bordino

44 Hierarchical clustering: crea una gerarchia di cluster.
Tipi di clustering Flat clustering: crea un insieme di cluster piatto, senza una struttura gerarchica che metta in relazione I cluster l’uno con l’altro. Hierarchical clustering: crea una gerarchia di cluster. Hard clustering: assegna ogni istanza ad esattamente un cluster. Soft clustering: l’assignazione di un documento è una distribuzione su tutti I cluster (es. LSI). Terminologia alternativa: cluster partizionale o esaustivo. WEKA -- ML in java Ilaria Bordino

45 Clustering in Information Retrieval
Cluster hypothesis: documenti in uno stesso cluster hanno un comportamento simile rispetto a ciò che è rilevante per soddisfare le esigenze informative degli utenti. Se un documento è rilevante per una richiesta di ricerca, assumiamo che anche gli altri documenti all’interno dello stesso cluster siano rilevanti. Il clustering ha molte applicazioni in information retrieval. Viene usato per migliorare usabilità, efficienza ed efficacia del sistema di ricerca. WEKA -- ML in java Ilaria Bordino

46 Critical issue: determinare K, cardinalità di un clustering.
Brute force approach: enumera tutti I possibili clustering e scegli il migliore. (non utilizzabile in pratica per via dell’esplosione esponenziale del numero di possibili partizioni) La maggior parte degli algoritmi procede per raffinamento iterativo di un partizionamento iniziale: trovare un buon punto di partenza è dunque importante per la qualità della soluzione finale. WEKA -- ML in java Ilaria Bordino

47 Valutazione di un clustering:
Obiettivo generale: alta similarità intra-cluster e bassa similarità inter-cluster (criterio interno di qualità). Il soddisfacimento di questo criterio non garantisce la realizzazione di un’applicazione efficace. Approccio alternativo: valutazione diretta nell’applicazione di interesse. User study: approccio immediato ma costoso. Altra possibilità: confronta I risultati del clustering con un golden standard WEKA -- ML in java Ilaria Bordino

48 Clustering: Criteri esterni di qualità
Purity: assegna ogni cluster alla classe che occorre più frequentemente nel cluster; accuratezza: frazione di documenti assegnati correttamente. Un clustering perfetto ha purity 1, mentre un clustering di cattiva qualità ha purity prossima a 0. Un valore elevato è facile da ottenere quando il numero di cluster è elevato: purity 1 se ogni documento è assegnato a un suo proprio cluster. Purity non dà info utili se cerchiamo un trade off tra la qualità del clustering e il numero di cluster. WEKA -- ML in java Ilaria Bordino

49 Clustering: criteri esterni di qualità.
Approccio alternativo: vedere il clustering come una serie di decisioni, una per ogni coppia di documenti nella collezione. Vogliamo assegnare due documenti ad uno stesso cluster sse sono simili TP: assegna due documenti simili allo stesso cluster TN: assegna due documenti non simili a cluster differenti FP: assegna due documenti non simili allo stesso cluster FN: assegna due documenti simili a cluster diversi. WEKA -- ML in java Ilaria Bordino

50 Criteri esterni di qualità
Rand Index calcola la percentuale di decisioni corrette RI = (TP + TN) / (TP + TN + FP + FN) RI assegna uguale peso a FP e FN; a volte separare documenti simili è considerato più grave che mettere due documenti diversi in uno stesso cluster; F measure assegna una maggiore penalizzazione a FN. F = 2PR / (P+R), con P=TP/(TP+FP) e R=TP/(TP+FN) WEKA -- ML in java Ilaria Bordino

51 Flat Clustering Algorithm più importante.
K-Means Flat Clustering Algorithm più importante. Obiettivo: Minimizzare il valor medio del quadrato della distanza euclidea dei documenti dal centro del cluster a cui sono stati assegnati. Il centro di un cluster è definito come la media di tutti I documenti presenti nel cluster (centroide). Clusterin ideale: una sfera che ha il centroide come suo centro di gravità. WEKA -- ML in java Ilaria Bordino

52 Assegna ogni punto al cluster più vicino; Ricalcola I nuovi centroidi;
K-Means Passo iniziale: scelta di K seed casuali (centri iniziali dei cluster). Assegna ogni punto al cluster più vicino; Ricalcola I nuovi centroidi; Ripeti i passi 2 e 3 fino al raggiungimento di un qualche criterio di convergenza. Es. Esecuzione di un numero di iterazioni prefissato (limita runtime, ma rischio scarsa qualità) Assegnazione delle istanze ai cluster non cambia tra due iterazioni successive (no garanzie su runtime) Nella pratica, combina una soglia sullo scarto quadratico medio con un bound sul numero di iterazioni WEKA -- ML in java Ilaria Bordino

53 K-Means La convergenza si prova mostrando che RSS decresce monotonicamente ad ogni iterazione. Non è garantito il raggiungimento di un minimo globale: questo è un problema se l’insieme di input contiene molti outlier. La scelta di un outlier come seed iniziale porta spesso alla creazione di cluster singleton. Occorre utilizzare metodi di inizializzazione che forniscano dei buoni seed. WEKA -- ML in java Ilaria Bordino

54 Varie soluzioni per una scelta efficace del seed set:
K-Means Varie soluzioni per una scelta efficace del seed set: Esclusione degli outlier dal seed set Provare molteplici seed e scegliere la soluzione con minor costo; Ottenere I centroidi iniziali applicando altri metodi come clustering gerarchico; Selezionare un certo numero di punti random per ogni cluster e scegliere il loro centroide come centro iniziale del cluster. WEKA -- ML in java Ilaria Bordino

55 K-Means: scelta cardinalità
Come scegliere il numero di cluster da creare? Approccio naïve: scegli k che minimizza RSS -> creazione di un set di singleton Euristiche per stimare minima somma dei quadrati dei residui in funzione di k Introdurre una penalità per ogni nuovo cluster Nella pratica la funzione obiettivo deve combinare distorsione e complessità del modello. WEKA -- ML in java Ilaria Bordino

56 Generalizzazione di K-Means.
EM Clustering Generalizzazione di K-Means. Model based clustering: assume che I dati siano stati generati seguendo un modello e tenta di ricostruire il modello originale a partire dai dati. Questo modello definisce quindi I cluster e il modo in cui le istanze vengono assegnate ai cluster. Criterio std per la stima dei parametri del modello: Maximum likelihood Modelli di clustering più flessibili e adattabili a quello che sappiamo sulla distribuzione dei dati. WEKA -- ML in java Ilaria Bordino

57 Itera un ‘alternanza di due passi:
EM Clustering Algoritmo iterativo adattabile a vari tipi di modellazione probabilistica. Goal: determinare una stima a massima verosimiglianza dei parametri del modello, che dipende da alcune variabili nascoste. Itera un ‘alternanza di due passi: Expectation: calcola il valore atteso della likelihood in base alle stima corrente per la distribuzione dei parametri Maximization: calcola I parametri che massimizzano la verosimiglianza attesa determinata al passo precedente. Il passo di expectation determina un’assegnazione “soft” delle istanze ai cluster. WEKA -- ML in java Ilaria Bordino

58 Per evitare questo si possono applicare varie euristiche:
EM Clustering Anche se una iterazione non diminuisce la likelihood dei dati osservati, non c’è garanzia che l’algoritmo converga ad una stima di massima verosimiglianza. Se I valori iniziali dei parametri non sono scelti bene, l’algoritmo potrebbe convergere a un ottimo locale. Per evitare questo si possono applicare varie euristiche: Random restart Simulated annealing WEKA -- ML in java Ilaria Bordino

59 Alcune opzioni disponibili:
EM in Weka Alcune opzioni disponibili: numClusters: setta il numero di cluster (default: -1) maxIterations: numero massimo di Iterazioni Seed: numero casuale usato come seed minStdDev: minima deviazione std consentita WEKA -- ML in java Ilaria Bordino

60 WEKA -- ML in java Ilaria Bordino

61 WEKA -- ML in java Ilaria Bordino

62 Elimina le feature non rilevanti o rilevanti.
Feature Selection Obiettivo: selezionare un sottoinsieme di feature rilevanti per costruire modelli di learning robusti. Elimina le feature non rilevanti o rilevanti. Migliora le prestazioni dei modelli di learning: Allevia problemi dovuti a esplosione dimensionale Rafforza la capacità di generalizzazione del modello Velocizza il processo di learning Migliora la leggibilità del modello Permette di acquisire una migliore conoscenza dei dati evidenziandone le proprietà più importante. WEKA -- ML in java Ilaria Bordino

63 Nella pratica si seguono due diversi approcci:
Feature Selection Teoricamente, una selezione ottimale richiede l’esplorazione esaustiva dello spazio di tutti I possibili sottoinsiemi di feature Nella pratica si seguono due diversi approcci: Feature Ranking: usa una metrica per ordinare le feature ed elimina tutte le feature che non ottengono uno score adeguato. Subset Selection: cerca l’insieme di possibili feature per il sottoinsieme ottimale. WEKA -- ML in java Ilaria Bordino

64 Feature Selection: Subset selection
Valuta la bontà di un insieme di features. Molte euristiche per la ricerca delle feature si basano su greedy hill climbing: valuta iterativamente un sottoinsieme candidato di feature, quindi modifica tale insieme e valuta se l’insieme ottenuto è migliore del precedente. La valutazione degli insiemi di feature richiede l’uso di opportune metriche. La ricerca esaustiva non è in genere praticabile; al raggiungimento di un criterio di arresto si restituisce l’insieme di feature che ha ottenuto il punteggio più alto. WEKA -- ML in java Ilaria Bordino

65 Feature Selection: Subset Selection
Possibili euristiche per la ricerca: Esaustiva Best first Simulated annealing Algoritmi genetici Greedy forward selection Greedy backward elimination WEKA -- ML in java Ilaria Bordino

66 Possibili criteri di arresto:
Feature Selection Possibili criteri di arresto: Lo score assegnato ad un certo insieme supera una certa soglia; Il tempo di computazione supera un massimo prestabilito. WEKA -- ML in java Ilaria Bordino

67 WEKA -- ML in java Ilaria Bordino

68 WEKA -- ML in java Ilaria Bordino

69 WEKA -- ML in java Ilaria Bordino

70 WEKA -- ML in java Ilaria Bordino

71 WEKA -- ML in java Ilaria Bordino

72 WEKA -- ML in java Ilaria Bordino