La presentazione è in caricamento. Aspetta per favore

La presentazione è in caricamento. Aspetta per favore

Metodi di Ensemble Metaclassificatori. Metodi di Ensemble... classificatori C1C1 C2C2 CnCn metodo di ensemble istanza in input classificazione di ensemble.

Presentazioni simili


Presentazione sul tema: "Metodi di Ensemble Metaclassificatori. Metodi di Ensemble... classificatori C1C1 C2C2 CnCn metodo di ensemble istanza in input classificazione di ensemble."— Transcript della presentazione:

1 Metodi di Ensemble Metaclassificatori

2 Metodi di Ensemble... classificatori C1C1 C2C2 CnCn metodo di ensemble istanza in input classificazione di ensemble

3 Come combinare i classificatori? Normalmente mediante una media pesata (supponiamo che le classi siano {-1, +1}): w i è il peso del classificatore C i Si può estendere a un numero arbitrario classi Voting semplice (w k = w j per ogni k, j) Voting pesato (i pesi influenzano la scelta finale)

4 Metodi di Ensemble Mediano i risultati di modelli differenti (o stesso modello parametrizzato in modo differente) Perché? –Normalmente hanno prestazioni migliori rispetto ai singoli classificatori –Più resistenti al rumore Perché no? –Richiedono più tempo –Overfitting

5 Bagging Dato un insieme di addestramento D, generiamo n insiemi di addestramento D i (|D i | |D|) Ciascun insieme di addestramento D i viene generato campionando esempi da D in modo uniforme (estratti con rimpiazzo) –Bootstrapping Addestra n classificatori sugli n insiemi di addestramento ottenuti Media i risultati sui vari classificatori (se loutput è reale) oppure applica una tecnica di voting (se loutput è basato su classi)

6 Bagging: Esempio (Opitz, 1999) Insieme D D1D D2D D3D D4D

7 Boosting Può un insieme di classificatori deboli formare un classificatore forte? Il Boosting fornisce una risposta I classificatori vengono prodotti in sequenza Ciascun classificatore dipende dal precedente e tenta di migliorarne gli errori Gli esempi classificati in modo erroneo dai classificatori precedenti sono scelti più spesso o pesati maggiormente

8 Boosting C1C1 Training set D C2C2 Campione pesato D 2 CTCT Campione pesato D T......

9 Adaptive Boosting (AdaBoost) Si sceglie una distribuzione iniziale di selezione degli esempi (x i, y i ), D 1 (i) = 1/m dato |D|=m e per i = 1, …, m For k = 1, …, T –Definisce k come la somma delle probabilità per le istanze misclassificate dai classificatori precedenti –Apprendi un classificatore C k che minimizzi lerrore k (esci se k 0.5 –Calcola un peso k del classificatore C k : –Aggiorna la distribuzione: D k+1 (i) = D k (i)e k se x i è classificato in modo errato, D k+1 (i) = D k (i)e - k se x i è classificato in modo corretto –Rinormalizza le probabilità (affinché sommino a 1) Combina i classificatori C 1, …, C k usando il voting pesato

10 AdaBoost: esempio

11 AdaBoost: esempio (k=1) C1C1

12 C1C1

13 AdaBoost: esempio (k=2) C2C

14 C2C

15 AdaBoost: esempio (k=3) C3C

16 C3C

17 AdaBoost: H finale (T=3)...

18 AdaBoost Il classificatore finale è: Vantaggi: –Solo un parametro da apprendere: T –Può essere combinato con qualsiasi classificatore debole –Garanzie teoriche data una quantità sufficiente di dati e un buon classificatore debole Svantaggi: –Suscettibile al rumore –Dipende dal classificatore debole e dai dati Provate anche questa applet: –http://www.cse.ucsd.edu/~yfreund/adaboost/index.html


Scaricare ppt "Metodi di Ensemble Metaclassificatori. Metodi di Ensemble... classificatori C1C1 C2C2 CnCn metodo di ensemble istanza in input classificazione di ensemble."

Presentazioni simili


Annunci Google