La presentazione è in caricamento. Aspetta per favore

La presentazione è in caricamento. Aspetta per favore

Apprendimento Automatico: Valutazione delle Prestazioni Roberto Navigli 1 Apprendimento Automatico: Valutazione delle Prestazioni.

Presentazioni simili


Presentazione sul tema: "Apprendimento Automatico: Valutazione delle Prestazioni Roberto Navigli 1 Apprendimento Automatico: Valutazione delle Prestazioni."— Transcript della presentazione:

1 Apprendimento Automatico: Valutazione delle Prestazioni Roberto Navigli 1 Apprendimento Automatico: Valutazione delle Prestazioni

2 Roberto Navigli 2 Valutazione delle Prestazioni Una volta appreso un classificatore è di fondamentale importanza valutarne le prestazioni La valutazione delle prestazioni richiede un attento esame del problema e delle componenti per cui ha senso effettuare una valutazione E necessario utilizzare in modo ragionato le misure di valutazione disponibili –Giustificare perché utilizzare una misura piuttosto che unaltra o perché complementare una misura con unaltra al fine di avere un quadro completo delle prestazioni

3 Apprendimento Automatico: Valutazione delle Prestazioni Roberto Navigli 3 Modalità di test di un classificatore Sul training set stesso –overfitting! Su un test set disgiunto dal training set Mediante cross validation –Suddivido il training set in k sottoinsiemi (k-fold) –Testo il classificatore k volte allenandolo su k-1 sottoinsiemi e testandolo sul sottoinsieme rimanente –Le prestazioni complessive possono essere calcolate mediando sui k esperimenti –k = 10 risulta sperimentalmente un buon numero di fold Mediante split –Suddividiamo linsieme di dati disponibile in training e test set (normalmente il primo è più grande del secondo, es. 66% e 34%)

4 Apprendimento Automatico: Valutazione delle Prestazioni Roberto Navigli 4 Esempio Quali sono le prestazioni del classificatore Navigli?

5 Apprendimento Automatico: Valutazione delle Prestazioni Roberto Navigli 5 Matrice di Confusione Applicando il classificatore al test set possiamo visualizzare la distribuzione delle istanze rispetto alla classificazione predetta e a quella reale Utilizziamo la cosiddetta matrice di confusione Es. se la classificazione è binaria: –TP = true positive –TN = true negative –FN = false negative –FP = false positive TP FN FP TN Classe predetta Positivo Negativo Classe reale Positivo Negativo

6 Apprendimento Automatico: Valutazione delle Prestazioni Roberto Navigli 6 Misure per valutare le prestazioni (1) Test Set T Istanze positive Istanze negative Istanze con predizione positiva TP TN FP FN

7 Apprendimento Automatico: Valutazione delle Prestazioni Roberto Navigli 7 Misure per valutare le prestazioni (2) Precisione –P = TP/(TP+FP) –Percentuale di predizioni positive corrette Test Set T Istanze positive Istanze negative Istanze con predizione positiva TP TN FP FN

8 Apprendimento Automatico: Valutazione delle Prestazioni Roberto Navigli 8 Misure per valutare le prestazioni (3) Recall –R = TP/(TP+FN) –Percentuale di istanze realmente positive classificate come positive Test Set T Istanze positive Istanze negative Istanze con predizione positiva TP TN FP FN

9 Apprendimento Automatico: Valutazione delle Prestazioni Roberto Navigli 9 Misure per valutare le prestazioni (4) TP rate = TP/(TP+FN) = Recall Percentuale di istanze realmente positive classificate come positive Test Set T Istanze positive Istanze negative Istanze con predizione positiva TP TN FP FN

10 Apprendimento Automatico: Valutazione delle Prestazioni Roberto Navigli 10 Misure per valutare le prestazioni (5) FP rate = FP/(FP+TN) –Percentuale di istanze realmente negative classificate erroneamente come positive Test Set T Istanze positive Istanze negative Istanze con predizione positiva TP TN FP FN

11 Apprendimento Automatico: Valutazione delle Prestazioni Roberto Navigli 11 Misure per valutare le prestazioni (6) Accuratezza = (TP+TN)/(TP+TN+FP+FN) Percentuale di istanze sia positive sia negative classificate correttamente Error rate (Tasso derrore) = (FP+FN)/(TP+TN+FP+FN) Test Set T Istanze positive Istanze negative Istanze con predizione positiva TP TN FP FN

12 Apprendimento Automatico: Valutazione delle Prestazioni Roberto Navigli 12 F1 measure F1 = 2PR / (P+R) E una media armonica tra precisione e recall F1

13 Apprendimento Automatico: Valutazione delle Prestazioni Roberto Navigli 13 Come utilizzare le misure Quando utilizzare la accuracy –Quando ho un problema multiclasse e tutte le classi sono di interesse –Quando ho un problema binario, le due classi sono bilanciate e interessanti Quando utilizzare P, R e F1 –Se c'è almeno una classe non interessante –Se voglio studiare landamento del classificatore su una classe in particolare

14 Apprendimento Automatico: Valutazione delle Prestazioni Roberto Navigli 14 Esempio 1 Little Britain (Carol Beer): –Computer says no!

15 Apprendimento Automatico: Valutazione delle Prestazioni Roberto Navigli 15 Esempio 1 Classificazione binaria –Esempio: il classificatore emette sempre classificazione negativa –Accuracy = 0.95 –P = 0 –R = 0 Test Set T Istanze positive Istanze negative 95% 5%

16 Apprendimento Automatico: Valutazione delle Prestazioni Roberto Navigli 16 Esempio 2 Classificazione binaria –Esempio: il classificatore emette sempre classificazione positiva –Accuracy = 0.05 –P = 0.05 –R = 1 Test Set T Istanze positive Istanze negative 95% 5%

17 Apprendimento Automatico: Valutazione delle Prestazioni Roberto Navigli 17 Esempio 3 Classificazione binaria –Accuracy = 50/100 = 0.5 –P = 50/70 = 0.71 –R = 50/80 = 0.62 Test Set T Istanze positive Istanze negative 20% 80% 70% istanze classificate come positive (di cui 20% FP e 50% TP) 70% = 20%+50%

18 Apprendimento Automatico: Valutazione delle Prestazioni Roberto Navigli 18 Esempio 4 Classificazione n-aria –Caso: Il classificatore classifica correttamente tutta la classe di interesse, ma assegna classe rossa agli azzurri e azzurra ai rossi –Accuracy = 5/100 = 0.05!!! –P (rispetto alla classe verde) = 5/5 = 1 –R (rispetto alla classe verde) = 5/5 = 1 Test Set T Classe di interesse 55% 5% 40%


Scaricare ppt "Apprendimento Automatico: Valutazione delle Prestazioni Roberto Navigli 1 Apprendimento Automatico: Valutazione delle Prestazioni."

Presentazioni simili


Annunci Google