La presentazione è in caricamento. Aspetta per favore

La presentazione è in caricamento. Aspetta per favore

Valutazione delle ipotesi. Valutazione empirica delle ipotesi Dato un valore di accuratezza di classificazione misurato su un campione, quanto questo.

Presentazioni simili


Presentazione sul tema: "Valutazione delle ipotesi. Valutazione empirica delle ipotesi Dato un valore di accuratezza di classificazione misurato su un campione, quanto questo."— Transcript della presentazione:

1 Valutazione delle ipotesi

2 Valutazione empirica delle ipotesi Dato un valore di accuratezza di classificazione misurato su un campione, quanto questo valore è accurato nella stima di ulteriori campioni? Se una ipotesi h risulta prevalere su unipotesi h su un campione di test, possiamo dire che h è meglio di h in generale? Quando il campione di dati annotati (D) è limitato, quale è il metodo migliore per utilizzarlo sia in fase di apprendimento che di test?

3 Definizioni di errore Sia T un insieme di tuple in generale, T D Errore sul campione (sample error) n è il numero di tuple in T e la funzione è 1 se c(x)=h(x), 0 altrimenti Errore reale dove D è la distribuzione di probabilità delle istanze Quindi, e T è una stima, e siamo interessati a scoprire quanto questa stima si discosti dalla realtà, rappresentata da e D

4 Intervalli di confidenza Ci interessa valutare i margini di discrepanza fra errore reale ed errore stimato. Vogliamo stimare la probabilità che dove UB e LB sono dei valori di discrepanza massimo e minimo (upper bound e lower bound) UB e LB definiscono un intervallo di confidenza Def: un intervallo di confidenza del N% per un parametro p è un intervallo [LB,UB]che include p con probabilità N% (ovvero: con probabilità N% si ha che LB p UB)

5 Altre definizioni (reminder) Distribuzione di probabilità per una variabile aleatoria Y specifica la probabilità Pr(Y=y i ) y i Densità di probabilità (nel continuo) Valore atteso o media, a volte indicato anche con Y Varianza caratterizza la dispersione della distribuzione attorno alla media Deviazione standard

6 Esempio y0123 (y- ) 2 2,250,25 2,25 P(y)0,1250,375 0,125 =1, P(y) y

7 Distribuzione binomiale Data una variabile aleatoria che può assumere valore 0 o 1, una binomiale fornisce la probabilità di osservare r 0 (e (n-r) 1) in un campione di n osservazioni, quando la probabilità di ottenere 0 su un singolo lancio è p. P(r) r

8 Stima dellerrore La stima dellerrore e D (h) sulla base di un insieme casuale di osservazioni indipendenti equivale alla stima del parametro p della binomiale. Il numero r rappresenta il numero di errori osservabili in n classificazioni di istanze x nel test set T. e D (h) =p e T (h) è detto uno stimatore di p Il pregiudizio, o bias, della stima è definito dalla E[e T (h)]-p Una stima si dirà unbiased se il valore medio di molte stime di e T (h) (la variabile aleatoria) converge verso p r segue una binomiale

9 Torniamo al problema degli intervalli di confidenza un intervallo di confidenza del N% per un parametro p è un intervallo [LB,UB]che include p con probabilità N% È complicato stimare questi intervalli per una distribuzione binomiale Viceversa, e molto più facile farlo per una distribuzione Normale o Gaussiana

10 Distribuzione Normale (Gaussiana)

11 Intervalli di confidenza in una distribuzione normale o Gaussiana Se una variabile aleatoria X obbedisce ad una distribuzione Normale con media e deviazione standard, allora una misura x della variabile X cadrà nellintervallo N% delle volte Equivalentemente, avrò per la stima di il seguente intervallo:

12 Teorema del Limite Centrale La distribuzione Normale o Gaussiana è interessante perché consente di calcolare in modo semplice degli intervalli di confidenza (integrale) Il Teorema del Limite Centrale stabilisce che la somma di un numero sufficientemente grande di variabili aleatorie indipendentemente distribuite segue una distribuzione che è approssimativamente normale La distribuzione che governa tende alla distribuzione Normale per n In pratica, questo è approssimativamente vero per n>30

13 Graficamente

14 Combiniamo i risultati Se e T (h) obbedisce approssimativamente ad una Normale con media e varianza (il che è vero per un campione n>30) allora il valore misurato per e T (h), r/n, cadrà nel seguente intervallo con probabilità N%: zN definisce la (metà della) larghezza del più piccolo intervallo attorno alla media, che include lN% della massa totale di probabilità (area tratteggiata) zNzN

15 Determiniamo lintervallo N% dellarea giace in z N 80% dellarea giace in 1,28 Per una Normale con media 0 e deviazione standard 1: Ricordando che: Otteniamo:

16 Migliorare la stima dellerrore mediante stime multiple

17 K-fold cross validation Suddividere i dati di apprendimento D in k sotto-insiemi di uguale taglia D 1,D 2,..D k Per i=1..K do: –L i (D-D i ), T i D i (usa D i come test set e tutto il resto come learning set) –Calcola lerrore medio: –Intervallo di confidenza N%: –k-1 (indicato spesso con ) indica il numero di gradi di libertà (numero degli eventi indipendenti che concorrono nella produzione del valore della variabile aleatoria ).

18 K-FOLD CROSS VALIDATION

19 Verificare ipotesi alternative Date due ipotesi h1 e h2, la differenza è: perché la varianza di questa distribuzione è pari alla somma delle varianze delle due distribuzioni Lintervallo di confidenza allN% sarà:

20 Verificare algoritmi alternativi Ad esempio, due architetture G e G di rete neurale, o due algoritmi di alberi di decisione, basati su diverse politiche Siano L A e L B due apprendisti: –Suddividere i dati di apprendimento D in k sotto-insiemi di uguale taglia D 1,D 2,..D k –Per i=1..K do: –L i (D-D i ), T i D i (usa D i come test set e tutto il resto come learning set) –h A =L A (L i ), h B =L B (L i ) – i =e Ti (h A )- e Ti (h B ) Intervallo di confidenza N%:


Scaricare ppt "Valutazione delle ipotesi. Valutazione empirica delle ipotesi Dato un valore di accuratezza di classificazione misurato su un campione, quanto questo."

Presentazioni simili


Annunci Google