Verifica di ipotesi statistiche

Presentazione sul tema: "Verifica di ipotesi statistiche"— Transcript della presentazione:

1 Verifica di ipotesi statistiche
Riferimento bibliografici: Levine, Krehbiel, Berenson (2006): Statistica, II ed., Apogeo. Piccolo D., (2000): Statistica, il Mulino, Bologna. Lezione 7 Verifica di ipotesi statistiche Insegnamento: Statistica Corso di Laurea Magistrale in Matematica Università di Ferrara

2 Argomenti Logica e caratteristiche fondamentali dei test
Struttura probabilistica del test Lemma di Neyman e Pearson Test uniformemente più potenti Test del rapporto di verosimiglianza Test parametrici ad un campione: Test di ipotesi sul valore medio (se è nota la varianza) Test di ipotesi sul valore medio (se non è nota la varianza) Test di ipotesi sulle frequenze di una attributo (per la proporzione) Approccio del p-value

3 La verifica di ipotesi La verifica di ipotesi è una procedura inferenziale che ha come scopo quello di considerare l’informazione empirica (ottenuta da una statistica campionaria) e di stabilire se questa è favorevole ad una asserzione di interesse sui parametri della popolazione La verifica d’ipotesi si affianca ai problemi di stima nell’ambito dell’inferenza statistica: consente di operare una scelta decisionale su due o più ipotesi riguardanti il tipo di distribuzione del carattere in oggetto di studio o su valori alternativi dei parametri che identificano la distribuzione, accettando una di tale ipotesi sulla base delle informazioni campionarie disponibili

4 La verifica di ipotesi Il test delle ipotesi statistiche è una regola istituita sullo spazio campionario mediante la quale, in funzione del campione osservato, si decide se rifiutare o non rifiutare una ipotesi statistica H0 riferita alla popolazione, detta ipotesi nulla. Gli elementi che contraddistinguono un test sono: Ipotesi statistica: una qualunque affermazione che specifica completamente (ipotesi semplice) o parzialmente (ipotesi composita) la distribuzione di prob.tà di una v. c. X . Campione casuale: il test è una regola basata sullo spazio campionario. La regola decisionale

5 Logica e caratteristiche fondamentali di un test

6

7 La regione critica del test

8 La regola decisionale crea quindi una bipartizione dello spazio campionario:
La regola definita tramite (X1,...,Xn) sulla base di R0 si traduce in una regola fondata sulla statistica T n = T(X1,...,Xn) detta statistica-test: Se Tn appartiene alla regione critica (C0) allora si rifiuta l’ipotesi nulla. Se Tn non appartiene alla regione critica allora non si può rifiutare l’ipotesi nulla.

9 Struttura probabilistica di un test
In linea di principio un test d’ipotesi genera quattro possibili situazioni Decisione Realtà (ignota) Non si rifiuta Si Rifiuta È vera Decisione Corretta Errore del Primo Tipo È falsa Errore del Secondo Tipo Le cui corrispondenti probabilità condizionate sono: Livello di significatività del test Potenza del Test

10 La Regione Critica Ottimale di Ampiezza
è una Regione Critica per tale che e che per qualsiasi altra Regione Critica di uguale ampiezza risulti tale che: Elemento essenziale ed esaustivo per la costruzione di è il Lemma dovuto a Neymann e Pearson: Sia un campione casuale generato da X e si voglia verificare Se è la funzione di Verosimiglianza di allora la per contro è quella regione C0 dello Spazio Campionario tale che soddisfa: i) ii) I test parametrici sono generalmente basati sul lemma di Neyman-Pearson e sull’ipotesi di Normalità delle osservazioni campionarie. In generale, soprattutto in alcuni studi di tipo biomedico, l’ipotesi di Normalità è difficilmente assumibile sia per motivazioni dipendenti dallo studio stesso, sia nel caso di basse numerosità campionarie che rendono difficilmente applicabile il teorema del limite centrale. E’ quindi necessario introdurre una nuova classe di test che producano Rco in assenza dell’ipotesi di normalità (Test non parametrici).

11 Osservazioni sul lemma
Il lemma individua "una" regione critica ottimale di ampiezza α e non "la" regione critica ottimale di ampiezza α. Il valore numerico della costante c viene determinato dall'ampiezza α della Regione Critica Ottimale. Dunque il vincolo i) del lemma determina la forma della Regione Critica mentre il vincolo ii) ne specifica la sua ampiezza. Il lemma risponde al principio di verosimiglianza: si preferisce quell'ipotesi che risulta c volte più plausibile in termini di verosimiglianza (c è determinata in modo che il rischio di commettere l'errore del primo tipo sia pari al prefissato livello α). La regione Critica Ottimale di ampiezza α individuata dal lemma è funzione del campione casuale solo attraverso lo stimatore Tn per θ. Il lemma garantisce che nessun'altra suddivisione dello spazio campionario di dimensione n potrà essere di ampiezza α ed avere potenza superiore a quella di C0.

12 Test uniformemente più potenti (test UMP)
Si definisce funzione potenza la probabilità di rifiutare l’ipotesi nulla quando è vera l’ipotesi alternativa

13 Si osserva dunque che nel caso vi siano ipotesi alternative non unidirezionali difficilmente risulta possibile costruire test UMP: Si limita la scelta di test UMP a sottoclassi più circoscritte introducendo ulteriori proprietà statistiche delle Regioni Critiche (non-distorsione, similarità, invarianza, consistenza); oppure limitandosi alla ricerca di un test "localmente" più potente.

14 La consistenza richiede che all'aumentare della numerosità campionaria (n) sia sempre più probabile rifiutare correttamente l'ipotesi nulla e si realizza quando il grafico della funzione potenza diventa sempre più ripido per valori θ poco distanti da ω0 per n→∞. Il test diventa il più selettivo possibile avvicinandosi alla "forma ideale" della funzione potenza: quella che vale α per θ∈ω₀ e poi salta immediatamente a 1 per θ ∉ ω0 . Test consistente θ∈ω₀ θ ∉ ω0

15 E' possibile dimostrare che tutti i test derivati dal Lemma di Neyman e Pearson sono consistenti.
Definizione: Un test di ampiezza α si definisce non distorto se γ(θ) ≥ α per ogni θ∉ω₀ la probabilità di rifiutare correttamente H₀ è almeno non inferiore alla probabilità di rifiutarla a torto. Un test non distorto è caratterizzato da una funzione potenza che aumenta quando θ passa da ω₀ all'insieme complementare.

16 Similarità ed Invarianza
Definizione: Un test di ampiezza α per un'ipotesi riguardante il vettore di parametri θ si definisce similare allo spazio campionario ℜⁿ se γ(θ)=α per tutti i θ ∈ ω₀. Tale definizione si comprende se si pensa ad un'ipotesi nulla H₀ composita con uno o più parametri di disturbo non specificati; essa assume rilievo solo per variabili casuali dipendenti da almeno due parametri. Definizione: Un test si dice invariante quando la RC non si modifica rispetto ad una prefissata trasformazione dei valori campionari. Definizione: Un test si definisce localmente più potente (LUMP) quando esso è uniformemente più potente per ipotesi alternative vicine all'ipotesi nulla.

17 Test del rapporto di verosimiglianza
I test del rapporto di verosimiglianza (LRT test = Likelihood Ratio Test), rappresentano una generalizzazione dei test derivati da Neyman e Pearson. La costruzione della regione critica mediante tali test consiste nel calcolare dapprima il rapporto tra la verosimiglianza massimizzata sotto l'ipotesi H₀ (cioè quando θ∈ω₀) e la verosimiglianza massimizzata senza alcun vincolo (cioè quando θ∈Ω(θ)). Questo rapporto è una funzione del campione casuale generato da X ∼ f(x;θ) e la disuguaglianza λ( ) ≤ c rappresenta un evento la cui probabilità può essere determinata conoscendo la distribuzione della variabile casuale λ( ) oppure quella di una sua trasformazione biunivoca.

18

19 Proprietà dei test LRT

20 Proprietà dei test LRT

21 Test parametrici: Test sui parametri di una v.c. normale
In primo luogo presentiamo i test riguardanti un solo campione casuale proveniente da Test sul valore medio se è nota la varianza (Test Z sulla media) Test ad una coda Test ad una coda Test a due code I quantili zα e zα/2 sono relativi alla normale standardizzata e sono detti valori critici Tale test può essere applicato anche se la distribuzione non è normale purché l’ampiezza sia sufficientemente elevata (Teorema Centrale del limite).

22 Test parametrici: Test sui parametri di una v.c. normale
Test sul valore medio se è nota la varianza (Test Z sulla media) Esempio Si vuole stabilire se un processo produttivo di scatole di cerali funziona in maniera adeguata, allo scopo si estrae un campione di 25 scatole, esse sono pesate e si confronta il peso medio delle scatole del campione (la statistica campionaria) con la media di 368 grammi (il valore ipotizzato del parametro). L’ipotesi nulla e l’ipotesi alternativa in questo esempio sono rispettivamente: H0: μ = 368 H1: μ ≠ 368 Se si assume che la popolazione abbia distribuzione normale e che scarto quadratico medio della popolazione σ sia noto, la verifica di ipotesi viene condotta utilizzando il cosiddetto test di ipotesi Z.

23 Test di ipotesi Z per la media (varianza nota)
Si considera la statistica test Z. Il numeratore dell’equazione misura di quanto la media osservata differisce dalla media μ ipotizzata, mentre al denominatore troviamo l’errore standard della media. Pertanto Z ci dice per quanti errori standard differisce da μ. Per definire le regioni di accettazione e di rifiuto è necessario determinare i valori critici della statistica test, facendo riferimento alla distribuzione normale standardizzata una volta fissato l’errore di prima specie α. Statistica Z per la verifica d’ipotesi sulla media (σ noto)

24 Test di ipotesi Z per la media (varianza nota)
Ad esempio, se si fissa α=0.05, l’area sottesa in corrispondenza della regione di rifiuto deve essere pari a Poiché la regione di rifiuto coincide con le due code della distribuzione (si parla di un test a due code), l’area 0.05 viene divisa in due aree di Una regione di rifiuto di nelle due code della distribuzione normale dà luogo a un’area cumulata di alla sinistra del valore critico più piccolo e a un’area pari a alla sinistra del valore critico più grande. Cercando queste aree nella tavola della distribuzione normale, troviamo che i valori critici che dividono la regione di rifiuto da quella di accettazione sono –1.96 e

25 La Figura mostra che se la media μ ha valore 368, come ipotizza H0, allora la statistica test Z ha una distribuzione normale standardizzata. Valori di Z maggiori di o minori di –1.96 indicano che è così distante dal valore ipotizzato per μ (368) che non è probabile che questo valore si verifichi quando H0 è vera.

26 Pertanto la regola decisionale è la seguente:
Rifiutare H0 se Zα/2<–1.96 oppure se Zα/2>+1.96 Non rifiutare H0 altrimenti Supponiamo che la media campionaria calcolata a partire dal campione di 25 scatole sia grammi e che σ sia 15 grammi, allora e quindi non è possibile rifiutare l’ipotesi nulla.

27 Test di ipotesi Z per la media (varianza nota)
Le 6 fasi della verifica di ipotesi utilizzando l’approccio del valore critico Specificare l’ipotesi nulla e l’ipotesi alternativa Scegliere il livello di significatività α e l’ampiezza campionaria n. Il livello di significatività viene fissato in base all’importanza relativa che si accorda ai rischi derivanti dal commettere un errore di prima specie e dal commettere un errore di seconda specie. Individuare la tecnica statistica a cui fare riferimento e la corrispondente distribuzione campionaria

28 Test di ipotesi Z per la media (varianza nota)
Calcolare i valori critici che separano la regione di rifiuto da quella di accettazione. Raccogliere i dati e calcolare il valore campionario della statistica test. Prendere la decisione statistica. Se la statistica test cade nella regione di accettazione, l’ipotesi nulla H0 non può essere rifiutata. Se la statistica test cade nella regione di rifiuto, l’ipotesi nulla H0 viene rifiutata. Esprimere la decisione statistica con riferimento al problema che si sta affrontando.

29 I test ad una coda Nell’esempio precedente abbiamo considerato i cosiddetti test a due code ad esempio abbiamo contrapposto all’ipotesi nulla μ=368 grammi l’ipotesi alternativa μ≠368. Tale ipotesi si riferisce a due eventualità: o il peso medio è minore di 368 oppure è maggiore di 368. Per questo motivo, la regione critica si divide nelle due code della distribuzione della media campionaria. In alcune situazioni, tuttavia, l’ipotesi alternativa suppone che il parametro sia maggiore o minore di un valore specificato (ci si focalizza in una direzione particolare). Per esempio, il direttore dell’area finanziaria può essere interessato all’eventualità che il peso dei cereali contenuti ecceda i 368 grammi, perché in tal caso, essendo il prezzo delle scatole basato su un peso di 368 grammi, la società subirebbe delle perdite. In questo caso si intende stabilire se il peso medio è superiore a 368 grammi.

30 I test ad una coda L’ipotesi nulla e l’ipotesi alternativa in questo caso sono specificate rispettivamente: H0: μ  368 H1: μ >368 La regione di rifiuto in questo caso è interamente racchiusa nella coda destra della distribuzione della media campionaria, perché rifiutiamo l’ipotesi nulla H0 solo se la media è significativamente superiore a 368 grammi. Quando la regione di rifiuto è contenuta per intero in una coda della distribuzione della statistica test, si parla di test a una coda. Fissato il livello di significatività α, possiamo individuare, anche in questo caso, il valore critico di Zα. Nel caso H0: μ368 contro H1: μ<368 possiamo individuare il valore critico di Zα come segue.

31 I test ad una coda Come potete osservare dalla Tabella e dalla Figura sotto, poiché la regione critica è contenuta nella coda di sinistra della distribuzione normale standardizzata e corrisponde a un’area di 0.05, il valore critico lascia alla sua sinistra una massa pari a 0.05; pertanto tale valore è −1.645 (media di −1.64 e −1.65).

32 Test parametrici: Test sui parametri di una v.c. normale
In primo luogo presentiamo i test riguardanti un solo campione casuale proveniente da Test sul valore medio se non è nota la varianza (Test t sulla media) Test ad una coda Test ad una coda Test a due code I quantili tα e tα/2 sono relativi alla v. c t di Student con g = n-1 gradi di libertà (valori critici)

33 Statistica t per la verifica d’ipotesi sulla media (σ non noto)
Il test di ipotesi t per la media (varianza non nota) Se il campione usato per effettuare il test ha un ampiezza sufficientemente grande allora si può sostituire σ con lo s. q. m. campionario corretto S. Se invece l’ampiezza campionaria è piccola e la popolazione da cui proviene il campione ha distribuzione normale allora la statistica test data da è una variabile aleatoria avente distribuzione t di Student con g=n-1 gradi di libertà. Statistica t per la verifica d’ipotesi sulla media (σ non noto)

34 Il test di ipotesi t per la media (s non noto)
Per illustrare l’uso del test t si consideri un campione di fatture per valutare se l’ammontare medio delle fatture è stato uguale a $120. H0: μ = 120 H1: μ ≠ 120 α=0.05 e n=12 poiché σ non è noto la statistica test è t con n−1 gradi di libertà il test è a due code e i valori critici si determinano dalla tavola della t

35 dati i valori delle 12 fatture campionate 108. 98 152. 22. 111. 45 110
dati i valori delle 12 fatture campionate si ottiene = e S = e quindi poiché −2.201 < t = −1.19 < l’ipotesi nulla non va rifiutata

36 Vari procedimenti per effettuare un test d’ipotesi sulla media µ di una popolazione
Procedimento Ipotesi Statistica test Distribuzione Statistica test 1 n ≥ 30 Varianza σ2 nota Distribuzione normale 2 Varianza σ2 incognita 3 n < 30 Pop. normale 4 Distribuzione t di Student con n -1 gradi di libertà Il proc. 4 può essere usato anche per grandi campioni da pop .normale al posto del procedimento 2: il proc. esatto è quello basato sulla distribuzione t mentre l’altro è approssimato.

37 Il test di ipotesi Z per la proporzione
In alcuni casi si è interessati a verificare ipotesi su , la proporzione di unità nella popolazione che possiedono una certa caratteristica. A tale scopo, per un campione casuale estratto dalla popolazione, si deve calcolare la proporzione campionaria P = X/n. Se il numero di successi X e di insuccessi (n−X) sono entrambi >5, la distribuzione della proporzione di successi può essere approssimata dalla distribuzione normale e, quindi, si può ricorrere alla statistica Z per la proporzione. Statistica test Z per la verifica d’ipotesi sulla proporzione La statistica test Z ha approssimativamente una distribuzione normale standard

38 Il test di ipotesi Z per la proporzione
Esempio: dato un campione casuale di 899 persone che lavorano a casa, 369 delle quali sono donne, si è interessati a stabilire se la proporzione di donne è il 50%, cioè H0: =0.5. Si ha quindi P = X/n = 369/899=0.41. Fissato un livello di significatività α=0.05, le regioni di accettazione e rifiuto sono illustrate in figura (dalla tavola il valore critico è Z0.025=1.96).

39 Il test di ipotesi Z per la proporzione
Poiché −5.37 < −1.96 l’ipotesi nulla va rifiutata. Possiamo quindi concludere che a livello di significatività α=0.05 la proporzione di donne che lavorano da casa non è pari a 0.50.

40 Approccio del p-value alla verifica di ipotesi
Esiste un altro approccio alla verifica di ipotesi: l’approccio del p-value. Il p-value è anche chiamato livello di significatività osservato, in quanto coincide con il più piccolo livello di significatività in corrispondenza del quale H0 è rifiutata. In base all’approccio del p-value, la regola decisionale per rifiutare H0 è la seguente: Se il p-value è  α, l’ipotesi nulla non è rifiutata. Se il p-value è < α, l’ipotesi nulla è rifiutata. Il p-value rappresenta la probabilità di osservare un valore della statistica test uguale o più estremo del valore che si calcola a partire dal campione, quando l’ipotesi H0 è vera. Un p-value basso porta a rifiutare l’ipotesi nulla H0.

41 Definizione In un test di ipotesi, dopo aver effettuato il campionamento ed aver calcolato il valore della statistica-test si dice p-value il più piccolo valore del livello di significatività α per cui i dati campionari consentono di rifiutare l’ipotesi nulla. Un p-value quasi uguale a zero indica che siamo praticamente certi di non sbagliare rifiutando H0 Un p-value dell’ordine dei soliti livelli di sign. Indica che la decisione di rifiutare o no H0 è critica e dipende in modo cruciale da α Un p-value maggiore indica che, a qualsiasi livello di significatività, sbagliamo a rifiutare H0 Nei test basati sulla distribuzione normale, il p-value si calcola nel modo seguente:

42 Approccio del p-value alla verifica di ipotesi
Esempio Nel verificare se il peso medio dei cereali contenuti nelle scatole è uguale a 368 grammi contro l’ipotesi alternativa che sia diversa, abbiamo ottenuto un valore di Z uguale a 1.50 e non abbiamo rifiutato l’ipotesi, perché 1.50 è maggiore del valore critico più piccolo –1.96 e minore di quello più grande Risolviamo, ora, questo problema di verifica di ipotesi facendo ricorso all’approccio del p-value. Per questo test a due code, dobbiamo, in base alla definizione del p-value, calcolare la probabilità di osservare un valore della statistica test uguale o più estremo di 1.50.

43 Approccio del p-value alla verifica di ipotesi
Si tratta, più precisamente, di calcolare la probabilità che Z assuma un valore maggiore di 1.50 oppure minore di –1.50. La probabilità che Z assuma un valore minore di –1.50 è , mentre la probabilità che Z assuma un valore minore di è (= ), quindi la probabilità che Z assuma un valore maggiore di è 1 – = Pertanto il p-value per questo test a due code è = Se si considera α= 0.05 allora non rifiutiamo l’ipotesi nulla.

44 I test ad una coda Nell’approccio del p-value al test a una coda, si calcola la probabilità di ottenere o un valore della statistica test più grande di quello osservato o un valore più piccolo a seconda della direzione dell’ipotesi alternativa. Se la regione di rifiuto risulta contenuta per intero nella coda di sinistra della distribuzione della statistica test Z, dobbiamo calcolare la probabilità che Z assuma un valore minore di Z osservato, ad esempio − Tale probabilità, in base alle Tavole, è

45 Legame tra intervalli di confidenza e verifica di ipotesi
Si sono presi in considerazione i due elementi principali dell’inferenza statistica – gli intervalli di confidenza e la verifica di ipotesi. Sebbene abbiano una stessa base concettuale, essi sono utilizzati per scopi diversi: gli intervalli di confidenza sono stati usati per stimare i parametri della popolazione, mentre la verifica di ipotesi viene impiegata per poter prendere delle decisioni che dipendone dai valori dei parametri. Tuttavia è importante sottolineare che anche gli intervalli di confidenza possono consentire di valutare se un parametro è minore, maggiore o diverso da un certo valore: anziché sottoporre a verifica l’ipotesi μ=368 possiamo risolvere il problema costruendo un intervallo di confidenza per la media μ. In questo caso accettiamo l’ipotesi nulla se il valore ipotizzato è compreso nell’intervallo costruito, …

46 Legame tra intervalli di confidenza e verifica di ipotesi
… perché tale valore non può essere considerato insolito alla luce dei dati osservati. D’altronde, l’ipotesi nulla va rifiutata se il valore ipotizzato non cade nell’intervallo costruito, perché tale valore risulta insolito alla luce dei dati. Con riferimento al problema considerato l’intervallo di confidenza è costruito ponendo: n=25, =372.5 grammi, σ = 15 grammi. Per un livello di significatività del 95% (corrispondente al livello di significatività del test α=0.05), avremo: Poiché l’intervallo comprende il valore ipotizzato di 368 grammi, non rifiutiamo l’ipotesi nulla e concludiamo che non c’è motivo per ritenere che il peso medio dei cereali contenuti nelle scatole sia diverso da 368 grammi.