La presentazione è in caricamento. Aspetta per favore

La presentazione è in caricamento. Aspetta per favore

Lezione 7 Verifica di ipotesi statistiche Insegnamento: Statistica Corso di Laurea Magistrale in Matematica Università di Ferrara

Presentazioni simili


Presentazione sul tema: "Lezione 7 Verifica di ipotesi statistiche Insegnamento: Statistica Corso di Laurea Magistrale in Matematica Università di Ferrara"— Transcript della presentazione:

1 Lezione 7 Verifica di ipotesi statistiche Insegnamento: Statistica Corso di Laurea Magistrale in Matematica Università di Ferrara Riferimento bibliografici: Levine, Krehbiel, Berenson (2006): Statistica, II ed., Apogeo. Piccolo D., (2000): Statistica, il Mulino, Bologna.

2 Argomenti Logica e caratteristiche fondamentali dei test Struttura probabilistica del test Lemma di Neyman e Pearson Test uniformemente più potenti Test del rapporto di verosimiglianza Test parametrici ad un campione: Test di ipotesi sul valore medio (se è nota la varianza) Test di ipotesi sul valore medio (se non è nota la varianza) Test di ipotesi sulle frequenze di una attributo (per la proporzione) Approccio del p-value

3 La verifica di ipotesi La verifica di ipotesi è una procedura inferenziale che ha come scopo quello di considerare l’informazione empirica (ottenuta da una statistica campionaria) e di stabilire se questa è favorevole ad una asserzione di interesse sui parametri della popolazione La verifica d’ipotesi si affianca ai problemi di stima nell’ambito dell’inferenza statistica: consente di operare una scelta decisionale su due o più ipotesi riguardanti il tipo di distribuzione del carattere in oggetto di studio o su valori alternativi dei parametri che identificano la distribuzione, accettando una di tale ipotesi sulla base delle informazioni campionarie disponibili

4 La verifica di ipotesi Il test delle ipotesi statistiche è una regola istituita sullo spazio campionario mediante la quale, in funzione del campione osservato, si decide se rifiutare o non rifiutare una ipotesi statistica H 0 riferita alla popolazione, detta ipotesi nulla. Gli elementi che contraddistinguono un test sono: 1) Ipotesi statistica: una qualunque affermazione che specifica completamente (ipotesi semplice) o parzialmente (ipotesi composita) la distribuzione di prob.tà di una v. c. X. 2) Campione casuale: il test è una regola basata sullo spazio campionario. 3) La regola decisionale

5 Logica e caratteristiche fondamentali di un test

6

7 La regione critica del test

8 La regola decisionale crea quindi una bipartizione dello spazio campionario: La regola definita tramite (X 1,...,X n ) sulla base di R 0 si traduce in una regola fondata sulla statistica T n = T(X 1,...,X n ) detta statistica-test: Se Tn appartiene alla regione critica (C 0 ) allora si rifiuta l’ipotesi nulla. Se Tn non appartiene alla regione critica allora non si può rifiutare l’ipotesi nulla.

9 Struttura probabilistica di un test In linea di principio un test d’ipotesi genera quattro possibili situazioni Decisione Realtà (ignota)Non si rifiutaSi Rifiuta È veraDecisione CorrettaErrore del Primo Tipo È falsaErrore del Secondo Tipo Decisione Corretta Le cui corrispondenti probabilità condizionate sono: Livello di significatività del test Potenza del Test

10 La Regione Critica Ottimale di Ampiezza La è una Regione Critica pertale che e che per qualsiasi altra Regione Critica di uguale ampiezzarisulti tale che: Elemento essenziale ed esaustivo per la costruzione di è il Lemma dovuto a Neymann e Pearson: Sia un campione casuale generato da X e si voglia verificare. Se è la funzione di Verosimiglianza di allora la per contro è quella regione C 0 dello Spazio Campionario tale che soddisfa: i) ii). I test parametrici sono generalmente basati sul lemma di Neyman-Pearson e sull’ipotesi di Normalità delle osservazioni campionarie. In generale, soprattutto in alcuni studi di tipo biomedico, l’ipotesi di Normalità è difficilmente assumibile sia per motivazioni dipendenti dallo studio stesso, sia nel caso di basse numerosità campionarie che rendono difficilmente applicabile il teorema del limite centrale. E’ quindi necessario introdurre una nuova classe di test che producano Rco in assenza dell’ipotesi di normalità (Test non parametrici).

11 Osservazioni sul lemma Il lemma individua "una" regione critica ottimale di ampiezza α e non "la" regione critica ottimale di ampiezza α. Il valore numerico della costante c viene determinato dall'ampiezza α della Regione Critica Ottimale. Dunque il vincolo i) del lemma determina la forma della Regione Critica mentre il vincolo ii) ne specifica la sua ampiezza. Il lemma risponde al principio di verosimiglianza: si preferisce quell'ipotesi che risulta c volte più plausibile in termini di verosimiglianza (c è determinata in modo che il rischio di commettere l'errore del primo tipo sia pari al prefissato livello α). La regione Critica Ottimale di ampiezza α individuata dal lemma è funzione del campione casuale solo attraverso lo stimatore T n per θ. Il lemma garantisce che nessun'altra suddivisione dello spazio campionario di dimensione n potrà essere di ampiezza α ed avere potenza superiore a quella di C 0.

12 Test uniformemente più potenti (test UMP) Si definisce funzione potenza la probabilità di rifiutare l’ipotesi nulla quando è vera l’ipotesi alternativa

13 Si osserva dunque che nel caso vi siano ipotesi alternative non unidirezionali difficilmente risulta possibile costruire test UMP: Si limita la scelta di test UMP a sottoclassi più circoscritte introducendo ulteriori proprietà statistiche delle Regioni Critiche (non-distorsione, similarità, invarianza, consistenza); oppure limitandosi alla ricerca di un test "localmente" più potente.

14 La consistenza richiede che all'aumentare della numerosità campionaria (n) sia sempre più probabile rifiutare correttamente l'ipotesi nulla e si realizza quando il grafico della funzione potenza diventa sempre più ripido per valori θ poco distanti da ω 0 per n→∞. Il test diventa il più selettivo possibile avvicinandosi alla "forma ideale" della funzione potenza: quella che vale α per θ ∈ ω ₀ e poi salta immediatamente a 1 per θ ∉ ω 0. θ∈ω₀θ∈ω₀ θ ∉ ω0 Test consistente

15 E' possibile dimostrare che tutti i test derivati dal Lemma di Neyman e Pearson sono consistenti. Definizione: Un test di ampiezza α si definisce non distorto se γ(θ) ≥ α per ogni θ ∉ ω ₀ la probabilità di rifiutare correttamente H ₀ è almeno non inferiore alla probabilità di rifiutarla a torto. Un test non distorto è caratterizzato da una funzione potenza che aumenta quando θ passa da ω ₀ all'insieme complementare.

16 Similarità ed Invarianza Definizione: Un test di ampiezza α per un'ipotesi riguardante il vettore di parametri θ si definisce similare allo spazio campionario ℜ ⁿ se γ(θ)=α per tutti i θ ∈ ω ₀. Tale definizione si comprende se si pensa ad un'ipotesi nulla H ₀ composita con uno o più parametri di disturbo non specificati; essa assume rilievo solo per variabili casuali dipendenti da almeno due parametri. Definizione: Un test si dice invariante quando la RC non si modifica rispetto ad una prefissata trasformazione dei valori campionari. Definizione: Un test si definisce localmente più potente (LUMP) quando esso è uniformemente più potente per ipotesi alternative vicine all'ipotesi nulla.

17 Test del rapporto di verosimiglianza I test del rapporto di verosimiglianza (LRT test = Likelihood Ratio Test), rappresentano una generalizzazione dei test derivati da Neyman e Pearson. La costruzione della regione critica mediante tali test consiste nel calcolare dapprima il rapporto tra la verosimiglianza massimizzata sotto l'ipotesi H ₀ (cioè quando θ ∈ ω ₀ ) e la verosimiglianza massimizzata senza alcun vincolo (cioè quando θ ∈ Ω(θ)). Questo rapporto è una funzione del campione casuale generato da X ∼ f(x;θ) e la disuguaglianza λ( ) ≤ c rappresenta un evento la cui probabilità può essere determinata conoscendo la distribuzione della variabile casuale λ( ) oppure quella di una sua trasformazione biunivoca.

18

19 Proprietà dei test LRT

20

21 Test parametrici: Test sui parametri di una v.c. normale Test sul valore medio se è nota la varianza (Test Z sulla media) In primo luogo presentiamo i test riguardanti un solo campione casuale proveniente da I quantili z α e z α/2 sono relativi alla normale standardizzata e sono detti valori critici Test ad una coda Test a due code Tale test può essere applicato anche se la distribuzione non è normale purché l’ampiezza sia sufficientemente elevata (Teorema Centrale del limite).

22 Test parametrici: Test sui parametri di una v.c. normale Test sul valore medio se è nota la varianza (Test Z sulla media) Esempio Si vuole stabilire se un processo produttivo di scatole di cerali funziona in maniera adeguata, allo scopo si estrae un campione di 25 scatole, esse sono pesate e si confronta il peso medio delle scatole del campione (la statistica campionaria) con la media di 368 grammi (il valore ipotizzato del parametro). L’ipotesi nulla e l’ipotesi alternativa in questo esempio sono rispettivamente: H 0 : μ = 368 H 1 : μ ≠ 368 Se si assume che la popolazione abbia distribuzione normale e che scarto quadratico medio della popolazione σ sia noto, la verifica di ipotesi viene condotta utilizzando il cosiddetto test di ipotesi Z.

23 Test di ipotesi Z per la media (varianza nota) Si considera la statistica test Z. Il numeratore dell’equazione misura di quanto la media osservata differisce dalla media μ ipotizzata, mentre al denominatore troviamo l’errore standard della media. Pertanto Z ci dice per quanti errori standard differisce da μ. Per definire le regioni di accettazione e di rifiuto è necessario determinare i valori critici della statistica test, facendo riferimento alla distribuzione normale standardizzata una volta fissato l’errore di prima specie α. Statistica Z per la verifica d’ipotesi sulla media (σ noto)

24 Test di ipotesi Z per la media (varianza nota) Ad esempio, se si fissa α=0.05, l’area sottesa in corrispondenza della regione di rifiuto deve essere pari a Poiché la regione di rifiuto coincide con le due code della distribuzione (si parla di un test a due code), l’area 0.05 viene divisa in due aree di Una regione di rifiuto di nelle due code della distribuzione normale dà luogo a un’area cumulata di alla sinistra del valore critico più piccolo e a un’area pari a alla sinistra del valore critico più grande. Cercando queste aree nella tavola della distribuzione normale, troviamo che i valori critici che dividono la regione di rifiuto da quella di accettazione sono –1.96 e

25 La Figura mostra che se la media μ ha valore 368, come ipotizza H 0, allora la statistica test Z ha una distribuzione normale standardizzata. Valori di Z maggiori di o minori di –1.96 indicano che è così distante dal valore ipotizzato per μ (368) che non è probabile che questo valore si verifichi quando H 0 è vera.

26 Pertanto la regola decisionale è la seguente: Rifiutare H 0 se Z α/ Non rifiutare H 0 altrimenti Supponiamo che la media campionaria calcolata a partire dal campione di 25 scatole sia grammi e che σ sia 15 grammi, allora e quindi non è possibile rifiutare l’ipotesi nulla.

27 Test di ipotesi Z per la media (varianza nota) Le 6 fasi della verifica di ipotesi utilizzando l’approccio del valore critico 1.Specificare l’ipotesi nulla e l’ipotesi alternativa 2.Scegliere il livello di significatività α e l’ampiezza campionaria n. Il livello di significatività viene fissato in base all’importanza relativa che si accorda ai rischi derivanti dal commettere un errore di prima specie e dal commettere un errore di seconda specie. 3.Individuare la tecnica statistica a cui fare riferimento e la corrispondente distribuzione campionaria

28 Test di ipotesi Z per la media (varianza nota) 4.Calcolare i valori critici che separano la regione di rifiuto da quella di accettazione. 5.Raccogliere i dati e calcolare il valore campionario della statistica test. 6.Prendere la decisione statistica. Se la statistica test cade nella regione di accettazione, l’ipotesi nulla H 0 non può essere rifiutata. Se la statistica test cade nella regione di rifiuto, l’ipotesi nulla H 0 viene rifiutata. Esprimere la decisione statistica con riferimento al problema che si sta affrontando.

29 Nell’esempio precedente abbiamo considerato i cosiddetti test a due code ad esempio abbiamo contrapposto all’ipotesi nulla μ=368 grammi l’ipotesi alternativa μ≠368. Tale ipotesi si riferisce a due eventualità: o il peso medio è minore di 368 oppure è maggiore di 368. Per questo motivo, la regione critica si divide nelle due code della distribuzione della media campionaria. In alcune situazioni, tuttavia, l’ipotesi alternativa suppone che il parametro sia maggiore o minore di un valore specificato (ci si focalizza in una direzione particolare). Per esempio, il direttore dell’area finanziaria può essere interessato all’eventualità che il peso dei cereali contenuti ecceda i 368 grammi, perché in tal caso, essendo il prezzo delle scatole basato su un peso di 368 grammi, la società subirebbe delle perdite. In questo caso si intende stabilire se il peso medio è superiore a 368 grammi. I test ad una coda

30 L’ipotesi nulla e l’ipotesi alternativa in questo caso sono specificate rispettivamente: H 0 : μ  368 H 1 : μ >368 La regione di rifiuto in questo caso è interamente racchiusa nella coda destra della distribuzione della media campionaria, perché rifiutiamo l’ipotesi nulla H 0 solo se la media è significativamente superiore a 368 grammi. Quando la regione di rifiuto è contenuta per intero in una coda della distribuzione della statistica test, si parla di test a una coda. Fissato il livello di significatività α, possiamo individuare, anche in questo caso, il valore critico di Z α. Nel caso H 0 : μ  368 contro H 1 : μ<368 possiamo individuare il valore critico di Z α come segue. I test ad una coda

31 Come potete osservare dalla Tabella e dalla Figura sotto, poiché la regione critica è contenuta nella coda di sinistra della distribuzione normale standardizzata e corrisponde a un’area di 0.05, il valore critico lascia alla sua sinistra una massa pari a 0.05; pertanto tale valore è −1.645 (media di −1.64 e −1.65). I test ad una coda

32 Test parametrici: Test sui parametri di una v.c. normale Test sul valore medio se non è nota la varianza (Test t sulla media) In primo luogo presentiamo i test riguardanti un solo campione casuale proveniente da I quantili t α e t α/2 sono relativi alla v. c t di Student con g = n-1 gradi di libertà (valori critici) Test ad una coda Test a due code

33 Se il campione usato per effettuare il test ha un ampiezza sufficientemente grande allora si può sostituire σ con lo s. q. m. campionario corretto S. Se invece l’ampiezza campionaria è piccola e la popolazione da cui proviene il campione ha distribuzione normale allora la statistica test data da è una variabile aleatoria avente distribuzione t di Student con g=n-1 gradi di libertà. Statistica t per la verifica d’ipotesi sulla media (σ non noto) Il test di ipotesi t per la media (varianza non nota)

34 Per illustrare l’uso del test t si consideri un campione di fatture per valutare se l’ammontare medio delle fatture è stato uguale a $120. Il test di ipotesi t per la media (  non noto) 4.il test è a due code e i valori critici si determinano dalla tavola della t 1.H 0 : μ = 120 H 1 : μ ≠ α=0.05 e n=12 3.poiché σ non è noto la statistica test è t con n−1 gradi di libertà

35 5.dati i valori delle 12 fatture campionate si ottiene = e S = e quindi 6.poiché −2.201 < t = −1.19 < l’ipotesi nulla non va rifiutata

36 Vari procedimenti per effettuare un test d’ipotesi sulla media µ di una popolazione ProcedimentoIpotesiStatistica test Distribuzione Statistica test 1 n ≥ 30 Varianza σ 2 nota Distribuzione normale 2 n ≥ 30 Varianza σ 2 incognita Distribuzione normale 3 n < 30 Pop. normale Varianza σ 2 nota Distribuzione normale 4 n < 30 Pop. normale Varianza σ 2 incognita Distribuzione t di Student con n -1 gradi di libertà Il proc. 4 può essere usato anche per grandi campioni da pop.normale al posto del procedimento 2: il proc. esatto è quello basato sulla distribuzione t mentre l’altro è approssimato.

37 Il test di ipotesi Z per la proporzione In alcuni casi si è interessati a verificare ipotesi su , la proporzione di unità nella popolazione che possiedono una certa caratteristica. A tale scopo, per un campione casuale estratto dalla popolazione, si deve calcolare la proporzione campionaria P = X/n. Se il numero di successi X e di insuccessi (n−X) sono entrambi >5, la distribuzione della proporzione di successi può essere approssimata dalla distribuzione normale e, quindi, si può ricorrere alla statistica Z per la proporzione. Statistica test Z per la verifica d’ipotesi sulla proporzione La statistica test Z ha approssimativamente una distribuzione normale standard

38 Esempio: dato un campione casuale di 899 persone che lavorano a casa, 369 delle quali sono donne, si è interessati a stabilire se la proporzione di donne è il 50%, cioè H 0 :  =0.5. Si ha quindi P = X/n = 369/899=0.41. Fissato un livello di significatività α=0.05, le regioni di accettazione e rifiuto sono illustrate in figura (dalla tavola il valore critico è Z =1.96). Il test di ipotesi Z per la proporzione

39 Poiché −5.37 < −1.96 l’ipotesi nulla va rifiutata. Possiamo quindi concludere che a livello di significatività α=0.05 la proporzione di donne che lavorano da casa non è pari a Il test di ipotesi Z per la proporzione

40 Approccio del p-value alla verifica di ipotesi Esiste un altro approccio alla verifica di ipotesi: l’approccio del p- value. Il p-value è anche chiamato livello di significatività osservato, in quanto coincide con il più piccolo livello di significatività in corrispondenza del quale H 0 è rifiutata. In base all’approccio del p-value, la regola decisionale per rifiutare H 0 è la seguente:  Se il p-value è  α, l’ipotesi nulla non è rifiutata.  Se il p-value è < α, l’ipotesi nulla è rifiutata. Il p-value rappresenta la probabilità di osservare un valore della statistica test uguale o più estremo del valore che si calcola a partire dal campione, quando l’ipotesi H 0 è vera. Un p-value basso porta a rifiutare l’ipotesi nulla H 0.

41 Definizione In un test di ipotesi, dopo aver effettuato il campionamento ed aver calcolato il valore della statistica-test si dice p-value il più piccolo valore del livello di significatività α per cui i dati campionari consentono di rifiutare l’ipotesi nulla. Un p-value quasi uguale a zero indica chesiamo praticamente certi di non sbagliare rifiutando H0 Un p-value dell’ordine dei soliti livelli di sign. Indica che la decisione di rifiutare o no H0 è critica e dipende in modo cruciale da α Un p-value maggiore indica che, a qualsiasi livello di significatività, sbagliamo a rifiutare H0 Nei test basati sulla distribuzione normale, il p-value si calcola nel modo seguente:

42 Approccio del p-value alla verifica di ipotesi Esempio Nel verificare se il peso medio dei cereali contenuti nelle scatole è uguale a 368 grammi contro l’ipotesi alternativa che sia diversa, abbiamo ottenuto un valore di Z uguale a 1.50 e non abbiamo rifiutato l’ipotesi, perché 1.50 è maggiore del valore critico più piccolo –1.96 e minore di quello più grande Risolviamo, ora, questo problema di verifica di ipotesi facendo ricorso all’approccio del p-value. Per questo test a due code, dobbiamo, in base alla definizione del p-value, calcolare la probabilità di osservare un valore della statistica test uguale o più estremo di 1.50.

43 Approccio del p-value alla verifica di ipotesi Si tratta, più precisamente, di calcolare la probabilità che Z assuma un valore maggiore di 1.50 oppure minore di –1.50. La probabilità che Z assuma un valore minore di –1.50 è , mentre la probabilità che Z assuma un valore minore di è (= ), quindi la probabilità che Z assuma un valore maggiore di è 1 – = Pertanto il p-value per questo test a due code è = Se si considera α= 0.05 allora non rifiutiamo l’ipotesi nulla.

44 Nell’approccio del p-value al test a una coda, si calcola la probabilità di ottenere o un valore della statistica test più grande di quello osservato o un valore più piccolo a seconda della direzione dell’ipotesi alternativa. Se la regione di rifiuto risulta contenuta per intero nella coda di sinistra della distribuzione della statistica test Z, dobbiamo calcolare la probabilità che Z assuma un valore minore di Z osservato, ad esempio − Tale probabilità, in base alle Tavole, è I test ad una coda

45 Legame tra intervalli di confidenza e verifica di ipotesi Si sono presi in considerazione i due elementi principali dell’inferenza statistica – gli intervalli di confidenza e la verifica di ipotesi. Sebbene abbiano una stessa base concettuale, essi sono utilizzati per scopi diversi: gli intervalli di confidenza sono stati usati per stimare i parametri della popolazione, mentre la verifica di ipotesi viene impiegata per poter prendere delle decisioni che dipendone dai valori dei parametri. Tuttavia è importante sottolineare che anche gli intervalli di confidenza possono consentire di valutare se un parametro è minore, maggiore o diverso da un certo valore: anziché sottoporre a verifica l’ipotesi μ=368 possiamo risolvere il problema costruendo un intervallo di confidenza per la media μ. In questo caso accettiamo l’ipotesi nulla se il valore ipotizzato è compreso nell’intervallo costruito, …

46 Legame tra intervalli di confidenza e verifica di ipotesi … perché tale valore non può essere considerato insolito alla luce dei dati osservati. D’altronde, l’ipotesi nulla va rifiutata se il valore ipotizzato non cade nell’intervallo costruito, perché tale valore risulta insolito alla luce dei dati. Con riferimento al problema considerato l’intervallo di confidenza è costruito ponendo: n=25, =372.5 grammi, σ = 15 grammi. Per un livello di significatività del 95% (corrispondente al livello di significatività del test α=0.05), avremo: Poiché l’intervallo comprende il valore ipotizzato di 368 grammi, non rifiutiamo l’ipotesi nulla e concludiamo che non c’è motivo per ritenere che il peso medio dei cereali contenuti nelle scatole sia diverso da 368 grammi.


Scaricare ppt "Lezione 7 Verifica di ipotesi statistiche Insegnamento: Statistica Corso di Laurea Magistrale in Matematica Università di Ferrara"

Presentazioni simili


Annunci Google