Precorso di Statistica VERIFICA DI IPOTESI Prof. L. Neri a.a. 2016-2017

La verifica di ipotesi Fase dell’inferenza che consente di verificare delle ipotesi sui parametri della popolazione alla luce dell’analisi delle differenze tra i risultati osservati (statistica campionaria) e quelli che ci aspetteremmo se la nostra ipotesi sulla popolazione fosse vera.

La verifica di ipotesi Esempio: in una azienda che produce scatole metalliche vuole valutare se il processo produttivo opera in modo tale da garantire che la lunghezza del lato maggiore sia pari a 368 mm. Viene estratto un campione di 25 scatole. Se la lunghezza delle scatole risultasse diversa sarebbe necessario un intervento correttivo, altrimenti no.

La verifica di ipotesi La verifica di ipotesi ha inizio con la formulazione del sistema di ipotesi sottoposto a verifica. Il sistema di ipotesi fa sempre riferimento a qualche parametro della popolazione. Consiste sempre in due ipotesi contrapposte.

La verifica di ipotesi L’ipotesi nulla H0 è l’ipotesi sottoposta a verifica, si riferisce sempre a un valore specifico del parametro della popolazione (ad esempio μ), e non a una statistica campionaria (ad esempio la media campionaria). L’ipotesi nulla contiene sempre un segno di eguale relativo al valore specificato del parametro della popolazione (ad esempio H0: μ=368 mm). L’ipotesi alternativa H1 rappresenta la conclusione raggiunta quando H0 è rifiutata

La verifica di ipotesi Se la statistica campionaria prescelta si avvicina al valore ipotizzato nell’ipotesi nulla accettiamo H0, altrimenti rifiutiamo H0 a favore dell’ipotesi alternativa H1. La teoria della verifica di ipotesi fornisce una regola su cui basare il processo decisionale. Questo risultato viene ricavato determinando prima la distribuzione campionaria della statistica di interesse (statistica test) e quindi calcolando il valore assunto per il particolare campione considerato. La distribuzione campionaria della statistica test spesso è una distribuzione statistica nota, quindi possiamo ricorrere alle tavole statistiche per sottoporre a verifica un’ipotesi nulla. 6

Valore della statistica test La verifica di ipotesi La distribuzione campionaria della statistica test è divisa in due regioni: una regione di accettazione una regione di rifiuto (o regione critica) Regione di rifiuto: insieme dei valori della statistica test è improbabile che si verifichino quando è vera H0 ed è probabile si verifichino quando H0 è falsa. Valore della statistica test Cade nella regione di accettazione Cade nella regione di rifiuto L’ipotesi nulla non può essere rifiutata L’ipotesi nulla deve essere rifiutata La regola decisionale è:

La verifica di ipotesi Per prendere una decisione sull’ipotesi nulla, dobbiamo determinare il valore critico della statistica test. Tale valore separa la regione di accettazione dalla regione di rifiuto.

Test per la media della popolazione (varianza nota) Per verificare l’ipotesi che la media della popolazione sia uguale ad un certo valore , contro l’ipotesi alternativa che la media differisca da tale valore, conoscendo , si ricorre alla statistica Z: X è distribuita come una normale => sotto H0, Z è distribuita come una normale standardizzata Se Z assume valori vicini allo zero siamo portati ad accettare H0, altrimenti si propende per rifiutare H0 (test a due code). 9

Test per la media (varianza nota) Fissato un livello di significatività di 0.05 (5%) Regola decisionale: Rifiuto H0 se Z>+1,96 o se Z<-1,96 altrimenti Accetto H0 10

Test per la media (varianza nota) Esempio: l’azienda che produce scatole metalliche intende valutare se il processo produttivo opera in modo tale da garantire che la lunghezza del lato maggiore sia pari a 368 mm. Viene estratto un campione di 25 scatole. Lo scarto quadratico medio della popolazione è pari a 15 mm e la media campionaria assume il valore 372,5 mm. H0:  = 368 H1:  ≠ 368 Il valore della statistica test mi porta ad accettare H0. 11

Varianza campionaria ed errore standard della media campionaria In generale la varianza della popolazione è incognita. Si stima la varianza campionaria S2 S2 è uno stimatore corretto della varianza della popolazione L’errore standard di è uno stimatore della deviazione standard di ed è

Varianza campionaria ed errore standard della media campionaria La varianza campionaria è uno stimatore consistente della varianza della popolazione, ovvero La varianza campionaria è prossima alla varianza della popolazione quando n è grande.

Test t per la media della popolazione (varianza popolazione non nota) Se la varianza della popolazione non è nota si utilizza Anche in questo caso si può procedere secondo l’approccio del valore critico ricorrendo alle tavole della distribuzione t di Student anziché a quelle della Normale. 14

Distribuzione della statistica t per grandi campioni Dato che la varianza campionaria è uno stimatore consistente della varianza della popolazione e dato il teorema del limite centrale: t si distribuisce approssimativamente come una Normale per n grande

Terminologia della verifica di ipotesi Errore di I tipo: rifiutare H0 quando H0 è vera Errore di II tipo: NON rifiutare H0 quando H0 è falsa Livello di significatività α del test: probabilità di commettere errore di I tipo (E’ la frazione di volte che viene rifiutata un ipotesi nulla vera se ripetessi tante volte il test su campioni diversi -presi dalla stessa, o dalle stesse, popolazione/i-) Potenza del test (da max): probabilità di rifiutare H0 (correttamente) quando H0 è falsa NB. Maggiore è l’α, maggiore sarà la potenza del test

Quale livello di significatività in pratica? Conservatori: si scegli un livello α molto basso perché? H0:imputato NON COLPEVOLE, H0:imputato COLPEVOLE α =prob(rifiutare NON COLPEVOLE| NON COLPEVOLE) Un test molto conservativo (α =0.01 o minore) può essere visto come un test che vuole rischiare molto poco di fare un errore di primo tipo, che sappiamo essere un errore molto grave perché rifiutare l’ipotesi nulla è una decisione forte (come condannare un imputato) mentre non rifiutarla non significa in realtà accettarla (ma solo dire che i dati sono compatibili con essa)

Quale livello di significatività in pratica? Meno Conservatori: si sceglie un livello α più alto (0.05) È il livello usato in economia, sociologia o politica economica che richiedono meno conservatorismo rispetto ad un caso legale. Insomma possiamo permetterci una probabilità maggiore di rifiutare H0 quando H0 è vera avantaggio di una potenza del test più elevata.

L’approccio del p-value Negli ultimi anni, anche grazie all’ampia diffusione di pacchetti statistici e fogli elettronici, si è affermato un altro approccio alla verifica di ipotesi: l’approccio del p-value. Il p-value è anche chiamato livello di significatività osservato essendo il livello di significatività più basso per il quale si può rifiutare H0 dato il valore osservato della statistica test. Regola decisionale: se il p-value è maggiore o uguale ad , l’ipotesi nulla viene accettata se il p-value è minore di , l’ipotesi nulla è rifiutata 19

I test ad una coda (alternative unilaterali) Talvolta l’ipotesi alternativa a due code sembra non avere senso. Esempio: Si deve decidere se aprire o meno un centro commerciale in un certo Comune della Regione Lazio. La decisione è connessa al reddito medio degli abitanti del comune e di quelli limitrofi, se tale reddito è almeno di 2000 euro mensili (superiore o uguale), allora ha senso aprire tale centro, altrimenti conviene mirare in un’altra area. A tal fine è stata svolta un’indagine campionaria rilevando il reddito mensile di 196 famiglie, sulle quali è stato rilevato un reddito medio mensile pari a 1864 euro con una varianza campionaria corretta di 141,61 euro. Fissato un livello di significatività pari a 0,01 che cosa si decide di fare? Il sistema di ipotesi adeguato al problema è H0 :  =2000, H1 : <2000 20

Test per la media (varianza non nota) H0: µ=µ0 H1: µ≠µ0 H1: µ<µ0 H1: µ>µ0 21

Esempio Si deve decidere se aprire o meno un centro commerciale in un certo Comune della Regione Lazio. La decisione è connessa al reddito medio degli abitanti del comune e di quelli limitrofi, se tale reddito superiore o uguale a 2000 euro mensili conviene aprire tale centro, altrimenti conviene mirare in un’altra area. A tal fine è stata svolta un’indagine campionaria rilevando il reddito mensile di 196 famiglie, sulle quali è stato rilevato un reddito medio mensile pari a 1864 euro con una varianza campionaria corretta di 141,61 euro. Fissato un livello di significatività pari a 0,01 che cosa si decide di fare? Il sistema di ipotesi adeguato al problema è H0 :  =2000, H1 : <2000

-160<-2,36 quindi rifiuto H0 …Esempio La statistica test è Il valore di (t ) con 195 g.l è approssimabile alla distribuzione N(0,1) e quindi a (-2,326), -160<-2,36 quindi rifiuto H0 ovvero l’evidenza empirica suggerisce che nei comuni oggetto di studio ci sia un reddito troppo basso per ritenere conveniente l’investimento.

Test per la proporzione Consideriamo un campione aleatorio Y1, Y2, . . . , Yn con distribuzione B(1, p), dove p è incognito. Sulla base di un campione di n osservazioni, sottoponiamo a verifica l’ipotesi H0: p = p0 H1:p ≠ p0 La statistica test Se H0 è vera, Z è approssimativamente distribuita come un N(0, 1), se np0 ≥ 5 (successi attesi) e n(1 − p0) ≥ 5 (insuccessi attesi). Ne segue che la regione critica del test è 24

Esempio Supponiamo che il manager operativo dell’azienda che produce scatole metalliche sia interessato a valutare la percentuale di scatole non conformi. Nel passato il 10% delle scatole non è risultata conforme. Si sperimenta un nuovo sistema di produzione ed il manager stabilisce che adotterà il nuovo sistema solo in caso di forte evidenza empirica a favore del nuovo. Dopo un giorno di prova, si estrae un campione di 200 scatole, di cui 11 non risultano sigillate in maniera adeguata. Verifica al livello sig. 0.05. H0: p = 0,10 H1: p < 0,10 Si ha: p = 11/200 =0,055, n = 200 e p0 = 0,10, quindi: 25

…esempio Il valore teorico di z=-1.96, -2.12 <-1.96 quindi l’evidenza empirica mi induce a rifiutare H0 e quindi ad adottare il nuovo sistema. 26

…da ricordare La specificazione dell’ipotesi nulla e dell’ipotesi alternativa nei test a una coda deve seguire le seguenti regole: 1. L’ipotesi nulla H0 è l’ipotesi sottoposta a verifica. 2. L’ipotesi alternativa H1 è specificata come ipotesi opposta a quella nulla e rappresenta la conclusione sostenuta se l’ipotesi nulla è rifiutata. 3. L’ipotesi nulla H0 si riferisce sempre a un parametro della popolazione (come ) non a una statistica campionaria (come la media campionaria). 4. L’ipotesi nulla contiene sempre un segno di uguale riferito a un valore specificato del parametro della popolazione (H0: = 368 mm). 5. L’ipotesi alternativa non contiene mai un segno di eguale riferito a un valore specificato del parametro della popolazione. 27