STATISTICA a.a LA STATISTICA INFERENZIALE

Presentazione sul tema: "STATISTICA a.a LA STATISTICA INFERENZIALE"— Transcript della presentazione:

1 STATISTICA a.a. 2003-2004 LA STATISTICA INFERENZIALE
TEST A UNA CODA E A DUE CODE TEST DEL CHI QUADRATO

2 CONFRONTO FRA POPOLAZIONI
Uno scopo della statistica è determinare se le caratteristiche di due popolazioni sono differenti o meno. Si traggono cioè conclusioni sulla popolazione, determinando un’inferenza statistica. Possiamo confrontare campioni o popolazioni attraverso le medie o le varianze.

3 CONFRONTO FRA POPOLAZIONI
Per effettuare un confronto si ricorre al test statistico. Il test statistico è il procedimento che consente di rifiutare o non rifiutare (accettare ) un’ipotesi sulla popolazione Il test assegna un certo valore di probabilità all’ipotesi che viene formulata.

4 L’IPOTESI NULLA Si usa in genere la cosiddetta ipotesi nulla (H0).
Essa postula come inesistenti (nulle, pari a zero) le differenze fra le caratteristiche delle popolazioni in esame (H0 : A=B). Un test statistico consente di provare l’inaccettabilità (con una certa quota di errore) di un’ipotesi, ma non di provarla.

5 L’IPOTESI NULLA Se la probabilità che l’ipotesi nulla sia vera è bassa, vorrà dire che le popolazioni confrontate sono verosimilmente differenti. Confrontare un modello con un campione sperimentale, tramite un test statistico, significa provare la concordanza tra i dati reali e il modello, cioè la validità del modello.

6 L’IPOTESI NULLA Prima dell’esperimento si stabilisce il valore limite per la probabilità che l’ipotesi nulla sia vera. Per probabilità inferiori a tale valore stimeremo falsa l’ipotesi nulla. Per probabilità superiori, non si è in grado di rifiutare l’ipotesi nulla.

7 L’IPOTESI NULLA Per convenzione si adottano due livelli di significatività: se la probabilità che l’ipotesi nulla sia vera è uguale o minore al 5% (p<=0.05) si dice che la differenza fra le popolazioni considerate è significativa se la probabilità è minore o uguale all’1% (p<=0.01) si dice che la differenza fra le popolazioni è altamente significativa.

8 L’IPOTESI NULLA Se la probabilità è maggiore di 0.05, non si può concludere che le popolazioni considerate sono uguali, ma si può ammettere di non avere elementi sufficienti per affermare l’esistenza di una differenza. Il livello di significatività è il rischio di rifiutare erroneamente l’ipotesi nulla quando questa è vera.

9 L’IPOTESI NULLA Questo errore è definito come errore di I tipo o errore a . La probabilità di non rifiutare l’ipotesi nulla quando questa è in realtà falsa (ossia di accettare un’ipotesi nulla falsa) viene detta errore di II tipo o errore b .

10 STRUTTURA DEI TEST Un test di significatività consiste nel calcolo di un parametro e della distribuzione di probabilità ad esso associata. Questi parametri (chi quadrato, t di student, ecc.) hanno distribuzioni di probabilità diverse a seconda del numero di gradi di libertà (GdL) impiegati nel calcolo. Queste diverse distribuzioni sono tabulate su apposite tavole.

11 USO DELLE TAVOLE Le tavole permettono di evitare di ricorrere alle equazioni delle curve di distribuzione del parametro. In una tavola vengono riportati i valori del parametro che vengono superati nel 5% dei casi, o nell’1% o in una frazione interessante (10%, 50%, ecc.). Ottenuto il valore del parametro si valuta sulla tavola se supera il valore corrispondente alla probabilità prescelta.

12 USO DELLE TAVOLE Nel caso in cui il parametro superi tale valore critico, la probabilità che ciò sia avvenuto casualmente è inferiore alla probabilità critica prescelta. Quindi si considerano significativamente differenti le due popolazioni in questione. In tal modo la probabilità di definire differenti popolazioni che non lo sono (errore del I tipo) è pari al livello critico prescelto (es. 5%).

13 TEST A UNA CODA E TEST A DUE CODE
Supponiamo di confrontare due serie di dati A e B Se in seguito ad un test statistico rifiutiamo l’ipotesi nulla H0 : A=B dobbiamo assumere un’ipotesi alternativa. Si possono creare due diverse situazioni: può interessare solo la differenza fra le due serie di dati nel senso di A>B (oppure A <B) e quindi l’ipotesi alternativa sarà H1 : A>B

14 TEST A UNA CODA E TEST A DUE CODE
Supponiamo di confrontare due serie di dati A e B Se in seguito ad un test statistico rifiutiamo l’ipotesi nulla H0 : A=B dobbiamo assumere un’ipotesi alternativa. Si possono creare due diverse situazioni: può interessare solo la differenza fra le due serie di dati nel senso di A>B (oppure A <B) e quindi l’ipotesi alternativa sarà H1 : A>B oppure H1 : B>A

15 TEST A UNA CODA E TEST A DUE CODE
Può non interessare la deviazione in un solo senso e quindi ci si limita alla verifica dell’ipotesi di uguaglianza fra A e B. Nel primo caso (test a una coda o unilaterale) si deve considerare la probabilità che la serie A sia maggiore della serie B Nel secondo caso (test a due code o bilaterale) si deve considerare la probabilità che la serie A sia maggiore della B oppure che la B sia maggiore della A.

16 TEST A UNA CODA E TEST A DUE CODE
Se p1=P(A>B) e p2=P(B>A), nel caso del test a due code si avrà pT=p1+p2=Probabilità totale Nella distribuzione normale, se si ha una probabilità del 5% di trovare un valore esterno a m +/ s (probabilità a due code), si ha una probabilità del 2.5% di trovare un valore superiore a m s (probabilità ad una coda).

17 TEST A UNA CODA E A DUE CODE
All’inizio dell’esperimento occorre stabilire se il test di significatività sarà a una o a due code, ossia se interessano le variazioni in un solo senso (maggiore o minore) o in tutti e due i sensi . Un certo valore del parametro sarà significativo a livello di probabilità p per il test bilaterale, al livello p/2 per il test unilaterale.

18 TEST A UNA CODA E A DUE CODE
La scelta del test unilaterale non dovrebbe essere presa dopo aver visto i dati e la direzione della loro deviazione, ma a priori e solo se si ha la certezza che le deviazioni in una direzione si verificano solo per caso e quindi non saranno mai significative.Ciò avviene raramente: è meglio usare i test bilaterali anche se hanno livello critico più alto e quindi significatività minore.

19 TEST DEL CHI-QUADRATO Supponiamo di avere due popolazioni nelle quali ogni individuo abbia probabilità P1 e P2 di mostrare la caratteristica A. In un campione casuale proveniente dalla prima popolazione, r membri hanno la caratteristica A e quindi frequenza relativa r1/n1 Nella seconda popolazione la frequenza relativa è r2/n2.

20 TEST DEL CHI-QUADRATO Questi dati possono essere esposti nella tabella di contingenza 2x2: Caratteristica A Presente Assente campione r n1-r n1 campione r n2-r n2 ___________________________________ r1+r (n1-r1)+(n2-r2) n1+n2

21 TEST DEL CHI-QUADRATO Il totale delle osservazioni è a destra in basso. Le quatto celle interne rappresentano le frequenze osservate. L’ipotesi nulla afferma che la frequenza relativa della caratteristica A è uguale nelle due popolazioni (P1=P2).

22 TEST DEL CHI-QUADRATO Ad esempio abbiamo due campioni indipendenti di 45 e 46 pazienti affetti da infarto acuto. Nel primo gruppo viene somministrato propanololo, nel secondo no. Ad un mese di distanza si valutano sopravvissuti e si ottiene la seguente tabella:

23 TEST DEL CHI-QUADRATO Trattamento Propanololo Controllo
sopravvissuti no ___________________________________

24 TEST DEL CHI-QUADRATO Secondo l’ipotesi nulla i tassi di sopravvissuti nelle due popolazioni sono identici . Tale tasso, stimato sui campioni, si ottiene dal rapporto 67/91 = Se è vera l’ipotesi nulla, la proporzione di sopravvissuti deve essere mantenuta nei due gruppi (numero di unità attese). Nel primo gruppo il numero atteso di sopravvissuti è 45(67/91)=33.132

25 TEST DEL CHI-QUADRATO Nel gruppo di controllo il numero atteso è 46(67/91)= Allo stesso modo il numero atteso di decessi è nel primo gruppo 45(24/91)= e nel gruppo di controllo 46(24/91)=12.132

26 TEST DEL CHI-QUADRATO Il test del chi-quadrato per il confronto di due proporzioni in campioni indipendenti si basa sulla differenza fra frequenze osservate O e attese E:

27 TEST DEL CHI-QUADRATO Trattamento Propanololo Controllo
Sopravvissuti E O – E (O-E)^2/E Deceduti E O – E (O-E)^2/E ___________________________________________________

28 TEST DEL CHI-QUADRATO I valori di E danno come somma di riga e di colonna i totali osservati, ed è per questo che i quattro scarti hanno lo stesso valore assoluto. Tanto maggiore è lo scarto tanto più è ragionevole orientarsi contro l’ipotesi zero. E’ ragionevole dividere il quadrato degli scarti per i valori attesi, in modo che la differenza venga “normalizzata”.

29 TEST DEL CHI-QUADRATO Calcolato il valore atteso di una cella, visto che gli E danno gli stessi totali di riga e di colonna, le altre quantità attese si possono derivare per sottrazione dai totali marginali: esiste quindi una sola quantità attesa indipendente e per questo si dice che per una tabella di contingenza 2x2 vi è un grado di libertà (GdL) per il calcolo del chi-quadrato. Il calcolo del chi-quadrato è la sommatoria delle quattro celle (O-E)^2/E: Χ2= = 5.365

30 TEST DEL CHI-QUADRATO Nella tabella per la distribuzione chi-quadrato con 1 GdL si nota che il valore calcolato è compreso fra i valori 5.02 e 6.63, corrispondenti a p=0.025 e p=0.01. Quindi la differenza fra le due mortalità è significativa perchè p<0.05. La stessa procedura di calcolo si può estendere a tabelle 2 * k o addirittura r * k per confrontare più campioni. I GdL di una tabella r * k saranno (r-1) * (k-1).

31 TEST DEL CHI-QUADRATO Esiste un modo alternativo di calcolo per il chi-quadrato: Colonne a b r1 Righe c d r2 _____________________________________________ c c N

32 CORREZIONE DI YATES Va ricordato che il test chi-quadrato va usato con tabelle le cui entrate siano frequenze. E’ un errore usarlo con valori medi oppure percentuali. Il test chi-quadrato è un metodo approssimato valido quando le frequenze sono grandi. Una regola perchè sia valido è che il valore atteso di ogni cella sia maggiore o uguale a 5. Quando le frequenze attese sono basse (ma sempre >5) si applica la correzione di Yates che riduce di ½ la grandezza assoluta di (O-E) per ciascuna cella:

33 CORREZIONE DI YATES

34 CORREZIONE DI YATES La correzione è dovuta al fatto che il chi-quadrato si basa sull’approssimazione normale della binomiale e quindi si tratta di una correzione per la continuità. Nel nostro esempio utilizzando le nuove formule si ottiene ancora una p significativa, anche se meno significativa che nel caso senza correzione.

35 TEST ESATTO DI FISHER Per frequenze assolute molto basse anche la correzione per la continuità non è sufficiente. Quando la numerosità totale è inferiore a 20 o è compresa fra 20 e 40 ma il valore atteso più basso è inferiore a 5 si usa il test esatto di Fisher. Supponiamo di dover confrontare la virulenza di due ceppi batterici A e B dopo inoculazione in cavie:

36 TEST ESATTO DI FISHER Ceppo batteri A B Viva 6 4 10 Esito cavie
Morta _______________________________________

37 TEST ESATTO DI FISHER Il campione non è grande e le frequenze attese delle due prime celle sono basse. L’ipotesi nulla ci dice che la proporzione dei morti nei due gruppi di animali è la stessa. In pratica si calcola la probabilità totale del campione osservato secondo la formula di Fisher ( r1! r2 ! c1 ! c2 !)/ (a! b! c! d! N!) e poi si va a vedere nella tabella corrispondente alla distribuzione risultante della probabilità cumulativa.