1 Introduzione alla statistica per la ricerca Lezione III Dr. Stefano Guidi Siena, 18 Ottobre 2012

Esempi di affermazioni statistiche Gli studenti di Science della Comunicazione hanno un QI più alto della media La memoria a breve termine (linguistica) ha una maggiore capacità per le parole concrete che per quelle astratte Guardare film violenti aumenta laggressività nei bambini Lefficacia di un farmaco sulla concentrazione dipende dal dosaggio Le persone tendono ad essere più persuasive quando guardano gli altri negli occhi e parlano al alta voce e velocemente 2

3 Dalla statistica descrittiva alla statistica inferenziale… Descrittiva Descrivere, riassumere (indicatori) e visualizzare (grafici) insiemi di dati Statistica matematica Probabilità, distribuzioni, ecc… Inferenziale Fare inferenze su una popolazione in base ad un campione estratto dalla popolazione

4 Statistica Inferenziale Trarre inferenze su una popolazione a partire da un campione Inferenze probabilistiche: Conclusioni basate sulla probabilità di osservare i dati per caso In pratica si basano su misure di variabilità Possono sempre essere errate, ma decido il rischio di errore (livello di significatività)

5 Distribuzioni e probabilità Conoscere una distribuzione vuol dire poter calcolare la probabilità Area sotto la curva è 1 Probabilità di ogni singolo valore di x è 0 Larea sottesa dalla curva tra 2 punti sullasse x è la probabilità che un numero scelto a caso cada tra i due punti P(a<t<b) ab t (ms)0 P(t>b)

6 Distribuzioni e probabilità μ (media) (punteggio QI di 100) σ (dev. standard) (15 punti QI) Area della parte colorata è la probabilità di osservare per caso un valore di QI compreso tra 85 e 115 (68.27% di probabilità).

7 Statistica Inferenziale Verifica di Ipotesi Decidere se i dati a mia disposizione forniscono evidenza per rigettare una data ipotesi Ex: capacità MBT parole concrete parole astratte? Stima Stimare un intervallo dei valori più probabili per un parametro di una popolazione a partire da un campione: Intervallo di confidenza Ex: capacità MBT = 7 parole?

8 Un Esperimento Studiare leffetto della mancanza di sonno nelleffettuare un compito Assenza di sonno influenza lattenzione? 20 Soggetti effettuano un compito in 2 condizioni controllate dallo sperimentatore 10 hanno dormito una notte (controllo) 10 non hanno dormito da 24h Misura della performance nel compito Numero di errori commessi nel compito

9 Un Esperimento II Come verificare se la mancanza di sonno (variabile indipendente) influenza la performance (variabile dipendente)? I punteggi osservati saranno naturalmente diversi: Tra soggetto e soggetto E tra le medie di due gruppi Dobbiamo formulare due ipotesi alternative Ipotesi nulla (H 0 ) Ipotesi alternativa (H 1 )

10 Ipotesi Nulla (H 0 ) (H 0 ): La privazione del sonno non influenza il compito È sempre unipotesi di uguaglianza. Io voglio dimostrare che è falsa. In realtà non posso dimostrare che è vera. (vedi dopo) Ma assumo inizialmente che lo sia. I gruppi appartengono alla stessa popolazione Le differenze osservate tra le medie dei punteggi sono dovute solo: al caso e/o ad altri fattori non controllati e ignoti

11 Ipotesi Alternativa (H1) H1: La privazione del sonno influenza il compito È quello che in realtà voglio dimostrare, in genere una differenza. Ragionando in modo controfattuale, a ritroso Dimostrando la differenza io dimostro che cosa la causa. Dimostro una relazione tra due fenomeni. I gruppi appartengono a popolazioni diverse Le differenze riscontrate tra le medie dei punteggio sono dovute: al trattamento sperimentale, oltre che al caso e/o ad altri fattori non controllati e ignoti

12 Verifica delle Ipotesi Non è possibile verificare direttamente lipotesi alternativa Io posso solo stimare la probabilità che le differenze osservate tra i due gruppi siano dovute solo al caso, e che quindi i due gruppi siano campioni estratti dalla stessa popolazione

13 Verifica delle Ipotesi Processo di verifica di ipotesi: Assumo che lipotesi nulla sia vera Stimo la probabilità di ottenere i risultati osservati a partire da campioni estratti dalla stessa popolazione (p value) Se la probabilità stimata è bassa, inferiore a una data soglia (p<5%), decido di rigettare lipotesi nulla e assumere lipotesi alternativa

14 Verifica delle Ipotesi I test statistici di verifica di ipotesi calcolano questa probabilità basandosi sulle proprietà della distribuzione, o più precisamente in base alla distribuzione campionaria di una statistica. Si calcola sempre una statistica che mi quantifica questa probabilità. Una statistica di cui conosco la distribuzione (t, F, ecc…). In genere tanto più grande è il valore, tanto minori saranno le probabilità di osservarlo per caso.

15 Alcune considerazioni Le statistiche che calcolo sui campioni, rapportano la differenza che osservo tra le medie dei campioni (o cmq tra una data caratteristica dei campioni) alla variabilità intrinseca allinterno dei campioni. Esistono diversi test statistici per la verifica di ipotesi: T-test (statistica t di student) Analisi della varianza (statistica F di Fisher) … I test differiscono nel tipo di ipotesi

16 Alcune considerazioni I test forniscono evidenza Un risultato improbabile non è impossibile Non potrò mai essere sicuro al 100% delle mie conclusioni La decisione spetta a noi Statistica necessaria ma non sufficiente Design sperimentale Evitare che altre cause nascoste influiscano sul risultato (controllo) Assegnamento casuale alla condizioni Raccogliere un numero sufficiente di dati

Film violenti ed aggressività Guardare film violenti spinge i bambini a mettere in atto comportamenti violenti? 2 gruppi: 10 bambini guardano un film in cui adulti maltrattano un pupazzo (Bobo) 10 non guardano film Tutti i bambini sono lasciati in una stanza a giocare con Bobo, e si conta il numero di comportamenti sul pupazzo per ogni bambino Faccio un test di significatività per verificare se i comportamenti violenti nei due gruppi sono diversi 17

Test di significatività Ipotesi: H 1 : quello che voglio provare Chi ha guardato il film è più violento H 0 : Ipotesi nulla (che voglio rigettare) Non ci sono differenze tra chi ha guardato il film e chi non lha fatto Se H 0 fosse vera, allora quello che osservo sarebbe molto improbabile Quindi H 1 è (probabilmente) vera! 18

5% di significatività? Dice che: seH 0 è vera allorala probabilità che leffetto osservato sia dovuto al caso è minore di 1 su 20 (5%) pertantoH 0 è improbabile che sia vera eH 1 è probabile che lo sia 19

5% di significatività NON vuole dire che: La probabilità di H 0 è < 1 su 20 (5%) La probabilità di H 1 è >0,95 Leffetto osservato è importante i.e. significativo nel senso comune del termine 20

5% di significatività TUTTO quello che posso dire: Se H 0 fosse vera … … leffetto sarebbe improbabile (prob. < 1 su 20) 21

Vero o falso? 1.Test significativo al 5% H0 è falsa e H1 vera (i gruppi sono diversi) 2.Test non significativo H0 è vera e H1 è falsa (i gruppi sono uguali) 22

Nessuna delle 2! 1.Test significativo al 5% i gruppi sono diversi quasi vero 2.Test non significativo I gruppi sono uguali NO!!! 23

1) Significativo (5%) Ragionamento: risultato significativo H 0 falsa I gruppi sono diversi 1 volta su 20 sarò in errore ex: concludo che un farmaco migliora la salute (p<5%) 1 possibilità su 20 che sia mortale! 1 risultato significativo su 20 è falso 24

Prove statistiche TUTTO quello che si può fare: Dire che qualcosa è vero Sapere quanto spesso sbaglieremo (in media) Scegliere quanto spesso sbaglieremo! (scelta del livello di significatività) 25

2) Risultato non significativo Non possiamo MAI ragionare così: Risultato non significativo H 1 falsa (non ci sono differenze) Possiamo solo dire che: H 1 non è statisticamente dimostrata 26

Provare luguaglianza Non significativo – non ci sono prove di una differenza Può sempre esserci una differenza reale, ma troppo piccola per poterla cogliere/dimostrare Non possiamo mai dimostrare luguaglianza Possiamo stimare i limiti della differenza 27

Intervallo di confidenza (CI) È un limite al valore reale della media la media dei dati è % CI è [-0.7, 1.3] Vuol dire che se concludo che: La media della popolazione è nellintervallo [-0.7, 1.3] Il 95% dei casi avrò ragione 28

Intervallo di confidenza 95% CI è [-0.7, 1.3]: NON vuol dire che: cè il 95% di probabilità che la media reale sia in quellintervallo La media o lo è o non lo è! Tutto quello che significa: 95% di probabilità di avere ragione 29

Provare luguaglianza H 0 : nessuna differenza (la media reale è 0) risultato sperimentale:media è 0.6 test di significatività:n.s. al 5% 95% CI:[-0.7, 1.3] 30

Quali test? T-test Confrontare le medie di due campioni, o quella di un campione rispetto ad un valore di riferimento ANOVA Confrontare le medie di due o più campioni. Verificare leffetto di diverse variabili indipendenti (fattori) 31

Quali gruppi? I campioni si riferiscono a persone diverse: T-test a campioni indipendenti ANOVA between-subjects I campioni si riferiscono alle stesse persone T-test a campioni accoppiati (paired) ANOVA within-subject (misure ripetute) 32

Altri test X2 (Chi-square) Dati categoriali Confrontare le proporzioni Verificare associazioni E per le correlazioni? Testi di significatività del coefficiente di correlazione (r): r 0 ? 33

34 Distribuzioni Campionarie Immaginiamo avere una popolazione la cui distribuzione ha media e varianza note (μ e σ 2 ), e di ripetere molte volte questo processo: Prendere un campione di n elementi Calcolare una statistica, come la media del campione (m) I valori ottenuti costituiranno un insieme di cui potrò: Visualizzare la distribuzione di frequenza (Istogrammi) Calcolare indicatori (media, varianza) E ragionevole ipotizzare un legame tra le proprietà di questo insieme e quelli della popolazione di partenza

35 Distribuzione Campionaria Una distribuzione campionaria o sampling distribution (di una statistica) è la distribuzione di probabilità dei valori di quella statistica calcolati su infiniti campioni di una data dimensione n, estratti da una popolazione con date media e varianza (μ e σ 2 ) Distribuzione teorica E possibile caratterizzarla esattamente in certe condizioni, e Usare la distribuzione campionaria per calcolare la probabilità di estrarre un campione con date caratteristiche (media e varianza) a partire dalla popolazione di partenza!

36 Distribuzione Campionaria della Media La distribuzione campionaria più importante è quella della media Se il campionamento è casuale, e la distribuzione di partenza è normale, si può dimostrare che la distribuzione campionaria della media ha queste proprietà: Media μ M = μ Varianza σ M 2 = σ 2 /n E normale La sua deviazione standard si indica come il termine standard error se = σ M /n E possibile quindi convertirla in forma normale, e calcolare la probabilità di estrarre un campione con una certa media dalla popolazione

37 Test di una media di una campione Calcolo i parametri della distribuzione campionaria Converto in punteggi z Converto il punteggio z in una probabilità La probabilità di ottenere un valore simile è !

Introduzione al t-test Confronto la media di un campione con un valore di riferimento H 0 : μ=μ 0 H a :μμ 0 Confronto le medie di due campioni: H 0 : μ film =μ non film H a :μ film μ non film La statistica test si chiama t di Student 38

39 La Distribuzione t di Student William Gonnet (Student) Famiglia di distribuzioni Simmetriche Indicizzate dai gradi di libertà (df) df=n-1 numero di osservazioni indipendenti usate per una stima (della varianza) Approssimativamente indicizzano il grado di accuratezza della stima Tendono a diventare normali al crescere dei df E possibile trasformare un t in una probabilità

40 Distribuzioni di t per vari df Al variare di df cambia la proporzione dellarea compresa tra valori uguali di t

41 T critici e significatività del test Il t ottenuto a partire da un campione è quello che mi serve per verificare una ipotesi su di una popolazione In quanto permette di misurare la probabilità p di aver ottenuto quella media per caso La sua grandezza indicizza, a parità di df, indica quanto è violata lipotesi nulla H 0 Se p è minore di una soglia convenzionale, detta livello di significatività (α) Rigetto H 0 a favore di H a (implausibile) Se p > α Ritengo H 0 (come spiegazione possibile dei dati) Soglie sono convenzionali in genere 0.05 o 0.01

42 Esempio di T test (un campione) La media del QI degli studenti universitari è 105 Ipotizzo che quella degli studenti iscritti a Siena sia più alta Ho raccolto un campione di 40 studenti a cui ho somministrato un test per il QI Compio un t test per testare la mia ipotesi H0:μ=105 Ha:μ105

43 Assunzioni del test I test si basano sulla conoscenza distribuzione campionaria di una statistica Questa conoscenza mi richiede di fare assunzioni, di specificare delle condizioni in cui la mia statistica test (t) è distribuita in un modo noto Assunzioni basate Sulle modalità di campionamento Osservazioni hanno la stessa distribuzione Sono mutuamente indipendenti Sono rappresentative della popolazione Sulla forma della distribuzione Normale Soddisfatte se: il campionamento è casuale Il numero degli elementi nel campione >20

44 Direzionalità del t test I Se un t test è significativo H0: μ=μ 0 falsa Ma Ha è generica Ha: μμ 0 2 possibilità: μ>μ 0 oppure μ<μ 0 La regione di rigetto è equamente distribuita sotto le due code della distribuzione Qualunque sia il segno di t, quello che conta è il suo valore assoluto Test omnidirezionale (a 2 code, two tailed)

45 Direzionalità del t test II Se mi interessa una specifica H a Ha: μ>μ 0 oppure μ<μ 0 Posso usare un t critico che metta α solo sotto una sola coda della distribuzione In questo modo anche t più piccoli potranno portare ad un risultato significativo Più probabilità di rigettare H 0 (potenza), che esprimerò come H 0 : μμ 0 oppure μμ 0 Test unidirezionale (ad 1 coda, one tailed)

46 Tipi di Errori Rigettare o ritenere H 0 è una decisione basata su un calcolo di probabilità Rischiosa 2 possibili errori Tipo I: Rigetto H 0 quando è vera Tipo II: Non rigetto H 0 quando è falsa Io vorrei quantificare il rischio Calcolare il tasso di commettere i diversi tipi di errore

47 Tipi di Errori H 0 FalsaH 0 Vera Rigetto H 0 Decisione Corretta (1- ) Errore Tipo I ( ) Accetto H 0 Errore Tipo II ( ) Decisione Corretta (1- )

48 Errori Tipo I Abbiamo detto che io rigetto H 0 se La probabilità di ottenere quel valore per caso, se H 0 è vera, è minore del livello di significatività scelto α Questo avviene quando t obt > t crit Ma il modo con cui scelgo t crit è che: la probabilità di osservarlo per caso, se H 0 è vera, è pari ad α Poiché la proporzione dellarea sottesa dalla distribuzione t, nellintervallo che fa da t crit in poi è α Quindi se H 0 è vera, ho α probabilità di rigettarla! α = tasso di errore di Tipo I

49 Errori Tipo II e Potenza di un Test Il tasso di errori di Tipo II (β) Probabilità che ho di NON rigettare (ritenere) H 0 se falsa Potenza (power) di un test è Probabilità di rigettare H 0 se falsa Power = 1 - β Io voglio una buona potenza! Dipende da Livello di α scelto Aumento power abbassando α Rischioso cambiarla Dimensione del campione Dimensione delleffetto

50 1- H0H0 H1H1 1 coda aumenta la potenza La dimensione delleffetto aumenta la potenza La diminuzione della dispersione aumenta la potenza

51 Dimensione delleffetto e Power Misura di quanto lipotesi nulla è violata Più sono diverse le caratteristiche della vera popolazione da cui viene il campione, più è facile che io rigetti H 0 Posso stimare la potenza a posteriori basandomi su stime da precedenti studi per avere d Calcolare da tabelle o grafici (power charts) la dimensione del campione adatta per cogliere un effetto di dimensione d con la potenza che voglio

52 Raccomandazioni Per ottenere una buona potenza è consigliabile Formulare lipotesi alternativa nel modo più specifico possibile Raccogliere un adeguato numero di soggetti: Per dimostrare un effetto piccolo servono molti soggetti! Cercare di basarsi su una stima della dimensione delleffetto (prevista o in letteratura)

53 T test a 2 campioni (indipendenti) In genere io non testo la media di un campione contro un valore ipotizzato nella popolazione, ma confronto quelle di 2 campioni per vedere se H 0 :μ 1 =μ 2 H a :μ 1 μ 2 Ma questo è analogo a dire H 0 :μ 1 -μ 2 =0 (o in generale μ 1 -μ 2 =γ 0 ) H a :μ 1 -μ 2 0 (μ 1 -μ 2 γ 0 ) Posso ricondurmi al t test classico, usando la distribuzione campionaria delle differenze tra le medie di 2 campioni

54 Esempio 1 Sono interessato al potenziale di un nuovo metodo per lapprendimento della statistica 40 studenti 20 metodo classico 20 metodo innovativo Test di comprensione statistica Numero di risposte corrette

55 Risultati Le medie dei punteggi dei sue gruppi sono significativamente diverse Il gruppo sottoposto al metodo innovativo ha in media un punteggio più alto di 6.2 t (38) =2.043; p<0.05 È utile riportare anche altri indici (medie e deviazioni standard dei gruppi, intervalli di confidenza)