Minacce alla validità degli esperimenti

Presentazione sul tema: "Minacce alla validità degli esperimenti"— Transcript della presentazione:

1 Minacce alla validità degli esperimenti
Obiettivo dell’esperimento: stabilire una relazione causa-effetto tra var. indipendente e var. dipendente. Se l’esperimento non permette di accertare correttamente l’esistenza della relazione causa-effetto tra le variabili, allora l’esperimento non è valido. Validità interna dell’esperimento: esistono valide ragioni per sostenere l’esistenza di una effettiva relazione causa-effetto tra var. indip. e var. dip. Gruppo A: sente un suono ogni volta che la risposta è corretta Gruppo B: non riceve alcun suono Ipotesi: Se il soggetto sente un suono quando dà la risposta giusta, migliora la sua capacità di apprendimento Tuttavia: Il gruppo a è testato il lunedì e il gruppo B di martedì. Come posso essere sicuro che la differenza che emerge tra i gruppi non è dovuto al giorno in cui fanno la prova? TexPoint fonts used in EMF. Read the TexPoint manual before you delete this box.: AAAAAA

2 Modi per ridurre la confusione delle variabili:
Problema della confusione delle variabili: se la var. indipendente si confonde con un’altra variabile, allora l’esperimento è privo di validità interna. In altri termini, occorre stabilire con precisione quale variabile ha avuto effetto sulla var. dip. Modi per ridurre la confusione delle variabili: rendere i soggetti il più possibile omogenei, tranne che per la var. indip. che si sta studiando (fare in modo che gli effetti delle variabili estranee siano uguali per tutti i soggetti). Es.: testare tutti e due gruppi nello stesso giorno. ampliare il disegno sperimentale inserendo le variabili di disturbo come var. indipendenti. Es.: testare i gruppi A e B sia di lunedì che di martedì Gruppo A Gruppo B Lunedì martedì

3 Validità di costrutto dell’esperimento: occorre stabilire se i risultati sperimentali possono essere previsti anche da un’altra teoria Esempio: la lesione di una parte del cervello del ratto genera obesità. All’inizio i ricercatori pensavano che la lesione avesse comportato un aumento dello stimolo della fame. In seguito scoprirono che la spiegazione era un’altra: la lesione aveva comportato una riduzione della sazietà. Un esperimento è privo di validità di costrutto se non consente di eliminare tutte le possibili spiegazioni teoriche alternative dei risultati. Validità esterna dell’esperimento: riguarda l’applicabilità dei risultati dell’esperimento in altre situazioni. Alcuni risultati sperimentali possono, con il passare del tempo, o con il cambiare degli stili di vita e della cultura dei soggetti, non essere più validi. Es.: McGinnies (1949) trovò che la gente impiegava più tempo a leggere parole tabù che quelle normali. Probabilmente se l’esperimento venisse rifatto oggi i risultati sarebbero diversi, poiché le parole tabù sono diventate parole normali.

4 Validità statistica dell’esperimento
Validità statistica dell’esperimento. Dato che ai risultati sperimentali si applica un test statistico per stabilire, decidere se la var. indip. ha avuto effetto su quella dipendente, la domanda è: “la differenza che si osserva tra i soggetti è dovuta alla var. indip. oppure al caso?”. L’errore α è il rischio che lo sperimentatore decide di correre nel caso in cui H0 sia vera. Se rifiuto H0, affermo che esiste una relazione causa-ef- fetto tra var. indip. e var. dip. se pongo α = 0,05, significa che ho in 5% di probabilità di sbagliarmi. Livelli di α più usati: 0,05 – 0,01 – 0,001

5 Minacce alla validità interna
Eventi esterni al laboratorio (storia). Se l’esperimento richiede che i soggetti vengano testati in momenti diversi, può succedere che eventi esterni al laboratorio possano influenzare i risultati degli esperimenti. Maturazione. Tra una fase e l’altra dell’esperimento i soggetti possono cambiare per motivi naturali (invecchiamento, crescita, ecc…). Effetto delle prove. La semplice partecipazione all’esperimento può migliorare la capacità dei soggetti ad eseguire i test o le prove. Effetto della regressione. L’effetto della regressione si manifesta quando i soggetti devono effettuare due prove simili. Soggetti che ottengono punteggi estremi nella prima prova possono ottenere punteggi intermedi nella seconda. Ciò è dovuto alla correlazione imperfetta tra i risultati delle due prove. La correlazione imperfetta segnale la presenza di un errore casuale di misura della variabile. Selezione. Spesso le ricerche psicologiche consistono nel confronto della prestazioni forniti da due o più gruppi di soggetti. Un problema è la selezione dei soggetti da inserire nei gruppi. La tecnica migliore è la selezione casuale (randomizzazione) che consiste nella selezione di un campione di soggetti dalla popolazione e nella assegnazione casuale dei soggetti del campione ai gruppi. Se ciò non è possibile, allora occorre stare attenti che la selezione dei soggetti non si di per sé stessa la cause della differenza tra i gruppi.

6 Mortalità. Alcuni soggetti possono decidere di abbandonare l’esperimento. Il rischio è che i soggetti che abbandonano l’esperimento siano diversi da quelli che lo completano. Pertanto, se emerge una differenza tra i gruppi, questa può essere dovuta al fatto che l’abbandono da parte di alcuni soggetti ha generato gruppi differenti. Debolezza del legame tra teoria ed esperimento. Se si vuole verificare la validità di una teoria, è necessario che il fenomeno osservato sia attinente con il modello o il costrutto ipotizzato. In altri termini, il fenomeno osservato dovrebbe essere un valido indicatore del costrutto. Ad es., il mangiarsi le unghie non può essere considerato un valido indicatore dell’ansia. Un caso storico clamoroso fu l’asserzione di Galilei che le maree fossero una valida prova del moto della Terra. Effetto ambiguo della variabili indipendenti. Spesso il solo fatto di partecipare ad un esperimento altera il comportamento dei soggetti partecipanti. Pertanto le variazioni osservate nel comportamento dei soggetti sono dovute a fattori diversi rispetto a quello ipotizzato dalla sperimentatore. Effetto Hawthorne. Alcuni sociologi (E. Mayo e F. J. Roethlisberger, 1927), interessati a comprender eil legame tra ambiente di lavoro e produttività, si resero conto che la sola presenza dei ricercatori e la consapevolezza di partecipare ad un esperimento erano sufficienti a determinare un incremento della produttività nei lavoratori. In altri termini, i partecipanti possono migliorare la qualità della loro prestazione per il solo fatto di essere oggetto d’attenzione da parte del ricercatore. Desiderabilità sociale. I soggetti tendono a rispondere o a comportarsi in modo da fornire un’immagine positiva di sè stessi o, comunque, normale.

7 Minacce alla validità esterna
Altri soggetti. Il campione usato nelle ricerche dovrebbe essere rappresentativo di tutta la popolazione umana, se i risultati della ricerche vanno poi estesi a tutta la popolazione. Molto spesso, per motivi pratici, il campione è costituito da soggetti con specifiche caratteristiche (studenti universitari, ratti, ecc…). Altri tempi. Con l’avanzare del tempo, cambia la cultura, gli usi, i costumi della gente. Perciò certi risultati ottenuti nel passato non possono più essere replicati. Altre situazioni. Molti psicologi ritengono che la ricerca in laboratorio o, comunque, in un ambiente controllato non sia sufficiente, e che sia necessario estendere l’osservazione anche nell’ambito della vita quotidiana. Minacce alla validità statistica Uso di campioni di piccole dimensioni (potenza del test) Effect size (grandezza dell’effetto) e controllo di fattori di disturbo

8 Richieste di ruolo. Il fatto di partecipare ad un esperimento può indurre i soggetti ad accettare di fare cose che normalmente non farebbero. Es.: in un esperimento si è chiesto a dei soggetti ipnotizzati di buttare dell’acido in faccia a delle persone. era l’ipnosi o i ruolo imposto dallo sperimentatore a indurre il soggetto a gettare l’acido? Un altro caso famoso è l’esperimento di Milgram sull’obbedienza all’autorità. Effetto Rosenthal (o dell’aspettativa). Il nome dell’effetto deriva da quello dello psicologo sociale Robert Rosenthal, che ha scoperto come l’aspettativa del ricercatore o degli stessi soggetti sui risultati sperimentali influenzasse i dati sperimentali stesso. Un modo per ovviare all’effetto dell’aspettativa è la tecnica del cieco o del doppio-cieco. tecnica del cieco: per verificare l’efficacia del farmaco, ai soggetti si dà un preparato senza dire loro se è il farmaco o un placebo. tecnica del doppio-cieco: sia i soggetti che il ricercatore non sanno se il preparato somministrato è un farmaco o un placebo. standardizzazione degli esperimenti. Ai soggetti vengono date precise istruzioni su come svolgere il test. Ogni soggetto riceve la stessa istruzione.

9 Il controllo Il controllo consiste in tutta quella serie di procedure che servono a contrastare le minacce alla validità di un esperimento. Per stabilire se una data var. indip. ha un effetto sulla var. dip. è necessario un punto di riferimento o di confronto fisso. Il punto di confronto fisso è detto condizione o gruppo di controllo. Il confronto tra il gruppo a cui viene fatto il trattamento (detto gruppo sperimentale) e il gruppo di controllo (per il quale il trattamento è assente) serve a stabilire se il trattamento è stato efficace o no (se la var. indip. ha avuto effetto sulla var. dip. o no). È fondamentale che prima della somministrazione del trattamento, il gruppo sperimentale e di controllo siano perfettamente equivalenti. Attenzione: non necessariamente il controllo necessita di un gruppo di controllo a cui non viene applicato il trattamento. In molti casi, il controllo consiste nel confronto tra due gruppi ad entrambi i quali viene applicato il trattamento. Es.: voglio valutare quale tra due psicoterapie, A e B, è più efficace nel ridurre l’anoressia. In questo caso, applico il trattamento ad entrambi i gruppi e vedo in quale dei due il trattamento è risultato più efficace.

10 Disegno sperimentale semplice
disegno con gruppo sperimentale e gruppo di controllo g. sperim Trattamento presente g. controllo Trattamento assente disegno con due gruppi sperimentali gruppo 1 trattamento A gruppo 2 trattamento B Il disegno sperim. semplice si può articolare in disegno tra i soggetti (come nei 2 casi precedenti) e disegno entro i soggetti. Nel disegno entro i gruppi, si ha un unico gruppo di soggetti testato due volte. In questo caso invece di un gruppo di controllo si ha una condizione di controllo, ossia una condizione in cui ai soggetti non è applicato il trattamento. è possibile, come nei disegni tra i soggetti, appliccare un trattamento in entrambe le condizioni.

11 Disegno sperimentale semplice entro i soggetti
disegno con condizione sperimentale e condizione di controllo c. sperim Trattamento presente c. controllo Trattamento assente disegno con due condizioni sperimentali condizione 1 trattamento A condizione 2 trattamento B Nel caso del disegno entro i soggetti, si dovrebbe applicare la tecnica del controbilanciamento delle condizioni. A metà dei soggetti si applica prima una condizione e poi l’altra; all’altra metà l’rodine delle condizioni è invertito c. sperim.  c. controllo cond. 1  cond. 2 c. controllo  c. sperim. cond. 2  cond. 1 Se dal confronto statistico tra la c. sperim. applicata prima e la c. sperim. applicata dopo emergono differenze, allora c’è un effetto dell’ordine sui risultati sperimentali.

12 3. modificazione irreversibile (es. ablazione di corteccia)
Effetti dell'ordine: 1. fatica 2. apprendimento 3. modificazione irreversibile (es. ablazione di corteccia) Scala di misura disegno sperimentale test statistico test del χ2 1 var. indip. o categoria test del χ2 con tabella di contingenza Scala nominale (frequenze) 2 var. indip. o categorie 2 livelli della var. indip. con soggetti diversi (disegno tra i soggetti) t di student per campioni indipendenti Scala quantitativa (intervalli o rapporti) t di student per misure ripetute 2 livelli della var. indip. con gli stessi (disegno entro i soggetti) 2 livelli della var. indip. con soggetti diversi (disegno tra i soggetti) Scala ordinale o dati non distribuiti normalmente test di Mann-Witney (non parametrico) test di Wilcoxon (non parametrico) 2 livelli della var. indip. con gli stessi (disegno entro i soggetti)

13 Controllo per ridurre la variabilità dei dati
Il controllo serve soprattutto per ridurre al minimo l’interferenza dei fattori di disturbo sui risultati sperimentali. Ricerca in laboratorio. Il laboratorio è un ambiente in cui è più facile ridurre al minimo l’effetto di variabili di disturbo e amplificare l’effetto della variabili indipendenti. Il laboratorio è un ambiente organizzato e strutturato per specifiche ricerche.

14 1. Massimo controllo delle variabili estranee o di disturbo.
Ricerca in laboratorio Vantaggi: 1. Massimo controllo delle variabili estranee o di disturbo. 2. Massima accuratezza nella registrazione delle risposte. 3. Minore spreco di risorse e di informazioni (Es. : meno dati mancanti). 4. Possibilità di utilizzare apparecchiature sofisticate. 5. Protocolli standardizzati per tutti i soggetti. Svantaggi: 1. Forte competenza “tecnica”del ricercatore. 2. Costo attrezzature e manutenzione. 3. Rigidità dei protocolli. 4. In certi casi, l'analisi dei dati è difficile per la complessità dei dati

15 Scelta della situazione più adeguata per la ricerca
Scelta della situazione più adeguata per la ricerca. Un problema da non sottovalutare è la scelta della situazione, della prova , del compito, del test più adeguato per comprendere se una data var. indip. ha effetto sulla var. dip. Donders ha scoperto che i tempi di reazione, ossia il tempo necessario al soggetti per rispondere dopo la presentazione dello stimolo, sono adeguati per studiare la difficoltà di elaborazione delle informazioni. I processi cognitivi richiedono tempo. Più sono complessi, più richiedono tempo. Ad es.: il tempo necessario per discriminare una parola da una non parola (tavolo-tovola) è maggiore di quello necessario per discriminare una parola semanticamente simile (gatto-tigre) da una non semanticamente simile (tavolo-tigre). Ciò significa che il processo cognitivo di discriminazione semantica è più complesso di quello dell’elaborazione lessicale. I tempi di reazione sono utili per lo studio dell’attenzione, della capacità di lettura, della memoria della rotazione mentale della schizofrenia ecc… Altro es.: Ebbinghaus utilizzava sillabe senza senso (jrcx) per stabilire dopo quanto tempo i soggetti dimenticavano il materiale memorizzato. Metodi psicofisici di Fechner per misurare la sensibilità sensoriale.

16 Strumentazione della risposta
Strumentazione della risposta. Una altro modo per ottenere dati certi sull’effetto della var. indip. è l’utilizzo di strumenti di misura affidabili o attendibili. Più uno strumento è attendibile, più è precisa la misurazione. Usare test e questionari standardizzati Usare apparecchiature all’avanguardia Altre forme di controllo Soggetti come controllo di se stessi. Si assegna il soggetto a tutte le condizioni sperimentali. Il problema è quando la prova precedente influisce sulla prova successiva. Randomizzazione. Si assegnano in modo casuale i soggetti alle diverse condizioni. Pareggiamento. Si accoppiano i soggetti in base ad un criterio. è necessario che non esista correlazione tra il criterio di pareggiamento e la var. dipendente. Ad es.: si vuole verificare l’effetto di due regimi alimentari sul peso dei ratti. In questo caso conviene pareggiare i due gruppi di ratti n base al peso. Non c’è correlazione tra aumento di peso e peso iniziale.

17 Disegni con variabili di disturbo
Se non si riesce ad eliminare la variabile di disturbo, si può inserire la variabile nel disegno in modo da studiarne gli effetti sulla var. dip. Es.: voglio sapere l’effetto delle condizioni luminose sull’abilità di guida. Perciò faccio un test in cui i soggetti devono guidare un’auto lungo una strada di giorno (Day) oppure di notte (Night). Tuttavia, il ricercatore può pensare che il livello di esperienza (numero di anni) alla giuda possa influire sull’esisto del test. L’esperienza può essere una variabile di disturbo, per cui si selezionano soggetto con molti anni di guida (Experienced) e soggetti con pochi anni (Inexperienced). L’introduzione della variabile di disturbo permette di capire se gli effetti della var. indip. sono generalizzabili o no. NOTA BENE: la variabile confusa è la variabile il cui effetto non può essere separato da quello della var. indip.

18 Controllo statistico. Si intende l’applicazione del metodo di analisi statistica più idoneo per verificare l’effetto della var. indip. Per es.: effetto di due metodi di insegnamento sui voti degli studenti (quale metodo fa incrementare i voti?) Se non si riesce a creare due gruppi omogenei in partenza che fare? Esiste una relazione tra QI e voto scolastico. In base a tale relazione è possibile stabilire se l’insegnamento ha avuto un effetto positivo o negativo sul voto.

19 Ripetizione dell’esperimento
Ripetizione dell’esperimento. Le ripetizione ha come obiettivo quello di verificare se i dati ottenuti dalle ricerche precedenti sono ripetibili. Il confronto tra esperimenti ripetuti (meta-analisi) rafforza la validità della ricerca e della teoria. ripetizioni dirette ripetizioni sistematiche Dimensioni del campione Più è grande il campione, più è alta la validità dei risultati sperimentali Le formula dell’errore standard permette di stabilire le dimensioni adeguate del campione.

20 Teorema del limite centrale:
Se i campioni casuali (randomizzati) sono ottenuti da una popolazione con media μ e una finita deviazione standard σ, se aumentano le dimensioni n del campione, la distribuzione campionaria delle medie dei campioni si avvicina ad una distribuzione normale con media μ e deviazione standard (errore standard) Nelle scienze del comportamento, un campione con soggetti è sufficiente per produrre una distribuzione campionaria normale delle medie. Di solito, per campioni con n > 30, la distribuzione campionaria è quasi normale. Se la distribuzione campionaria ha la forma della curva normale, il test statistico parametrico è attendibile. Test statistici per piccoli campioni: scala nominale (frequenze)  chi quadro scala quantitativa (2 livelli var. indip.)  t di Student scala quantitativa (3 o più livelli della var. indip.)  analisi di varianza

21 campioni estratti (n=2) medie dei campioni popolazione 1 1,1 1,5 1,2
Frequenze 1 1,5 2 3 2,5 popolazione 1 1,1 1,5 1,2 1,3 2 1,5 2,1 1, 2, 3 2 2,2 2,5 2,3 2 3,1 3,2 2,5 3,3 3

22 media e varianza della popolazione μ = 2 σ2 = 0,6666667
Media e varianza della distribuzione campionaria delle medie = 2 = 0, / 2 = 0, n è l’ampiezza del campione Infatti, se calcoliamo direttamente dalle medie dei campioni la varianza, otteniamo la varianza della distribuzione campionaria. L’errore standard si ottiene estraendo la radice quadrata della var. della distr. campionaria: = 0, ,5 = 0, 1, 2, 3

23 I test statistici per la norma si basano sulla distribuzione campionaria delle medie
I test statistici per la differenza tra le medie dei gruppi si basano sulla distribuzione campionaria della differenza tra le medie 1 1,5 2 2,5 3 -0,5 -1 -1,5 -2 0,5