Il controllo – La validità

L’ipotesi di ricerca..solo in parte viene verificata direttamente, tramite test statistici Occorre: Controllare fattori indesiderati e adottare un corretto disegno di ricerca.

Possono agire fattori che rendono difficile trarre delle conclusioni sicure: –sull'efficacia di un trattamento –sulla sua generalizzabilità ad altri gruppi di soggetti. confounding variables validita'

1. validità del costrutto 2. validità interna 3. validità esterna 4. validità delle conclusioni statistiche La validità

1. validità del costrutto i risultati dell'esperimento supportano la teoria? ci sono altre spiegazioni possibili? Le variabili sono state definite in modo accettabile?

Il costrutto a. interpretazione del compito Ann Penrose (1992) l'interpretazione del compito può essere diversa da quella desiderata consegne date: scrivere una relazione sul materiale studiato/ studiare per poi rispondere ad un test. I protocolli di studio non erano differenziabili in base alle consegne. studiare-> estese note scritte, scrivere -> copiature con una riflessione minima sul materiale i protocolli avevano dovuto essere ricategorizzati

il soggetto non sa svolgere il compito richiesto, non presta attenzione alle istruzioni, modella le istruzioni in base a ciò che sa e intende fare.

Il costrutto- b. Inadeguata spiegazione preoperazionale dei costrutti le variabili sono state definite e spiegate in modo inadeguato. facile: tradurre in definizione operativa la numerosità di un gruppo di lavoro difficile: tradurre in definizione operativa l’ansia o lo stile attributivo

La rappresentazione del concetto può essere confusa, inadeguata, può rappresentare anche altri concetti che però non vengono esplicitati. le diverse condizioni possono non venire percepite diversamente dai soggetti stessi.

c. Aspettative del ricercatore Possono influenzare i risultati nella direzione voluta ottenendo delle conferme alla sua ipotesi. Il ric. influenza i soggetti, seleziona (alcuni) dati sceglie le tecniche statistiche nell'interpretazione dei risultati: vengono accettate conclusioni improbabili ma coerenti con l’ipotesi del ricercatore ed ignorate altre spiegazioni più plausibili.

Docimologia Attendibilità Attendibilità riguarda la riproducibilità del risultato (uso più volte gli stessi strumenti, ottengo gli stessi risultati?) …

Reazione dei soggetti i gruppi sperimentali e di controllo comunicano i soggetti tentano di indovinare le ipotesi dello sperimentatore hanno ipotesi misconcezioni

La validità interna riguarda il rapporto di causa-effetto che si intende dimostrare. e' stata la variabile indipendente a causare i cambiamenti osservati nella variabile dipendente? O sono stati altri fattori? – storia –maturazione – testing – mortalità sperimentale – strumentazione – regressione statistica – selezione difettosa

Esempio D'Annunzio, 1994). : Per tre anni un'Università americana ha organizzato e finanziato dei corsi per adulti con lo scopo di verificare l'efficacia di un tutoraggio individuale condotto da studenti universitari nel miglioramento delle capacità di lettura e scrittura di soggetti estremamente disagiati. Il trattamento prevedeva due incontri settimanali con il tutor per un periodo che variava da 10 settimane ad un anno. L'analisi dei dati ha rivelato che i soggetti rimasti nel programma per un anno miglioravano in media rispetto al pre- test di 3 punti nei punteggi di comprensione e di 3.5 nei test di vocabolario

disegno pre-test - post-test con un solo gruppo di soggetti trattamento (tutoraggio individuale) soggetti (adulti con scarse abilità di lettura e scrittura), misure: le capacità di comprensione e di vocabolario dei soggetti prima e dopo il trattamento. risultati: le medie del post-test sono risultate essere molto più alte di quelle del pre-test.

–-> Storia e maturazione pre-test ed il post-test hanno avuto luogo in due momenti diversi. intervento: un anno -> Testing – effetto della pratica i soggetti non hanno svolto solo delle prove iniziali e finali, ma anche molte prove durante l'anno -> Mortalità – I soggetti si "perdono" spesso solo quelli che hanno tratto giovamento dal trattamento continuano a partecipare

Strumentazione Gli strumenti di misura possono alterarsi, L’osservatore può: - diventare sempre più accurato, - modificare i criteri che usa per valutare le risposte, - le modalità con cui propone i compiti.

Regressione verso la media Quando si selezionano dei gruppi a causa dei loro punteggi (molto alti o molto bassi) in un certo compito, in una seconda prova troveremo che i punteggi si sono avvicinati alla media. (D’Annunzio, 1994), misure di pre-test e di post-test non collegate? punteggi meno estremi (meno bassi) nel post-test, ma non necessariamente a causa del trattamento. (soluzione?) un gruppo di controllo

-> Selezione i soggetti dovrebbero essere selezionati casualmente e assegnati casualmente a gruppi differenti. Nell'indagine descritta da d'Annunzio e' stato utilizzato un disegno con un gruppo e due prove.

La validità esterna possiamo generalizzare i risultati a: –altri soggetti, –situazioni, –modalità di osservazione – manipolazione?

siamo interessati a: popolazione target (tutti gli studenti di scuola media, tutti i bambini con difficoltà di lettura, ecc). accesso a: popolazione accessibile 3 scuole della regione, per un totale di 300 bambini delle medie (dalla quale selezioniamo il campione.

La validità esterna aumenta quando si può dimostrare che una relazione causale si evidenzia in popolazioni diverse, con strumenti diversi e contesti diversi. In una stessa ricerca In ricerche indipendenti

Validità delle conclusioni statistiche. dopo un trattamento rileviamo una differenza tra le medie di due gruppi concludiamo che la variabile indipendente che abbiamo manipolato ha avuto un effetto sulla variabile dipendente misurata. e' sempre una decisione probabilistica, e corriamo il rischio di giungere alla conclusione sbagliata.

errore di I tipo se affermeremo che il trattamento da noi introdotto e' stato efficace (c'e' una differenza tra i gruppi dovuta al trattamento), mentre in realtà le differenze sono dovute al caso. nei disegni di ricerca nei quali si effettuano confronti senza avere specifiche ipotesi (fishing)

errore di II tipo se affermeremo che il trattamento non ha avuto effetto perché le differenze tra i campioni sono risultate essere troppo piccole, ed invece la differenza esiste, ma e' mascherata – dalla variabilità dei soggetti, –dalla ristrettezza del campione, –dalla scarsa potenza statistica del test usato.

tra il concetto (teorico) e la variabile (empirica) c’è uno scarto, un’errore di misurazione. L’errore ha due componenti: una sistematica ed una accidentale. cioe’ il valore osservato è la somma di tre parti: valore osservato = valore vero (concetto) + errore sistematico+ valore accidentale

L’errore sistematico è un errore costante: –si presenta in tutte le rilevazioni, –il suo valore medio sul totale dei casi osservati non è pari a zero. –si sovrastima o sottostima sistematicamente il valore vero. L’errore accidentale è un errore variabile: –varia in tutte le rilevazioni(su uno stesso individuo o su gruppi diversi). –Sono oscillazioni che tendono ad una media pari a zero.

Posso fare un errore: quando scelgo gli indicatori, – L’indicatore puo’ coprire malamente il concetto. quando li operativizzo – Errore di selezione: faccio un intervista telefonica e lascio fuori chi non ha il telefono –Errore di osservazione: l’intervistatore condiziona l’intervistato. –Errori nel trattamento dei dati: errori di codifica, trascrizione.

Test: come misurano?