Seminario di Metodologia della Ricerca Psicologica MARIAGRAZIA BENASSI ROBERTO BOLZANI SARA GIOVAGNOLI Magritte, Age of Reason

Metodologia della Ricerca Non indica semplicemente i metodi e le tecniche da utilizzare nella ricerca ma l’attività critica che si applica ai diversi prodotti della ricerca (Boudon, 1991) Aspetto normativo della metodologia: l’importanza di fare buone ricerche

Ricerca scientifica Scopo: generare e controllare teorie metodologicamente corrette Aderenza alla realtà empirica di riferimento Riduzione dei costi e degli errori

Programma del corso I PARTE (3cfu) Elementi di statistica inferenziale Misura: Tipi di variabili e scale di misurazione Procedura della statistica inferenziale Logica del test statistico Errori nell'interpretazione dei risultati del test statistico Disegni di ricerca Metodi di campionamento Fallacia nel campionamento Affidabilità e validità

Programma del corso II Parte (+3 cfu) Procedure statistiche avanzate 1. Analisi della correlazione 2. Analisi fattoriale 3. Analisi discriminante e cluster analysis 4. Modelli non parametrici 5. Metanalisi

Modalità d’esame Orale 3 cfu I Parte 6 cfu I + II Parte

Bibliografia I Parte: Bolzani R., Canestrari R. (1994) Logica del test statistico. Milano, Casa Editrice Ambrosiana. (Cap. 2) Bolzani R. (1999) Problemi di statistica. Milano, Casa Editrice Ambrosiana. (Cap. 2) Bolzani R. Benassi M (2003)Tecniche Psicometriche. Roma, Carocci Editore (Cap. 1) McBurney DH (1986) Metodologia della ricerca psicologica. Bologna, Il Mulino. (Cap. da 3 a 10) Mucciarelli G, Celani G (a cura di) (2002) Quando il Pensiero Sbaglia. Torino, Utet Libreria (Cap. 3, 4, 5) II Parte: Bolzani R., Canestrari R. (1994) Logica del test statistico. Milano, Casa Editrice Ambrosiana. (Cap. 5) Bolzani R. (1999) Problemi di statistica. Milano, Casa Editrice Ambrosiana. (Cap. 4, 5) Bolzani R. Benassi M (2003)Tecniche Psicometriche. Roma, Carocci Editore (Cap. 7, 8)

Strumenti Diapositive e esercizi sul sito di Psice-Pagine Insegnamenti Lezioni e esercitazioni on-line disponibili sulla piattaforma A3

Piattaforma A3 Registrazione http://atutor.psice.unibo.it atutor.psice.unibo.it/registrazione/ Id: PsicologiaFreq Password:poqevipe36 Mail e matricola http://atutor.psice.unibo.it

Piattaforma A3 Moduli didattici e esercitazioni Chat (orari di ricevimento CESENA) Forum

Verifiche Pre-appelli per frequentanti (1 per ogni parte per 1cfu): durante il corso (15 Marzo; 5 Aprile) Appelli ufficiali (esame orale)

PRE-REQUISITI Logica della dimostrazione sperimentale Distribuzioni di Probabilità Test parametrici e non parametrici

Note sulla teoria della Misura in Psicologia Definizione di Misura: misurare significa attribuire agli elementi di un insieme le caratteristiche di un sistema di riferimento tali per cui queste caratteristiche siano rappresentative rispetto alle caratteristiche dell’insieme di partenza

Per definire il rapporto (funzione di omeomorfismo) fra l’insieme misurato e il sistema di riferimento occorre che sia definibile: Il sistema relazionale empirico (oggetto) Il sistema relazionale di riferimento (strumento)

le relazioni fra gli elementi dell’insieme misurato sono riprodotte (omeomorfe) dagli elementi dell’insieme misurante permette di fare operazioni fra gli elementi dell’insieme e quindi di meglio comprendere le caratteristiche delle parti rispetto all’insieme stesso permette di condividere e quindi confrontare le informazioni di insiemi diversi in base a un linguaggio comune

CRITICITA’: Precisione dello strumento Determinazione dell’Oggetto Generalizzazione

Precisione dello strumento Non c’è mai corrispondenza perfetta fra i due sistemi (misurante-misurato) Lo strumento di misura deve essere in grado di dare anche una stima dell’errore di misura La stima viene data attraverso l’intervallo di tolleranza che è definibile solo se sono definiti i metodi di misurazione e se la misura è empirica

Statistica inferenziale Falsificazione Ho INTERVALLO DI CONFIDENZA: rappresenta la zona attorno al parametro stimato entro cui ci aspettiamo, con una probabilità 1‑, di trovare il parametro relativo a un nuovo campione. Ha la stessa estensione dell'intervallo attorno all'ipotesi nulla. Se nell'intervallo di confidenza cade il valore di H0 non si può respingere l'ipotesi nulla.

Statistica inferenziale Falsificazione Ho INTERVALLO DI TOLLERANZA: rappresenta la zona attorno al parametro stimato entro cui ci aspettiamo, con una probabilità 1‑, che cada un nuovo caso.

Determinazione dell’oggetto Semplicità della teoria Conformità alle leggi o alle regolarità della natura Semplicità come Falsificabilità Universalità della teoria Parsimonia

Generalizzazione Scopo della misura Punto di partenza e di arrivo di ogni misurazione

SCALE DI MISURA Classificazione Stevensiana: sistema di riferimento: sistema dei numeri reali R Va da una classe più semplice a una classe più complessa

SCALE DI MISURA Classificazione Stevensiana Scale nominali Scale ordinali Scale intervalli Scale rapporto

Scale Nominali la relazione fra gli eventi è la categorizzazione le categorie sono distinte in base alla sola operazione di uguaglianza o differenza La proprietà dei R corrispondente è la cardinalità Gli eventi sono raggruppabili in classi mutualmente esclusive Le operazioni statistiche possibili sono il calcolo delle frequenze, test non parametrici. I parametri descrittivi tipici sono moda e mediana

Scale Ordinali Gli elementi dell’insieme sono oltre che sottoposti a categorizzazione anche ordinati gerarchicamente seguendo una relazione di asimmetria i numeri sono disposti in modo tale da riflettere l’ordine di graduatoria degli elementi Non è possibile quantificare la distanza fra gli elementi La proprietà dei R corrispondente è l’ordinalità Le operazioni statistiche possibili sono il calcolo delle frequenze, test non parametrici I parametri descrittivi tipici sono moda e mediana

Scale Intervalli alle caratteristiche delle prime due scale si aggiunge anche la definizione della distanza fra ogni elemento dell’insieme costanza degli intervalli fra le diverse classi non viene definito lo zero assoluto Con queste scale sono possibili solo le operazioni di somma e sottrazione Test statistici parametrici I parametri descrittivi tipici sono media e varianza

Scale Rapporto oltre ad esserci una costanza fra le classi è anche definito un valore di zero assoluto non arbitrario applicabili le operazioni matematiche di moltiplicazione e divisione Test statistici parametrici I parametri descrittivi tipici sono media e varianza

SCALE DI MISURA Critiche alla classificazione stevensiana: non comprende tutte le possibili classi di eventi. Rigidità nell’accostamento scala-statistica

Variabili Eventi empirici oggetto della misura Possono essere parte di categorie e assumere diversi valori

VARIABILI CRITICITA’ Aderenza fra sistema numerico e sistema empirico Metodo di misurazione sintetico o analitico

TIPI DI VARIABILI Classificazione in base al ruolo nel disegno sperimentale Relazione causale Variabile dipendente Fattore Variabile confondente

TIPI DI VARIABILI Classificazione in base alle caratteristiche Variabili qualitative Variabili quantitative Classificazione in base alla distribuzione Variabili gaussiane Varibili non gaussiane

VARIABILI E SCALE DI MISURA OPERAZIONI STATISTICHE POSSIBILI – Scelta è dettata da: dal disegno sperimentale dall’ipotesi sperimentale dal tipo di variabili

VARIABILI E SCALE DI MISURA OPERAZIONI STATISTICHE POSSIBILI – Dal disegno sperimentale Multivariato Univariato …

VARIABILI E SCALE DI MISURA OPERAZIONI STATISTICHE POSSIBILI – Dall’ipotesi sperimentale Inferenza (rapporti di causa-effetto generalizzabili) Descrizione (esplorazione di un fenomeno di diversa complessità)

VARIABILI E SCALE DI MISURA OPERAZIONI STATISTICHE POSSIBILI – Dal tipo di variabili Se a distribuzione gaussiana allora test parametrici Se a distribuzione non gaussiana allora test non parametrici

VARIABILI E SCALE DI MISURA OPERAZIONI STATISTICHE POSSIBILI – Criticità: criteri decisionali rigidi ambiguità della situazione Soluzioni: - motivazioni del criterio

Statistica Descrittiva La statistica DESCRITTIVA rappresenta sinteticamente i diversi valori relativi ai soggetti di un determinato gruppo (media, frequenza, percentuale etc.) Oggetto: riguarda esclusivamente i soggetti esaminati Processo: il processo sulla quale è basata va dalla raccolta dei dati alla descrizione alla successiva formulazione di un’idea da verificare Misura: i test statistici sono di tipo esplorativo: utilizzano modelli matematici molto raffinati ma non hanno valore dimostrativo. I parametri che utilizzano non sono basati sul calcolo probabilistico.

Statistica Inferenziale Oggetto: l'esistenza di relazioni fra una generica variabile dipendente e un insieme di variabili indipendenti (fattori) Processo: procede secondo una sequenza di operazioni ben definita e rigida Logica di tipo falsificazionista Misura: calcolo probabilistico R. Fisher, 1890-1962

RELAZIONE FRA FATTORI E VARIABILE DIPENDENTE Inferenza: regole RELAZIONE FRA FATTORI E VARIABILE DIPENDENTE IPOTESI E TEST STATISTICO SEGUONO UNA LOGICA DI TIPO CAUSA-EFFETTO TUTTAVIA: I RISULTATI NON SONO VINCOLATI DA QUESTA LOGICA LE CONCLUSIONI NON VENGONO ACCETTATE SE SOSTENGONO UNA LOGICA CAUSA-EFFETTO

Inferenza: regole ESEMPIO 1: INDAGINE SULLA RELAZIONE FRA ALCOOLISMO E CIRROSI EPATICA ESEMPIO 2: INDAGINE SULLA RELAZIONE FRA ETA’ E CAPACITA’ MNEMONICHE

Inferenza: regole Metodologia: teoria delle regole alla base del processo euristico Motivazioni dell’esplicitazione delle regole: Ragioni epistemologiche Ragioni etiche Ragioni politiche *** KR Popper (1934) La logica della scoperta scientifica, cap 2. Einaudi (1998)

Inferenza: regole Regole di metodo come convenzioni RIGIDITA’ DEL PROCESSO DIMOSTRATIVO Regole di metodo come convenzioni Controllo Corroborazione Replicabilità Revisione

Inferenza: regole Controllo Coerenza interna (confronto logico delle conclusioni) Indagine sulla forma logica (teoria empirica, scientifica o tautologica) Confronto con altre teorie Confronto mediante le applicazioni empiriche

Inferenza: regole L’oggettività della scienza sta nell’intersoggettività delle asserzioni della scienza stessa.

Inferenza: regole

Inferenza: regole (1) Formulazione Idea sperimentale (H1): generale e falsificabile ipotesi di differenza

Inferenza: regole (2) Formulazione di H0 da falsificare complementare a H1 ipotesi di uguaglianza

Inferenza: regole (3) Raccolta del Campione Idoneo a confermare l'idea Rappresentativo dell'intera popolazione (casuale, sufficientemente ampio) Conforme alle richieste del test che si intende utilizzare (distribuzione, indipendenza)

Inferenza: regole (4) Applicazione del TEST STATISTICO indipendenza riferimento alle distribuzioni teoriche (continuità, normalità ..) in grado di falsificare tipi determinati di ipotesi nulle

Inferenza: regole (5) SIGNIFICATIVITÀ Probabilità di respingere l'ipotesi nulla pur essendo questa vera Il suo limite è stabilito a priori (livello di significatività normalmente 0.05 o 0.01)

Inferenza: regole (6a) Falsificazione di H0 & dimostrazione di H1 (6b) Non falsificazione di H0 & riflessioni sulla ricerca*** ***NON SI PUO’ DIMOSTRARE H0***

Inferenza: regole Attraverso la distribuzione dell’ipotesi nulla vengono individuate due zone: una zona attorno all'ipotesi nulla in cui non è possibile escludere, in base al risultato ottenuto, che l'ipotesi nulla sia vera La rimanente regione riguarda una zona in cui è estremamente improbabile ottenere un risultato sperimentale se è vera l'ipotesi nulla

Inferenza: regole

Inferenza: regole ERRORI DI MISURA Misurare implica sempre un errore  ineliminabile di diversa origine può essere quantificabile Occorre identificare e misurare anche l’errore

Inferenza: regole ERRORI DI MISURA Errori di metodo – controllo tramite evitamento Errori di decisione – controllo tramite stima

Inferenza: regole ERRORI DI DECISIONE

ERRORI DI DECISIONE Errore alpha Errore relativo alla probabilità di falsificare H0 quando H0 è vera Legato alla significatività del test Il suo valore è determinato a priori (<=0.05 o 0.01) Legato a errore beta

ERRORI DI DECISIONE Errore beta Errore relativo alla probabilità di non falsificare H0 quando H0 è falsa Legato alla potenza del test Il suo valore è determinato a priori Legato a errore alpha

Inferenza: regole Dipende : Potenza del test: probabilità di respingere H0 quando H0 è falsa. È data da 1‑ Dipende : da H0 e da H1 dalla numerosità del campione dalla minima differenza apprezzabile dalla varianza casuale Primit

Inferenza: regole (6b) Non respingo H0 l'ipotesi nulla è “vera” o meglio le differenze analizzate da H1 sono troppo piccole scarsa potenza del test: il campione ha varianza elevata scarsa numerosità del campione il campione non soddisfa le condizioni relative alla distribuzione il campione non è rappresentativo dell'intera popolazione non sufficiente separazione fra H0 e H1

Inferenza: regole La forza dell’effetto (effect size) Indice della relazione fra la variazione dovuta al fattore considerato e la variazione totale del modello (dovuta alla somma fra variabilità del fattore e variabilità errore)

Inferenza: regole La forza dell’effetto (effect size) Parametro: Partial Eta squared Utile per il confronto fra diversi studi perché è indipendente dalla numerosità Permette di confrontare campioni di numerosità diversa Non è associato alla probabilità di errore ovvero alla significatività

Inferenza: regole Un esempio: nell’analisi della covarianza è possibile calcolare la potenza del test (observed power) e la forza dell’effetto (partial Eta squared)

ERRORI DI DECISIONE Tuttavia… La potenza del test a posteriori è calcolata sulla differenza misurata e non sulla minima differenza apprezzabile

Inferenza: regole Logica falsificazionista Un sistema empirico per essere scientifico deve poter esser confutato dall’esperienza Asimmetria fra verificabilità e falsificabilità Limite alpha funge da sbarramento

Inferenza: regole CRITICHE Essendo asimmetrico le ipotesi nulle non falsificate non vengono prese in considerazione Rigidità nella scelta Arbitrarietà di Alpha Il problema della numerosità Non permette di analizzare direttamente ipotesi alternative

Inferenza: regole Possibili errori dalla logica falsificazionista: Non valutazione della Potenza del test Confronto fra i valori di p relativo ad alpha Utilizzo della logica falsificazionista per confermare H0 La significatività indica una differenza ma non è né un indice di senso né un indice di forza

esercizio1 Analizza l’articolo dal punto di vista delle variabili in studio e dei test statistici applicati. “L’indice di capacità di lavoro in operatori sanitari”, Giornale Italiano di Medicina del lavoro e Ergonomia, p. 355-358

Domande Quale è l’ipotesi sperimentale? E’espressa chiaramente? E’ semplice e generale? Quali sono le variabili in studio? Sono identificabili? Fanno riferimento a un disegno sperimentale univariato o multivariato? Quali le dipendenti e i fattori? Che scala rappresentano? Quale è la statistica applicata? I test sono parametrici o non? C’è una corrispondenza fra test utilizzato e tipo di variabile? E’ visibile la distribuzione di probabilità della dipendente?

Inferenza: regole La logica falsificazionista deriva da due approcci il p-value approach (PVA), di Fisher (1935) il fixed alpha approach (FAA), di Neyman e Pearson (1933) Fisher 1890-1962 J. Neyman 1884-1981 E. Pearson 1885-1980

Inferenza: regole Entrambi gli approcci condividono: l’utilizzo dell’ipotesi nulla H0 l’utilizzo di un valore critico di probabilità p (p-value) e del livello  per determinare la probabilità del verificarsi di eventi dovuti al caso o ad errori di campionamento

Inferenza: regole FAA di Neyman e Pearson METODO ALTERNATIVO ALLA LOGICA FALSIFICAZIONISTA FAA di Neyman e Pearson metodo per selezionare una ipotesi tra due ipotesi possibili H1 e H0

Inferenza: regole Oltre al valore di alpha si fissa anche quello di beta; di solito, rispettivamente 0.05 e 0.2 Non si determina più la probabilità dei dati per H0 vera, ma la probabilità condizionata di H0 e H1 per quei dati osservati, da confrontare con i valori posti di alpha e beta [e cioè, p(H0, H1 dati)].

Inferenza: regole …Tuttavia Non ci sono oggi test statistici basati sul FAA salvo calcoli probabilistici bayesiani Tutti i test sono basati sulla falsificazione di H0 secondo la logica falsificazionista

Inferenza: regole Consigli dell’ APA Chiarezza nella presentazione dei dati (presentazione dei casi, dei dati mancanti e degli outliers) Scelta di analisi semplici Rinunciare alla scelta dicotomica fra accettazione e rifiuto di H1 e riportare oltre al valore di p anche gli intervalli di confidenza e la forza dell’effetto

Inferenza: regole Letture consigliate: Fisher RA (1935) The design of Experiments, Edimburgh, Oliver & Boyd; trad. it. La programmazione degli esperimenti, Pisa, Nistri Lischi, 1954. Neyman J e Pearson ES (1933) On the problem of the most efficient tests of statistical hypothesis, in Philosophical transaction of the Royal Society of London, A231, pp 289-337. Cohen, J (1994) The Earth is round (p<0.05), American Psychologist, 49, 12, pp 997-1003.

Disegno di ricerca Definizione: è il progetto nel quale sono specificati i legami fra le variabili che si andranno ad analizzare e i possibili risultati che ci si aspetta di trovare ovvero il modo con cui si analizzano le variabili in studio.

Tipologie di disegni di ricerca Non c’è concordanza fra gli autori 2 linee 1. Formale: D.Sperimentali, D.Quasi sperimentali e D.Non sperimentali 2. Pragmatica: tutti i disegni sono considerati sperimentali

Tipologie di disegni di ricerca DISEGNI SPERIMENTALI sono caratterizzati dal controllo di tutte le variabili in gioco, del campione raccolto con selezione idonea e casuale e della procedura di raccolta e analisi dei dati

Tipologie di disegni di ricerca DISEGNI QUASI SPERIMENTALI sono caratterizzati dal PARZIALE controllo di tutte le variabili in gioco.

Tipologie di disegni di ricerca DISEGNI QUASI SPERIMENTALI I disegni con un solo campione sono quelli sui quali si effettuano diverse misure ma che si trattano non come misure ripetute ma come misure indipendenti.   Nei disegni con campioni non equivalenti l’assegnazione dei soggetti ai gruppi non avviene in modo casuale. I disegni ex-post-facto sono riferiti a situazioni nelle quali l’evento in studio si è già verificato. Esempio

Tipologie di disegni di ricerca DISEGNI NON SPERIMENTALI sono caratterizzati dall’IMPOSSIBILITA’ del controllo sulle variabili in gioco, sul campione sulla procedura di raccolta e analisi dei dati

Tipologie di disegni di ricerca DISEGNI NON SPERIMENTALI le ricerche di osservazione nelle quali l’attenzione è spostata sulla struttura del problema che si sta indagando le ricerche d’archivio nelle quali si fa riferimento a dati raccolti in passato in archivi le ricerche sui casi singoli

Tipologie di disegni di ricerca DISEGNI FATTORIALI sono presenti tutte le possibili combinazioni di fattori è possibile analizzare tutti gli effetti a cui i criteri di classificazione utilizzati fanno riferimento e tutte le possibili interazioni tra gli effetti principali

Tipologie di disegni di ricerca DISEGNI FATTORIALI disegni entro i soggetti o per prove correlate nei quali la misura è effettuata sullo stesso campione disegni fra i soggetti nei quali è misurato l’effetto di una variabile in diversi gruppi disegni misti nei quali le condizioni fra i soggetti e entro i soggetti sono presenti

Tipologie di disegni di ricerca Esempi di disegni fattoriali entro i soggetti fra i soggetti misti

Tipologie di disegni di ricerca DISEGNO INCOMPLETO non è possibile utilizzare tutte le combinazioni dei fattori non è conveniente il disegno fattoriale perchè porterebbe all'utilizzo di un numero totale di sottogruppi troppo grande 

Tipologie di disegni di ricerca DISEGNI INCOMPLETI: non vengono utilizzati tutti i sottogruppi possibili ma solo quelli che permettono lo studio degli effetti principali. QUADRATO LATINO Utilizza un criterio di incompletezza ciclica uguale per tutte le interazioni possibili  A BLOCCHI RANDOMIZZATI nel quale le classi di un certo fattore comprendono solo alcune sotto-classi, rappresentanti l'insieme complessivo. Esempio

Tipologie di disegni di ricerca DISEGNI PERSONALIZZATI I tipi di disegno sperimentale esaminati sono solo una parte dei disegni utilizzabili. Il tipo di disegno è condizionato dall'ipotesi che vogliamo dimostrare e dal tipo di effetti che riteniamo influenti. In tutte le analisi statistiche è possibile personalizzare il modello di riferimento che rispecchia il disegno sperimentale utilizzato Esempio

Capitoli di riferimento Misura: Bolzani R. Benassi M (2003)Tecniche Psicometriche. Roma, Carocci Editore (Cap. 1) McBurney DH (1986) Metodologia della ricerca psicologica. Bologna, Il Mulino. (Cap. 3) Statistica inferenziale, logica del test e errori di misura Bolzani R., Canestrari R. (1994) Logica del test statistico. Milano, Casa Editrice Ambrosiana. (Cap. 2) Bolzani R. (1999) Problemi di statistica. Milano, Casa Editrice Ambrosiana. (Cap. 2) McBurney DH (1986) Metodologia della ricerca psicologica. Bologna, Il Mulino. (Cap. 5, 6) Disegni di ricerca McBurney DH (1986) Metodologia della ricerca psicologica. Bologna, Il Mulino. (Cap. 7, 8, 9, 10)