Lezioni valutazione n. 1: Casualità e controfattuale Guido Pellegrini Università La Sapienza, Roma

Scopo di questa lezione In questa lezione discuteremo del problema della causalità e di come si valuta. In particolare utilizzeremo quello che è chiamato il modello di Rubin, che si basa sull’approccio controfattuale. La causalità in genere si valuta tramite esperimenti. Questo non è generalmente possibile nelle scienze sociali. Ma l’esperimento è sempre il benchmark dell’analisi di causalità.

Il tema è la causalità il tema di fondo che trattiamo è l’esistenza di un legame di causalità fra un azione e il suo effetto. Questo tema è stato curiosamente poco trattato nella statistica. La statistica tratta principalmente di correlazione tra variabili, della probabilità che avvengano eventi, e aggiorna tale probabilità spesso estraendo informazioni da un campione

Il tema è la causalità 2 L’analisi di causalità va oltre: vuole capire che cosa succede cambiando una delle variabili che influenzano il modello L’obiettivo fondamentale dell’inferenza causale è di misurare l’effetto (su qualche variabile) di una azione rispetto a un’altra, del tipo: che cosa succede se ho sete e bevo una bottiglia di vino rispetto a bere una bottiglia d’acqua? E’ differente da capire le cause di un evento (è perché ho corso che ho sete)

Il tema è la causalità 3 Identificare le cause di un evento è spesso difficile o irrealistico (ho sete perché ho corso, perché fa caldo, perché è tanto che non bevo ecc.) Molto spesso l’analisi econometrica fa questo: stima un modello mettendoci tutti i fattori rilevanti, e afferma che questo “spiega” una variabile: stiamo cercando le cause degli effetti Il problema è che le cause sono molteplici, e spesso quello che troviamo sono solo associazioni o correlazioni

Il tema è la causalità 4 Ma associazione non è correlazione! Associazione significa che due variabili si muovono insieme: in una regressione è il ricercatore che decide a priori la variabile dipendente e quella dipendente Causazione significa che una variabile causa i movimenti dell’altra. Analisi di causalità non è trovare le cause di un certo effetto o identificare il meccanismo sottostante, ma misurare l’effetto delle cause Questo è il contributo della statistica (Holland)

Il tema è la causalità 5 Spesso si possono confondere cause ed effetti: è il problema della reverse causality (quando piove molto vi sono in giro tanti ombrelli, ma non sono gli ombrelli che causano la pioggia, anche se l’associazione tra gocce di pioggia e numero di ombrelli in strada è positiva) Inoltre un altro problema è la correlazione spuria: esiste una correlazione tra consumo di gelati e scottature, ma i gelati non causano le scottature.

Il tema è la causalità 6 Esempio: se si regredisce per provincia il numero di cicogne e le nascite si trova una correlazione positiva. Allora sono le cicogne che determinano le nascite? Evidentemente no: se si divide fra aree metropolitane e aree rurali, la correlazione diventa non significativa. È la ruralità il fattore che sostiene le nascite, e le cicogne è un indicatore di ruralità. Sono molti gli esempi di correlazioni spurie.

Analisi Controfattuale Per valutare gli effetti delle cause, ovvero per fare l’analisi di causalità, il contesto teorico è quello dell’approccio dell’ “output potenziale”, Sviluppato nella teoria degli esperimenti randomizzati e poi da Rubin, che lo applica anche alle situazioni non sperimentali Si chiama controfattuale perché quello che è avvenuto (i fatti) viene comparato a quello che sarebbe avvenuto (al contrario dei fatti) in presenza/assenza di intervento

(terminologia) Trattamento: la variabile che può essere manipolata (nel nostro caso la politica). Es. la nazionalità non è un trattamento Unità : i soggetti della politica (del trattamento) che possono essere trattati (cioè destinatari della politica) o non trattati Outcome: il risultato del trattamento Es. do l’aspirina (trattamento) a un gruppo di pazienti (trattati) ma non a altri (non trattati) per vedere se nei primi la percentuale di guarigioni (l’outcome) è più alta.

Analisi Controfattuale 2 Il modello di Rubin si basa sul concetto di controfattuale. Prima di tutto lo presento in termini intuitivi. Che cosa è un effetto casuale? È l’effetto su un risultato (outcome) di una data azione (trattamento o politica) Come si misura?

Analisi Controfattuale 3 Analisi d’impatto o valutazione ex post, ovvero analisi causale degli effetti del trattamento o di una politica: insieme di metodi usati per verificare empiricamente se e quali effetti di un intervento si sono verificati, cioè se i cambiamenti osservati in concomitanza di un intervento sono da attribuirsi causalmente all’intervento stesso e non ad altri fattori concomitanti (Martini)

Analisi Controfattuale 4 Due motivi principali perché i policy macher sono interessati all’analisi di causalità: 1.Verificare se una politica ha funzionato (nella direzione sperata). Es. incentivi alle imprese policy (trattamento)  risultato (outcome) 2. Verificare se è possibile agire su una variabile che dovrebbe a sua volta collegata con un obiettivo della politica. Es. il consumo di sigarette e il benessere dei cittadini policy  trattamento  outcome

L’effetto del trattamento Come si misura l’outcome(il risultato)? Tramite una variabile di outcome. Quindi l’effetto è una modifica di una data variabile Effetto come modifica significa che lo stesso è dato da una differenza. Ma di cosa? Tra il valore della variabile prima e dopo il trattamento? No, perché questa potrebbe essere dovuta a varie cause, non solo alle politiche Tra il valore della variabile di outcome dei soggetti che hanno ricevuto il trattamento e chi invece non lo ha ricevuto? No in genere, perché può darsi che le caratteristiche dei due gruppi siano tra loro differenti, e quindi possano portare a risultati differenti indipendentemente dal trattamento

Valutazione controfattuale La risposta corretta è: L’effetto di un trattamento (di una politica) è la differenza tra quello che è accaduto con il trattamento e quello che sarebbe successo in assenza del trattamento. Quindi capire se quello che è accaduto è merito del trattamento Oppure capire se il fatto che qualcosa non sia accaduto è dovuto al fatto che il trattamento non ha funzionato oppure ad altri effetti

Valutazione di effetti Una nozione meccanica (e scorretta) di effetto: effetto = quello che si osserva dopo l’intervento  quello che si osservava prima

Valutazione di effetti Una nozione rigorosa di effetto: effetto = quello che si osserva dopo l’intervento  quello che si sarebbe osservato senza = situazione osservata  situazione controfattuale

Esempi effetto della formazione sull’occupazione dei formati = tasso di occupazione dei formati dopo la formazione  tasso di occupazione che i formati avrebbero ottenuto se non avessero frequentato il corso

Esempi effetto del fumo sulla salute = stato di salute dei fumatori che hanno fumato N anni  stato di salute degli stessi individui se non avessero mai fumato per N anni

Esempi effetto della laurea sul reddito dei laureati = reddito medio dei laureati  reddito medio che i laureati avrebbero ottenuto senza la laurea

Non è tutto merito dell’intervento… …se le cose migliorano osservato controfattuale differenza pre-post impatto pre-post- intervento Misura di ciò che si intende migliorare livello iniziale tempo

Non è tutta colpa dell’intervento… …se le cose peggiorano pre-post- osservato intervento Misura di ciò che si intende migliorare impatto (positivo) differenza pre-post (negativa) tempo livello iniziale controfattuale

Misurazione di effetti Come si misura il controfattuale? Il controfattuale non si può misurare direttamente in quanto è un’ipotesi, una supposizione. Il controfattuale si stima.La stima è maggiormente robusta quanto maggiormente realistiche sono le ipotesi per la individuazione del controfattuale Due sono le ipotesi principali: Ci si basa su quello che è successo precedentemente all’intervento Ci si basa su quello che è successo a coloro che non sono stati “esposti” al trattamento ma hanno caratteristiche simili agli esposti

Misurazione di effetti : basandosi su quello che è successo Estrapolare il controfattuale dalla storia del fenomeno osservata prima dell’intervento Il modo (sbagliato) di fare questo è quello di presumere che ciò che si è osservato prima dell’intervento non sarebbe cambiato, e quindi situazione controfattuale = situazione pre-intervento

Misurazione di effetti : basandosi su quello che è successo Sbagliato in tutti i casi in cui la condizione che si vuole modificare ha una sua dinamica spontanea indipendente dall’intervento (possibile errore di variabile omessa): - molti disoccupati troverebbero lavoro anche senza aver fatto formazione - i laureati guadagnerebbero uno stipendio anche senza laurea - i fumatori si ammalerebbero anche senza fumare

Introduzione dei limiti di velocità Esempio: effetto sul numero di incidenti dell’introduzione di limiti di velocità impatto

Misurazione di effetti : basandosi su quello che è successo ai non esposti Inferire il controfattuale dalla situazione di coloro che non sono stati esposti all’intervento - confrontare il tasso di occupazione dei formati a quello dei non-formati - confrontare il reddito dei laureati a quello dei non-laureati - confrontare lo stato di salute di fumatori a quello dei non-fumatori

Misurazione di effetti : basandosi su quello che è successo ai non esposti Anche in questo caso esiste la possibilità di trarre le conclusioni sbagliate (possibile errore di selezione): - i formati possono essere più motivati e socievoli dei non- formati - i laureati possono essere più colti dei non-laureati - i fumatori possono consumare più alcol e avere più “vizi” dei non-fumatori

Misurazione di effetti : basandosi su quello che è successo ai non esposti Fare formazione, andare all’università, fumare sono scelte frutto di un processo di “autoselezione” Il processo di autoselezione può avere come risultato che esposti e non-esposti siano diversi nelle condizioni di partenza In gergo si dice che il confronto tra esposti e non-esposti è affetto da distorsione da selezione (selection bias)

Misurazione di effetti : basandosi su quello che è successo ai non esposti Quando non vi è selezione? Quando abbiamo un esperimento controllato causalizzato, ovvero l’assegnazione al trattamento viene determinata in modo random da che esegue l’esperimento In questo caso non c’è motivo per cui il gruppo dei trattati sia diverso da quello dei non trattati se non per l’errore di campionamento

Misurazione di effetti : basandosi su quello che è successo ai non esposti Quali sono le minacce alla validità interna di un esperimento causalizzato? Insuccesso della causalizzazione (es. si usa l‘iniziale del cognome ma in presenza di differenze di etnia possiamo avere anche in questo caso gruppi diversi) Insuccesso nel seguire l’assegnazione (differenza tra trattamento assegnato e trattamento effettivo con possib ilità di adesione parziale) Attrito (uscita dal trattamento) problemi se non è casuale (es. escono i peggiori) Effetti dell’esperimento (effetto Hawthorne). Contrastato con protocollo a doppio cieco con placebo Campione ridotto

Misurazione di effetti : basandosi su quello che è successo ai non esposti Quali sono le minacce alla validità esterna di un esperimento causalizzato? Campione non rappresentativo Programma o politica non rappresentativa (esperimento troppo specifico) Effetti di equilibrio economico generale (effetti di scala) Effetti legati alla volontarietà Effetti di full coverage

Esempio: effetti di un intervento tramite indicatori (il caso è inventato) Intervento per la riduzione degli studenti fuoricorso da tre anni e più realizzato tra il 2001 e il 2003 L’intervento riguarda solo alcune università dove il problema è maggiore Indicatore di effetto: numero di studenti fuoricorso da tre anni e più per mille studenti

Esempio: effetti di un intervento tramite indicatori (il caso è inventato) Risultati Indicatore: Studenti molto fuoricorso per mille immatricolati Università Con interv Senza interv Medie: Con96=57 Medie: Senza04=55 Unica valutazione con politiche:con04

Esempio: effetti di un intervento tramite indicatori (il caso è inventato) Analisi dell’effetto della politica: Dato osservato - Dato controfattuale Problema : come scegliere il controfattuale? (nota che l’osservato lo conosciamo ed è con04)

Esempio: effetti di un intervento tramite indicatori (il caso è inventato) Controfattuale=senza04 (gli altri) Effetto= con04-senza =29 Politica è fallita? (condizioni di partenza diverse)

Esempio: effetti di un intervento tramite indicatori (il caso è inventato) Controfattuale=con00 (il passato) Effetto= con04-con =8 Politica è fallita (ora più di prima)? Ma dinamica spontanea

Esempio: effetti di un intervento tramite indicatori (il caso è inventato) Effetto= (con04- senza04)-(con00-senza00)= Controfattuale=senza04+(con00-senza00) Differenza post intervento-diff. Pre intervento= (84-55)-(76-42)=-5 Politica non è fallita Guardiamo variazioni nelle differenze

Esempio: effetti di un intervento tramite indicatori (il caso è inventato) Effetto= (con04- con00)-(con00-con96)= Differenza pre-post –differenza storica Controfattuale=con00+(con00-con96) (84-76)-(76-57)=-11 Politica non è fallita Dati solo per gli esposti Assumiamo che il trend storico si sarebbe mantenuto uguale anche in assenza di intervento

Esempio: effetti di un intervento tramite indicatori (il caso è inventato) Effetto=[(con04-senza04)-(con00-senza00)]-[(con00- con96)-(senza00-senza96)] =-15 =diff nella dinamica pre-post – differenza nella dinamica storica Controfattuale=senza04+(con00- senza00)+[(con00-con96)-(senza00-senza96)] Politica non è fallita Assumiamo che che le differenze nei trend si sarebbero mantenute uguali

Considerazioni finali L’analisi dipende dalla scelta del controfattuale Questa è fortemente dipendente dai dati a disposizione Più dati, più possiamo fare ipotesi realistiche Gli indicatori importanti, ma anche il metodo di valutazione