Modelli di valutazione per stimare gli effetti dei progetti nazionali sugli apprendimenti degli studenti Vidoni Daniele, INVALSI, Project funded by: Programmazione dei Fondi Strutturali Europei – Programma Operativo Nazionale Competenze per lo sviluppo – FSE IT 05 1 PO 007

La domanda a cui rispondere: Qual è lefficacia degli interventi implementati? Ovvero… Gli interventi sono in grado di produrre gli effetti desiderati ex ante? Rispondere a questa domanda richiede una accurata misurazione degli effetti dellintervento ex post (cioè dopo la messa in atto) e implica la volontà di associare limplementazione di un intervento pubblico alla valutazione dei suoi effetti.

Il problema sotteso: LATTRIBUZIONE CAUSALE definizione controfattuale di effetto: leffetto di un intervento è la differenza tra quanto si osserva in presenza dellintervento e quanto si sarebbe osservato in sua assenza.

Trappole concettuali: Attribuire alla politica il merito del cambiamento osservato nel fenomeno tra prima e dopo la sua implementazione. Attenzione! Non tutto ciò che accade dopo qualcosa accade a causa di quel qualcosa, poiché il fenomeno di interesse può avere una sua dinamica spontanea. Attribuire alla politica differenze osservate nel fenomeno di interesse tra esposti e non esposti. Attenzione! Questo ci espone al problema di possibili differenze nella composizione dei due gruppi, che avrebbero potuto causare differenze nei risultati anche in assenza della politica.

Possibili strade da seguire: Garantisce lequivalenza tra i due gruppi ma difficile da applicare per: problemi etici o resistenze culturali; concreta gestione degli esclusi (che devono rimanere tali: serve collaborazione da parte di chi eroga il trattamento); vincoli legali; prassi amministrative consolidate. Permettono di ricostruire ex post lequivalenza tra i due gruppi. Problemi: Effettiva disponibilità delle necessarie informazioni per matching in termini di apprendimenti, caratteristiche demografiche, altre caratteristiche. Esperimenti randomizzati Soluzioni non sperimentali

Cosa fa INVALSI in questo senso: PQM Valutazione effetto fondi PON Esperimenti randomizzati Soluzioni non sperimentali

7 UNIONE EUROPEAMINISTERO DELLISTRUZIONE, DELLUNIVERSITA E DELLA RICERCA INVALSI PON Matematica. Apprendimenti di Base con e-learning Formazione nazionale potenziata e rivolta in questa versione agli insegnanti delle Regioni PON (Calabria, Campania, Puglia, Sicilia).

8 Il caso di PON la logica dellintervento Scarso rendimento in matematica degli studenti (PISA) Formazione degli insegnanti Nuova didattica in classe da parte degli insegnanti Miglior atteggiamento e rendimento degli studenti in matematica Problema risolvibile con nuove modalità di insegnamento centrate sullapplicazione delle nozioni a casi concreti

La logica dellesperimento: in cosa consiste Vogliamo vedere se una data politica è pubblica è in grado di modificare una grandezza di interesse: confrontiamo due gruppi identici, uno che ha ricevuto la politica e uno che non lha ricevuta. Potenziali beneficiari Mandati al trattamento Gruppo di controllo Confrontiamo quindi sulla grandezza di interesse i trattati e i non trattati: la differenza è leffetto della politica INTERVENTOINTERVENTO RANDOMIZZAZIONERANDOMIZZAZIONE

10 Il caso di PON lintervento La formazione è blended e strutturata in quattro fasi: 1. incontri introduttivi in presenza con il tutor; 2. incontri on line sulla piattaforma e scelta delle unità didattiche; 3. sperimentazione in classe con assistenza on line del tutor; 4. incontro finale e consegna del diario di bordo da parte degli insegnanti. Cè una piattaforma con 28 unità didattiche rivolte alla scuola secondaria di primo grado (una sorta di sceneggiatura con forte enfasi sugli aspetti applicativi della matematica e materiali di supporto). Gli insegnanti devono testare in classe 4 unità didattiche, redigendo un diario di bordo e discutendo on line della sperimentazione con il tutor e con gli altri insegnanti della stasse classe virtuale di formazione.

Il caso di PON il disegno di valutazione dellintervento Randomizzazione delle scuole iscritte con dilazione del trattamento per il gruppo di controllo. Potenziali beneficiari RANDOMIZZAZIONE Y: abilità in matematica degli studenti (test modello SNV).

12 6 th grade 7 th grade 8 th grade Effetto medio sulle conoscenze matematiche – ciascun livello

13 Differenze tra atteggiamenti e approccio didattico degli insegnanti (gruppo trattato e gruppo di controllo) Note: (a) the null hypothesis is difference in means negative; in all other cases the null hypothesis is difference is equal to zero. The symbols ***, **, * indicate that differences in means are statistically significant at the 1, 5, and 10 percent level.

14 I risultati preliminari suggeriscono che, nellanno in cui la formazione viene seguita, il programma non sortisce effetti statisticamente significativi. Si tratta di un risultato coerente con la letteratura in quanto un cambiamento dellapproccio didattico del docente richiede tempo; Per questo, al fine di testare effetti di medio periodo, il progetto ha durata triennale. Vi sono alcune differenze nellapproccio didattico degli insegnanti e queste differenze potrebbero condurre a differenze negli apprendimenti negli anni successivi. Risposte preliminari…

15 Qualè leffetto di sullattitudine degli studenti verso la matematica? Cè un problema di self-selection nelle scuole che non hanno collaborato del tutto alla raccolta dati? Se così fosse, gli effetti di sono stati diluiti e quindi potrebbe essere utile modificare lintevento per migliorare la partecipazione di coloro che si iscriveranno in futuro? Chi dovrebbero essere i beneficiari dellintervento? Visto che letà è un fattore rilevante per la partecipazione, il fatto che il programma si rivolga a docenti di ruolo – quindi di norma più anziani – potrebbe essere messo in discussione. Allo stesso modo, se luso del computer è abbastanza collegato alletà, potrebbe esser utile assicurarsi che i partecipanti abbiano sufficienti conoscenze informatiche prima di iscriverli a questi programmi. …e nuove domande da esplorare…

Valutazione PQM Valutazione effetto fondi PON Soluzioni non sperimentali

17 Proposta valutativa: Per tutte le classi (PQM e non) di tutte le scuole esiste una misura dingresso (Test SNV ) In ogni scuola identificherà come classi di controllo le classi che hanno il profilo più simile alle classi PQM in termini di: Tempo medio delle lezioni; Regolarità; Livello medio degli apprendimenti degli studenti come rilevato dal SNV ; Livello medio di status socioculturale familiare (SCS) degli studenti per classe; Sesso (% femmine); Origine (% nati in Italia). Ognuna delle classi individuate sosterrà la prova INVALSI PQM … oggi! Disegno di valutazione PQM La policy: Formazione disciplinare in matematica e promozione dellutilizzo di informazioni standardizzate a fini diagnostici. Con i necessari caveat, il confronto del livello medio dei risultati degli studenti delle classi PQM rispetto ai risultati degli studenti delle classi di controllo potrà fornire una prima approssimazione relativamente alleffetto del progetto PQM

18 Quasi esperimenti: Stime locali Disegni di valutazione per la stima delleffetto dei fondi PON - 1 Scuole simili (per contesto e tipo di popolazione studentesca) Fondi PON NO Fondi PON

19 Disegni di valutazione per la stima delleffetto dei fondi PON - 2 Trend Matematica - Italia Risultati in crescita nelle regioni PON Fonte: INVALSI (2009), Rapporto Nazionale Pisa

20 Disegni di valutazione per la stima delleffetto dei fondi PON - 2 Analisi secondarie con metodologie di matching Quante delle scuole del campione PISA fruiscono di fondi strutturali? Coeteris paribus, ci sono differenze tra scuole PISA PON e NON PON? Come si comportano a 2 anni di distanza in base a prove SNV – II SSSG a.s ? Fonte: INVALSI (2009), Rapporto Nazionale Pisa

21 GRAZIE