Come innalzare le competenze in matematica Come innalzare le competenze in matematica? Le valutazioni in corso su M@t.abel e PQM Daniele Vidoni INVALSI 1

La struttura della presentazione Il problema su cui intervenire: competenze degli studenti in matematica Alcuni tra gli interventi promossi: le caratteristiche di PQM e di M@t.abel Approfondimento sul disegno di valutazione di M@t.abel e alcuni primi dati Riflessioni sulle opportunità e sulle difficoltà che si incontrano nelle attività di valutazione La struttura della presentazione 2

Il problema su cui intervenire I dati più recenti segnalano che sono troppo pochi gli studenti ricchi di competenze in matematica… Il problema su cui intervenire Percentuale degli studenti di 15 anni con competenze in matematica tali da risolvere problemi complessi (superiore al terzo livello) Fonte: OCSE-PISA 2006

… e troppi quelli poveri di competenze Il problema su cui intervenire Percentuale degli studenti di 15 anni con scarse competenze in matematica (inferiori al primo livello) Fonte: OCSE-PISA 2006

Interventi promossi nelle scuole secondarie di I grado Caratteristiche degli interventi promossi a livello nazionale (e rafforzati in Calabria, Campania, Puglia e Sicilia) Piano Nazionale Qualità e Merito (PQM): coaching e tutoring on the job per i docenti assistenza per l’utilizzo di strumenti di valutazione e dei risultati delle rilevazioni Invalsi all’interno delle scuole attività di potenziamento rivolte agli studenti sulle carenze individuate tramite ore extra-curricolari coinvolge studenti delle classi prime Interventi promossi nelle scuole secondarie di I grado Percorso di formazione con didattica innovativa M@t.abel : formazione dei docenti “blended” con incontri in presenza e piattaforma virtuale on-line la sperimentazione in classe di quattro unità didattiche basate su esempi concreti e coinvolgimento della classe riflessione individuale e collettiva delle esperienze in classe attraverso la stesura di un “diario di bordo” e il confronto con la classe virtuale coinvolge prime, seconde e terze classi 5

Una innovazione emblematica in ciascun intervento … Innovazione emblematica PQM: cruscotto di diagnosi valutativa della propria classe Posizionamento relativo della classe all’interno della popolazione Una innovazione emblematica in ciascun intervento … % studenti che rispondono correttamente http://pqm.indire.it

Una innovazione emblematica in ciascun intervento … Innovazione emblematica M@t.abel: unità didattiche da sperimentare in classe Le attività proposte sono divise in quattro nuclei tematici: numeri, geometria, relazioni e funzioni, dati e previsioni. Gli elementi che compongono ciascuna attività didattica sono: una parte introduttiva rivolta al docente, con indicazioni metodologiche e prove di valutazione; una sorta di “sceneggiatura” che dettaglia le attività da sviluppare in classe e i relativi documenti di supporto scaricabili (anche VIDEO) indicazioni metodologiche e spunti di approfondimento disciplinare; suggerimenti su attività addizionali associate all’attività didattica da sviluppare con gli studenti; per molte attività ma non per tutte, elementi di prova di verifica per valutare l’effettiva comprensione dei contenuti dell’attività da parte degli studenti; una biblio/sitografia; indicazioni sui punti di attenzione da considerare nell’ottica della sperimentazione e quindi del confronto con il tutor e con la classe su come funziona la proposta di attività. Cfr. info e video: http://www.indire.it/ponmatematicacorso1/ Una innovazione emblematica in ciascun intervento …

Quante scuole, insegnanti e classi sono coinvolte? Nel 2009-2010 PQM coinvolge 320 scuole, 700 docenti e le loro classi prime M@t.abel coinvolge 175 scuole, oltre 600 insegnanti e almeno una delle loro classi (ma alcuni faranno la formazione nel 2010-2011) Per maggiori informazioni: http://pqm.indire.it http://www.invalsi.it/invalsi/ri/matabel

Che disegno valutativo per quale tipo di inferenza? IDENTIFYING AND IMPLEMENTING EDUCATIONAL PRACTICES SUPPORTED BY RIGOROUS EVIDENCE: A USER FRIENDLY GUIDE U.S. Department of Education

Gli approcci di valutzione dei due interventi Due approcci di valutazione diversi, entrambi basati sull’utilizzo di rilevazioni INVALSI sugli studenti (non solo) Piano Nazionale Qualità e Merito (PQM): Promozione dell’utilizzo di informazioni standardizzate a fini diagnostici Gli approcci di valutzione dei due interventi Percorso di formazione con didattica innovativa M@t.abel : Efficacia dei corsi di formazione 10

Gli approcci di valutzione dei due interventi Due approcci di valutazione diversi, entrambi basati sull’utilizzo di rilevazioni INVALSI sugli studenti (non solo) Piano Nazionale Qualità e Merito (PQM): Ex-ante: rilevazioni con test INVALSI pre- e post- su tutti gli studenti prove SNV in matematica della V elementare e questionari di background degli studenti a ottobre 2009 prove SNV in matematica della I media e questionari di background degli studenti a maggio 2010 Non tanto valutazione degli effetti, ma diagnosi inizio anno sulle debolezze degli studenti per “tarare” gli interventi Ex post: Quasi-experiment: efficacia relativa di diverse tipologie di trattamento Gli approcci di valutzione dei due interventi 11

Gli approcci di valutzione dei due interventi Due approcci di valutazione diversi, entrambi basati sull’utilizzo di rilevazioni INVALSI sugli studenti (non solo) Percorso di formazione con didattica innovativa M@t.abel : esperimento randomizzato controllato: scuole/docenti che partecipano alla formazione nel 2009/2010 (“trattati”) e scuole/docenti che partecipano nel 2010/2011 (“controlli”) prove SNV in matematica della I media e prove simil-SNV per la II e III media e questionari di background degli studenti a maggio 2010 rilevazione pre-/post- sugli atteggiamenti didattici degli insegnanti analisi dei “diari di bordo” degli insegnanti Gli approcci di valutzione dei due interventi 12

Sinergie a livello di sistema… Complesso coordinamento tra le istituzioni e gli attori coinvolti Istituzioni e attori coinvolti Sinergie a livello di sistema… 13

Complesso coordinamento tra le istituzioni e gli attori coinvolti Istituzioni e attori coinvolti Scuole, dirigenti, tutor, docenti, alunni … … e referenti del progetto e/o della valutazione 14

PQM: IL DATO QUANTITATIVO COME PUNTO DI PARTENZA PER UNA RIFLESSIONE AL PROPRIO INTERNO

I RISULTATI Da estrazione dati ANSAS del 3-3-10

Guida INVALSI – Bolondi, Orlandoni

Approfondimento gruppo PQM Piemonte, Militerno et al.

Approfondimento gruppo PQM Piemonte, Militerno et al.

Attività in presenza di socializzazione e diffusione dei risultati: Partecipazione ai seminari regionali ed ai momenti formativi organizzati da ANSAS per gli insegnanti nelle regioni PON per illustrare la lettura delle prove INVALSI Abstract presentato alla conferenza internazionale CCEAM 2010 (Sidney, 29 settembre – 1 ottobre 2010) su: “Data to inform action: the relative effectiveness of supplementary teaching strategies in Mathematics in the PQM project in Italy”

Lo studio randomizzato per misurare gli effetti di M@t.abel Le scuole coinvolte sono state divise mediante sorteggio in due gruppi , con “dilazione del trattamento” scuole che partecipano da subito (A.S. 2009/10) – “trattati” scuole che partecipano a partire dall’anno prossimo (A.S. 2010/11) – “controlli” L’estrazione mediante sorteggio è necessaria per creare due gruppi di scuole e insegnanti statisticamente equivalenti: non essendovi differenze di partenza tra i due gruppi, l’eventuale differenza negli apprendimenti osservata dopo un anno può essere plausibilmente attribuita alla sperimentazione di M@t.abel… … analogamente per le eventuali differenze tra gruppi di docenti nelle loro risposte a domande sull’atteggiamento in classe e la didattica La metodologia adottata 22

Come si confrontano i due gruppi per stimare gli effetti di M@t.abel? La metodologia adottata stima degli effetti di un anno di coinvolgimento in M@tabel Confronto tra: punteggi medi nei test degli studenti delle scuole sorteggiate per implementare M@t.abel+ il primo anno punteggi medi ottenuti dagli studenti delle scuole sorteggiate per implementare M@t.abel+ l’anno successivo e 23

I confronti per ottenere la stima dell’effetto La metodologia adottata di due anni e di coorte Assunto: poter utilizzare una coorte precedente come sostituto del “gruppo di controllo mancante”. L’eventuale “effetto coorte” può essere corretto osservando il seguente: La metodologia adottata …. Può essere eventualmente esteso al terzo anno 24

L’insieme di docenti “osservabili” La costruzione del campione M@t.abel 25

Il campione delle 175 scuole La costruzione del campione M@t.abel Stratificato in base a: criteri geografici e di dimensione territoriale (per provincia e, in presenza di grandi centri, per città, ovvero per le città di Napoli e Palermo che sono state isolate dalla loro provincia tramite il CAP) dimensione della scuola di provenienza (ossia in base a due gruppi: scuole con meno di 5 insegnanti iscritti a Mat@bel e scuole con 5 o più iscritti) Estratte causalmente le 55 scuole per il gruppo di controllo (i cui 193 docenti parteciperanno nel 2010/2011 a Matabel) Gruppo di trattati e di controllo sono risultati equivalenti per sesso e anno medio di nascita, ma non per numerosità degli iscritti della scuola di appartenenza …. La costruzione del campione M@t.abel 26

L’insieme delle classi “osservate” Tramite diverse comunicazioni i docenti sono stati informati della classe estratta casualmente – quella che verrà seguita per la valutazione. Ai docenti trattati si è raccomandato di sperimentare le unità didattiche in quella classe: Monitoriamo i “non compliers” o diverse intensità del trattamento tramite diversi strumenti (tutor, diario di bordo, questionario pre- e post- insegnanti) La costruzione del campione M@t.abel 27

Le principali minacce alla solidità dell’esperimento Nel caso in cui si riescono a seguire negli anni 100 scuole 50% trattate e 50% controlli, si riuscirebbe a cogliere un effetto di circa 0,2 (in termini di punteggio studenti). Siamo molto al limite in termini di dimensioni campionarie e l’effetto di 0,2 è comunque piuttosto elevato !!! Altre raccolte di dati sugli studenti (come i voti al primo quadrimestre e panel) ci aiutano a migliorare la precisione delle stime anche per affrontare: Eventuale mancata partecipazione ai corsi di un gran numero di insegnanti Eventuale abbandono dei corsi da parte di un gran numero di insegnanti Mancata applicazione dei principi della formazione (ad esempio la sperimentazione in classe) da parte degli insegnanti nella classe indicata come parte del campione o applicazione solo parziale Rifiuto di partecipare alle rilevazioni dei dati (questionari, prove invalsi, etc.) Trasferimenti degli insegnanti tra scuole tra un anno scolastico (caduta del legame tra insegnante e studenti). … a parte 85 insegnanti “trasferiti” o “pensionati” tra luglio e settembre 2009, le reazioni sembrano piuttosto positive (ma il vero banco di prova sono le rilevazioni in corso nelle scuole) La metodologia adottata 28

Le reazioni di tutor, insegnanti e scuole finora Iniziale confusione sulle scelta randomizzata della classe in cui sperimentare le unità didattiche e concentrare le rilevazioni … ma pochi casi di “rifiuto” Iniziale confusione sulla necessità delle rilevazioni nel gruppo dei “controlli” e ancora di più nel gruppo dei “trattati” che hanno abbandonato il percorso formativo … ma finora casi molto isolati di “ostruzionismo” alla valutazione Grande adesione alla rilevazione pre- rivolta agli insegnanti: dei 666 insegnanti analizzati, 582 che insegnavano effettivamente ancora in una delle 175 scuole oggetto della valutazione (ovvero non erano stati trasferiti altrove all’inizio del nuovo anno scolastico), sono stati intervistati telefonicamente tra gennaio e febbraio 2010: circa il 95% degli interpellati ha risposto al questionario (lungo, di circa 30-40 minuti) Le reazioni finora 29

Chi sono gli insegnanti che partecipano a M@t.abel? - prevalgono nettamente le donne, che costituiscono l’84% del campione; - l’età media è di circa 52 anni, con una variabilità elevata (il più giovane ha 23 anni e il più anziano ne ha 67); - la disciplina di laurea più frequente è la biologia (63,3%) seguita da matematica (14,2%) e infine dalle scienze naturali (9,9%); - insegnano in media da 25 anni e insegnano in particolare la matematica nella scuola secondaria di primo grado da 23 anni; - dichiarano generalmente di aver scelto di insegnare la matematica (quasi tre intervistati su quattro esprimono un voto tra 8 e 10 alla domande se hanno fortemente voluto insegnare la matematica nella scuola secondaria di primo grado) e questo vale in particolare se laureati in matematica Chi sono gli insegnanti che parteicpano a M@t.abel Fonte: CATI M@t.abel; Gennaio 2010

Didattica in classe di matematica Fonte: CATI M@t.abel; Gennaio 2010 La didattica in classe utilizzare regolarmente metodi tradizionali di insegnamento (come la spiegazione frontale e la correzione degli esercizi), ma meno la didattica basata sull’interazione stretta tra insegnanti e studenti e meno ancora quella che vede protagonisti gli studenti in lavori di gruppo (vedi fig. 1). M@tabel opera proprio in questa direzione e dovrebbe quindi mutare il modo di lavorare in classe degli insegnanti sottoposti alla formazione Didattica in classe di matematica Fonte: CATI M@t.abel; Gennaio 2010

Atteggiamenti sulle capacità di insegnare la matematica Da 1 a 10, quanto è d’accordo con le affermazioni su matematica e studenti che seguono? Atteggaimenti sulle capacità di insegnare la matematica Fonte: CATI M@t.abel; Gennaio 2010

Attività in presenza di socializzazione e diffusione dei risultati: Seminari di formazione Osservatori Esperti nelle regioni PON (7-11 maggio 2010 Paper accepted for oral presentation conferenza internazionale SIGEE 2010 (Leuven, 25-28 agosto 2010) su: “The design of the random assignment evaluation of a math teacher professional development program in Italy”

Le difficoltà Ampio lavoro di coordinamento e comunicazione … mettere in conto molte lettere, mail e telefonate (recall, recall, recall…) Le molte rilevazioni “dirette” nelle scuole implicano molte risorse umane e molta logistica Interpretazione e utilizzabilità dei risultati Per quanto riguarda l’esperimento controllato, un effetto positivo inferiore alla soglia di riferimento o statisticamente non significativo non vorrebbe dire che l’intervento non funziona….(La soglia standard per questo tipo di esperimenti è 0,20; Si tratta comunque di un effetto grosso dal punto di vista dei processi scolastici: M@tabel può davvero arrivare a questa soglia? ) 34

Le opportunità In entrambi i casi (PQM e M@t.abel) siamo nella situazione “ideale”, in cui la valutazione viene pensata ex ante e si può fare leva su una infrastruttura di rilevazione confrontabile e omogenea a livello nazionale (le prove SNV) . Razionalizzazione dell’intervento Dover costruire la valutazione ex-ante non ha solo influito sulla possibilità di avere dati ma si è tradotto in una razionalizzazione della logica dell’intervento, dei suoi obiettivi e della sua intensità, nonché una maggiore condivisione con la comunità scolastica Maggiore accessibilità , comprensione e capacità di utilizzo della ampia disponibilità di dati esistenti (Invalsi, piattaforme monitoraggio gestionale e altro) Utilizzare i dati esistenti contribuisce a renderli sempre più noti e comprensibili, dunque utilizzabili, anche per altri soggetti (nonché all’interno delle scuole) Sollevare il dubbio e cercare di chiarirlo: quali interventi funzionano e perché? Il coinvolgimento delle amministrazioni e delle scuole nelle valutazione crea interrogativi, pone il dubbio, promuove una maggiore attenzione per la scelta degli interventi .. 35

EVENTUALI SLIDES AGGIUNTIVE DA RIPESCARE … 36

"possible" evidence of effectiveness? Step 1. Is the intervention backed by "strong" evidence of effectiveness? Quality of studies needed to establish "strong" evidence: + Quantity of evidence needed: = "Strong"  Evidence Randomized controlled trials that are well-designed and implemented Trials showing effectiveness in Two or more typical school settings, Including a setting similar to that of your schools/classrooms.   Step 2. If the intervention is not backed by "strong" evidence, is it backed by  "possible" evidence of effectiveness? Types of studies that can comprise "possible" evidence: Types of studies that do not comprise "possible" evidence: Randomized controlled trials whose quality/quantity are good but fall short of "strong" evidence; and/or Pre-post studies Comparison-group studies in which the intervention and comparison groups are very closely matched in academic achievement, demographics, and other characteristics (see pages 11-12). Comparison-group studies in which the intervention and comparison groups are not closely matched  "Meta-analyses" that include the results of such lower-quality studies Step 3. If the answers to both questions above are "no," one may conclude that the intervention is not supported by meaningful evidence.

"possible" evidence of effectiveness? Step 1. Is the intervention backed by "strong" evidence of effectiveness? Quality of studies needed to establish "strong" evidence: + Quantity of evidence needed: = "Strong"  Evidence Randomized controlled trials that are well-designed and implemented Trials showing effectiveness in Two or more typical school settings, Including a setting similar to that of your schools/classrooms.   Step 2. If the intervention is not backed by "strong" evidence, is it backed by  "possible" evidence of effectiveness? Types of studies that can comprise "possible" evidence: Types of studies that do not comprise "possible" evidence: Randomized controlled trials whose quality/quantity are good but fall short of "strong" evidence; and/or Pre-post studies Comparison-group studies in which the intervention and comparison groups are very closely matched in academic achievement, demographics, and other characteristics (see pages 11-12). Comparison-group studies in which the intervention and comparison groups are not closely matched  "Meta-analyses" that include the results of such lower-quality studies Step 3. If the answers to both questions above are "no," one may conclude that the intervention is not supported by meaningful evidence.

La raccolta di informazioni aggiuntive Il disegno della valutazione Raccolta di informazioni su contesto, scuola, insegnanti e studenti con tre obiettivi: 1. testare la “fortuna” avuta con la randomizzazione; 2. aumentare la precisione delle stime; 3. Ipotizzare e testare (parzialmente) meccanismi esplicativi degli effetti. Il disegno della valutazione 39

Le rilevazioni in corso e previste Gennaio 2010 pre- e Novembre 2010 post- – rilevazione sui docenti PON M@t.abel (questionario CATI prima dell’avvio delle sperimentazioni in classe, ripetuto l’anno successivo<9   Maggio 2010 – rilevazioni sugli studenti tramite prove del SNV / INVALSI (prima, seconda e terza media) Giugno 2010 – Ottobre 2010 – completamento del percorso PON M@t.abel 2009/2010 con diario di bordo ed eventuale questionario finale di customer satisfaction (rivolto a docenti e a tutor) – interviste ad alcuni tutor e insegnanti, con analisi dei diari di bordo 40

La randomizzazione: la potenza del disegno Il disegno di valutazione Il moltiplicatore è pari a 2,5 per i parametri standard nei disegni sperimentali multilivello (livello di confidenza al 95% per potenza 80%). Indagheremo 100 scuole (K): 50% trattate e 50% controlli (P). In ogni scuola, analizzeremo 6 classi (J) di 19 studenti (stima prudenziale - N) Proporzione della varianza dell’abilità: scuole=0,090; classi=0,125; studenti=0,785. (fonte: Prova nazionale INVALSI 2008 sugli studenti di terza media) C’è inoltre una possibile correzione (non presentata nella formula semplificata) ottenibile grazie alla spiegazione che riusciamo a dare delle differenze negli esiti tra le scuole mediante gli altri predittori raccolti (R2): -> stima pessimistica (10%) porta a MDES 0,189 -> stima ottimistica (40%) porta a MDES 0,166 La soglia standard per questo tipo di esperimenti è 0,20. Si tratta comunque di un effetto grosso dal punto di vista dei processi scolastici: M@tabel può davvero arrivare a questa soglia? Un effetto positivo e non significativo non vorrebbe dire che non funziona. Il disegno di valutazione 41

L’accesso alla rete nei diversi contesti Formazione blended e accesso alle ICT Fonte: CATI M@t.abel; Gennaio 2010

La frequenza d’uso complessiva del PC Formazione blended e accesso alle ICT Fonte: CATI M@t.abel; Gennaio 2010