Come innalzare le competenze in matematica

Presentazione sul tema: "Come innalzare le competenze in matematica"— Transcript della presentazione:

1 Come innalzare le competenze in matematica
Come innalzare le competenze in matematica? Le valutazioni in corso su e PQM Daniele Vidoni INVALSI 1

2 La struttura della presentazione
Il problema su cui intervenire: competenze degli studenti in matematica Alcuni tra gli interventi promossi: le caratteristiche di PQM e di Approfondimento sul disegno di valutazione di e alcuni primi dati Riflessioni sulle opportunità e sulle difficoltà che si incontrano nelle attività di valutazione La struttura della presentazione 2

3 Il problema su cui intervenire
I dati più recenti segnalano che sono troppo pochi gli studenti ricchi di competenze in matematica… Il problema su cui intervenire Percentuale degli studenti di 15 anni con competenze in matematica tali da risolvere problemi complessi (superiore al terzo livello) Fonte: OCSE-PISA 2006

4 … e troppi quelli poveri di competenze Il problema su cui intervenire
Percentuale degli studenti di 15 anni con scarse competenze in matematica (inferiori al primo livello) Fonte: OCSE-PISA 2006

5 Interventi promossi nelle scuole secondarie di I grado
Caratteristiche degli interventi promossi a livello nazionale (e rafforzati in Calabria, Campania, Puglia e Sicilia) Piano Nazionale Qualità e Merito (PQM): coaching e tutoring on the job per i docenti assistenza per l’utilizzo di strumenti di valutazione e dei risultati delle rilevazioni Invalsi all’interno delle scuole attività di potenziamento rivolte agli studenti sulle carenze individuate tramite ore extra-curricolari coinvolge studenti delle classi prime Interventi promossi nelle scuole secondarie di I grado Percorso di formazione con didattica innovativa : formazione dei docenti “blended” con incontri in presenza e piattaforma virtuale on-line la sperimentazione in classe di quattro unità didattiche basate su esempi concreti e coinvolgimento della classe riflessione individuale e collettiva delle esperienze in classe attraverso la stesura di un “diario di bordo” e il confronto con la classe virtuale coinvolge prime, seconde e terze classi 5

6 Una innovazione emblematica in ciascun intervento …
Innovazione emblematica PQM: cruscotto di diagnosi valutativa della propria classe Posizionamento relativo della classe all’interno della popolazione Una innovazione emblematica in ciascun intervento … % studenti che rispondono correttamente

7 Una innovazione emblematica in ciascun intervento …
Innovazione emblematica unità didattiche da sperimentare in classe Le attività proposte sono divise in quattro nuclei tematici: numeri, geometria, relazioni e funzioni, dati e previsioni. Gli elementi che compongono ciascuna attività didattica sono: una parte introduttiva rivolta al docente, con indicazioni metodologiche e prove di valutazione; una sorta di “sceneggiatura” che dettaglia le attività da sviluppare in classe e i relativi documenti di supporto scaricabili (anche VIDEO) indicazioni metodologiche e spunti di approfondimento disciplinare; suggerimenti su attività addizionali associate all’attività didattica da sviluppare con gli studenti; per molte attività ma non per tutte, elementi di prova di verifica per valutare l’effettiva comprensione dei contenuti dell’attività da parte degli studenti; una biblio/sitografia; indicazioni sui punti di attenzione da considerare nell’ottica della sperimentazione e quindi del confronto con il tutor e con la classe su come funziona la proposta di attività. Cfr. info e video: Una innovazione emblematica in ciascun intervento …

8 Quante scuole, insegnanti e classi sono coinvolte?
Nel PQM coinvolge 320 scuole, 700 docenti e le loro classi prime coinvolge 175 scuole, oltre 600 insegnanti e almeno una delle loro classi (ma alcuni faranno la formazione nel ) Per maggiori informazioni:

9 Che disegno valutativo per quale tipo di inferenza?
IDENTIFYING AND IMPLEMENTING EDUCATIONAL PRACTICES SUPPORTED BY RIGOROUS EVIDENCE: A USER FRIENDLY GUIDE U.S. Department of Education

10 Gli approcci di valutzione dei due interventi
Due approcci di valutazione diversi, entrambi basati sull’utilizzo di rilevazioni INVALSI sugli studenti (non solo) Piano Nazionale Qualità e Merito (PQM): Promozione dell’utilizzo di informazioni standardizzate a fini diagnostici Gli approcci di valutzione dei due interventi Percorso di formazione con didattica innovativa : Efficacia dei corsi di formazione 10

11 Gli approcci di valutzione dei due interventi
Due approcci di valutazione diversi, entrambi basati sull’utilizzo di rilevazioni INVALSI sugli studenti (non solo) Piano Nazionale Qualità e Merito (PQM): Ex-ante: rilevazioni con test INVALSI pre- e post- su tutti gli studenti prove SNV in matematica della V elementare e questionari di background degli studenti a ottobre 2009 prove SNV in matematica della I media e questionari di background degli studenti a maggio 2010 Non tanto valutazione degli effetti, ma diagnosi inizio anno sulle debolezze degli studenti per “tarare” gli interventi Ex post: Quasi-experiment: efficacia relativa di diverse tipologie di trattamento Gli approcci di valutzione dei due interventi 11

12 Gli approcci di valutzione dei due interventi
Due approcci di valutazione diversi, entrambi basati sull’utilizzo di rilevazioni INVALSI sugli studenti (non solo) Percorso di formazione con didattica innovativa : esperimento randomizzato controllato: scuole/docenti che partecipano alla formazione nel 2009/2010 (“trattati”) e scuole/docenti che partecipano nel 2010/2011 (“controlli”) prove SNV in matematica della I media e prove simil-SNV per la II e III media e questionari di background degli studenti a maggio 2010 rilevazione pre-/post- sugli atteggiamenti didattici degli insegnanti analisi dei “diari di bordo” degli insegnanti Gli approcci di valutzione dei due interventi 12

13 Sinergie a livello di sistema…
Complesso coordinamento tra le istituzioni e gli attori coinvolti Istituzioni e attori coinvolti Sinergie a livello di sistema… 13

14 Complesso coordinamento tra le istituzioni e gli attori coinvolti
Istituzioni e attori coinvolti Scuole, dirigenti, tutor, docenti, alunni … … e referenti del progetto e/o della valutazione 14

15 PQM: IL DATO QUANTITATIVO COME PUNTO DI PARTENZA PER UNA RIFLESSIONE AL PROPRIO INTERNO

16 I RISULTATI Da estrazione dati ANSAS del

17

18 Guida INVALSI – Bolondi, Orlandoni

19 Approfondimento gruppo PQM Piemonte, Militerno et al.

20 Approfondimento gruppo PQM Piemonte, Militerno et al.

21 Attività in presenza di socializzazione e diffusione dei risultati:
Partecipazione ai seminari regionali ed ai momenti formativi organizzati da ANSAS per gli insegnanti nelle regioni PON per illustrare la lettura delle prove INVALSI Abstract presentato alla conferenza internazionale CCEAM 2010 (Sidney, 29 settembre – 1 ottobre 2010) su: “Data to inform action: the relative effectiveness of supplementary teaching strategies in Mathematics in the PQM project in Italy”

22 Lo studio randomizzato per misurare gli effetti di M@t.abel
Le scuole coinvolte sono state divise mediante sorteggio in due gruppi , con “dilazione del trattamento” scuole che partecipano da subito (A.S. 2009/10) – “trattati” scuole che partecipano a partire dall’anno prossimo (A.S. 2010/11) – “controlli” L’estrazione mediante sorteggio è necessaria per creare due gruppi di scuole e insegnanti statisticamente equivalenti: non essendovi differenze di partenza tra i due gruppi, l’eventuale differenza negli apprendimenti osservata dopo un anno può essere plausibilmente attribuita alla sperimentazione di … analogamente per le eventuali differenze tra gruppi di docenti nelle loro risposte a domande sull’atteggiamento in classe e la didattica La metodologia adottata 22

23 Come si confrontano i due gruppi per stimare gli effetti di M@t.abel?
La metodologia adottata stima degli effetti di un anno di coinvolgimento in Confronto tra: punteggi medi nei test degli studenti delle scuole sorteggiate per implementare il primo anno punteggi medi ottenuti dagli studenti delle scuole sorteggiate per implementare l’anno successivo e 23

24 I confronti per ottenere la stima dell’effetto La metodologia adottata
di due anni e di coorte Assunto: poter utilizzare una coorte precedente come sostituto del “gruppo di controllo mancante”. L’eventuale “effetto coorte” può essere corretto osservando il seguente: La metodologia adottata …. Può essere eventualmente esteso al terzo anno 24

25 L’insieme di docenti “osservabili”
La costruzione del campione 25

26 Il campione delle 175 scuole La costruzione del campione M@t.abel
Stratificato in base a: criteri geografici e di dimensione territoriale (per provincia e, in presenza di grandi centri, per città, ovvero per le città di Napoli e Palermo che sono state isolate dalla loro provincia tramite il CAP) dimensione della scuola di provenienza (ossia in base a due gruppi: scuole con meno di 5 insegnanti iscritti a e scuole con 5 o più iscritti) Estratte causalmente le 55 scuole per il gruppo di controllo (i cui 193 docenti parteciperanno nel 2010/2011 a Matabel) Gruppo di trattati e di controllo sono risultati equivalenti per sesso e anno medio di nascita, ma non per numerosità degli iscritti della scuola di appartenenza …. La costruzione del campione 26

27 L’insieme delle classi “osservate”
Tramite diverse comunicazioni i docenti sono stati informati della classe estratta casualmente – quella che verrà seguita per la valutazione. Ai docenti trattati si è raccomandato di sperimentare le unità didattiche in quella classe: Monitoriamo i “non compliers” o diverse intensità del trattamento tramite diversi strumenti (tutor, diario di bordo, questionario pre- e post- insegnanti) La costruzione del campione 27

28 Le principali minacce alla solidità dell’esperimento
Nel caso in cui si riescono a seguire negli anni 100 scuole 50% trattate e 50% controlli, si riuscirebbe a cogliere un effetto di circa 0,2 (in termini di punteggio studenti). Siamo molto al limite in termini di dimensioni campionarie e l’effetto di 0,2 è comunque piuttosto elevato !!! Altre raccolte di dati sugli studenti (come i voti al primo quadrimestre e panel) ci aiutano a migliorare la precisione delle stime anche per affrontare: Eventuale mancata partecipazione ai corsi di un gran numero di insegnanti Eventuale abbandono dei corsi da parte di un gran numero di insegnanti Mancata applicazione dei principi della formazione (ad esempio la sperimentazione in classe) da parte degli insegnanti nella classe indicata come parte del campione o applicazione solo parziale Rifiuto di partecipare alle rilevazioni dei dati (questionari, prove invalsi, etc.) Trasferimenti degli insegnanti tra scuole tra un anno scolastico (caduta del legame tra insegnante e studenti). … a parte 85 insegnanti “trasferiti” o “pensionati” tra luglio e settembre 2009, le reazioni sembrano piuttosto positive (ma il vero banco di prova sono le rilevazioni in corso nelle scuole) La metodologia adottata 28

29 Le reazioni di tutor, insegnanti e scuole finora
Iniziale confusione sulle scelta randomizzata della classe in cui sperimentare le unità didattiche e concentrare le rilevazioni … ma pochi casi di “rifiuto” Iniziale confusione sulla necessità delle rilevazioni nel gruppo dei “controlli” e ancora di più nel gruppo dei “trattati” che hanno abbandonato il percorso formativo … ma finora casi molto isolati di “ostruzionismo” alla valutazione Grande adesione alla rilevazione pre- rivolta agli insegnanti: dei 666 insegnanti analizzati, 582 che insegnavano effettivamente ancora in una delle 175 scuole oggetto della valutazione (ovvero non erano stati trasferiti altrove all’inizio del nuovo anno scolastico), sono stati intervistati telefonicamente tra gennaio e febbraio 2010: circa il 95% degli interpellati ha risposto al questionario (lungo, di circa minuti) Le reazioni finora 29

30 Chi sono gli insegnanti che partecipano a M@t.abel?
- prevalgono nettamente le donne, che costituiscono l’84% del campione; - l’età media è di circa 52 anni, con una variabilità elevata (il più giovane ha 23 anni e il più anziano ne ha 67); - la disciplina di laurea più frequente è la biologia (63,3%) seguita da matematica (14,2%) e infine dalle scienze naturali (9,9%); - insegnano in media da 25 anni e insegnano in particolare la matematica nella scuola secondaria di primo grado da 23 anni; - dichiarano generalmente di aver scelto di insegnare la matematica (quasi tre intervistati su quattro esprimono un voto tra 8 e 10 alla domande se hanno fortemente voluto insegnare la matematica nella scuola secondaria di primo grado) e questo vale in particolare se laureati in matematica Chi sono gli insegnanti che parteicpano a Fonte: CATI Gennaio 2010

31 Didattica in classe di matematica Fonte: CATI M@t.abel; Gennaio 2010
La didattica in classe utilizzare regolarmente metodi tradizionali di insegnamento (come la spiegazione frontale e la correzione degli esercizi), ma meno la didattica basata sull’interazione stretta tra insegnanti e studenti e meno ancora quella che vede protagonisti gli studenti in lavori di gruppo (vedi fig. 1). opera proprio in questa direzione e dovrebbe quindi mutare il modo di lavorare in classe degli insegnanti sottoposti alla formazione Didattica in classe di matematica Fonte: CATI Gennaio 2010

32 Atteggiamenti sulle capacità di insegnare la matematica
Da 1 a 10, quanto è d’accordo con le affermazioni su matematica e studenti che seguono? Atteggaimenti sulle capacità di insegnare la matematica Fonte: CATI Gennaio 2010

33 Attività in presenza di socializzazione e diffusione dei risultati:
Seminari di formazione Osservatori Esperti nelle regioni PON (7-11 maggio 2010 Paper accepted for oral presentation conferenza internazionale SIGEE 2010 (Leuven, agosto 2010) su: “The design of the random assignment evaluation of a math teacher professional development program in Italy”

34 Le difficoltà Ampio lavoro di coordinamento e comunicazione
… mettere in conto molte lettere, mail e telefonate (recall, recall, recall…) Le molte rilevazioni “dirette” nelle scuole implicano molte risorse umane e molta logistica Interpretazione e utilizzabilità dei risultati Per quanto riguarda l’esperimento controllato, un effetto positivo inferiore alla soglia di riferimento o statisticamente non significativo non vorrebbe dire che l’intervento non funziona….(La soglia standard per questo tipo di esperimenti è 0,20; Si tratta comunque di un effetto grosso dal punto di vista dei processi scolastici: può davvero arrivare a questa soglia? ) 34

35 Le opportunità In entrambi i casi (PQM e siamo nella situazione “ideale”, in cui la valutazione viene pensata ex ante e si può fare leva su una infrastruttura di rilevazione confrontabile e omogenea a livello nazionale (le prove SNV) . Razionalizzazione dell’intervento Dover costruire la valutazione ex-ante non ha solo influito sulla possibilità di avere dati ma si è tradotto in una razionalizzazione della logica dell’intervento, dei suoi obiettivi e della sua intensità, nonché una maggiore condivisione con la comunità scolastica Maggiore accessibilità , comprensione e capacità di utilizzo della ampia disponibilità di dati esistenti (Invalsi, piattaforme monitoraggio gestionale e altro) Utilizzare i dati esistenti contribuisce a renderli sempre più noti e comprensibili, dunque utilizzabili, anche per altri soggetti (nonché all’interno delle scuole) Sollevare il dubbio e cercare di chiarirlo: quali interventi funzionano e perché? Il coinvolgimento delle amministrazioni e delle scuole nelle valutazione crea interrogativi, pone il dubbio, promuove una maggiore attenzione per la scelta degli interventi .. 35

36 EVENTUALI SLIDES AGGIUNTIVE DA RIPESCARE …
36

37 "possible" evidence of effectiveness?
Step 1. Is the intervention backed by "strong" evidence of effectiveness? Quality of studies needed to establish "strong" evidence: + Quantity of evidence needed: = "Strong"  Evidence Randomized controlled trials that are well-designed and implemented Trials showing effectiveness in Two or more typical school settings, Including a setting similar to that of your schools/classrooms. Step 2. If the intervention is not backed by "strong" evidence, is it backed by  "possible" evidence of effectiveness? Types of studies that can comprise "possible" evidence: Types of studies that do not comprise "possible" evidence: Randomized controlled trials whose quality/quantity are good but fall short of "strong" evidence; and/or Pre-post studies Comparison-group studies in which the intervention and comparison groups are very closely matched in academic achievement, demographics, and other characteristics (see pages 11-12). Comparison-group studies in which the intervention and comparison groups are not closely matched  "Meta-analyses" that include the results of such lower-quality studies Step 3. If the answers to both questions above are "no," one may conclude that the intervention is not supported by meaningful evidence.

38 "possible" evidence of effectiveness?
Step 1. Is the intervention backed by "strong" evidence of effectiveness? Quality of studies needed to establish "strong" evidence: + Quantity of evidence needed: = "Strong"  Evidence Randomized controlled trials that are well-designed and implemented Trials showing effectiveness in Two or more typical school settings, Including a setting similar to that of your schools/classrooms. Step 2. If the intervention is not backed by "strong" evidence, is it backed by  "possible" evidence of effectiveness? Types of studies that can comprise "possible" evidence: Types of studies that do not comprise "possible" evidence: Randomized controlled trials whose quality/quantity are good but fall short of "strong" evidence; and/or Pre-post studies Comparison-group studies in which the intervention and comparison groups are very closely matched in academic achievement, demographics, and other characteristics (see pages 11-12). Comparison-group studies in which the intervention and comparison groups are not closely matched  "Meta-analyses" that include the results of such lower-quality studies Step 3. If the answers to both questions above are "no," one may conclude that the intervention is not supported by meaningful evidence.

39 La raccolta di informazioni aggiuntive Il disegno della valutazione
Raccolta di informazioni su contesto, scuola, insegnanti e studenti con tre obiettivi: 1. testare la “fortuna” avuta con la randomizzazione; 2. aumentare la precisione delle stime; 3. Ipotizzare e testare (parzialmente) meccanismi esplicativi degli effetti. Il disegno della valutazione 39

40 Le rilevazioni in corso e previste
Gennaio 2010 pre- e Novembre 2010 post- – rilevazione sui docenti PON (questionario CATI prima dell’avvio delle sperimentazioni in classe, ripetuto l’anno successivo<9 Maggio 2010 – rilevazioni sugli studenti tramite prove del SNV / INVALSI (prima, seconda e terza media) Giugno 2010 – Ottobre 2010 – completamento del percorso PON 2009/2010 con diario di bordo ed eventuale questionario finale di customer satisfaction (rivolto a docenti e a tutor) – interviste ad alcuni tutor e insegnanti, con analisi dei diari di bordo 40

41 La randomizzazione: la potenza del disegno Il disegno di valutazione
Il moltiplicatore è pari a 2,5 per i parametri standard nei disegni sperimentali multilivello (livello di confidenza al 95% per potenza 80%). Indagheremo 100 scuole (K): 50% trattate e 50% controlli (P). In ogni scuola, analizzeremo 6 classi (J) di 19 studenti (stima prudenziale - N) Proporzione della varianza dell’abilità: scuole=0,090; classi=0,125; studenti=0,785. (fonte: Prova nazionale INVALSI 2008 sugli studenti di terza media) C’è inoltre una possibile correzione (non presentata nella formula semplificata) ottenibile grazie alla spiegazione che riusciamo a dare delle differenze negli esiti tra le scuole mediante gli altri predittori raccolti (R2): -> stima pessimistica (10%) porta a MDES 0,189 -> stima ottimistica (40%) porta a MDES 0,166 La soglia standard per questo tipo di esperimenti è 0,20. Si tratta comunque di un effetto grosso dal punto di vista dei processi scolastici: può davvero arrivare a questa soglia? Un effetto positivo e non significativo non vorrebbe dire che non funziona. Il disegno di valutazione 41

42 L’accesso alla rete nei diversi contesti
Formazione blended e accesso alle ICT Fonte: CATI Gennaio 2010

43 La frequenza d’uso complessiva del PC
Formazione blended e accesso alle ICT Fonte: CATI Gennaio 2010