La presentazione è in caricamento. Aspetta per favore

La presentazione è in caricamento. Aspetta per favore

Come innalzare le competenze in matematica? Le valutazioni in corso su e PQM Daniele Vidoni INVALSI.

Presentazioni simili


Presentazione sul tema: "Come innalzare le competenze in matematica? Le valutazioni in corso su e PQM Daniele Vidoni INVALSI."— Transcript della presentazione:

1 Come innalzare le competenze in matematica? Le valutazioni in corso su e PQM Daniele Vidoni INVALSI

2 La struttura della presentazione Il problema su cui intervenire: competenze degli studenti in matematica Alcuni tra gli interventi promossi: le caratteristiche di PQM e di t.abel Approfondimento sul disegno di valutazione di e alcuni primi dati Riflessioni sulle opportunità e sulle difficoltà che si incontrano nelle attività di valutazione

3 Percentuale degli studenti di 15 anni con competenze in matematica tali da risolvere problemi complessi (superiore al terzo livello) Fonte: OCSE-PISA 2006 I dati più recenti segnalano che sono troppo pochi gli studenti ricchi di competenze in matematica… Il problema su cui intervenire

4 Percentuale degli studenti di 15 anni con scarse competenze in matematica (inferiori al primo livello) Fonte: OCSE-PISA 2006 … e troppi quelli poveri di competenze Il problema su cui intervenire

5 Interventi promossi nelle scuole secondarie di I grado Piano Nazionale Qualità e Merito (PQM): coaching e tutoring on the job per i docenti assistenza per lutilizzo di strumenti di valutazione e dei risultati delle rilevazioni Invalsi allinterno delle scuole attività di potenziamento rivolte agli studenti sulle carenze individuate tramite ore extra-curricolari coinvolge studenti delle classi prime Percorso di formazione con didattica innovativa : formazione dei docenti blended con incontri in presenza e piattaforma virtuale on-line la sperimentazione in classe di quattro unità didattiche basate su esempi concreti e coinvolgimento della classe riflessione individuale e collettiva delle esperienze in classe attraverso la stesura di un diario di bordo e il confronto con la classe virtuale coinvolge prime, seconde e terze classi Caratteristiche degli interventi promossi a livello nazionale (e rafforzati in Calabria, Campania, Puglia e Sicilia)

6 % studenti che rispondono correttamente Posizionamento relativo della classe allinterno della popolazione Una innovazione emblematica in ciascun intervento … Innovazione emblematica PQM: cruscotto di diagnosi valutativa della propria classe

7 Una innovazione emblematica in ciascun intervento … Innovazione emblematica unità didattiche da sperimentare in classe Le attività proposte sono divise in quattro nuclei tematici: numeri, geometria, relazioni e funzioni, dati e previsioni. Gli elementi che compongono ciascuna attività didattica sono: una parte introduttiva rivolta al docente, con indicazioni metodologiche e prove di valutazione; una sorta di sceneggiatura che dettaglia le attività da sviluppare in classe e i relativi documenti di supporto scaricabili (anche VIDEO) indicazioni metodologiche e spunti di approfondimento disciplinare; suggerimenti su attività addizionali associate allattività didattica da sviluppare con gli studenti; per molte attività ma non per tutte, elementi di prova di verifica per valutare leffettiva comprensione dei contenuti dellattività da parte degli studenti; una biblio/sitografia; indicazioni sui punti di attenzione da considerare nellottica della sperimentazione e quindi del confronto con il tutor e con la classe su come funziona la proposta di attività. Cfr. info e video:

8 Nel PQM coinvolge 320 scuole, 700 docenti e le loro classi prime coinvolge 175 scuole, oltre 600 insegnanti e almeno una delle loro classi (ma alcuni faranno la formazione nel ) Quante scuole, insegnanti e classi sono coinvolte? Per maggiori informazioni:

9 9 IDENTIFYING AND IMPLEMENTING EDUCATIONAL PRACTICES SUPPORTED BY RIGOROUS EVIDENCE: A USER FRIENDLY GUIDE U.S. Department of Education Che disegno valutativo per quale tipo di inferenza?

10 Due approcci di valutazione diversi, entrambi basati sullutilizzo di rilevazioni INVALSI sugli studenti (non solo) Gli approcci di valutzione dei due interventi Piano Nazionale Qualità e Merito (PQM): Promozione dellutilizzo di informazioni standardizzate a fini diagnostici Percorso di formazione con didattica innovativa : Efficacia dei corsi di formazione

11 Due approcci di valutazione diversi, entrambi basati sullutilizzo di rilevazioni INVALSI sugli studenti (non solo) Gli approcci di valutzione dei due interventi Piano Nazionale Qualità e Merito (PQM): Ex-ante: rilevazioni con test INVALSI pre- e post- su tutti gli studenti prove SNV in matematica della V elementare e questionari di background degli studenti a ottobre 2009 prove SNV in matematica della I media e questionari di background degli studenti a maggio 2010 Non tanto valutazione degli effetti, ma diagnosi inizio anno sulle debolezze degli studenti per tarare gli interventi Ex post: Quasi-experiment: efficacia relativa di diverse tipologie di trattamento

12 Due approcci di valutazione diversi, entrambi basati sullutilizzo di rilevazioni INVALSI sugli studenti (non solo) Gli approcci di valutzione dei due interventi Percorso di formazione con didattica innovativa : esperimento randomizzato controllato: scuole/docenti che partecipano alla formazione nel 2009/2010 (trattati) e scuole/docenti che partecipano nel 2010/2011 (controlli) prove SNV in matematica della I media e prove simil-SNV per la II e III media e questionari di background degli studenti a maggio 2010 rilevazione pre-/post- sugli atteggiamenti didattici degli insegnanti analisi dei diari di bordo degli insegnanti

13 Complesso coordinamento tra le istituzioni e gli attori coinvolti Istituzioni e attori coinvolti Sinergie a livello di sistema…

14 Complesso coordinamento tra le istituzioni e gli attori coinvolti Istituzioni e attori coinvolti Scuole, dirigenti, tutor, docenti, alunni … … e referenti del progetto e/o della valutazione

15 PQM: IL DATO QUANTITATIVO COME PUNTO DI PARTENZA PER UNA RIFLESSIONE AL PROPRIO INTERNO

16 I RISULTATI Da estrazione dati ANSAS del

17

18 Guida INVALSI – Bolondi, Orlandoni

19 Approfondimento gruppo PQM Piemonte, Militerno et al.

20

21 21 Attività in presenza di socializzazione e diffusione dei risultati: -Partecipazione ai seminari regionali ed ai momenti formativi organizzati da ANSAS per gli insegnanti nelle regioni PON per illustrare la lettura delle prove INVALSI -Abstract presentato alla conferenza internazionale CCEAM 2010 (Sidney, 29 settembre – 1 ottobre 2010) su: Data to inform action: the relative effectiveness of supplementary teaching strategies in Mathematics in the PQM project in Italy

22 Lo studio randomizzato per misurare gli effetti di La metodologia adottata Le scuole coinvolte sono state divise mediante sorteggio in due gruppi, con dilazione del trattamento scuole che partecipano da subito (A.S. 2009/10) – trattati scuole che partecipano a partire dallanno prossimo (A.S. 2010/11) – controlli Lestrazione mediante sorteggio è necessaria per creare due gruppi di scuole e insegnanti statisticamente equivalenti: non essendovi differenze di partenza tra i due gruppi, leventuale differenza negli apprendimenti osservata dopo un anno può essere plausibilmente attribuita alla sperimentazione di … analogamente per le eventuali differenze tra gruppi di docenti nelle loro risposte a domande sullatteggiamento in classe e la didattica

23 Come si confrontano i due gruppi per stimare gli effetti di La metodologia adottata punteggi medi nei test degli studenti delle scuole sorteggiate per implementare il primo anno punteggi medi ottenuti dagli studenti delle scuole sorteggiate per implementare lanno successivo stima degli effetti di un anno di coinvolgimento in Confronto tra: e

24 I confronti per ottenere la stima delleffetto di due anni e di coorte La metodologia adottata Assunto : poter utilizzare una coorte precedente come sostituto del gruppo di controllo mancante. Leventuale effetto coorte può essere corretto osservando il seguente: …. Può essere eventualmente esteso al terzo anno

25 Linsieme di docenti osservabili La costruzione del campione

26 Il campione delle 175 scuole Stratificato in base a: - criteri geografici e di dimensione territoriale (per provincia e, in presenza di grandi centri, per città, ovvero per le città di Napoli e Palermo che sono state isolate dalla loro provincia tramite il CAP) -dimensione della scuola di provenienza (ossia in base a due gruppi: scuole con meno di 5 insegnanti iscritti a e scuole con 5 o più iscritti) -Estratte causalmente le 55 scuole per il gruppo di controllo (i cui 193 docenti parteciperanno nel 2010/2011 a Matabel) -Gruppo di trattati e di controllo sono risultati equivalenti per sesso e anno medio di nascita, ma non per numerosità degli iscritti della scuola di appartenenza …. La costruzione del campione

27 Linsieme delle classi osservate Tramite diverse comunicazioni i docenti sono stati informati della classe estratta casualmente – quella che verrà seguita per la valutazione. Ai docenti trattati si è raccomandato di sperimentare le unità didattiche in quella classe: Monitoriamo i non compliers o diverse intensità del trattamento tramite diversi strumenti (tutor, diario di bordo, questionario pre- e post- insegnanti) La costruzione del campione

28 Le principali minacce alla solidità dellesperimento La metodologia adottata -Eventuale mancata partecipazione ai corsi di un gran numero di insegnanti -Eventuale abbandono dei corsi da parte di un gran numero di insegnanti -Mancata applicazione dei principi della formazione (ad esempio la sperimentazione in classe) da parte degli insegnanti nella classe indicata come parte del campione o applicazione solo parziale -Rifiuto di partecipare alle rilevazioni dei dati (questionari, prove invalsi, etc.) -Trasferimenti degli insegnanti tra scuole tra un anno scolastico (caduta del legame tra insegnante e studenti). - … a parte 85 insegnanti trasferiti o pensionati tra luglio e settembre 2009, le reazioni sembrano piuttosto positive (ma il vero banco di prova sono le rilevazioni in corso nelle scuole) Nel caso in cui si riescono a seguire negli anni 100 scuole 50% trattate e 50% controlli, si riuscirebbe a cogliere un effetto di circa 0,2 (in termini di punteggio studenti). Siamo molto al limite in termini di dimensioni campionarie e leffetto di 0,2 è comunque piuttosto elevato !!! Altre raccolte di dati sugli studenti (come i voti al primo quadrimestre e panel) ci aiutano a migliorare la precisione delle stime anche per affrontare :

29 Le reazioni di tutor, insegnanti e scuole finora Le reazioni finora -Iniziale confusione sulle scelta randomizzata della classe in cui sperimentare le unità didattiche e concentrare le rilevazioni … ma pochi casi di rifiuto -Iniziale confusione sulla necessità delle rilevazioni nel gruppo dei controlli e ancora di più nel gruppo dei trattati che hanno abbandonato il percorso formativo … ma finora casi molto isolati di ostruzionismo alla valutazione -Grande adesione alla rilevazione pre- rivolta agli insegnanti: dei 666 insegnanti analizzati, 582 che insegnavano effettivamente ancora in una delle 175 scuole oggetto della valutazione (ovvero non erano stati trasferiti altrove allinizio del nuovo anno scolastico), sono stati intervistati telefonicamente tra gennaio e febbraio 2010: circa il 95% degli interpellati ha risposto al questionario (lungo, di circa minuti)

30 Fonte: CATI Gennaio Chi sono gli insegnanti che partecipano a Chi sono gli insegnanti che parteicpano a - prevalgono nettamente le donne, che costituiscono l84% del campione; - letà media è di circa 52 anni, con una variabilità elevata (il più giovane ha 23 anni e il più anziano ne ha 67); - la disciplina di laurea più frequente è la biologia (63,3%) seguita da matematica (14,2%) e infine dalle scienze naturali (9,9%); - insegnano in media da 25 anni e insegnano in particolare la matematica nella scuola secondaria di primo grado da 23 anni; - dichiarano generalmente di aver scelto di insegnare la matematica (quasi tre intervistati su quattro esprimono un voto tra 8 e 10 alla domande se hanno fortemente voluto insegnare la matematica nella scuola secondaria di primo grado) e questo vale in particolare se laureati in matematica

31 Fonte: CATI Gennaio La didattica in classe Didattica in classe di matematica utilizzare regolarmente metodi tradizionali di insegnamento (come la spiegazione frontale e la correzione degli esercizi), ma meno la didattica basata sullinterazione stretta tra insegnanti e studenti e meno ancora quella che vede protagonisti gli studenti in lavori di gruppo (vedi fig. 1). opera proprio in questa direzione e dovrebbe quindi mutare il modo di lavorare in classe degli insegnanti sottoposti alla formazione

32 Fonte: CATI Gennaio Atteggiamenti sulle capacità di insegnare la matematica Atteggaimenti sulle capacità di insegnare la matematica Da 1 a 10, quanto è daccordo con le affermazioni su matematica e studenti che seguono?

33 33 Attività in presenza di socializzazione e diffusione dei risultati: -Seminari di formazione Osservatori Esperti nelle regioni PON (7-11 maggio Paper accepted for oral presentation conferenza internazionale SIGEE 2010 (Leuven, agosto 2010) su: The design of the random assignment evaluation of a math teacher -professional development program in Italy

34 Le difficoltà Ampio lavoro di coordinamento e comunicazione … mettere in conto molte lettere, mail e telefonate ( recall, recall, recall…) Le molte rilevazioni dirette nelle scuole implicano molte risorse umane e molta logistica Interpretazione e utilizzabilità dei risultati Per quanto riguarda lesperimento controllato, un effetto positivo inferiore alla soglia di riferimento o statisticamente non significativo non vorrebbe dire che lintervento non funziona….(La soglia standard per questo tipo di esperimenti è 0,20; Si tratta comunque di un effetto grosso dal punto di vista dei processi scolastici: può davvero arrivare a questa soglia? )

35 Le opportunità In entrambi i casi (PQM e siamo nella situazione ideale, in cui la valutazione viene pensata ex ante e si può fare leva su una infrastruttura di rilevazione confrontabile e omogenea a livello nazionale (le prove SNV). Razionalizzazione dellintervento Dover costruire la valutazione ex-ante non ha solo influito sulla possibilità di avere dati ma si è tradotto in una razionalizzazione della logica dellintervento, dei suoi obiettivi e della sua intensità, nonché una maggiore condivisione con la comunità scolastica Maggiore accessibilità, comprensione e capacità di utilizzo della ampia disponibilità di dati esistenti (Invalsi, piattaforme monitoraggio gestionale e altro) Utilizzare i dati esistenti contribuisce a renderli sempre più noti e comprensibili, dunque utilizzabili, anche per altri soggetti (nonché allinterno delle scuole) Sollevare il dubbio e cercare di chiarirlo: quali interventi funzionano e perché? Il coinvolgimento delle amministrazioni e delle scuole nelle valutazione crea interrogativi, pone il dubbio, promuove una maggiore attenzione per la scelta degli interventi..

36 EVENTUALI SLIDES AGGIUNTIVE DA RIPESCARE …

37 37 Step 1. Is the intervention backed by "strong" evidence of effectiveness? Quality of studies needed to establish "strong" evidence: + Quantity of evidence needed: = "Strong" Evidence Randomized controlled trials that are well-designed and implemented Trials showing effectiveness in Two or more typical school settings, Including a setting similar to that of your schools/classrooms. Step 2. If the intervention is not backed by "strong" evidence, is it backed by "possible" evidence of effectiveness? Types of studies that can comprise "possible" evidence:Types of studies that do not comprise "possible" evidence: Randomized controlled trials whose quality/quantity are good but fall short of "strong" evidence; and/or Pre-post studies Comparison-group studies in which the intervention and comparison groups are very closely matched in academic achievement, demographics, and other characteristics (see pages 11-12). Comparison-group studies in which the intervention and comparison groups are not closely matched "Meta-analyses" that include the results of such lower-quality studies Step 3. If the answers to both questions above are "no," one may conclude that the intervention is not supported by meaningful evidence.

38 38 Step 1. Is the intervention backed by "strong" evidence of effectiveness? Quality of studies needed to establish "strong" evidence: + Quantity of evidence needed: = "Strong" Evidence Randomized controlled trials that are well-designed and implemented Trials showing effectiveness in Two or more typical school settings, Including a setting similar to that of your schools/classrooms. Step 2. If the intervention is not backed by "strong" evidence, is it backed by "possible" evidence of effectiveness? Types of studies that can comprise "possible" evidence:Types of studies that do not comprise "possible" evidence: Randomized controlled trials whose quality/quantity are good but fall short of "strong" evidence; and/or Pre-post studies Comparison-group studies in which the intervention and comparison groups are very closely matched in academic achievement, demographics, and other characteristics (see pages 11-12). Comparison-group studies in which the intervention and comparison groups are not closely matched "Meta-analyses" that include the results of such lower-quality studies Step 3. If the answers to both questions above are "no," one may conclude that the intervention is not supported by meaningful evidence.

39 La raccolta di informazioni aggiuntive Il disegno della valutazione Raccolta di informazioni su contesto, scuola, insegnanti e studenti con tre obiettivi: 1. testare la fortuna avuta con la randomizzazione; 2. aumentare la precisione delle stime; 3. Ipotizzare e testare (parzialmente) meccanismi esplicativi degli effetti.

40 Le rilevazioni in corso e previste Gennaio 2010 pre- e Novembre 2010 post- – rilevazione sui docenti PON (questionario CATI prima dellavvio delle sperimentazioni in classe, ripetuto lanno successivo<9 Maggio 2010 – rilevazioni sugli studenti tramite prove del SNV / INVALSI (prima, seconda e terza media) Giugno 2010 – Ottobre 2010 – completamento del percorso PON 2009/2010 con diario di bordo ed eventuale questionario finale di customer satisfaction (rivolto a docenti e a tutor) – interviste ad alcuni tutor e insegnanti, con analisi dei diari di bordo

41 La randomizzazione: la potenza del disegno Il disegno di valutazione Il moltiplicatore è pari a 2,5 per i parametri standard nei disegni sperimentali multilivello (livello di confidenza al 95% per potenza 80%). Indagheremo 100 scuole (K): 50% trattate e 50% controlli (P). In ogni scuola, analizzeremo 6 classi (J) di 19 studenti (stima prudenziale - N) Proporzione della varianza dellabilità: scuole=0,090 ; classi=0,125; studenti=0,785. (fonte: Prova nazionale INVALSI 2008 sugli studenti di terza media) Cè inoltre una possibile correzione (non presentata nella formula semplificata) ottenibile grazie alla spiegazione che riusciamo a dare delle differenze negli esiti tra le scuole mediante gli altri predittori raccolti (R 2 ): -> stima pessimistica (10%) porta a MDES 0,189 -> stima ottimistica (40%) porta a MDES 0,166 La soglia standard per questo tipo di esperimenti è 0,20. Si tratta comunque di un effetto grosso dal punto di vista dei processi scolastici: può davvero arrivare a questa soglia? Un effetto positivo e non significativo non vorrebbe dire che non funziona.

42 Fonte: CATI Gennaio Laccesso alla rete nei diversi contesti Formazione blended e accesso alle ICT

43 Fonte: CATI Gennaio La frequenza duso complessiva del PC Formazione blended e accesso alle ICT


Scaricare ppt "Come innalzare le competenze in matematica? Le valutazioni in corso su e PQM Daniele Vidoni INVALSI."

Presentazioni simili


Annunci Google