Il contributo delle rilevazioni internazionali e nazionali al miglioramento educativo Stefania Pozio – SNV INVALSI 1 1

W. Edward Deming (1900-1993)

" Without data, you’re just another person with an opinion". (A. Schleicher) Division Head and coordinator of the OECD Programme for International Student Assessment (PISA)

Indagini internazionali e nazionali: diversi obiettivi Indagini internazionali: di sistema offrono dati sulle prestazioni degli studenti comparabili a livello internazionale permettono di individuare punti di forza e di debolezza del proprio sistema scolastico ricercano fattori antecedenti e correlati del profitto scolastico (e in che misura operano nello stesso modo in diversi contesti) … Indagini nazionali: dal sistema alle singole scuole accertano i livelli di apprendimento degli studenti italiani in italiano e in matematica offrono dati comparabili a livello nazionale, regionale e a livello di singola scuola e classe 4

Le novità del 2015 nella restituzione dei risultati INVALSI alle scuole

PLANNING Tempi restituzione dati INVALSI alle scuole Le principali novità Trend 2013-2015 Microdati per alunno Questionario studente Le dimensioni di Matematica 3. IL QdR di Matematica e le Indicazioni nazionali 2012 4. Strumenti INVALSI 6 6

1. Tempi di restituzione Risultati alle scuole PRIMARIA 2 settembre 2015 SECONDARIA DI I GRADO 15 settembre 2015 SECONDARIA DI II GRADO 15 ottobre 2015 STRUMENTI RAPPORTI 2015 9 luglio 2015 GUIDE 2015 senza i risultati 15 luglio 2015 GUIDE 2015 con Dimensioni 7 ottobre 2015 https://invalsi-areaprove.cineca.it/index.php?form=precedenti_strumenti Risultati per TIPOLOGIA di scuola dicembre 2015 7 7

Tutte le tavole dei risultati in formato EXCEL 2. NOVITÁ 2015: generali Tutte le tavole dei risultati in formato EXCEL 8 8

2. NOVITÁ 2015: generali In un unico file excel sono presenti tutte le tavole dei dati restituiti 9 9

2. NOVITÁ 2015: generali 10 10

2. NOVITÁ 2015: generali Punteggi generali Dettagli prova ITA Dettagli prova MAT Livelli Correlazioni Dettagli item ITA Dettagli item MAT 11 11

Il cheating

2. NOVITÁ 2015 DETTAGLI QUESTIONARIO MICRODATI TREND 13 13

2. NOVITÁ 2015 2.1 TREND 2013-2015 14 14

2. NOVITÁ 2015 2.1 TREND 2013-2015 Nel 2013 il dato osservato non è stato rilasciato. E’ stato rilasciato solo quello corretto dal cheating 15 15

2.1 TREND 2013-2015 http://www.invalsi.it/invalsi/statapp.php?page=progetto 16 16

2.2 MICRODATI Microdati_5_cnt contesto Microdati_5_ita risposte Microdat_5_mat risposte Microdati_5_pnt punteggi Microdati_5_qst questionario Microdati_5_tracciato legenda 17 17

Punteggio normalizzato (200) 2.2 MICRODATI Punteggio normalizzato (200) Punteggio % Punteggio grezzo Codice studente 18 18

A che cosa mi possono servire i microdati? Seguire nel tempo i risultati di ogni studente (Liv.02-05-08) Matematica: individuare gli studenti in difficoltà e correlare con alcuni item «pivot» (item sulla linea dei numeri) Contesto: individuare per alcune categorie di allievi le parti di Matematica dove ci sono difficoltà o eccellenze Questionario studente: collegarlo al Contesto ……….. 19 19

2.3 QUESTIONARIO studente (liv.05-10) Si potrebbero selezionare una serie di domande utili per la scuola o per la classe da analizzare (si scarica naturalmente il formato ecxel) 20 20

2.5 DETTAGLI MATEMATICA 21 21

2.5 DETTAGLI MATEMATICA: DIMENSIONI Classi SCUOLA SCUOLA SCUOLA 22 22

2.5 DETTAGLI MATEMATICA: DIMENSIONI Come nascono? QDR: contenuti e processi Guide: scopo della domanda (question intent) e traguardi per lo sviluppo delle competenze MACRO-PROCESSI 1. Processi accorpati (Conoscenze e procedure, Modellizzare, Argomentare, Rappresentazioni) 2. PISA 2012 (Formulare, Utilizzare, Interpretare) 3. Traguardi per lo sviluppo delle competenze (Indicazioni 2012) (Conoscere, Risolvere problemi, Argomentare) Fino al 2012 2013-2014 Dal 2015 23 23

2.5 DETTAGLI MATEMATICA: DIMENSIONI 2. (2014) Formulare, Interpretare, Utilizzare (PISA 2012) 3. (2015) Conoscere, Risolvere problemi, Argomentare 1 (2012). Concetti e procedure, Rappresentazioni, Modellizzare, Argomentare 24 24

Tabella scuola primaria https://invalsi-areaprove.cineca.it/docs/attach/2015_guida_L05_SETTEMBRE.pdf 25 25

Tabella scuola secondaria di I grado https://invalsi-areaprove.cineca.it/docs/attach/2015_guida_L08_SETTEMBRE.pdf 26 26

Tabella scuola secondaria di II grado https://invalsi-areaprove.cineca.it/docs/attach/2015_GUIDA_L10_SETTEMBRE.pdf 27 27

gestinv: uno strumento per la didattica http://www.gestinv.it/ 28 28

Tutte le domande che fanno riferimento alla dimensione 3 ARG per il livello 08 % corrette % errate % mancanti 29 29

Per ogni domanda: testo, risultati e curve caratteristiche 30 30

Come accedere alla piattaforma? Mail a info@gestinv.it 31 31

Uso dei dati INVALSI istituto e singola classe Percorso di autovalutazione Potenziamento e miglioramento dell’azione didattica istituto e singola classe DATI INVALSI 25/04/2017 32

Utilizzare i risultati delle prove per migliorare la didattica 25/04/2017

Analisi delle risposte degli studenti alle domande a scelta multipla - matematica

% risposte corrette %scelta distrattori

%scelta distrattori % risposte corrette

% scelta distrattori % risposte corrette

% risposte corrette % scelta distrattori

% risposte corrette % scelta distrattori

% risposte corrette % scelta distrattori

Difficoltà: 1,46

Punti critici della didattica

Analisi delle risposte aperte degli studenti

Potenzialità prove Invalsi E’ dall’errore che buona parte dell'apprendimento ha origine, in particolar modo per quel che riguarda la matematica. E’ importante riconoscere sempre nell'errore un'occasione di apprendimento per tutti (chi l'ha compiuto, chi non l'ha compiuto e l'insegnante) per cercare il misconcetto o la lacuna che l'ha generato e quindi realizzare un recupero autentico.

Tanti esercizi sui polinomi e poi alle prove INVALSI ……..

Procedimenti inizialmente corretti Tutto corretto fino a qua Pi greco sparisce

Analisi delle risposte aperte degli studenti 80% risposte errate 14%risposte corrette

Alcune risposte degli studenti Giulio ha ragione perché già si capisce dalla parola, ma anche perché l’unità di misura è di 1 cm Giulio ha ragione perché se un lato dell’ottagono è di 1 cm, l’ottagono ha 8 lati, quindi è di 8 cm Giulio ha ragione perché i lati sono 8 e sono tutti uguali Giulio ha ragione perché il lato di ogni quadrato è di 1 cm e dato che le diagonali misurano come il lato il perimetro di 8 cm Giulio ha ragione perché ha 8 lati e ogni lato misura 1 cm (anche i lati che tagliano il quadratino come una diagonale, perché essendo un quadrato misura uguale) Giulio ha ragione perché visto che il quadrato è uguale di diagonale basta vedere i suoi bordi quanti quadretti sono Giulio ha ragione perché anche i pezzetti tagliati a metà sono 1 cm

La cosa interessante di questo item è come gli studenti interpretano la regolarità. Cioè pochi si accorgono che da un giorno all’altro il numero di batteri aumenta del 10%.

1452 1573 1694 Lo studente aumenta la 2° cifra di 1, la 3° cifra di 2 e la 4° di 1 Più di uno studente aumenta sempre di 1 le due cifre centrali e l’ultima cifra (partendo da 1331) 1442 1553 1664

792 - 531= 261 261/100 = 2,61% 2,61% Licei Tecnici Profess

792% (2001) 531% (2003) 792% - 531% = 261% 261%

Correlazione punto biseriale 0,56 D18 Risposte errate: - 63 giorni - 81 giorni - 168 giorni (il doppio) - 42 giorni (la metà) Indice di difficoltà 1,04 Correlazione punto biseriale 0,56 Licei Tecnici Profess

Il calcolo del m.c.m.: sempre per tentativi, nessuno studente che abbia usato la scomposizione in fattori primi

Lo scopo della domanda e la % di risposte corrette 48% risposte errate 43%risposte corrette 14,8% 16,7% 44,1% 19,6%

La risposta è corretta: siamo soddisfatti?

La risposta è corretta: siamo soddisfatti?

Computer-based Assessment Kim & Huynh (2007) hanno svolto un’indagine comparativa raffinata, tenendo conto di diversi strumenti statistici quali: curve caratteristiche, funzioni di informazione dei test, stime di Rasch, … concludendo che non esistono differenze significative da un punto di vista statistico tra un test somministrato su carta e uno informatizzato.

Computer-based Assessment abbassare i costi di somministrazione restituire immediatamente la misura dei punteggi e l’analisi dei dati: feedback istantanei efficienza della misurazione limitare possibili errori in fase di codifica e raccolta dati arricchire tale raccolta personalizzazione del test per ogni singolo utente (CAT)

Problemi Ampia finestra di somministrazione Elevato numero di item Prove differenti Equivalenze tra le diverse prove Influenza della familiarità con il mezzo informatico

Il ruolo del questionario studente

IL COSTRUTTO DELLA COMPETENZA Prestazioni osservabili del soggetto L’iceberg della competenza* MOTIVAZIONE CONSAPEVOLEZZA SENSIBILITA' AL CONTESTO RUOLO SOCIALE STRATEGIE METAGOGNITIVE IMPEGNO ABILITA' CONOSCENZE Componente latente che richiede un’esplorazione di dimensioni interiori connesse ai processi motivazionali, volitivi, socioemotivi *Castoldi,2009

Componente latente: i questionari Raramente le difficoltà di uno studente sono dovute solo a carenze di conoscenze. Possono dipendere: Atteggiamenti negativi quali mancanza di interesse, di determinazione, di motivazione. Insicurezza, fatalismo (con conseguente delega all’insegnante della responsabilità dell’apprendimento). Emozioni negative quali noia, ansia, paura.

II secondaria II grado

Indice dello status socioeconomico e culturale (ESCS) ISCED (International Standard Classification of Education) HOMEPOSS (Home Possession) HISEI (Highest Parental Occupation Status) ESCS Qual è il lavoro principale di tua madre/padre? Qual è il titolo di studio più alto conseguito da tua madre/padre? Stefania Pozio _ Centro Nazionale PISA

HOME POSSESSION (1)

HOME POSSESSION (2) 71

PISA 2012- L’autoefficacia e il rendimento in matematica Definizione di autoefficacia: “Convinzione nelle proprie capacità di organizzare e realizzare il corso di azioni necessario a gestire adeguatamente le situazioni che si incontreranno in modo da raggiungere i risultati prefissati” (Bandura,1986). L’autoefficacia gioca un ruolo importante nel determinare il comportamento, cioè il sentirsi sicuri rispetto a uno specifico problema è cruciale per la capacità dell’individuo di risolvere quel problema. Per l’Italia il senso di autoefficacia determina una differenza fino a circa 50 punti. Stefania Pozio _ Centro Nazionale PISA

PISA 2012 29% Molto capace 26% Molto capace 55% Molto capace

PISA 2003 – Autoefficacia e risultati in matematica degli studenti italiani 525 407 Stefania Pozio _ Centro Nazionale PISA 74

Cosa è PISA

PRESENTAZIONE DELL’INDAGINE Cosa è PISA? OCSE - Organizzazione per la Cooperazione e lo Sviluppo Economico PISA - Programme for International Student Assessment Indagine internazionale promossa per rilevare le competenze dei quindicenni scolarizzati. Si svolge con periodicità triennale (prima indagine 2000). PISA ha l’obiettivo generale di verificare se, e in che misura, i giovani che escono dalla scuola dell’obbligo abbiano acquisito alcune competenze giudicate essenziali per svolgere un ruolo consapevole e attivo nella società e per continuare ad apprendere per tutta la vita.

Che cosa rileva PISA Obiettivi principali di PISA: mettere a punto indicatori relativi al rendimento scolastico degli studenti quindicenni, in funzione della comparazione dei sistemi scolastici dei paesi membri dell’organizzazione; individuare le caratteristiche dei sistemi scolastici dei paesi che hanno ottenuto i risultati migliori, in termini di livello medio delle prestazioni e di dispersione dei punteggi, in modo da trarre indicazioni relative all'efficacia delle politiche scolastiche nazionali; fornire con regolarità dati sui risultati dei sistemi di istruzione, in modo da consentire il loro monitoraggio e la costruzione di serie storiche di dati utilizzabili per orientare le politiche educative e scolastiche.

Quadro di riferimento del PISA: dal 2003 al 2012 Calcolatrice (PP) oppure per CBT software statistici, applicazioni per la visualizzazione e costruzione geometrica e strumenti di misurazione virtuali “La Mathematical Literacy la capacità di un individuo di individuare e comprendere il ruolo che la matematica gioca nel mondo reale, di operare valutazioni fondate e di utilizzare la matematica e confrontarsi con essa in modi che rispondono alle esigenze della vita di quell’individuo in quanto cittadino impegnato, che riflette e che esercita un ruolo costruttivo .” La literacy matematica è « la capacità di una persona di formulare, utilizzare e interpretare la matematica in svariati contesti. Tale competenza comprende la capacità di ragionare in modo matematico e di utilizzare concetti, procedure, dati e strumenti di carattere matematico per descrivere, spiegare e prevedere fenomeni. Aiuta gli individui a riconoscere il ruolo che la matematica gioca nel mondo, a operare valutazioni e a prendere decisioni fondate che consentano loro di essere cittadini impegnati, riflessivi e con un ruolo costruttivo.» .

Le novità del PISA 2012 Cambia il quadro di riferimento La rilevazione computerizzata della matematica è un elemento di assoluta novità in PISA 2012 ed è proposta come opzione ai paesi partecipanti Introduzione della Financial Literacy Ritorna il Problem Solving

Il ciclo della matematizzazione Processi matematici (ciò che fanno gli studenti per collegare il contesto del problema alla matematica e quindi risolvere il problema) QdR PISA 2012 Matematica Dieci anni di esperienza nello sviluppo degli item PISA e nell'analizzare come gli studenti rispondono a tali item hanno dimostrato che esiste un insieme di capacità matematiche fondamentali che stanno alla base di ciascuno dei processi riferiti e dell’applicazione pratica della literacy matematica. Una maggiore attivazione delle capacità matematiche fondamentali va di pari passo con l’aumento della difficoltà degli item.

Un consiglio comunale vuole posizionare un palo della luce in un parco pubblico di forma triangolare in modo che il parco sia illuminato in modo omogeneo. In quale punto è meglio che posizioni il palo della luce?

Dare una rappresentazione di una situazione utilizzando la Matematica (formulate) Capacità di un individuo di riconoscere e identificare opportunità per utilizzare la matematica e così fornire una struttura matematica a un problema presentato in un contesto reale. CONTESTO: Personale CONTESTO: Sociale

CONTESTO: Occupazionale Impiegare concetti, fatti, procedure e ragionamenti matematici (employ) Capacità di un individuo di applicare concetti, fatti,procedure e ragionamenti per risolvere problemi matematici al fine di ottenere conclusioni matematiche. CONTESTO: Occupazionale

86

Interpretare, applicare e valutare risultati matematici (interpret) Capacità di un individuo di riflettere su soluzioni, risultati e conclusioni matematiche e interpretarle alla luce del contesto dei problemi di vita reale. Questo comprende anche il saper tradurre le soluzioni o i ragionamenti ritornando al contesto del problema e determinare se i risultati hanno senso in quel determinato contesto. RIFIUTI CONTESTO: Scientifico Nell’ambito di una ricerca sull’ambiente, gli studenti hanno raccolto informazioni sui tempi di decomposizione di diversi tipi di rifiuti che la gente butta via: Tipo di rifiuto Tempo di decomposizione Buccia di banana 1–3 anni Buccia d’arancia Scatole di cartone 0,5 anni Gomma da masticare 20–25 anni Giornali Pochi giorni Bicchieri di plastica Oltre 100 anni Uno studente prevede di presentare i risultati con un diagramma a colonne. Scrivi un motivo per cui un diagramma a colonne non è adatto per rappresentare questi dati.

SUFFICIENTE

Livello 4 Livello 3 Livello 1

La domanda più difficile di PISA 2012 Livello 6 Livello 3

Prove su supporto cartaceo Financial Literacy Un insieme di conoscenze e capacità di comprensione di concetti di carattere finanziario, unito alle abilità, alla motivazione e alla fiducia nei propri mezzi che consentono di utilizzare quelle stesse conoscenze e capacità per prendere decisioni efficaci di carattere finanziario in molteplici e diversi contesti, per migliorare il benessere degli individui e della società e per consentire una partecipazione consapevole alla vita economica. Prove su supporto cartaceo 93 93

situazioni nelle quali sono applicate conoscenze, abilità e cognizioni relative all’ambito considerato strategie cognitive o approcci richiesti per affrontare i materiali proposti porzione di conoscenze e cognizioni indispensabili nell’ambito della literacy

Scolastico e lavorativo Contenuti Processi Denaro e transazioni Pianificazione e gestione delle finanze Rischio e rendimento Ambiente finanziario Identificare informazioni finanziarie Analizzare informazioni in un contesto finanziario Valutare questioni finanziarie Applicare conoscenze e cognizioni in ambito finanziario Contesti Scolastico e lavorativo Domestico e familiare Individuale e Sociale

Identificare informazioni finanziarie Processi Identificare informazioni finanziarie BUSTA PAGA Domanda 1 Analizzare informazioni in un contesto finanziario NUOVA OFFERTA D 1 – punteggio parziale NUOVA OFFERTA D 1 – punteggio pieno Valutare questioni finanziarie NUOVA OFFERTA Domanda 2 Applicare conoscenze e cognizioni in ambito finanziario Categoria di contenuto Denaro e transazioni BUSTA PAGA Domanda 1 Pianificazione e gestione delle finanze NUOVA OFFERTA D 1 – punteggio parziale NUOVA OFFERTA Domanda 2 NUOVA OFFERTA D 1 – punteggio pieno

Livello 4

Ha del denaro in più da spendere Il tasso di interesse è più basso Livello 3 - 5 13% di 10.000 è superiore al 15% di 8.000. Aumenterà il suo debito. Livello 4

Pianificazione e gestione delle finanze Livello 2

I risultati di PISA 2012 I sistemi scolastici migliori sono quelli che 1) hanno riportato un punteggio sulla scala delle competenze matematiche superiore al punteggio medio dell’OCSE (494) 2) l’impatto dello ESCS degli studenti sulle performance in matematica è minore della media OCSE

% della variazione dei punteggi in matematica spiegata dall’ESCS Media OCSE 494 % della variazione dei punteggi in matematica spiegata dall’ESCS 14,6% media OCSE

Risultati in Lettura PISA 2009 e benessere nazionale 102

Risultati in Matematica PISA 2012 e spesa per studente La spesa per l’istruzione spiega meno del 20 per cento delle diversità di rendimento tra studenti nei paesi industrializzati: la differenza sta nel come le risorse vengono investite Risultati in Matematica PISA 2012 e spesa per studente Italia e Singapore più o meno la stessa spesa (85000 $) ma punteggi molto differenti (485 versus 573 In migliaia di dollari USA convertiti usando la parità di potere d’acquisto 103

Risultati in Matematica PISA 2012 e spesa per studente In migliaia di dollari USA convertiti usando la parità di potere d’acquisto 104

Risultati in Matematica PISA 2012 e stipendio dei docenti Correlazione significativa per i paesi ad alto reddito (0.40 se si esclude il Qatar), non significativa per i paesi a basso reddito perché evidentemente non basta aumentare gli stipendi degli insegnanti, serve anche migliorare le strutture 105

Relazione tra voti scolastici in Matematica e risultati in matematica PISA 2003 Fonte: Elaborazione sul dataset PISA 2003 dell’Italia 108

Voti scolastici e risultati nel test PISA 2009 di comprensione della lettura per macro-area 109

http://cbasq.acer.edu.au/index.php?cmd=toProblemSolving

Competenza scientifica Prove solo computerizzate PISA 2015 Competenza scientifica Prove solo computerizzate Max 42 studenti per scuola Ci sarà ancora la Financial literacy 115

IL TIMSS Trends in International Mathematics and Science Study. Fornisce informazioni che permettono di migliorare l’insegnamento e l’apprendimento della matematica e delle scienze. Riguarda studenti di IV elementare e III media. Viene effettuato ogni 4 anni. Il primo ciclo è stato nel 1995 (41 paesi) e l’ultimo nel 2011 (circa 60 paesi). 116

Cosa intende misurare il TIMSS Punto di partenza è l’analisi dei curricoli delle nazioni partecipanti Su questa base, vengono definite le conoscenze e le competenze che verranno valutate Attraverso l’analisi dei risultati vengono definiti 4 livelli di competenza: avanzato, alto, intermedio, basso. Il test è rivolto agli studenti della stessa classe, e il questionario insegnante permette di interpretare i risultati degli studenti anche in relazione agli stili di insegnamento. 117

Livello basso Livello intermedio

Livello alto

Livello avanzato