I risultati delle indagini INVALSI: strumenti per la scuola Laboratorio di lettura e analisi dei risultati Invalsi Giampaolo Grechi ICS “Guido Monaco”, Rassina (Ar) Gruppo autori di quesiti Invalsi L08 giampaolo.grechi@gmail.com Arezzo 29 aprile 2015

INVALSI e Indagini Internazionali Oggetto Livello scolare / età Aree di contenuto Matematica IEA – TIMSS (PIRLS per Italiano) INDAGINE CAMPIONARIA ogni 4 anni TIMSS 2011: 310 scuole Trends in International Mathematics and Science Study. Conoscenza matematica e scientifica. 4° anno 2011: circa 4000 studenti Numero Forme geometriche e misure Rappresentazione dei dati 8° anno Algebra Geometria Dati e probabilità OCSE – PISA ogni 3 anni PISA 2012: 1194 scuole Program for International Student Assessment. Lettura, matematica e scienze. 15 anni di età 2012: 31073 studenti Quantità Spazio e forma Cambiamento e relazioni Incertezza INVALSI INDAGINE CENSUARIA annuale dal 2014 solo L02, L05, L08, L10 Italiano (comprensione del testo e grammatica) e matematica. 2° anno Numeri Spazio e figure Dati e previsioni 5° - 8° - 10° anno Relaz. e funzioni INVALSI e Indagini Internazionali

Invalsi: indagine censuaria SNV 2014 Livello Totale classi coinvolte Totale studenti II primaria L02 29 719 (classi campione 1468. 4,9%) 568 251 V primaria L05 29 685 561 183 III Secondaria primo grado (PN) L08 29 462 (classi campione 1418. 4,8%) 597 639 II secondaria secondo grado L10 26 540 (classi campione 2256. 8,5%) 560 672 Fonte: Rapporto Rilevazioni Nazionali degli apprendimenti 2013-2014. INVALSI.

Ogni quesito è esplicitamente riferito a: Ambito di contenuti del quadro di riferimento INVALSI: Numeri Spazio e Figure Dati e previsioni Relazioni e funzioni (Gli stessi ambiti delle IN) Obiettivo e/o Traguardo delle Indicazioni Nazionali (indicizzazione Invalsi) Processo prevalente attivato nella risoluzione: dal quadro di riferimento INVALSI: 8 processi Ogni quesito è esplicitamente riferito a: Una delle tre fasi del ciclo della Matematizzazione: Formulare: il passaggio dalla situazione di problema reale al modello matematico Utilizzare: il lavoro sul modello matematico Interpretare: l’interpretazione dei risultati rispetto alla situazione di partenza Question Intent

L08 2014 – Prova Nazionale

L08 2014 – Prova Nazionale

Progettazione della prova 15 – 18 mesi Pretest Per le prove del 2014 field-trial campionario su circa 11.000 studenti complessivi. Aggiustamenti circa il 30% dei quesiti viene confermato nella sua forma originale, 30%-40% viene modificato, 30%-40% viene scartato. Nuovo Pretest Somministrazione: 6-7-12 MAGGIO 2015 SNV 19 GIUGNO 2015 PN Restituzione dei dati alle scuole

Restituzione dati: invalsi-dati.cineca.it

Il cheating I punteggi considerati sono corretti dal fenomeno cosiddetto di “cheating” tramite una procedura statistica i punteggi di ogni studente vengono corretti in base alla probabilità che la classe (nella quale si trova lo studente stesso) ha di aver attuato comportamenti opportunistici in fase di rilevazione.

Il cheating Invalsi identifica il cheating secondo la procedura Quintano C., Castellano R., Longobardi S., (2009). La procedura utilizza i seguenti “ingredienti”: percentuale di risposte corrette; variabilità all’interno dell’unità minima di aggregazione; omogeneità nelle modalità di risposta a ciascun item; tasso di mancate risposte.

Sospetto comportamento anomalo: CHEATING Il cheating Elevata percentuale di risposte corrette Bassa variabilità della percentuale di risposte corrette all’interno dell’unità minima di aggregazione Bassa variabilità nelle modalità di risposta a ciascun item Basso tasso di mancate risposte Sospetto comportamento anomalo: CHEATING

Il cheating Invalsi individua l’indice di propensione al cheating per l’unità minima di aggregazione che è la classe. Calcola il complemento a uno di tale indice e lo utilizza come fattore moltiplicativo per correggere il punteggio di ogni singolo studente all’interno della classe stessa.

Indice di propensione al cheating Il cheating 1 Indice di propensione al cheating Fattore di correzione Punteggio osservato Fattore di correzione Punteggio corretto

Al di sotto di tale soglia non corregge i punteggi. Il cheating Sull’intera popolazione Invalsi calcola, per ogni Area geografica, la mediana dell’indice di propensione al cheating. Definisce una soglia, scegliendo la mediana dell’indice di propensione al cheating dell’Area più “virtuosa”. Al di sotto di tale soglia non corregge i punteggi. Questo procedimento viene effettuato per ciascuna materia di ciascun livello.

Il cheating Invalsi corregge i punteggi dei singoli studenti. Restituisce alle scuole i dati al netto del cheating. Non restituisce i dati delle classi con un indice di propensione al cheating superiore a 0,50. Tali classi non entrano nel computo del punteggio medio di scuola. Laddove vengano eliminate più del 50% delle classi dell’istituto, non viene restituita nemmeno la media di scuola che non sarebbe più rappresentativa poiché individuata con il punteggio di poche classi.

Denominazione internazionale dell’indicatore dello L’indice di background socio economico culturale (ESCS) Che cos’è ESCS? Denominazione internazionale dell’indicatore dello status socio-economico-culturale dello studente

L’indice di background socio economico culturale (ESCS) Perché calcolarlo? Le caratteristiche socio-culturali ed economiche degli studenti giocano un ruolo molto importante sui livelli di apprendimento conseguiti fin dai primi anni di scuola

L’indice di background socio economico culturale (ESCS) Approccio metodologico L’ESCS è basato su 3 indicatori dei quali ne è una sintesi: STATUS OCCUPAZIONALE DEI GENITORI Indicatore denominato HISEI LIVELLO DI ISTRUZIONE DEI GENITORI Indicatore denominato PARED POSSESSO DI ALCUNI SPECIFICI BENI MATERIALI intesi come variabili di prossimità di un contesto economico e culturale favorevole all’apprendimento Indicatore denominato HOMEPOS

posto tranquillo per studiare Titolo di studio PARED PADRE MADRE ESCS basso Licenza elementare 5 ESCS alto Laurea o titolo sup. Diploma di maturità 17 ESCS medio Licenza media 13 Occupazione HISEI PADRE MADRE Disoccupato Casalinga Professionista. dip. Sottouff. militare Libero prof. Lavoratore in proprio 4 Lavoratore in proprio 3 ITEM di Possesso HOMEPOS posto tranquillo per studiare computer scrivania enciclopedie Internet a casa una camera personale ESCS basso No -3,9 ESCS alto Si 2,3 ESCS medio -1,7 Esempi di calcolo dell’indice su 3 profili studente (basso, medio e alto background socio economico culturale) ESCS basso ESCS alto ESCS medio -3,08 2,24 0,08

Livelli di apprendimento Sulla base della distribuzione dei punteggi su scala nazionale, l’INVALSI ha costruito 5 livelli di apprendimento: Livello 1: punteggio minore o uguale al 75% della media nazionale. Livello 2: punteggio compreso tra il 75% e il 95% della media nazionale. Livello 3: punteggio compreso tra il 95% e il 110% della media nazionale. Livello 4: punteggio compreso tra il 110% e il 125% della media nazionale. Livello 5: punteggio maggiore del 125% della media nazionale.

Livelli di apprendimento I livelli di apprendimento vengono ridotti a 3 e viene creata una tavola che incrocia Italiano con Matematica: Livello 1-2: punteggio minore o uguale al 95% della media nazionale Livello 3: punteggio maggiore del 95% e minore o uguale al 110% della media nazionale Livello 4-5: punteggio maggiore del 110% della media nazionale

Le guide alla lettura Testo della domanda Classificazione Risposta corretta Collegamento con le Indicazioni nazionali Commenti Risultati del campione

Tipi diversi di analisi Analisi quantitativa per la ricerca delle aree di criticità (o di eccellenza); Criticità assolute non sono come criticità relative; Analisi qualitativa: analisi dell’errore nelle domande a risposta aperta.

(1) Analisi quantitativa per la ricerca delle aree di criticità (o di eccellenza); L05 – SNV 2014

Differenza media della classe – media nazionale Classe V primaria : SNV 2014 Media nazionale SF RF Differenza media della classe – media nazionale N DP Quesito D19: NUMERI 25,0-36,6=-11,6

(3) Analisi qualitativa: analisi dell’errore nelle domande a risposta aperta. Nella mia classe 85,7 % di risposte errate!

Considerazioni… Nella trattazione dei poligoni con numero di lati maggiore di 4 generalmente non vengono presi in considerazione pentagoni, esagoni, ottagoni ecc. che non siano regolari. “Gli ottagoni sono tutti regolari…” Il quadrato “ha le diagonali che misurano come i lati…” Dalla tipologia di errori commessi in un quesito posso pertanto ricavare ulteriori indicazioni per calibrare l’azione didattica.

Giampaolo Grechi giampaolo.grechi@gmail.com ICS “Guido Monaco” – Castel Focognano (Arezzo) www.icscastelfocognano.gov.it Pagina “Spazio Invalsi” Sezione “documenti vari” per le Guide alla lettura Google “Grechi invalsi”: primo link