LA VALUTAZIONE DEGLI APPRENDIMENTI : I DATI DI SCUOLA e DI CLASSE Aurelia Orlandoni 19/04/2019 AURELIA ORLANDONI

Partecipazione alle prove Invalsi 2015 e 2016 classi quinte primaria 19/04/2019 AURELIA ORLANDONI

Distribuzione dei punteggi nelle prove Invalsi 2015 ITALIANO 19/04/2019 AURELIA ORLANDONI

Distribuzione dei punteggi nelle prove Invalsi 2015 MATEMATICA 19/04/2019 AURELIA ORLANDONI

I DATI DI SCUOLA Cosa ci dicono i dati generali sulla scuola? Come leggere i dati di «disciplina» e «di classe»? Cosa ci possono dire? Le novità nella restituzione del 2016 Cosa c’è dietro ai fascicoli di prove? Chi le prepara? In base a cosa? Servono per la didattica? Come? Quali riflessioni sulle prassi didattiche? 19/04/2019 AURELIA ORLANDONI

I dati restituiti alle scuole I DATI DI SCUOLA I dati restituiti alle scuole I dati sono riferiti agli allievi che hanno svolto la prova standard.  Non si riporta il dato relativo alle classi con un numero di studenti assenti superiore al 50%. Non viene riportata l'informazione a livello di scuola per quelle istituzioni per le quali i dati validi si riferiscono a meno del 50% delle classi.  19/04/2019 AURELIA ORLANDONI

IL CHEATING Funziona su L02 e L05, qualche falso positivo su L10 Le scuole, anche quest’anno, hanno ricevuto i dati sia al lordo che al netto del cheating Elevata percentuale di risposte corrette Bassa variabilità della percentuale di risposte corrette all’interno della classe Bassa variabilità nelle modalità di risposta a ciascun item Basso tasso di mancate risposte PROCEDURA DI CORREZIONE 2013: analisi dei dati grezzi sulla base di 4 indicatori che danno una prima misura Stima di valori “plausibili” di media e variabilità dei risultati per quella classe Si applica una procedura che stima un punteggio medio della classe corretto I passi precedenti sono effettuati separatamente per prova (IT e MAT) e livello La procedura sostanzialmente si basa sui seguenti passi: i dati grezzi di ciascuna classe vengono esaminati sulla base di 4 indicatori (media e variabilità dei risultati all’interno della classe, grado di omogeneità del pattern delle risposte e risposte omesse) che consentono di fornire una prima misura della presenza di anomalie. Sulla base dei dati delle classi campione si stimano dei modelli di regressione esplicativi della media e della variabilità interna dei risultati di ogni classe, dove le covariate sono, in prevalenza, variabili relative alla composizione della classe medesima. Sostanzialmente, per tutte le classi, campione e non, vengono stimati dei valori plausibili della media e della variabilità dei risultati di classe sulla base dei dati campione (fitting over sample). Viene stimato un punteggio medio di classe corretto combinando la stima di cui al punto 2 con due indicatori di plausibilità, a loro volta costruiti utilizzando la stima della variabilità dei risultati interna alla classe (punto 2) e la misura della correlazione tra risultati grezzi nelle prove INVALSI e voti attribuiti ai singoli alunni dagli insegnanti della classe nel I quadrimestre. Tali risultati vengono ritenuti tanto più plausibili e quindi non anomali – sebbene elevati nella media e con una bassa variabilità all’interno della classe – quanto più la bassa variabilità sia “spiegata” da fattori di composizione (identificati come rilevanti al punto 2) e quanto più la correlazione tra voti degli alunni e risultati sia comunque elevata (anche in questo caso la correlazione si considera elevata avendo come benchmark quella calcolata sulle classi campione). Su tali basi si modifica l’entità della correzione apportata ai dati grezzi mediante la procedura di cui al punto 1. Tutti i passi ora descritti sono effettuati separatamente per ciascuna prova (italiano e matematica) e ciascun livello scolare. Per tenere conto del fatto che le anomalie sono in parte derivanti dal pattern dei risultati grezzi (cfr. punto 1) e che questo può risentire di caratteristiche intrinseche di ciascuna prova, si procede comunque a correggere i risultati solo nella misura in cui la correzione stimata per ciascuna classe al punto 3 superi la mediana dei valori della correzione nella macro-area maggiormente “virtuosa” (intesa come quella ove la correzione per le anomalie di cui al punto 3 sia complessivamente meno intensa). Quindi, per definizione, nel 50% delle classi di tale macro-area non verrà effettuata alcuna correzione e anche in molte classi delle altre macro-aree la correzione non verrà per nulla effettuata. Si tratta della procedura tradizionalmente seguita dall’INVALSI, basata sul metodo illustrato in C. Quintano, R. Castellano, S. Longobardi (2009), A fuzzyclusteringapproach to improve the accuracy of Italianstudent data. An experimental procedure to correct the impact of outliers on assessment test scores, «Statistica&Applicazioni», 7 (2), pp. 149-171. Come già accennato, i dati rilevati sul campione nazionale risultano statisticamente accurati in virtù del ricorso ad osservatori esterni in grado di garantire un corretto svolgimento dell’intero processo di rilevazione. La presenza degli osservatori si traduce nel “produrre” una base dati di elevata affidabilità caratterizzata dalla pressoché assenza di anomalie, in termini di cheating, e da una minore incidenza di dati mancanti (missing data) per quanto riguarda le variabili di contesto. A regime, gli indicatori di plausibilità costruiti a questo passo verranno anche integrati dalla considerazione delle informazioni sulla presenza di anomalie denunziate dai controllori di secondo livello e dalle segnalazioni direttamente provenienti dalle scuole. Al di là dell’estensione di cui alla nota precedente, che richiederà un più attento esame delle risultanze informative dirette – non derivanti cioè dai risultati grezzi in quanto tali – sulla presenza di anomalie, si sta immaginando di pervenire ad una correzione dei risultati del singolo alunno che non sia omogenea all’interno della classe i cui dati medi siano stati corretti. Assunto come vincolo un certo risultato medio di classe (corretto ad esito dei passi descritti sopra nel testo), si vuole stimare il dato di ciascun alunno combinando il dato grezzo e i voti attribuiti a quello stesso alunno dagli insegnanti della classe (entrambi espressi in deviazione dalla media di classe). Le prove, benché tutte pretestate, possono risultare di difficoltà non equivalenti l’una rispetto alle altre. Soprattutto, la variabilità del grado di difficoltà delle singole domande – all’interno di prove che pure in media siano di equivalete difficoltà media complessiva – può non essere omogenea tra le prove dei diversi ambiti disciplinari e dei diversi gradi. Funziona su L02 e L05, qualche falso positivo su L10 Problemi in alcune aree per la Prova Nazionale (L08) 19/04/2019 AURELIA ORLANDONI

I dati restituiti alle scuole LA RESTITUZIONE DEI DATI DI SCUOLA I dati restituiti alle scuole 19/04/2019 AURELIA ORLANDONI

DATI DI SCUOLA: VARIABILITA’ L02 MAT Il primo grafico mette a confronto la variabilità dei risultati della prova di matematica (o di italiano) TRA le classi della scuola, rispetto alla variabilità dei risultati della stessa prova del campione nazionale. E’ opportuno rilevare che un basso livello di variabilità tra le classi indica un alto tasso di omogeneità e di equilibrio nella loro composizione e quindi una complementare maggiore variabilità al loro interno dove saranno presenti tutti i livelli di rendimento, dalle eccellenze fino alle difficoltà conclamate. Nell’esempio riportato, la variabilità dei risultati tra le classi della scuola è più alta rispetto alla variabilità dei risultati tra le classi del campione statistico. Le colonne a destra indicano la variabilità dell’indice del background socio economico e culturale tra classi di un determinato livello scolastico della scuola rispetto alla variabilità tra classi dello stesso livello scolastico del campione nazionale. 19/04/2019 AURELIA ORLANDONI

CLASSI EQUIETEROGENEE DATI DI SCUOLA: VARIABILITA’ L05 ITA MAT CLASSI EQUIETEROGENEE Il primo grafico mette a confronto la variabilità dei risultati della prova di matematica (o di italiano) TRA le classi della scuola, rispetto alla variabilità dei risultati della stessa prova del campione nazionale. E’ opportuno rilevare che un basso livello di variabilità tra le classi indica un alto tasso di omogeneità e di equilibrio nella loro composizione e quindi una complementare maggiore variabilità al loro interno dove saranno presenti tutti i livelli di rendimento, dalle eccellenze fino alle difficoltà conclamate. Nell’esempio riportato, la variabilità dei risultati tra le classi della scuola è più alta rispetto alla variabilità dei risultati tra le classi del campione statistico. Le colonne a destra indicano la variabilità dell’indice del background socio economico e culturale tra classi di un determinato livello scolastico della scuola rispetto alla variabilità tra classi dello stesso livello scolastico del campione nazionale. 19/04/2019 AURELIA ORLANDONI

L02 Italiano Matematica Questo grafico mostra le differenze dei punteggi medi dell'intera scuola e delle sue classi rispetto ad una scuola "simile" in termini di background socio-economico-culturale dei suoi studenti e rispetto ai punteggi medi della regione, dell'area geografica e dell'Italia intera. Per l'interpretazione dei valori consultare il tutorial multimediale per la lettura dei dati. 19/04/2019 AURELIA ORLANDONI

L05 Italiano Matematica Questo grafico mostra le differenze dei punteggi medi dell'intera scuola e delle sue classi rispetto ad una scuola "simile" in termini di background socio-economico-culturale dei suoi studenti e rispetto ai punteggi medi della regione, dell'area geografica e dell'Italia intera. Per l'interpretazione dei valori consultare il tutorial multimediale per la lettura dei dati. 19/04/2019 AURELIA ORLANDONI

L08 Italiano Matematica Questo grafico mostra le differenze dei punteggi medi dell'intera scuola e delle sue classi rispetto ad una scuola e ad una classe "simili" in termini di background socio-economico-culturale dei suoi studenti e rispetto ai punteggi medi della regione, dell'area geografica e dell'Italia intera. Per l'interpretazione dei valori consultare il tutorial multimediale per la lettura dei dati. 19/04/2019 AURELIA ORLANDONI

CONFRONTO FRAI I DATI DI CLASSE Perché ci sono andamenti diversi fra le classi? Ci sono risultati diversi fra IT e MAT? Perchè? Fanno riferimento a “tipologie diverse (tempo pieno, …)? A “storie” diverse? Lo status socio-economico ha un peso sui risultati delle classi? Le medie del gruppo di riferimento (200 classi) sono molto diverse tra loro? Se sì perché? ……… 19/04/2019 AURELIA ORLANDONI

L05 ITA MAT 19/04/2019 AURELIA ORLANDONI

L08 ITALIANO MATEMATICA 19/04/2019 AURELIA ORLANDONI

CONFRONTO VOTI/PUNTEGGI Come si correlano i voti assegnati dai docenti agli studenti con i loro risultati nelle prove INVALSI? Classi considerate deboli dai loro professori ottengono buoni risultati nelle prove INVALSI o viceversa? ci sono differenze nei “metri” di valutazione degli insegnanti della scuola? …………………. 19/04/2019 AURELIA ORLANDONI

ITALIANO CITTADINANZA L02 L05 L08 S1 = Studenti di cittadinanza non italiana di prima generazione 9  S2 = Studenti di cittadinanza non italiana di seconda generazione 9Questo grafico mostra le differenze dei punteggi medi della scuola rispetto alla cittadinanza degli alunni, a confronto con le rispettive medie per regione, area geografica e Italia nel complesso. I valori S1 ed S2 per la scuola possono non essere presenti. Per l'interpretazione dei valori consultare il tutorial multimediale per la lettura dei dati. 19/04/2019 AURELIA ORLANDONI

MATEMATICA CITTADINANZA L02 L05 L08 S1 = Studenti di cittadinanza non italiana di prima generazione 9  S2 = Studenti di cittadinanza non italiana di seconda generazione 9Questo grafico mostra le differenze dei punteggi medi della scuola rispetto alla cittadinanza degli alunni, a confronto con le rispettive medie per regione, area geografica e Italia nel complesso. I valori S1 ed S2 per la scuola possono non essere presenti. Per l'interpretazione dei valori consultare il tutorial multimediale per la lettura dei dati. 19/04/2019 AURELIA ORLANDONI

CONFRONTI PER NAZONALITA’ Ci sono differenze significative fra i risultati ottenuti dagli studenti italiani e quelli degli studenti stranieri? Ci sono differenze significative fra i risultati ottenuti dagli studenti stranieri di prima generazione e quelli degli studenti stranieri di seconda generazione? la presenza di studenti stranieri nella scuola è in linea con quella regionale? Se è più alta come influisce sui risultati? …………………. 19/04/2019 AURELIA ORLANDONI

Restituzione dei dati per distribuzione nei cinque livelli ITA E MATE L05 Risultati < 75% media nazionale <95%Risultati < 110% media nazionale ITA <75%Risultati < 95% media nazionale <110%Risultati < 125% media nazionale Risultati > 125% media nazionale MATE 19/04/2019 AURELIA ORLANDONI

Restituzione dei dati per distribuzione nei cinque livelli ITA E MAT L08 19/04/2019 AURELIA ORLANDONI

NUMEROSITÀ NEI LIVELLI MATEMATICA E ITALIANO L02 19/04/2019 AURELIA ORLANDONI

Restituzione dei dati per distribuzione nei cinque livelli Gli studenti della scuola hanno conseguito risultati omogenei nelle due prove? Quanti sono gli studenti i cui risultati sono molto diversi? Ci sono differenze significative fra le due discipline? Se sì quali sono le cause? Quali ipotesi si possono fare sugli andamenti? Questi andamenti corrispondono alle aspettative degli insegnanti di classe o no? Si osservano polarizzazioni? ……………. 19/04/2019 AURELIA ORLANDONI

NOVITA’ 19/04/2019 AURELIA ORLANDONI

1. accesso unificato alle prove nazionali e internazionali Alcune novità dal 2015: 1. accesso unificato alle prove nazionali e internazionali 2. i risultati del questionario studente (V primaria e II secondaria di II grado); 3. nuova classificazione degli esiti delle prove di Matematica 2015 (Dimensoni). 4. gli esiti degli ultimi tre anni scolastici (dal 2012-13 con i relativi confronti territoriali; 5. un file excel con le risposte dei singoli alunni e…..(microdati); 6. Punteggi in ingresso per la I secondaria di I grado e la I secondaria di II grado 7. un file .pdf con la selezione delle principali tavole e dei grafici più importanti d’ausilio alla predisposizione del RAV. Novità dal 2016 Acesso unificato ai dati degli ultimi tre anni Tavole dei punteggi a distanza Valore aggiunto Percentuali partecipazione e copertura background Tutorial aggiornato 19/04/2019 AURELIA ORLANDONI

I DATI DI PRIMA SECONDARIA DI PRIMO GRADO: ITA 19/04/2019 AURELIA ORLANDONI

I DATI DI PRIMA SECONDARI DI PRIMO GRADO: MATE 19/04/2019 AURELIA ORLANDONI

Punteggio normalizzato (200) MICRODATI Microdati_5_cnt contesto Microdati_5_ita risposte Microdat_5_mat risposte Microdati_5_pnt punteggi Microdati_5_qst questionario Microdati_5_tracciato legenda Punteggio grezzo Punteggio normalizzato (200) Punteggio % Codice studente 19/04/2019 AURELIA ORLANDONI

A che cosa possono servire i microdati? Seguire nel tempo i risultati di ogni studente (Liv.02-05-08) Matematica: individuare gli studenti in difficoltà e correlare con alcuni item «pivot» (ad esempio:item sulla linea dei numeri) Italiano: collegare la decodifica delle parole (prova preliminare di lettura liv.02 con dati interni alla scuola) Contesto: individuare per alcune categorie di allievi le parti di Italiano o Matematica dove ci sono difficoltà o eccellenze Questionario studente: collegarlo al Contesto ……….. 19/04/2019 AURELIA ORLANDONI

Andamento negli ultimi tre anni: ITALIANO Rispetto all'andamento negli anni (vedi tabella sotto) è corretto dire che in realtà sono confrontabili solo le differenze dalle medie perchè la media è troppo legata alla prova che non è detto abbia la stessa difficoltà complessiva tutti gli anni. La stessa cosa è vera anche per la scala con media 200 oppure in quel caso i dati si possono confrontare? E' vero che la scala di Rasch tiene conto della difficoltà degli item ma a me pare che ugualmente il confronto negli anni vada ... preso con le pinze e in realtà la cosa più sicura è vedere come vanno le frecce rispetto ai punteggi medi regionali,... 19/04/2019 AURELIA ORLANDONI

Andamento negli ultimi tre anni: MATEMATICA Rispetto all'andamento negli anni (vedi tabella sotto) è corretto dire che in realtà sono confrontabili solo le differenze dalle medie perchè la media è troppo legata alla prova che non è detto abbia la stessa difficoltà complessiva tutti gli anni. La stessa cosa è vera anche per la scala con media 200 oppure in quel caso i dati si possono confrontare? E' vero che la scala di Rasch tiene conto della difficoltà degli item ma a me pare che ugualmente il confronto negli anni vada ... preso con le pinze e in realtà la cosa più sicura è vedere come vanno le frecce rispetto ai punteggi medi regionali,... 19/04/2019

ANDAMENTO DELLA SCUOLA NEGLI ULTIMI TRE ANNI Ci sono stati cambiamenti? Si notano miglioramenti rispetto ai risultati nelle prove? Dove? Perché? Si rilevano aree di criticità? In entrambe le discipline o in una sola? ……. 19/04/2019 AURELIA ORLANDONI

LE NOVITA’ EFFETTO SCUOLA …. Una parentesi PUNTEGGI A DISTANZA 19/04/2019 AURELIA ORLANDONI

FATTORI ESOGENI Effetto scuola EFFETTO SCUOLA PREPARAZIONE PRECEDENTE DEGLI STUDENTI CONTESTO SOCIALE INDIVIDUALE FATTORI ESOGENI CONTESTO SOCIALE GENERALE 35

Ma il valore aggiunto da solo non basta…. PUNTEGGIO MEDIA NAZIONALE SCUOLA 1 SCUOLA 2 SCUOLA 3 36

Cos’è il valore aggiunto? PUNTEGGIO MEDIA NAZIONALE SCUOLA 1 SCUOLA 2 SCUOLA 3 37

La restituzione dei dati alle scuole L’effetto scuola è misurato rispetto all’effetto medio a livello nazionale, di macro-area e della regione di appartenenza. Ad esempio effetto scuola leggermente positivo vuol dire che date le caratteristiche individuali e aggregate degli studenti dell’istituzione scolastica, l’effetto scuola è più alto di quello medio nazionale, di macro-area e della regione: ciò significa che la scuola ottiene risultati medi più alti di quelli che ci si poteva aspettare in base alle caratteristiche della sua popolazione studentesca.

IL VALORE AGGIUNTO (3) in verde: indicatore di valore aggiunto positivo 1 in rosso: indicatore di valore aggiunto negativo 2 Gli indicatori di valore aggiunto sono importanti per valutare l’efficacia della scuola, cioè l’efficacia degli interventi posti in essere dall’istituto, tolto il peso dei fattori esogeni. Tuttavia, il livello delle competenze raggiunte dagli allievi è dato dal punteggio osservato. E’ dunque importante osservare il risultato di una scuola attraverso la valutazione congiunta dell’effetto scuola e del punteggio osservato come mostrato nella tavola. La tabella in basso a destra rappresenta la legenda della tavola: all’interno di ogni sua casella c’è la spiegazione corrispondente al risultato presente nella tavola. Nell’esempio 1, l’istituzione scolastica presenta un apporto della scuola (effetto scuola) pari alla media nazionale, ma i punteggi osservati, rispetto alla sua regione di appartenenza, sono al disotto della media regionale, quindi da migliorare. Nell’esempio 2, invece, l’effetto scuola non è adeguato e i risultati della scuola sono da migliorare in quanto inferiori rispetto a quelli dell’Italia nel suo complesso. 19/04/2019 Komedia srl

EFFETTO SCUOLA L05 ITA 19/04/2019 AURELIA ORLANDONI

EFFETTO SCUOLA L05 MAT 19/04/2019 AURELIA ORLANDONI

EFFETTO SCUOLA L05 ITALIANO 19/04/2019 AURELIA ORLANDONI

EFFETTO SCUOLA L05 MATEMATICA 19/04/2019 AURELIA ORLANDONI

EFFETTO SCUOLA L08 ITA 19/04/2019 AURELIA ORLANDONI

EFFETTO SCUOLA L08 MAT 19/04/2019 AURELIA ORLANDONI

EFFETTO SCUOLA L08 ITALIANO 19/04/2019 AURELIA ORLANDONI

EFFETTO SCUOLA L08 MATEMATICA 19/04/2019 AURELIA ORLANDONI

Valore aggiunto – Scuola secondaria di I grado 2012 2013 2014 2015 2016 tempo Fine scuola secondaria di I grado (prova nazionale 2016) Inizio scuola secondaria di I grado (prova di V primaria 2013) 48

Valore aggiunto – Scuola primaria 2013 2014 2015 2016 tempo Fine scuola primaria (prova di V primaria 2016) Fine II anno scuola primaria (prova di II primaria 2013) 49

Inizio scuola secondaria di II grado (prova nazionale 2014) Valore aggiunto – Scuola secondaria di II grado 2012 2013 2014 2015 2016 tempo Fine biennio scuola superiore (prova di II secondaria di II grado 2016) Inizio scuola secondaria di II grado (prova nazionale 2014) 50

PUNTEGGI A DISTANZA 19/04/2019 AURELIA ORLANDONI

PUNTEGGI A DISTANZA 19/04/2019 AURELIA ORLANDONI

PUNTEGGI A DISTANZA 19/04/2019 AURELIA ORLANDONI

Perché misurare Scopo delle misurazioni: NON Valutare!!! Scopo delle misurazioni: Le prove INVALSI hanno lo scopo principale di misurare i livelli di apprendimento raggiunti dagli studenti italiani relativamente ad alcuni aspetti di base di due ambiti fondamentali: la comprensione della lettura e la matematica. La letteratura dimostra che la conoscenza in alcune discipline fondamentali (lettura, matematica) ha un ruolo di primo piano nell’avanzamento individuale e dell’intera società gli ambiti oggetto di misurazione delle prove INVALSI non esauriscono di certo i saperi e le competenze prodotte dalla scuola. 19/04/2019 AURELIA ORLANDONI 54

Prove standardizzate La composizione di una prova standardizzata rivolta all’accertamento su scala nazionale dei livelli di apprendimento NON risponde agli stessi criteri che guidano la costruzione delle verifiche di classe. Una prova standardizzata nazionale deve essere in grado di misurare i risultati degli studenti all’interno di una scala di abilità/competenza molto lunga, dai livelli più bassi a quelli di eccellenza. 19/04/2019 AURELIA ORLANDONI 55

Alla base delle rilevazioni Quadro teorico di riferimento: definisce gli ambiti, i processi cognitivi e i compiti oggetto di rilevazione, delimitando quindi il campo rispetto al quale sono costruite le prove. permette di definire e circoscrivere il valore informativo delle prove che in base ad esso vengono costruite, chiarendone la portata e i limiti. Costituisce il documento fondamentale per: gli autori delle prove gli esperti che ne curano la revisione i docenti che sono chiamati a interpretare i risultati dei loro allievi gli stakeholder che utilizzano i risultati delle rilevazioni standardizzate nazionali per valutare i livelli di apprendimento garantiti dal sistema educativo nel suo complesso. 19/04/2019 AURELIA ORLANDONI 56

La struttura del Quadro di Riferimento per la valutazione Quadri di riferimento per le valutazioni internazionali Quadro di riferimento per i curricoli Prassi scolastica Esiti delle rilevazioni precedenti 19/04/2019 AURELIA ORLANDONI 57

STRUTTURA del Quadro di Riferimento (Matematica) INDICAZIONI NAZIONALI E LINEE GUIDA AMBITI Numeri Spazio e figure Relazioni e funzioni Dati e previsioni DIMENSIONI Conoscere Risolvere problemi Argomentare 19/04/2019 AURELIA ORLANDONI 58 58

DETTAGLI MATEMATICA: DIMENSIONI Per comprendere la scelta fatta da INVALSI la nozione di competenza è fondamentale ….. competenze come "unità" di conoscenze, e capacità e intenzione di farne uso per affrontare compiti (a partire dall'analisi delle competenze necessarie per affrontare compiti professionali specifici, negli anni '70, fino ad investire in seguito anche i sistemi di formazione, inclusa la scuola, del compito di sviluppare e accertare competenze e non solo conoscenze). Arzarello & Boero, 2015 (documento interno) 19/04/2019 AURELIA ORLANDONI 59 59

Conoscere (CON), Risolvere problemi (PS), Argomentare (ARG) DETTAGLI MATEMATICA: DIMENSIONI Conoscere (CON), Risolvere problemi (PS), Argomentare (ARG) CON ↔ PS&ARG Si delinea una struttura complessa, le cui componenti sono fortemente intrecciate. E’ una “struttura dinamica di base”, nella quale esiste un intreccio fra conoscenze strumentali e il PS intrecciato con l’ARG. Il messaggio forte che si vuole mandare riguarda il significato del «fare matematica» in classe: le attività matematiche di PS&ARG si sviluppano intrecciandosi grazie a reciprochi feed-back con le competenze strumentali (CON) generando la struttura dinamica di base CON ↔ PS&ARG 19/04/2019 AURELIA ORLANDONI 60 60

DETTAGLI MATEMATICA: DIMENSIONI Un esempio: CONOSCERE CONOSCERE (CON) scuola primaria 01. L’alunno si muove con sicurezza nel calcolo scritto e mentale con i numeri naturali e sa valutare l’opportunità di ricorrere a una calcolatrice 02. Riconosce e rappresenta forme del piano e dello spazio, relazioni e strutture che si trovano in natura o che sono state create dall’uomo. 03. Descrive, denomina e classifica figure in base a caratteristiche geometriche, ne determina misure, progetta e costruisce modelli concreti di vario tipo 04. Utilizza strumenti per il disegno geometrico (riga, compasso, squadra) e i più comuni strumenti di misura (metro, goniometro...). 10. Riconosce e utilizza rappresentazioni diverse di oggetti matematici (numeri decimali, frazioni, percentuali, scale di riduzione, ...). CONOSCERE (CON) scuola secondaria di I grado 01. L’alunno si muove con sicurezza nel calcolo anche con i numeri razionali, ne padroneggia le diverse  rappresentazioni e stima  la grandezza di un numero e il risultato di operazioni.   02. Riconosce e denomina le forme del piano e dello spazio, le loro rappresentazioni e ne coglie le  relazioni tra gli elementi. . 09. Utilizza e interpreta il linguaggio matematico (piano cartesiano, formule, equazioni, ...) e ne coglie  il rapporto col linguaggio  naturale.  19/04/2019 AURELIA ORLANDONI 61 61

STRUTTURA del Quadro di Riferimento (Italiano) Competenze di padronanza linguistica Ambiti Testi Processi cognitivi - aspetti della lettura Grammatica Oggetti linguistici specifici 62 62

Le competenze di lettura nel Quadro di riferimento INVALSI Per competenza si intende nel Quadro la capacità di selezionare, far interagire ed elaborare conoscenze per la comprensione e la valutazione di un testo: continuo, non continuo, misto. Testuali Grammaticali Lessicali Le competenze di lettura verificate nella prima sezione della prova sono quelle: Per competenza testuale si intende la capacità di individuare, a partire dalla lettera del testo, l’insieme di informazioni che il testo veicola, assieme al modo in cui queste informazioni sono veicolate: cioè il significato del testo e l’organizzazione logico-concettuale e formale del testo stesso. Per competenza lessicale relativa alla lettura si intende specificamente la capacità di individuare il significato, pertinente ad un determinato contesto, di un vocabolo (anche non conosciuto) e le relazioni di significato tra vocaboli in vari punti del testo (sinonimia, contrasto, iperonimia, iponimia). 63

Lettura Definizione dell’ambito Competenza pragmatico-testuale: capacità di ricostruire, a partire dalla lettura del testo e da conoscenze enciclopediche, l’insieme di significati che il testo veicola, assieme al modo in cui essi sono veicolati Competenza lessicale relativa alla lettura: capacità di individuare il significato, pertinente a un determinato contesto, di un vocabolo (anche non conosciuto) e le relazioni di significato tra vocaboli in vari punti del testo. Competenza grammaticale relativa alla lettura: capacità di individuare le strutture morfosintattiche della frase e le strutture interpuntive in funzione della loro pertinenza testuale, cioè dal punto di vista del loro apporto alla costruzione dei significati del testo. 64

Lettura: compiti richiesti dai quesiti Classificazione quesiti QdR INVALSI: aspetti della lettura

La costruzione di un fascicolo di Matematica La costruzione delle prove La costruzione di un fascicolo di Matematica Produzione delle domande Selezione e classificazione Costruzione dei fascicoli per il pre-test Prova sul campo Analisi statistica Analisi didattica Fascicolo definitivo 19/04/2019 AURELIA ORLANDONI

Luglio – settembre 2013 Luglio: scuola autori 2013 - 95 docenti di matematica 19/04/2019 AURELIA ORLANDONI

ottobre – dicembre 2013 I gruppi di livello selezionano le domande, le rivedono e compongono due fascicoli per il pretest. Preparano una prima griglia di correzione 19/04/2019 AURELIA ORLANDONI

ottobre – dicembre 2013 19/04/2019 AURELIA ORLANDONI

settembre – dicembre 2014 FIT alto(1,09): l’andamento osservato della domanda non si adatta completamente al modello teorico ipotizzato (accettabile 0,9-1,1) Domanda difficile (1,3) e poco discriminante (0,11) – buono se > 0,25- Problemi di significatività dei distrattori (il terzo) 19/04/2019 AURELIA ORLANDONI

settembre – dicembre 2014 Probabilità di rispondere correttamente in funzione dell’abilità. Critico!! 19/04/2019 AURELIA ORLANDONI

settembre – gennaio 2015 Il contenuto matematico del quesito è rilevante . Quindi viene cambiata in modo da ridurre le criticità rilevate. si cambiano i contenitori si cambiano i distrattori NUOVA 19/04/2019 AURELIA ORLANDONI

19/04/2019 AURELIA ORLANDONI

9 luglio 2015 Fit migliorato (da 1,09 a 1,03) Discriminatività (Item-Rest Cor) da 0,11 a 0,25 Difficoltà sulla scala di Rasch da 1,3 a 1,66 (più difficile) ma da 9,77% a 19,58% 19/04/2019 AURELIA ORLANDONI

Ma come si diventa autori?? Sito INVALSI , Area prove, Rilevazioni nazionali 19/04/2019 AURELIA ORLANDONI

E ora riflettiamo sulla didattica a partire dai risultati 19/04/2019 AURELIA ORLANDONI

DETTAGLI DELLE PROVE: MATEMATICA 19/04/2019 AURELIA ORLANDONI 77 77

DETTAGLI MATEMATICA L05 19/04/2019 AURELIA ORLANDONI 78 78

DETTAGLI MATEMATICA L08 19/04/2019 AURELIA ORLANDONI 79 79

GLI STRUMENTI SUL SITO INVALSI I fascicoli Le griglie di correzione Le guide I dati dell’area statistica 19/04/2019 AURELIA ORLANDONI 80 80

LE GUIDE ALLA LETTURA : L02 19/04/2019 AURELIA ORLANDONI

LE GUIDE ALLA LETTURA : L05 19/04/2019 AURELIA ORLANDONI

LE GUIDE ALLA LETTURA : L08 19/04/2019 AURELIA ORLANDONI

E ora …… esempi di lettura dei dati di classe item per item ovvero …. …..l’elettrocardiogramma! 19/04/2019 AURELIA ORLANDONI

L08- ITALIANO …. Ma non solo Un esempio di quesito da analizzare insieme: risultati diversi fra le classi Può essere un punto di partenza per un lavoro comune Italiano e matematica? 19/04/2019 AURELIA ORLANDONI

L08- ITALIANO …. Ma non solo 19/04/2019 AURELIA ORLANDONI

L08- Italiano 19/04/2019 AURELIA ORLANDONI

L08- Italiano 19/04/2019 AURELIA ORLANDONI

Un esempio di confronto sull’argomentare E le dimensioni? Un esempio di confronto sull’argomentare 19/04/2019 AURELIA ORLANDONI

L05- ITALIANO 19/04/2019 AURELIA ORLANDONI

L05- ITALIANO 19/04/2019 AURELIA ORLANDONI

L05- MATEMATICA 19/04/2019 AURELIA ORLANDONI

L05- ITALIANO 19/04/2019 AURELIA ORLANDONI

L05- matematica 19/04/2019 AURELIA ORLANDONI

MATEMATICA L02 ANDATA BENE 19/04/2019 AURELIA ORLANDONI

MATEMATICA L05 ANDATA MALE… fuorchè una!!! 19/04/2019 AURELIA ORLANDONI

MATEMATICA L05 ANDATA MALE… fuorchè una!!! 19/04/2019 AURELIA ORLANDONI

L’ANALISI DEI DISTRATTORI 130 19/04/2019 AURELIA ORLANDONI

L’ANALISI DEI DISTRATTORI E gli studenti della classe/scuola come si sono comportati rispetto ai distrattori? Come gi studenti dl campione? 19/04/2019 AURELIA ORLANDONI

Ma i risultati sono diversi nelle classi??? 19/04/2019 AURELIA ORLANDONI

DA L02 MAT 19/04/2019 AURELIA ORLANDONI

DA L02 MAT AURELIA ORLANDONI 19/04/2019

19/04/2019 AURELIA ORLANDONI

19/04/2019 AURELIA ORLANDONI

2016 LE DOMANDE ANDATE PEGGIO 19/04/2019 AURELIA ORLANDONI

PEGGIORE L02 19/04/2019 AURELIA ORLANDONI

PEGGIORE L05 19/04/2019 AURELIA ORLANDONI

Peggiori L08 19/04/2019 AURELIA ORLANDONI

19/04/2019 AURELIA ORLANDONI

RIFLETTIAMO SUI PROTOCOLLI!! 19/04/2019 AURELIA ORLANDONI

La risposta è corretta: siamo soddisfatti? D3 - L06 2013 D22 – L06 2013 19/04/2019 AURELIA ORLANDONI

Punti critici della didattica 19/04/2019 AURELIA ORLANDONI

Analisi delle risposte aperte degli studenti 19/04/2019 AURELIA ORLANDONI

Alcune risposte degli studenti Giulio ha ragione perché già si capisce dalla parola, ma anche perché l’unità di misura è di 1 cm Giulio ha ragione perché se un lato dell’ottagono è di 1 cm, l’ottagono ha 8 lati, quindi è di 8 cm Giulio ha ragione perché i lati sono 8 e sono tutti uguali Giulio ha ragione perché il lato di ogni quadrato è di 1 cm e dato che le diagonali misurano come il lato il perimetro di 8 cm Giulio ha ragione perché ha 8 lati e ogni lato misura 1 cm (anche i lati che tagliano il quadratino come una diagonale, perché essendo un quadrato misura uguale) Giulio ha ragione perché visto che il quadrato è uguale di diagonale basta vedere i suoi bordi quanti quadretti sono Giulio ha ragione perché anche i pezzetti tagliati a metà sono 1 cm 19/04/2019 AURELIA ORLANDONI

gestinv: uno strumento per la didattica http://www.gestinv.it/ 115 115

Tutte le domande che fanno riferimento alla dimensione 3 ARG per il livello 08 116 116

Per ogni domanda: testo, risultati e curve caratteristiche 117 117

E … il decreto sugli esami di Stato cosa cambia TERZA MEDIA (2018): Prove fuori dall’esame ma requisito per l’ammissione Descrizione del livello raggiunto in Italiano, Matematica e Inglese Inglese: livello A2: ascolto, lettura e Use of English Prova CBT QUINTA SUPERIORE (2019): Prove fuori dall’esame ma requisito per l’ammissione Descrizione del livello raggiunto in Italiano, Matematica e Inglese Inglese: livello B2: ascolto, lettura e Use of English Prova CBT 2018: Inglese anche in quinta primaria: livello A1 e prova cartacea 19/04/2019 AURELIA ORLANDONI

GRAZIE E … BUON LAVORO 19/04/2019 AURELIA ORLANDONI