DAI DATI INVALSI AL MIGLIORAMENTO DIDATTICO RETE SOPHIA – MAZARA DEL VALLO Aurelia Orlandoni 04/02/2019 AURELIA ORLANDONI

Distribuzione dei punteggi nelle prove Invalsi 2017 ITALIANO N-OVEST meno crescita N-EST 8-10 era in crescita CENTRO e SUD molto meglio non più in calo SUD-ISOLE peggio NORD-OVEST Valle d’Aosta, Piemonte, Liguria, Lombardia NORD-EST: Bolzano (IT), Trento, Veneto, Friuli-Venezia Giulia, Emilia-Romagna CENTRO: Toscana, Umbria, Marche, Lazio SUD: Abruzzo, Molise, Campania, Puglia SUD-ISOLE: Basilicata, Calabria, Sicilia, Sardegna 04/02/2019 AURELIA ORLANDONI

Distribuzione dei punteggi nelle prove Invalsi 2017 MATEMATICA N-OVEST meno crescita ma parte da +5 invece che +1 N-EST uguale e CENTRO meglio , SUD un pochino peggio SUD-ISOLE molto peggio NORD-OVEST Valle d’Aosta, Piemonte, Liguria, Lombardia NORD-EST: Bolzano (IT), Trento, Veneto, Friuli-Venezia Giulia, Emilia-Romagna CENTRO: Toscana, Umbria, Marche, Lazio SUD: Abruzzo, Molise, Campania, Puglia SUD-ISOLE: Basilicata, Calabria, Sicilia, Sardegna 04/02/2019 AURELIA ORLANDONI

PRIMA PARTE: I DATI DI SCUOLA E DI CLASSE Cosa si restituisce e a chi? Cosa ci dicono i dati generali sulla scuola? L’effetto scuola Come nascono le prove? Alcune riflessioni didattiche Il decreto 62 e le prove CBT I livelli 04/02/2019 AURELIA ORLANDONI

QUALI DATI E A CHI? 04/02/2019 AURELIA ORLANDONI

I dati restituiti alle scuole I DATI DI SCUOLA I dati restituiti alle scuole I dati sono riferiti agli allievi che hanno svolto la prova standard.  Non si riporta il dato relativo alle classi con un numero di studenti assenti superiore al 50%. Non viene riportata l'informazione a livello di scuola per quelle istituzioni per le quali i dati validi si riferiscono a meno del 50% delle classi.  Tre aspetti: l'andamento complessivo dei livelli di apprendimento degli studenti della scuola rispetto alla media dell'Italia, dell'area geografica e della regione di appartenenza e rispetto a scuole simili per condizioni socio-economiche degli alunni; l'andamento delle singole classi nelle prove di Italiano e di Matematica nel loro complesso; l'andamento della singola classe analizzata nel dettaglio di ogni singola prova; 04/02/2019 AURELIA ORLANDONI

IL CHEATING Funziona su L02 e L05, qualche falso positivo su L10 Le scuole, anche quest’anno, hanno ricevuto i dati sia al lordo che al netto del cheating Elevata percentuale di risposte corrette Bassa variabilità della percentuale di risposte corrette all’interno della classe Bassa variabilità nelle modalità di risposta a ciascun item Basso tasso di mancate risposte PROCEDURA DI CORREZIONE dal 2013: analisi dei dati grezzi sulla base di 4 indicatori che danno una prima misura Stima di valori “plausibili” di media e variabilità dei risultati per quella classe Si applica una procedura che stima un punteggio medio della classe corretto I passi precedenti sono effettuati separatamente per prova (IT e MAT) e livello La procedura sostanzialmente si basa sui seguenti passi: i dati grezzi di ciascuna classe vengono esaminati sulla base di 4 indicatori (media e variabilità dei risultati all’interno della classe, grado di omogeneità del pattern delle risposte e risposte omesse) che consentono di fornire una prima misura della presenza di anomalie. Sulla base dei dati delle classi campione si stimano dei modelli di regressione esplicativi della media e della variabilità interna dei risultati di ogni classe, dove le covariate sono, in prevalenza, variabili relative alla composizione della classe medesima. Sostanzialmente, per tutte le classi, campione e non, vengono stimati dei valori plausibili della media e della variabilità dei risultati di classe sulla base dei dati campione (fitting over sample). Viene stimato un punteggio medio di classe corretto combinando la stima di cui al punto 2 con due indicatori di plausibilità, a loro volta costruiti utilizzando la stima della variabilità dei risultati interna alla classe (punto 2) e la misura della correlazione tra risultati grezzi nelle prove INVALSI e voti attribuiti ai singoli alunni dagli insegnanti della classe nel I quadrimestre. Tali risultati vengono ritenuti tanto più plausibili e quindi non anomali – sebbene elevati nella media e con una bassa variabilità all’interno della classe – quanto più la bassa variabilità sia “spiegata” da fattori di composizione (identificati come rilevanti al punto 2) e quanto più la correlazione tra voti degli alunni e risultati sia comunque elevata (anche in questo caso la correlazione si considera elevata avendo come benchmark quella calcolata sulle classi campione). Su tali basi si modifica l’entità della correzione apportata ai dati grezzi mediante la procedura di cui al punto 1. Tutti i passi ora descritti sono effettuati separatamente per ciascuna prova (italiano e matematica) e ciascun livello scolare. Per tenere conto del fatto che le anomalie sono in parte derivanti dal pattern dei risultati grezzi (cfr. punto 1) e che questo può risentire di caratteristiche intrinseche di ciascuna prova, si procede comunque a correggere i risultati solo nella misura in cui la correzione stimata per ciascuna classe al punto 3 superi la mediana dei valori della correzione nella macro-area maggiormente “virtuosa” (intesa come quella ove la correzione per le anomalie di cui al punto 3 sia complessivamente meno intensa). Quindi, per definizione, nel 50% delle classi di tale macro-area non verrà effettuata alcuna correzione e anche in molte classi delle altre macro-aree la correzione non verrà per nulla effettuata. Si tratta della procedura tradizionalmente seguita dall’INVALSI, basata sul metodo illustrato in C. Quintano, R. Castellano, S. Longobardi (2009), A fuzzyclusteringapproach to improve the accuracy of Italianstudent data. An experimental procedure to correct the impact of outliers on assessment test scores, «Statistica&Applicazioni», 7 (2), pp. 149-171. Come già accennato, i dati rilevati sul campione nazionale risultano statisticamente accurati in virtù del ricorso ad osservatori esterni in grado di garantire un corretto svolgimento dell’intero processo di rilevazione. La presenza degli osservatori si traduce nel “produrre” una base dati di elevata affidabilità caratterizzata dalla pressoché assenza di anomalie, in termini di cheating, e da una minore incidenza di dati mancanti (missing data) per quanto riguarda le variabili di contesto. A regime, gli indicatori di plausibilità costruiti a questo passo verranno anche integrati dalla considerazione delle informazioni sulla presenza di anomalie denunziate dai controllori di secondo livello e dalle segnalazioni direttamente provenienti dalle scuole. Al di là dell’estensione di cui alla nota precedente, che richiederà un più attento esame delle risultanze informative dirette – non derivanti cioè dai risultati grezzi in quanto tali – sulla presenza di anomalie, si sta immaginando di pervenire ad una correzione dei risultati del singolo alunno che non sia omogenea all’interno della classe i cui dati medi siano stati corretti. Assunto come vincolo un certo risultato medio di classe (corretto ad esito dei passi descritti sopra nel testo), si vuole stimare il dato di ciascun alunno combinando il dato grezzo e i voti attribuiti a quello stesso alunno dagli insegnanti della classe (entrambi espressi in deviazione dalla media di classe). Le prove, benché tutte pretestate, possono risultare di difficoltà non equivalenti l’una rispetto alle altre. Soprattutto, la variabilità del grado di difficoltà delle singole domande – all’interno di prove che pure in media siano di equivalete difficoltà media complessiva – può non essere omogenea tra le prove dei diversi ambiti disciplinari e dei diversi gradi. Funziona su L02 e L05, qualche falso positivo su L10 Problemi in alcune aree per la Prova Nazionale (L08) 04/02/2019 AURELIA ORLANDONI

I dati restituiti alle scuole LA RESTITUZIONE DEI DATI DI SCUOLA I dati restituiti alle scuole 04/02/2019 AURELIA ORLANDONI

CLASSI EQUIETEROGENEE?? DATI DI SCUOLA: VARIABILITA’ G02 ITA G05 MAT CLASSI EQUIETEROGENEE?? Il primo grafico mette a confronto la variabilità dei risultati della prova di matematica (o di italiano) TRA le classi della scuola, rispetto alla variabilità dei risultati della stessa prova del campione nazionale. E’ opportuno rilevare che un basso livello di variabilità tra le classi indica un alto tasso di omogeneità e di equilibrio nella loro composizione e quindi una complementare maggiore variabilità al loro interno dove saranno presenti tutti i livelli di rendimento, dalle eccellenze fino alle difficoltà conclamate. Nell’esempio riportato, la variabilità dei risultati tra le classi della scuola è più alta rispetto alla variabilità dei risultati tra le classi del campione statistico. Le colonne a destra indicano la variabilità dell’indice del background socio economico e culturale tra classi di un determinato livello scolastico della scuola rispetto alla variabilità tra classi dello stesso livello scolastico del campione nazionale. 04/02/2019 AURELIA ORLANDONI

G05 Italiano Matematica Questo grafico mostra le differenze dei punteggi medi dell'intera scuola e delle sue classi rispetto ai punteggi medi della regione, dell'area geografica e dell'Italia intera. Per l'interpretazione dei valori consultare il tutorial multimediale per la lettura dei dati. 04/02/2019 AURELIA ORLANDONI

CONFRONTO FRAI I DATI DI CLASSE I risultati delle classi sono omogenei all’interno della scuola? Le classi sembrano «ben formate»? Perché ci sono andamenti diversi fra le classi? Lo status socio-economico è omogeneo fra le classi? Ci sono risultati diversi fra IT e MAT? Perchè? Quali ipotesi si possono fare? Fanno riferimento a “tipologie diverse (tempo pieno, …)? A “storie” diverse? Lo status socio-economico ha un peso sui risultati delle classi? Le medie del gruppo di riferimento (200 classi) sono molto diverse tra loro? Se sì perché? ……… 04/02/2019 AURELIA ORLANDONI

STESSO VOTO PUNTEGGIO DIVERSO!!! ITA MAT STESSO VOTO PUNTEGGIO DIVERSO!!! 04/02/2019 AURELIA ORLANDONI

STESSO PUNTEGGIO VOTO DIVERSO!!! ITALIANO MATEMATICA STESSO PUNTEGGIO VOTO DIVERSO!!! 04/02/2019 AURELIA ORLANDONI

CORRELAZIONE VOTO-PUNTEGGIO Più la correIazione è alta, maggiore sarà la concordanza tra le due misure confrontate. I livelli di correlazione categorizzati sono i seguenti (in ordine crescente): scarsamente significativa; medio-bassa; media; medio-alta; forte.  scarsamente significativa medio-bassa media medio-alta forte.  04/02/2019 Aurelia Orlandoni

CORRELAZIONE VOTO-PUNTEGGIO 04/02/2019 Aurelia Orlandoni

CONFRONTO VOTI/PUNTEGGI Come si correlano i voti assegnati dai docenti agli studenti con i loro risultati nelle prove INVALSI? Classi considerate deboli dai loro professori ottengono buoni risultati nelle prove INVALSI o viceversa? ci sono differenze nei “metri” di valutazione degli insegnanti della scuola? …………………. 04/02/2019 AURELIA ORLANDONI

Restituzione dei dati per distribuzione nei cinque livelli ITA E MATE G08 Risultati < 75% media nazionale <95%Risultati < 110% media nazionale ITA <75%Risultati < 95% media nazionale <110%Risultati < 125% media nazionale Risultati > 125% media nazionale MATE 04/02/2019 AURELIA ORLANDONI

NUMEROSITÀ NEI LIVELLI MATEMATICA E ITALIANO G05 04/02/2019 AURELIA ORLANDONI

Restituzione dei dati per distribuzione nei cinque livelli Gli studenti della scuola hanno conseguito risultati omogenei nelle due prove? Quanti sono gli studenti i cui risultati sono molto diversi? Ci sono differenze significative fra le due discipline? Se sì quali sono le cause? Quali ipotesi si possono fare sugli andamenti? Questi andamenti corrispondono alle aspettative degli insegnanti di classe o no? Si osservano polarizzazioni? ……………. 04/02/2019 AURELIA ORLANDONI

Punteggio normalizzato (200) MICRODATI Microdati_5_cnt contesto Microdati_5_ita risposte Microdat_5_mat risposte Microdati_5_pnt punteggi Microdati_5_qst questionario Microdati_5_tracciato legenda Punteggio grezzo Punteggio normalizzato (200) Punteggio % Codice studente 04/02/2019 AURELIA ORLANDONI

Andamento negli ultimi anni: ITALIANO Rispetto all'andamento negli anni (vedi tabella sotto) è corretto dire che in realtà sono confrontabili solo le differenze dalle medie perchè la media è troppo legata alla prova che non è detto abbia la stessa difficoltà complessiva tutti gli anni. La stessa cosa è vera anche per la scala con media 200 oppure in quel caso i dati si possono confrontare? E' vero che la scala di Rasch tiene conto della difficoltà degli item ma a me pare che ugualmente il confronto negli anni vada ... preso con le pinze e in realtà la cosa più sicura è vedere come vanno le frecce rispetto ai punteggi medi regionali,... 04/02/2019 AURELIA ORLANDONI

ANDAMENTO DELLA SCUOLA NEGLI ULTIMI TRE ANNI Ci sono stati cambiamenti? Si notano miglioramenti rispetto ai risultati nelle prove? Dove? Perché? Si rilevano aree di criticità? In entrambe le discipline o in una sola? ……. 04/02/2019 AURELIA ORLANDONI

EFFETTO SCUOLA …. Una parentesi PUNTEGGI A DISTANZA 04/02/2019 AURELIA ORLANDONI

La definizione dell’OCSE di valore aggiunto “Il valore aggiunto di una scuola è il contributo della scuola al progresso degli studenti verso gli obiettivi stabiliti di apprendimento, al netto di altri fattori che contribuiscono al progresso educativo degli alunni.” “I modelli di valore aggiunto (value-added models) misurano i livelli di apprendimento raggiunti dagli stessi studenti in almeno due momenti successivi del tempo, all’inizio e alla fine di un ciclo d’istruzione di durata più o meno lunga, tenendo o meno conto, a seconda dei casi, anche di altre caratteristiche rilevanti degli studenti.” (OECD, Mesuring improvements in learning outcomes. Best practices to assess the value-added of schools, Paris, 2008) 04/02/2019 AURELIA ORLANDONI

VALORE AGGIUNTO L’effetto di contesto Il termine “contesto”, in relazione agli istituti scolastici, può avere due accezioni e riferirsi o all’ambiente in cui la scuola si trova per la sua collocazione territoriale (contesto esterno) o alle caratteristiche aggregate della popolazione di studenti che li frequentano (contesto interno). Dalle ricerche in campo educativo è emersa la presenza di un effetto di composizione (school mix) del gruppo – classe e/o scuola - di cui un alunno fa parte. Ciò significa che l’apprendimento di uno studente è influenzato non solo dalle sue caratteristiche personali ma anche dalle caratteristiche medie e dal grado di eterogeneità/omogeneità degli alunni della classe e/o della scuola che egli frequenta. 04/02/2019 AURELIA ORLANDONI

VALORE AGGIUNTO VALORE AGGIUNTO In cosa consiste l’effetto di contesto Esso è prima di tutto un effetto dovuto alla particolare composizione del gruppo ed è dunque, in termini diretti, un “effetto dei compagni” (peer effect). La composizione del gruppo genera però anche tutta una serie di effetti indiretti. Ad esempio, gli insegnanti si comportano in modo diverso a seconda del gruppo di alunni con cui si trovano ad interagire. Ma anche molti altri aspetti della gestione e dell’organizzazione delle scuole sono influenzati dalle caratteristiche degli studenti reclutati da ciascun istituto. 04/02/2019 AURELIA ORLANDONI

In cosa consiste il valore aggiunto Il “valore aggiunto” d’una scuola consiste in una differenza misurabile fra il risultato che gli alunni di un dato istituto hanno conseguito (risultato osservato) e il risultato che teoricamente avrebbero dovuto ottenere (risultato atteso), se essi avessero appreso tanto quanto mediamente hanno imparato, in un dato periodo di tempo, alunni comparabili che abbiano frequentato altre scuole. 04/02/2019 AURELIA ORLANDONI

VALORE AGGIUNTO: UN ESEMPIO Risultati grezzi 2010-11 in Matematica delle scuole trentine – II Superiore 04/02/2019 AURELIA ORLANDONI

Valore aggiunto delle classi e delle scuole in Matematica - II Sup. VALORE AGGIUNTO: UN ESEMPIO Valore aggiunto delle classi e delle scuole in Matematica - II Sup. Nota: nel grafico i cerchietti e i triangoli colorati corrispondono ai punteggi osservati (espressi come scarti dalla media) delle classi e delle scuole, i triangolini neri corrispondono, per ogni classe e scuola, ai punteggi di valore aggiunto. 04/02/2019 AURELIA ORLANDONI

FATTORI ESOGENI Effetto scuola EFFETTO SCUOLA PREPARAZIONE PRECEDENTE DEGLI STUDENTI CONTESTO SOCIALE INDIVIDUALE FATTORI ESOGENI CONTESTO SOCIALE GENERALE 04/02/2019 AURELIA ORLANDONI 30

VALORE AGGIUNTO: INVALSI Effetto scuola = punteggio osservato – punteggio atteso dai fattori esogeni Punteggio osservato = risultato prova 2017 Punteggio atteso dai fattori esogeni: punteggio atteso per effetto del contesto (segreterie e questionario studente) preparazione pregressa (punteggio di ogni studente nel livello precedente) 04/02/2019 AURELIA ORLANDONI

Ma il valore aggiunto da solo non basta…. PUNTEGGIO MEDIA NAZIONALE SCUOLA 1 SCUOLA 2 SCUOLA 3 04/02/2019 AURELIA ORLANDONI 32

Cos’è il valore aggiunto? PUNTEGGIO MEDIA NAZIONALE SCUOLA 1 SCUOLA 2 SCUOLA 3 04/02/2019 AURELIA ORLANDONI 33

La restituzione dei dati alle scuole L’effetto scuola è misurato rispetto all’effetto medio a livello nazionale, di macro-area e della regione di appartenenza. Ad esempio effetto scuola leggermente positivo vuol dire che date le caratteristiche individuali e aggregate degli studenti dell’istituzione scolastica, l’effetto scuola è più alto di quello medio nazionale, di macro-area e della regione: ciò significa che la scuola ottiene risultati medi più alti di quelli che ci si poteva aspettare in base alle caratteristiche della sua popolazione studentesca. 04/02/2019 AURELIA ORLANDONI

EFFETTO SCUOLA L08 ITALIANO 04/02/2019 AURELIA ORLANDONI

Punteggi a distanza– Scuola secondaria di I grado 2013 2014 2015 2016 2017 tempo Fine scuola secondaria di I grado (prova nazionale 2017) Inizio scuola secondaria di I grado (prova di V primaria 2014) Dati restituiti alla V elementare di provenienza indipendentemente dalla classe/ scuola media fatta 04/02/2019 AURELIA ORLANDONI 36

Punteggi a distanza– Scuola secondaria di I grado 04/02/2019 AURELIA ORLANDONI

Punteggi a distanza– Scuola primaria 2014 2015 2016 2017 tempo Fine scuola primaria (prova di V primaria 2017) Fine II anno scuola primaria (prova di II primaria 2014) Dati restituiti alla II elementare di provenienza indipendentemente dalla classe/ scuola in cui si trovano 04/02/2019 AURELIA ORLANDONI 38

Punteggi a distanza– Scuola primaria classe quinta 04/02/2019 AURELIA ORLANDONI

Inizio scuola secondaria di II grado (prova nazionale 2015) Punteggi a distanza– Scuola secondaria di II grado 2013 2014 2015 2016 2017 tempo Fine biennio scuola superiore (prova di II secondaria di II grado 2017) Inizio scuola secondaria di II grado (prova nazionale 2015) Dati restituiti alla III media di provenienza indipendentemente dalla classe/ scuola in cui si trovano 04/02/2019 AURELIA ORLANDONI 40

Punteggi a distanza– Scuola secondaria di II grado 04/02/2019 AURELIA ORLANDONI

Ma come vengono scelte le domande e cosa c’è dietro a un fascicolo? Quadro di Riferimento Pretest e analisi 04/02/2019 AURELIA ORLANDONI

Quali sono gli scopi delle rilevazioni INVALSI? NON Valutare!!! Le prove INVALSI hanno lo scopo principale di misurare i livelli di apprendimento raggiunti dagli studenti italiani relativamente ad alcuni aspetti di base di due ambiti fondamentali: la comprensione della lettura e la matematica. gli ambiti oggetto di misurazione delle prove INVALSI NON esauriscono di certo le conoscenze e le competenze prodotte dalla scuola. 04/02/2019 AURELIA ORLANDONI

Come sono costruite le prove INVALSI? La composizione di una prova standardizzata rivolta all’accertamento su scala nazionale dei livelli di apprendimento NON risponde agli stessi criteri che guidano la costruzione delle verifiche di classe. Una prova standardizzata nazionale deve essere in grado di misurare i risultati degli studenti all’interno di una scala di abilità/competenza molto lunga, dai livelli più bassi a quelli di eccellenza. 04/02/2019 AURELIA ORLANDONI

Alla base delle rilevazioni Quadro teorico di riferimento Definito in corrispondenza con le finalità generali dell’Invalsi che riguardano la valutazione del sistema dell’istruzione Redatto coerentemente al quadro generale nel quale sono formulati i curricoli della scuola italiana Indicazioni di legge attualmente in vigore Valutazione dell’efficacia e dell’efficienza del sistema scolastico a livello nazionale e per le singole istituzioni 04/02/2019 A. Orlandoni 45

Alla base delle rilevazioni Quadro teorico di riferimento Definisce gli ambiti, i processi cognitivi e i compiti oggetto di rilevazione, delimitando quindi il campo rispetto al quale sono costruite le prove. Permette di definire e circoscrivere il valore informativo delle prove che in base ad esso vengono costruite, chiarendone la portata e i limiti. Costituisce il documento fondamentale per: gli autori delle prove gli esperti che ne curano la revisione i docenti che sono chiamati a interpretare i risultati dei loro allievi È uno strumento di lavoro per molti “attori” 04/02/2019 A. Orlandoni 46

Conoscere Risolvere problemi Argomentare MATEMATICA: LE DIMENSIONI (2015) Conoscere Risolvere problemi Argomentare 04/02/2019 AURELIA ORLANDONI 47 47

STRUTTURA del Quadro di Riferimento Matematica INDICAZIONI NAZIONALI E LINEE GUIDA AMBITI Numeri Spazio e figure Relazioni e funzioni Dati e previsioni DIMENSIONI Conoscere Risolvere problemi Argomentare 04/02/2019 A. Orlandoni 48

Conoscere Risolvere problemi Argomentare MATEMATICA: LE DIMENSIONI esigenze connesse con l’analisi statistica dei risultati delle prove necessità di di orientare la lettura dei risultati in accordo con le indicazioni nazionali per il Curricolo e in particolare con i Traguardi per lo sviluppo delle competenze al termine della scuola primaria e secondaria di I grado Conoscere Risolvere problemi Argomentare Per la scuola secondaria di II grado Un gruppo di lavoro ha individuato una serie di Traguardi per lo sviluppo delle competenze alla fine dell’obbligo scolastico in diretta continuità con i Traguardi della fine del primo ciclo Le tre aree derivano inoltre da riflessioni su aspetti ed elementi salienti delle attività matematiche e su risultati importanti della ricerca in didattica della matematica 04/02/2019 A. Orlandoni 49 49

CONOSCERE 04/02/2019 A. Orlandoni

CONOSCERE 04/02/2019 A. Orlandoni

RISOLVERE PROBLEMI 04/02/2019 A. Orlandoni

RISOLVERE PROBLEMI 04/02/2019 A. Orlandoni

ARGOMENTARE 04/02/2019 A. Orlandoni

Risolvere problemi Argomentare MATEMATICA: LE DIMENSIONI Risolvere problemi Argomentare Le attività matematiche si possono aggregare attorno a : la risoluzione dei problemi (interni alla matematica, o applicativi); l'argomentazione, (dall'accertare la ragionevolezza di un'affermazione, al validarla con riferimento a una teoria, dal controllare la correttezza di un risultato, al giustificare la sua adeguatezza in relazione al problema affrontato). Il rapporto tra risoluzione dei problemi e argomentazione dipende dal fatto che la costruzione di una argomentazione è in molti casi una attività di autentico problem solving; e d'altra parte il problem solving richiede in genere attività di validazione intermedie e finali di tipo argomentativo. 04/02/2019 55 55

Risolvere problemi Argomentare MATEMATICA: LE DIMENSIONI Risolvere problemi Argomentare I limiti e le potenzialità delle prove Invalsi competenza di orientarsi in una situazione problematica fino ad individuare il problema da risolvere (Problem Posing) capacità di affrontare un problema “grezzo” procurandosi i dati necessari per risolverlo capacità di scegliere l’affermazione corretta e di individuare una giustificazione di essa tra quelle proposte capacità di scegliere l’affermazione corretta e produrre una giustificazione di essa capacità di produrre e poi giustificare un’affermazione Per quanto riguarda la risoluzione dei problemi è difficile , con le prove Invalsi, accertare competenze tipo …. 04/02/2019 56 56

Oggetti matematici (concetti, segni, algoritmi ….) MATEMATICA: LE DIMENSIONI Conoscere Oggetti matematici (concetti, segni, algoritmi ….) Capacità di farne uso stabilendo connessioni tra essi competenze strumentali al Problem solving e all’argomentazione Considerazioni su cosa significa e come si realizza la padronanza degli oggetti matematici si sono sviluppate in parallelo, e spesso in interazione, con le ricerche nelle scienze dell'educazione che hanno progressivamente sottolineato le competenze come "unità" di conoscenze, e capacità e intenzione di farne uso per affrontare compiti (a partire dall'analisi delle competenze necessarie per affrontare compiti professionali specifici, negli anni '70, fino ad investire in seguito anche i sistemi di formazione, inclusa la scuola, del compito di sviluppare e accertare competenze e non solo conoscenze). Le due attività matematiche risolvere problemi e argomentare richiedono conoscenze su oggetti matematici… e anche richiedono capacità di farne uso 04/02/2019 A. Orlandoni 57 57

Le prove Invalsi MATEMATICA: LE DIMENSIONI Conoscere capacità di uso flessibile e di padronanza critica degli strumenti e delle conoscenze matematiche 04/02/2019 58 58

Padronanza “ragionata” collegata al significato delle cifre Livello 05 – 2013 – risposta univoca Scopo della domanda Conoscere il valore posizionale delle cifre Padronanza “ragionata” collegata al significato delle cifre Dimensione Conoscere Padronanza “ragionata” collegata al significato delle cifre 04/02/2019 A. Orlandoni

Scopo della domanda Dimensione Livello 10 – 2015 – risposta con calcoli Scopo della domanda Calcolare una media pesata Richiesta di esplicitare il percorso risolutivo e di determinare la soluzione Dimensione Risolvere problemi 04/02/2019 A. Orlandoni

Scopo della domanda Dimensione Livello 08 – 2014 – risposta con giustificazione Scopo della domanda Capire che i due triangoli hanno basi uguali e altezza in comune Scelta dell’affermazione corretta e individuazione della giustificazione di essa tra quelle proposte Dimensione Argomentare Risposta corretta A 04/02/2019 A. Orlandoni

E IL CBT? Cambia COME non COSA! Per ora migrazione da domande cartacee con limitazioni ma ……non sempre e in futuro … 04/02/2019 A. Orlandoni

UNA PROVA STANDARDIZZATA COSA NON PUO’ VALUTARE UNA PROVA STANDARDIZZATA le prove standardizzate non possono misurare il conseguimento di traguardi caratterizzati da aspetti metacognitivi o non cognitivi, come per esempio “Sviluppa un atteggiamento positivo rispetto alla matematica… le prove standardizzate sono poco adatte a valutare il conseguimento di competenze nel: sostenere argomentazioni e dimostrazioni complesse; porsi e risolvere problemi di una certa difficoltà e complessità, che richiedono diversi passi per essere affrontati e risolti; costruire e utilizzare modelli per situazioni complesse; le prove standardizzate tendono a porre domande le cui risposte siano indipendenti da chi corregge; in altri termini tendono, per quanto possibile, a eliminare ogni elemento di soggettività. La valutazione dell’insegnante sulle competenze conseguite da uno studente non può non essere soggettiva e tesa anche a promuovere l’acquisizione stessa delle competenze: tanto più è soggettiva, tanto più diventa adatta allo studente che viene valutato e quindi ricca e significativa per quello studente. 04/02/2019 AURELIA ORLANDONI

STRUTTURA del Quadro di Riferimento (Italiano) Competenze di padronanza linguistica Ambiti Testi Processi cognitivi - aspetti della lettura Grammatica Oggetti linguistici specifici 04/02/2019 AURELIA ORLANDONI 64 64

Le competenze di lettura nel Quadro di riferimento INVALSI Per competenza si intende nel Quadro la capacità di selezionare, far interagire ed elaborare conoscenze per la comprensione e la valutazione di un testo: continuo, non continuo, misto. Testuali Grammaticali Lessicali Le competenze di lettura verificate nella prima sezione della prova sono quelle: Per competenza testuale si intende la capacità di individuare, a partire dalla lettera del testo, l’insieme di informazioni che il testo veicola, assieme al modo in cui queste informazioni sono veicolate: cioè il significato del testo e l’organizzazione logico-concettuale e formale del testo stesso. Per competenza lessicale relativa alla lettura si intende specificamente la capacità di individuare il significato, pertinente ad un determinato contesto, di un vocabolo (anche non conosciuto) e le relazioni di significato tra vocaboli in vari punti del testo (sinonimia, contrasto, iperonimia, iponimia). 04/02/2019 AURELIA ORLANDONI 65

Lettura Definizione dell’ambito Competenza pragmatico-testuale: capacità di ricostruire, a partire dalla lettura del testo e da conoscenze enciclopediche, l’insieme di significati che il testo veicola, assieme al modo in cui essi sono veicolati Competenza lessicale relativa alla lettura: capacità di individuare il significato, pertinente a un determinato contesto, di un vocabolo (anche non conosciuto) e le relazioni di significato tra vocaboli in vari punti del testo. Competenza grammaticale relativa alla lettura: capacità di individuare le strutture morfosintattiche della frase e le strutture interpuntive in funzione della loro pertinenza testuale, cioè dal punto di vista del loro apporto alla costruzione dei significati del testo. 04/02/2019 AURELIA ORLANDONI 66

Lettura: compiti richiesti dai quesiti Classificazione quesiti QdR INVALSI: aspetti della lettura 04/02/2019 AURELIA ORLANDONI

04/02/2019 AURELIA ORLANDONI

04/02/2019 AURELIA ORLANDONI

04/02/2019 AURELIA ORLANDONI

E INGLESE? Le Indicazioni Nazionali fanno esplicito riferimento al Quadro delle Certificazioni Europee e ai livelli A1 A2 C1 C2 04/02/2019 AURELIA ORLANDONI

CHI PREPARA I QUESITI? MA COME NASCE UN FASCICOLO? 04/02/2019 AURELIA ORLANDONI

La costruzione di un fascicolo di Matematica Produzione delle domande Selezione e classificazione Costruzione dei fascicoli per il pre-test Prova sul campo Analisi statistica Analisi didattica Fascicolo definitivo 04/02/2019 AURELIA ORLANDONI

Preparano una prima griglia di correzione LUGLIO 2013 Seminario autori a Dobbiaco: gli autori suddivisi in gruppi di tre producono ed etichettano domande (circa 20-25 ogni terna) OTTOBRE-DICEMBRE 2013 I gruppi di livello selezionano le domande, le rivedono e compongono due fascicoli per il pretest Preparano una prima griglia di correzione 04/02/2019 AURELIA ORLANDONI

GENNAIO – MARZO 2014 APRILE - MAGGIO 2014 giugno – agosto 2014 I fascicoli vengono composti in 4 versioni con le domande ruotate per blocchi, editati, ricontrollati e stampati APRILE - MAGGIO 2014 I fascicoli vengono pretestati su un campione casuale rappresentativo pari a 389 studenti giugno – agosto 2014 Le risposte vengono codificate per le analisi statistiche DaL 2016 tutti i fascicoli vengono digitalizzati SETTEMBRE – DICEMBRE 2014 Il gruppo di pilotaggio analizza i risultati e costruisce il fascicolo finale GENNAIO – MARZO 2015 Il fascicolo viene composto in 4 versioni con le domande ruotate per blocchi, editato, ricontrollato, stampato e inviato alle scuola 04/02/2019 AURELIA ORLANDONI

E ora riflettiamo sulla didattica a partire dai risultati 04/02/2019 AURELIA ORLANDONI

DETTAGLI DELLE PROVE: MATEMATICA 04/02/2019 AURELIA ORLANDONI 77 77

DETTAGLI MATEMATICA G08 04/02/2019 AURELIA ORLANDONI 78 78

GLI STRUMENTI SUL SITO INVALSI I fascicoli Le griglie di correzione Le guide I dati dell’area statistica 04/02/2019 AURELIA ORLANDONI 79 79

04/02/2019 AURELIA ORLANDONI

04/02/2019 AURELIA ORLANDONI

Le prove Invalsi come terreno comune di discussione tra insegnanti Le prove Invalsi quali informazioni possono dare? Come le possiamo usare? Le prove Invalsi come terreno comune di discussione tra insegnanti PROVE GUIDE

Il data base GESTINV Uno strumento per gli insegnanti

Il data base GESTINV

Il data base GESTINV

Il data base GESTINV Analisi di ogni item

Il data base GESTINV

Il data base GESTINV

Il data base GESTINV: esempi

Il data base GESTINV: esempi

Il sistema delle prove INVALSI nel decreto legislativo n. 62 del 13.04.2017 04/02/2019 Aurelia Orlandoni 91

Il decreto legislativo n. 62 del 13 aprile 2017 Un processo di condivisione paritetica di obiettivi, compiti e responsabilità SCUOLE STUDENTI MIUR INVALSI FAMIGLIE 04/02/2019 Aurelia Orlandoni

Il sistema delle prove INVALSI (I CICLO) II PRIMARIA: Italiano, Prova di decodifica strumentale della lettura (solo per le classi campione), Matematica V PRIMARIA: Italiano, Matematica, Inglese (il questionario studente è suddiviso nei fascicoli di Italiano e Matematica) III SECONDARIA DI PRIMO GRADO: 04/02/2019 Aurelia Orlandoni

Il sistema delle prove INVALSI (II CICLO) II SECONDARIA DI SECONDO GRADO : Italiano, Matematica (il questionario studente è suddiviso nei fascicoli di Italiano e Matematica) V SECONDARIA DI SECONDO GRADO (DALL’A.S. 2018-19): Italiano, Matematica, Inglese (il questionario studente è suddiviso nei fascicoli di Italiano e Matematica) 04/02/2019 Aurelia Orlandoni

La principali novità per il 2018 V PRIMARIA: prova d’inglese (livello A1 del QCER) cartacea sulle competenze ricettive III SECONDARIA DI PRIMO GRADO: prove computer based (CBT) di Italiano, Matematica e Inglese prova d’inglese (livello A1 e A2 del QCER) sulle competenze ricettive e sull’uso della lingua II SECONDARIA DI SECONDO GRADO prove computer based (CBT) di Italiano, Matematica 04/02/2019 Aurelia Orlandoni

III SECONDARIA DI PRIMO GRADO: novità 2018 (presumibilmente uguale per V secondaria di II grado dal 2019) 04/02/2019 Aurelia Orlandoni

Le prove di III secondaria di primo grado Riferimento normativo: artt. 7 e 9 del D. Lgs. 62/2017, nota MIUR 1865 del 10.10.2017 Ambiti disciplinari: Italiano Matematica Inglese (livello A1 e A2 del QCER) Modalità di somministrazione: COMPUTER BASED (CBT) ON LINE CON I PIÙ DIFFUSI SISTEMI OPERATIVI (open source e proprietari) III secondaria di primo grado (grado 8) 04/02/2019 Aurelia Orlandoni

La somministrazione Classi campione: in giornate e orari indicati da INVALSI tra il 9 aprile 2018 e il 12 aprile 2018 comunicazione delle classi campione entro il 9 marzo 2018 Classi NON campione: in base al numero degli studenti e di computer collegati in rete comunicati dalla scuola, in un periodo di somministrazione indicato da INVALSI tra il 4 aprile 2018 e il 21 aprile 2018 possibilità di cambiare il periodo di somministrazione, all’interno dell’arco temporale compreso tra il 4 aprile 2018 e il 21 aprile 2018 III secondaria di primo grado (grado 8) 04/02/2019 Aurelia Orlandoni

La somministrazione CBT La somministrazione mediante computer richiede una particolare attenzione all’organizzazione dello svolgimento delle prove, specialmente per quanto riguarda: verifica preventiva e accurata della funzionalità e della qualità del collegamento a internet verifica preventiva e accurata della funzionalità dei computer che saranno usati dagli studenti verifica della disponibilità e della funzionalità delle strumentazioni audio, in particolare di cuffie per l’ascolto individuale III secondaria di primo grado (grado 8) 04/02/2019 Aurelia Orlandoni

La flessibilità organizzativa La somministrazione CBT delle prove INVALSI può essere organizzata per: per classe per parte di una classe in sequenza (prima un gruppo e poi un altro, usando gli stessi computer) in parallelo (usando due o più laboratori o gruppi di computer portatili, ecc.) Rispetto al singolo allievo le prove INVALSI CBT possono realizzarsi in: TRE giornate distinte, una per ciascuna materia (soluzione consigliata) DUE giornate distinte (soluzione non auspicabile) UNA sola giornata (soluzione sconsigliata) N.B. lo svolgimento della singola prova (Italiano, Matematica, Inglese) non può essere interrotto dallo studente III secondaria di primo grado (grado 8) 04/02/2019 Aurelia Orlandoni

Le prove CBT La somministrazione mediante computer (CBT) richiede un elevato numero di prove (forme) che condividono le seguenti caratteristiche: stessa difficoltà complessiva equivalenza misuratoria stessa modalità di composizione (ambiti, tipologie di testo, numero di quesiti, formati dei quesiti, ecc.) Ciascuna forma è estratta da una banca di domande composte da centinaia di quesiti ed è assegnata agli studenti secondo un preciso disegno statistico III secondaria di primo grado (grado 8) 04/02/2019 Aurelia Orlandoni

Italiano – terza secondaria di primo grado Durata complessiva: 90 minuti La prova è strutturata in due sezioni PRIMA SEZIONE: comprensione della lettura diverse tipologie testuali (testi narrativi, espositivi, argomentativi) formato dei testi: continuo, non continuo e misto tipologie di domande: con risposta a scelta multipla, con risposta aperta breve o univoca, con risposta a scelta multipla complessa (tabelle o individuazione dell’elemento corretto all’interno di un menù a tendina), completamenti (brevi cloze), riordini. SECONDA SEZIONE: riflessione sulla lingua con approfondimenti sul lessico esercizi sull’uso della lingua esercizi di approfondimento sul lessico tipologie di domande: con risposta a scelta multipla, con risposta aperta breve o univoca, con risposta a scelta multipla complessa (tabelle o individuazione dell’elemento corretto all’interno di un menù a tendina). III secondaria di primo grado (grado 8) 04/02/2019 Aurelia Orlandoni

Matematica – terza secondaria di primo grado Durata complessiva: 90 minuti AMBITI: Numeri Spazio e figure Relazioni e funzioni Dati e previsioni DIMENSIONI: Conoscere Risolvere problemi Argomentare tipologie di domande: a risposta multipla, a risposta aperta breve o univoca, a completamento (cloze), a collegamento (matching), ecc. III secondaria di primo grado (grado 8) 04/02/2019 Aurelia Orlandoni

Inglese – terza secondaria di primo grado Competenze oggetto di valutazione: Comprensione della lettura (reading) Comprensione dell’ascolto (listening) Elementi di uso della lingua (dal 2019) Livello del QCER (Quadro comune europeo di riferimento per la conoscenza delle lingue): livello A1 e livello A2 Composizione della prova: 3-4 task di comprensione della lettura per il livello A1 e 3-4 task per il livello A2 (durata 40 min.), 3-4 task di comprensione dell’ascolto per il livello A1 e 3-4 task per il livello A2 (durata 40 min.); Task di lettura: lunghezza massima 220 parole e da 3 a 8 quesiti, Task di ascolto: brano di durata massimo fino 2 minuti con numero di quesiti per ciascun task da 3 a 8 III secondaria di primo grado (grado 8) 04/02/2019 Aurelia Orlandoni

Inglese – terza secondaria di primo grado (cont.) La comprensione della lettura (reading) – PARTE PRIMA: 40 minuti tipologie di lettura: lettura veloce selettiva (quick selective reading) per cogliere significato globale/informazioni specifiche; lettura attenta (careful reading) per comprendere le idee principali; tipologie di domande: a risposta multipla, Vero/Falso /Non Dato (True/False/NotGiven), a risposta aperta breve (massimo 4 parole), a collegamento (matching) Pausa: 10 minuti III secondaria di primo grado (grado 8) 04/02/2019 Aurelia Orlandoni

Inglese – terza secondaria di primo grado (cont.) La comprensione dell’ascolto (listening) – PARTE SECONDA: 40 minuti tipologie di ascolto: ascolto selettivo (selective listening) per cogliere significato globale/informazioni specifiche; ascolto attento (careful listening) per comprendere le idee principali tipologie di domande: a risposta multipla, a risposta aperta breve (massimo 4 parole), a collegamento (matching) III secondaria di primo grado (grado 8) 04/02/2019 Aurelia Orlandoni

Inglese – terza secondaria di primo grado COMPRENSIONE DELL’ASCOLTO (listening): ascolto individuale in cuffia ascolto sequenziale di ciascun compito (task) secondo il seguente schema, gestito in modo standardizzato dal sistema: ascolto delle istruzioni in inglese (standardizzate per ogni tipologia di compito) 20 secondi per leggere le domande prima dell’ascolto primo ascolto del file audio (sound file) e contemporanea visualizzazione delle relative domande (5-6) breve pausa (durata definita dal sistema) secondo ascolto del sound file e contemporanea visualizzazione delle relative domande e delle risposte fornite con la possibilità di modificarle 20 secondi per la revisione delle risposte fornite chiusura definitiva del task governata dal sistema passaggio al task successivo III secondaria di primo grado (grado 8) 04/02/2019 Aurelia Orlandoni

Documentazione – terza secondaria di primo grado Esempi (Sample) delle prove INVALSI CBT: Italiano e Matematica: entro il 31.01.2018 Inglese: un esempio per ogni tipologia di compito (task) disponibilità dei sample: entro 31.01.2018 disponibilità delle istruzioni in inglese per ogni tipologia di compito (task): entro 31.01.2018 Documentazione informativa online: generali(LINK) Esempi: Inglese, classe III sec. , classe II sec II grado III secondaria di primo grado (grado 8) 04/02/2019 Aurelia Orlandoni

Trasmissione dei dati e correzione delle prove Correzione della prova: totalmente centralizzata Trasmissione dei dati all’INVALSI: automatica contestuale alla chiusura della prova da parte dello studente (o in seguito all’esaurimento del tempo previsto per la prova) III secondaria di primo grado (grado 8) 04/02/2019 Aurelia Orlandoni

Le prove INVALSI e l’esame di Stato Requisito per l’ammissione all’esame di Stato, indipendentemente dall’esito (art. 7, c. 4 del D. Lgs. 62/2017) Confluenza dell’esito delle prove INVALSI nella certificazione delle competenze in livelli descrittivi distinti per Italiano (6 livelli), Matematica (6 livelli), comprensione della lettura della lingua inglese (4 livelli) e dell’ascolto (4 livelli) (art. 9, c. 3, lettera f del D. Lgs. 62/2017 e art. 4 del D.M. 742 del 3.10.2017) III secondaria di primo grado (grado 8) 04/02/2019 Aurelia Orlandoni

Le prove INVALSI e l’esame di Stato (cont.) Nell’area riservata della scuola sul sito dell’INVALSI sarà possibile monitorare in tempo reale lo svolgimento delle prove INVALSI a livello di singolo studente Entro la fine dell’anno scolastico, prima dello scrutinio di ammissione all’esame di Stato, la scuola potrà scaricare la certificazione delle competenze di cui all’art. 4, c. 2 (Italiano e Matematica) e c. 3 (Inglese) del D.M. 742/2017 III secondaria di primo grado (grado 8) 04/02/2019 Aurelia Orlandoni

I livelli di competenza: dal 2018 (art. 9, c. 3, lettera f del D. Lgs. 62/2017 e art. 4 del D.M. 742 del 3.10.2017)

Italiano: 6 Livelli descrittivi Matematica: 6 Livelli descrittivi I livelli di competenza Italiano: 6 Livelli descrittivi Matematica: 6 Livelli descrittivi Inglese: 4 Livelli descrittivi

LIVELLI DI APPRENDIMENTO

I livelli di competenza: esempi

I livelli di competenza: esempi

I livelli di competenza: Livello 1 Matematica

I livelli di competenza: Livello 2 Matematica

I livelli di competenza: livello 3 Matematica

I livelli di competenza: Livello 4 Matematica

I livelli di competenza: Livello 5 Matematica

Gli allievi dei livelli più bassi 04/02/2019 AURELIA ORLANDONI 122

Gli allievi dei livelli più bassi 04/02/2019 AURELIA ORLANDONI 123

…UN SORRISO PER FINIRE: Io «co.Te» a primavera 04/02/2019 AURELIA ORLANDONI

GRAZIE E … BUON LAVORO 04/02/2019 AURELIA ORLANDONI

APPENDICI DI APPROFONDIMENTO 04/02/2019 AURELIA ORLANDONI

Il placement 04/02/2019 AURELIA ORLANDONI

Il placement Utilizzando il modello di Rasch gli item vengono collocati su una scala da -4 a 4, dove -4 indica “molto facile” e 4 “molto difficile” 04/02/2019 AURELIA ORLANDONI

Il placement I risultati degli allievi che hanno partecipato alla prova SNV (dati campionari) vengono collocati sulla stessa scala da -4 a 4 sulla base delle risposte date In questo grafico ogni X rappresenta 42,4 casi 04/02/2019 AURELIA ORLANDONI

Il placement Coloro che sono posizionati rispetto all’asse verticale al di sopra di una domanda hanno una probabilità alta (superiore al 50 per cento) di rispondere correttamente e tale probabilità aumenta all’aumentare della distanza studente domanda Tutti gli studenti rappresentati dalle crocette che si trovano in una posizione inferiore a quella occupata da una data domanda hanno una scarsa probabilità (inferiore al 50 per cento) di rispondere correttamente alla domanda medesima 04/02/2019 AURELIA ORLANDONI