U.S.R. Abruzzo Piste di riflessione Seminario provinciale Istituto Tecnico "B. Pascal" Teramo 26.03.2010 Piste di riflessione

I risultati delle rilevazioni le possibili letture U.S.R. Abruzzo Decisori politici, amministratori e autorità scolastiche ai vari livelli insegnanti Soggetti con responsabilità del “governo” del sistema educativo Componenti CdC Il punto di vista di Organismi d’indirizzo della scuola OOCC Dirigenti scolastici

I risultati delle rilevazioni le possibili letture U.S.R. Abruzzo Soggetti con responsabilità del “governo” del sistema educativo l’efficacia del sistema di valutazione La risposta delle strutture sollecitate Analizzano grandi numeri per verificare

Italia 7.778 5.303 1.121 1.069 68,18 95,36 4 Numero totale di scuole   Numero totale di scuole Numero di scuole iscritte Numero scuole campione Scuole campione iscritte % di scuole iscritte sul totale % scuole campione iscritte sul totale delle scuole campione Valle d'Aosta 21 100,00 Piemonte 462 238 58 55 51,52 94,83 Liguria 169 114 57 67,46 96,49 Lombardia 1.066 588 102 96 55,16 94,12 Prov. Autonoma di Bolzano (lingua it.) 19 13 11 68,42 84,62 Prov. Autonoma di Trento 67 51 48 43 76,12 89,58 Veneto 541 285 60 52,68 95,00 Friuli-Venezia G. 131 52 50 73,28 96,15 Emilia-Romagna 407 282 56 69,29 98,25 Toscana 399 241 60,40 96,55 Umbria 97 77 47 45 79,38 95,74 Marche 191 154 80,63 Lazio 748 417 64 62 55,75 96,88 Abruzzo 174 87 38 50,00 73,08 Molise 59 35 84,75 Campania 1.102 798 80 76 72,41 Puglia 509 455 54 89,39 96,43 Basilicata 111 81 44 72,97 97,78 Calabria 360 327 90,83 Sicilia 895 729 81,45 Sardegna 250 199 53 79,60 98,15 Italia 7.778 5.303 1.121 1.069 68,18 95,36 L’Abruzzo presenta la % più bassa tra le regioni d’Italia 4 4

I risultati delle rilevazioni le possibili letture U.S.R. Abruzzo Scuola Primaria: i primi risultati – classe II   ITALIANO MATEMATICA Limite inferiore Media Limite superiore NORD 66,7 67,3 68,0 54,6 55,2 55,8 CENTRO 65,2 66,3 53,5 54,3 55,0 SUD 60,5 61,6 62,7 53,4 54,8 56,1 ITALIA 64,5 65,0 65,5 54,9 55,4 5 5 5

I risultati delle rilevazioni le possibili letture U.S.R. Abruzzo I risultati delle rilevazioni le possibili letture SCUOLA confronto con gli standard esterni determinare collocare la distribuzione degli alunni della propria scuola nei livelli di prestazione per valutarne la corrispondenza o meno con quella registrata a livello nazionale la propria scuola rispetto a scuole simili sotto il profilo della composizione della popolazione scolastica individuare le possibili cause delle differenze riscontrate interrogarsi confrontare sulla possibilità di formulare un’ipotesi sulle cause e sulla necessità di raccogliere ulteriori informazioni il risultato medio della propria scuola con le medie nazionale e locale (regione, macro-area evidenziare le differenze significative, in termini statistici e di entità della differenza, eventualmente riscontrate

I risultati delle rilevazioni le possibili letture U.S.R. Abruzzo Organismi di indirizzo della scuola (DS/OOCC) Analizzano i dati settoriali d’ Istituto per verificare L’equivalenza formativa dell’istituzione La rispondenza dei criteri dell’istituto con la criterialità dell’INVALSI

I risultati delle rilevazioni le possibili letture U.S.R. Abruzzo Matematica: leggere i risultati – V primaria 8 8

I risultati delle rilevazioni le possibili letture U.S.R. Abruzzo Classe quinta I risultati degli alunni delle diverse aree del Paese sono meno uniformi di quanto osservato in seconda Progressivo distacco degli apprendimenti dei ragazzi frequentanti scuole del Centro da quelli del Nord Più basso livello degli apprendimenti dei ragazzi frequentanti le scuole del Sud Quale funzione dell’ambiente educativo??

I risultati delle rilevazioni le possibili letture U.S.R. Abruzzo I risultati delle rilevazioni le possibili letture SCUOLA confronto con gli standard interni verificare confrontare l’eventuale presenza di differenze rilevanti , rispetto all’andamento generale, fra i risultati nella prova di Italiano e nella prova di Matematica e all’interno di ciascuna prova (ad es. tra testo narrativo ed espositivo, nel caso dell’Italiano, o tra l’ambito “Numeri” e l’ambito “Spazio e figure” nel caso della matematica i risultati di classi della propria scuola dello stesso livello (ad es.:II) di o livello diverso (ad es.: II e V) e, nel caso di disomogeneità di risultati, formulare ipotesi sulle possibili cause (differenze originarie nel livello di abilità degli alunni delle varie classi, differenze nel curricolo “insegnato”,differenze tra gli insegnanti …) riscontrare comparare il punteggio medio ottenuto dalle classi nelle prove INVALSI e le valutazioni medie degli insegnanti di classe, in particolare in Italiano e in Matematica l’eventuale differenza di risultati fra i principali sottogruppi della popolazione della propria scuola (ad es. tra maschi e femmine, tra alunni italiani e non, ecc.)

I risultati delle rilevazioni le possibili letture U.S.R. Abruzzo DOCENTI La rispondenza dei criteri di valutazione classe/ classe/istituto Analizzano i dati di classe per verificare La selezione più funzionale dei contenuti della didattica

I risultati delle rilevazioni le possibili letture U.S.R. Abruzzo Per fare una crostata per 8 persone utilizzo tra gli altri ingredienti , 240 gr di farina e 160 gr di burro. Se impasto 360 gr di farina e 240 gr di burro ,per quante persone sarà la crostata ? □ 16 □ 12 □ 10 □ Non si può dire Quesito V primaria

I risultati delle rilevazioni le possibili letture U.S.R. Abruzzo Prova di Italiano – classe III sec. di primo grado I punteggi nelle tre prove mostrano una disomogeneità di risultati fra le tre classi della scuola confronto tra classi della stessa scuola 13 13

I risultati delle rilevazioni le possibili letture U.S.R. Abruzzo Variabilità dei livelli di apprendimento Bassa variabilità indica che tutti i ragazzi conseguono livelli di apprendimento simili Alta variabilità implica difformità di opportunità I punteggi nelle tre prove mostrano una sostanziale omogeneità di risultati fra le tre classi della scuola I punteggi nelle tre prove mostrano una disomogeneità di risultati fra le tre classi della scuola confronto tra classi della stessa scuola 14 14

I risultati delle rilevazioni le possibili letture U.S.R. Abruzzo 15 Scuola Primaria: incidenza della variabilità TRA su TOTALE 15 15

I risultati delle rilevazioni le possibili letture U.S.R. Abruzzo ► La variabilità TRA le Scuole rappresenta una misura della variabilità dei risultati medi delle Scuole che partecipano alla rilevazione ► L’incidenza (percentuale) della variabilità TRA su quella TOTALE fornisce un’indicazione sull’equità: valori bassi indicano che in termini di risultati medi non esiste molta differenza tra una scuola e un’altra valori alti suggeriscono che il risultato medio di scuola è molto diverso tra una scuola e un’altra

U.S.R. Abruzzo I risultati delle rilevazioni le possibili letture Il contesto della scuola La variabilità locale Le differenze all'interno dei dati Le abitudini didattiche La formazione degli insegnanti Le situazioni di insegnamento 17 17

La Qualità dei Dati del Campione: Prova Nazionale - Esame Conclusivo 1° Ciclo 2008-2009 U.S.R. Abruzzo I risultati delle rilevazioni le possibili letture La Qualità dei Dati del Campione: Indicatori di cheating Indicatore di variabilità/scarto quadratico (σ j) Scostamento dal valore atteso / indice di dispersione Punteggio medio (Pj) Media risposte esatte 16 Diapo I suddetti quattro indicatori possono fornire utili informazioni per l’individuazione di eventuali comportamenti anomali in alcune istituzioni scolastiche. I valori riportati nella tavola 1 mostrano, specie per alcuni indicatori delle differenze a livello regionale che suggeriscono l’importanza di approfondire l’analisi con riferimento alla disaggregazione territoriale dei risultati. Tuttavia, è importante osservare come ogni indice, di per sé considerato, fornisce solo delle indicazioni di eventuali anomalie nelle modalità di risposta, ma non delle informazioni conclusive. E’ quindi fondamentale, come si illustrerà nella fase II, considerare congiuntamente questi indici mediante opportune tecniche statistiche multivariate che consentono di valutare la rilevanza complessiva di ciascuna indicazione. Tasso di mancata risposta (MCj) Tasso di adesione della classe alla prova Indice medio relativo (Ej) di omogeneità delle risposte 18

I risultati delle rilevazioni le possibili letture U.S.R. Abruzzo I risultati delle rilevazioni le possibili letture Tavola 4. Valori medi dei coefficienti di cheating ITALIANO Media Abruzzo 0,0734 …………….. Basilicata 0,0652…………………. Bolzano 0,0204…………………….. Calabria 0,1581……………………. Campania 0,1369………………… Emilia R. 0,0070……………………. Friuli V. G. 0,0081…………………. Lazio 0,0345……………………….. Liguria 0,0111……………………… Lombardia 0,0202…………………. Marche 0,0127 ……………………. Molise 0,0264 ……………………… Piemonte 0,0200…………………… Puglia 0,0947 ………………………. Sardegna 0,0122 …………………. Sicilia 0,0735 ……………………… Toscana 0,0221………………….. Trento 0,0060……………………… Umbria 0,0307 …………………… Valle d'Aosta 0,0124 ……………. Veneto 0,0086 ……………………. ITALIA 0,0458 ………………….. MATEMATICA Media 0,089 0,162 0,020 0,244 0,252 0,022 0,028 0,072 0,023 0,027 0,117 0,054 0,139 0,192 0,035 0,012 0,120 0,014 0,091

La Qualità dei Dati del Campione: Prova Nazionale - Esame Conclusivo 1° Ciclo 2008-2009 I risultati delle rilevazioni le possibili letture U.S.R. Abruzzo La Qualità dei Dati del Campione: Valori Medi per Regione Indicatori p j , σj, MC j , E j p j Punteggio medio risposte corrette σ j Indicatore di variabilità/scarto quadratico MC j Tasso di mancata risposta E j n Indice medio di omogeneità delle risposte ITA MAT Abruzzo 28,58 19,38 5,48 3,79 0,01 0,02 0,50 Totale 28,37 19,34 5,60 3,82 0,51 16 Diapo I suddetti quattro indicatori possono fornire utili informazioni per l’individuazione di eventuali comportamenti anomali in alcune istituzioni scolastiche. I valori riportati nella tavola 1 mostrano, specie per alcuni indicatori delle differenze a livello regionale che suggeriscono l’importanza di approfondire l’analisi con riferimento alla disaggregazione territoriale dei risultati. Tuttavia, è importante osservare come ogni indice, di per sé considerato, fornisce solo delle indicazioni di eventuali anomalie nelle modalità di risposta, ma non delle informazioni conclusive. E’ quindi fondamentale, come si illustrerà nella fase II, considerare congiuntamente questi indici mediante opportune tecniche statistiche multivariate che consentono di valutare la rilevanza complessiva di ciascuna indicazione. 20

La Qualità della scuola Prova Nazionale - Esame Conclusivo 1° Ciclo 2008-2009 U.S.R. Abruzzo I risultati delle rilevazioni le possibili letture La Qualità della scuola 16 Diapo I suddetti quattro indicatori possono fornire utili informazioni per l’individuazione di eventuali comportamenti anomali in alcune istituzioni scolastiche. I valori riportati nella tavola 1 mostrano, specie per alcuni indicatori delle differenze a livello regionale che suggeriscono l’importanza di approfondire l’analisi con riferimento alla disaggregazione territoriale dei risultati. Tuttavia, è importante osservare come ogni indice, di per sé considerato, fornisce solo delle indicazioni di eventuali anomalie nelle modalità di risposta, ma non delle informazioni conclusive. E’ quindi fondamentale, come si illustrerà nella fase II, considerare congiuntamente questi indici mediante opportune tecniche statistiche multivariate che consentono di valutare la rilevanza complessiva di ciascuna indicazione. Valutare con obiettività per fornire a tutti gli alunni equivalenti opportunità di crescita/successo 21

STRUTTURA DELLE PROVE DI ITALIANO Prova Nazionale - Esame Conclusivo 1° Ciclo 2008-2009 U.S.R. Abruzzo I risultati delle rilevazioni le possibili letture STRUTTURA DELLE PROVE DI ITALIANO Competenze di lettura 16 Diapo I suddetti quattro indicatori possono fornire utili informazioni per l’individuazione di eventuali comportamenti anomali in alcune istituzioni scolastiche. I valori riportati nella tavola 1 mostrano, specie per alcuni indicatori delle differenze a livello regionale che suggeriscono l’importanza di approfondire l’analisi con riferimento alla disaggregazione territoriale dei risultati. Tuttavia, è importante osservare come ogni indice, di per sé considerato, fornisce solo delle indicazioni di eventuali anomalie nelle modalità di risposta, ma non delle informazioni conclusive. E’ quindi fondamentale, come si illustrerà nella fase II, considerare congiuntamente questi indici mediante opportune tecniche statistiche multivariate che consentono di valutare la rilevanza complessiva di ciascuna indicazione. lessicali testuali grammaticali 22

Struttura della prova di IT (II primaria) La prova è costituita di 14 quesiti di comprensione della lettura di un breve testo narrativo, tutti a scelta multipla con quattro alternative di risposta, e da due esercizi, uno di lessico (indicare, per ognuna di quindici coppie di parole, se le due parole di ogni coppia avessero significato uguale o contrario) e uno di ricomposizione di frasi (riordinare i sintagmi di cinque frasi presentate in disordine). Il tempo complessivo per lo svolgimento dell’intera prova è stato stabilito in trenta minuti. 23 23

Prova preliminare di decodifica di parole (lettura strumentale) La prova di comprensione è stata preceduta da una prova preliminare di velocità di lettura, comprendente 40 quesiti, ciascuno dei quali formato da una parola scritta seguita da una serie di quattro figure, tra cui l’alunno doveva indicare quella corrispondente alla parola che le precedeva. Il tempo per leggere le 40 parole e scegliere la figura corrispondente è stato previsto in due minuti. 24 24

Struttura della prova di IT (V primaria)/1 Composta da due parti: comprensione di testi continui e prova grammaticale. La prima parte comprende due testi, uno di carattere narrativo e uno di carattere espositivo. Il testo narrativo è seguito da 14 quesiti, il testo espositivo da 12 quesiti per la verifica della comprensione, a scelta multipla con quattro alternative di risposta. 25 25

Struttura della prova di IT (V primaria)/2 I quesiti di ortografia e grammatica della seconda parte sono: un esercizio ortografico , in cui si chiede all’alunno di scrivere cinque parole (acquario, pugnale, prosciutto, diciassette e pagliaccio) in corrispondenza di altrettanti disegni nove quesiti di grammatica a risposta chiusa, di cui alcuni articolati in più item (riconoscere parti variabili e invariabili della frase; significato grammaticale dei morfemi; classi di parole: nome, pronome, verbo; funzioni sintattiche di soggetto e predicato; funzione comunicativa di un enunciato). 26

Struttura della Prova nazionale di IT 2009 I parte) Due testi continui con quesiti a risposta chiusa di tipologie testuali differenti: Narrativo letterario (17 domande) Informativo/espositivo e parzialmente argomentativo (13 domande) II parte) Una batteria di quesiti grammaticali a risposta chiusa (10 domande) Ritorno diapositiva n. 46 27 27

STRUTTURA DELLE PROVE DI ITALIANO Prova Nazionale - Esame Conclusivo 1° Ciclo 2008-2009 U.S.R. Abruzzo I risultati delle rilevazioni le possibili letture STRUTTURA DELLE PROVE DI ITALIANO Processi di lettura valutati 16 Diapo I suddetti quattro indicatori possono fornire utili informazioni per l’individuazione di eventuali comportamenti anomali in alcune istituzioni scolastiche. I valori riportati nella tavola 1 mostrano, specie per alcuni indicatori delle differenze a livello regionale che suggeriscono l’importanza di approfondire l’analisi con riferimento alla disaggregazione territoriale dei risultati. Tuttavia, è importante osservare come ogni indice, di per sé considerato, fornisce solo delle indicazioni di eventuali anomalie nelle modalità di risposta, ma non delle informazioni conclusive. E’ quindi fondamentale, come si illustrerà nella fase II, considerare congiuntamente questi indici mediante opportune tecniche statistiche multivariate che consentono di valutare la rilevanza complessiva di ciascuna indicazione. Valutare il contenuto del testo Informazioni esplicite del testo Inferenze Sviluppare interpretazioni Elaborare comprensione globale del testo 28

STRUTTURA DELLE PROVE DI ITALIANO Prova Nazionale - Esame Conclusivo 1° Ciclo 2008-2009 U.S.R. Abruzzo I risultati delle rilevazioni le possibili letture STRUTTURA DELLE PROVE DI ITALIANO Specifici oggetti linguistici 16 Diapo I suddetti quattro indicatori possono fornire utili informazioni per l’individuazione di eventuali comportamenti anomali in alcune istituzioni scolastiche. I valori riportati nella tavola 1 mostrano, specie per alcuni indicatori delle differenze a livello regionale che suggeriscono l’importanza di approfondire l’analisi con riferimento alla disaggregazione territoriale dei risultati. Tuttavia, è importante osservare come ogni indice, di per sé considerato, fornisce solo delle indicazioni di eventuali anomalie nelle modalità di risposta, ma non delle informazioni conclusive. E’ quindi fondamentale, come si illustrerà nella fase II, considerare congiuntamente questi indici mediante opportune tecniche statistiche multivariate che consentono di valutare la rilevanza complessiva di ciascuna indicazione. Organizzazione logica Testo completo Porzioni di testo Organizzazione logica Aspetti formali Lessico 29

U.S.R. Abruzzo I risultati della prova di ITALIANO I risultati delle rilevazioni le possibili letture I risultati della prova di ITALIANO 30

Risultati nelle tre parti della prova U.S.R. Abruzzo I risultati delle rilevazioni le possibili letture Risultati nelle tre parti della prova 31 31

U.S.R. Abruzzo I risultati della prova di ITALIANO I risultati delle rilevazioni le possibili letture U.S.R. Abruzzo I risultati della prova di ITALIANO 32

Risultati delle tre parti della prova nazionale U.S.R. Abruzzo I risultati delle rilevazioni le possibili letture Risultati delle tre parti della prova nazionale Testo narrativo: 17 quesiti (11,2 su 17). Testo espositivo 13 quesiti (8,4 su 13). Quesiti grammaticali 10 (7,1 su 10). 33 33

I risultati delle rilevazioni le possibili letture U.S.R. Abruzzo I risultati delle rilevazioni le possibili letture Come funzionano le conoscenze grammaticali? In quanto allo strumento usato (classe 5^) L’analisi dei risultati va approfondita, ma in prima istanza sembra indicare un apprendimento piuttosto meccanico delle nozioni grammaticali, che una percentuale rilevante degli studenti non è poi capace di applicare in “compiti” diversi. 34

I risultati delle rilevazioni le possibili letture U.S.R. Abruzzo Matematica Matematica come “strumento di pensiero” Matematica “utile” Disciplina con un proprio specifico statuto epistemologico 35 35

Struttura della prova di MAT (II primaria) La prova di Matematica comprendeva 23 quesiti, a scelta multipla con 3 alternative di risposta di cui una sola corretta. Gli ambiti di valutazione, valevoli per tutto il primo ciclo d’istruzione, sono stati definiti in base a un quadro di riferimento elaborato a partire da un confronto tra gli OSA e le Indicazioni per il curricolo, tenendo presenti i quadri di riferimento delle indagini comparative internazionali sull’apprendimento matematico e scientifico. I domini (cognitivo e dei contenuti) di competenza di Mat sono stati mutuati dalla ricerca IEA-TIMSS. Il tempo complessivo per lo svolgimento dell’intera prova è stato stabilito in trenta minuti. 36 36

Struttura della prova di MAT (II primaria)/2 dominio cognitivo: - esecuzione di algoritmi (di routine o non di routine) - uso di linguaggi specifici - sensibilità numerica e geometrica 37 37

Struttura della prova di Mat II primaria/3 dominio dei contenuti: - Numeri - Spazio e Figure - Misure, Dati e Previsioni 38 38

Struttura della prova di MAT (V primaria) La prova di Matematica comprendeva 29 quesiti (alcuni articolati; complessivamentie 41): 25 a scelta multipla con 4 risposte e gli altri con domanda chiusa complessa. Gli ambiti di valutazione sono stati gli stessi già indicati per la classe seconda, anche se con contenuti specifici e compiti richiesti variati in funzione della classe. Il tempo complessivo per lo svolgimento dell’intera prova è stato stabilito in sessanta minuti. 39 39

Struttura della Prova nazionale di MAT 2009 Quesiti relativi ai principali argomenti studiati nella scuola secondaria di I primo grado - Quesiti a scelta multipla - Quesiti a risposta aperta (con richiesta di descrizione del procedimento seguito) 40 40

Ambiti di valutazione per matematica/1 definiti con riferimento al quadro SNV costruito a partire da confronto OSAe IN, quadri delle rilevazioni internazionali come TIMSS, prassi didattica ed osservazioni dei docenti in base prove SNV, centrati su due domini articolati in dominio di contenuto e cognitivo. dominio cognitivo - esecuzione di algoritmi (di routine e non) - uso di linguaggi specifici - sensibilità numerica e geometrica

dominio di contenuto - numeri (numeri naturali, frazioni e decimali, interi, rapporto, proporzione, percentuale) - geometria (rette ed angoli, figure piane e solide; congruenza e similitudine; teorema di Pitagora e sue applicazioni; rappresentazione di punti, segmenti e figure sul piano cartesiano; simmetria) - relazioni e funzioni (espressioni algebriche, equazioni e formule, relazioni, rappresentazione grafica di funzioni di proporzionalità diretta e inversa) misure, dati e previsioni (attributi ed unità; strumenti, tecniche e formule; raccolta di dati e organizzazione; rappresentazione dei dati; interpretazione dei dati; probabilità)

U.S.R. Abruzzo Matematica: i contenuti I risultati delle rilevazioni le possibili letture U.S.R. Abruzzo Matematica: i contenuti Indicazioni per il curricolo OCSE-PISA (idee chiave) TIMSS (domini di contenuto) Numeri Quantità Numero Spazio e figure Spazio e forma Geometria Relazioni e funzioni Cambiamenti e relazioni Algebra Misure, dati e previsioni Incertezza Dati e caso 43 43

I risultati delle rilevazioni le possibili letture U.S.R. Abruzzo I risultati delle rilevazioni le possibili letture Da: M. Fandino-Pinilla, Molteplici aspetti dell’apprendimento della Matematica, Erickson MATEMATICA concetti algoritmi problemi comunicazione rappresentazione Apprendimento concettuale Apprendimento algoritmico Apprendimento di strategie Apprendimento comunicativo Gestione delle rappresentazioni 44 44

I risultati delle rilevazioni le possibili letture Prova Nazionale - Esame Conclusivo 1° Ciclo 2008-2009 I risultati delle rilevazioni le possibili letture U.S.R. Abruzzo Buon lavoro 16 Diapo I suddetti quattro indicatori possono fornire utili informazioni per l’individuazione di eventuali comportamenti anomali in alcune istituzioni scolastiche. I valori riportati nella tavola 1 mostrano, specie per alcuni indicatori delle differenze a livello regionale che suggeriscono l’importanza di approfondire l’analisi con riferimento alla disaggregazione territoriale dei risultati. Tuttavia, è importante osservare come ogni indice, di per sé considerato, fornisce solo delle indicazioni di eventuali anomalie nelle modalità di risposta, ma non delle informazioni conclusive. E’ quindi fondamentale, come si illustrerà nella fase II, considerare congiuntamente questi indici mediante opportune tecniche statistiche multivariate che consentono di valutare la rilevanza complessiva di ciascuna indicazione. 45