disegno e finalità delle indagini internazionali e nazionali PIANO DI INFORMAZIONE E FORMAZIONE SULL’INDAGINE OCSE-PISA E ALTRE RICERCHE NAZIONALI E INTERNAZIONALI Seminario provinciale rivolto ai docenti del Primo Ciclo disegno e finalità delle indagini internazionali e nazionali 1 1

le indagini internazionali negli ultimi anni è sempre più diffuso l’uso sia dei risultati sia degli strumenti delle indagini comparative internazionali per riflettere sul rendimento scolastico degli studenti è importante capire: A che scopo si misurano i livelli? Cosa ci dicono e cosa non ci possono dire le indagini internazionali? 2

Un’informazione corretta è necessaria Per sgombrare il campo dalle informazioni parziali e spesso distorte diffuse dai giornali, miranti più che altro a “fare notizia” Per rendersi conto delle potenzialità che queste indagini hanno per il nostro lavoro

perché misurare Scopo delle misurazioni: La letteratura dimostra che la conoscenza in alcune discipline fondamentali (lettura, matematica) ha un ruolo di primo piano nell’avanzamento individuale e dell’intera società Obiettivo strategico di Lisbona: diminuzione della percentuale dei quindicenni con scarsa capacità di lettura

Indagini internazionali e nazionali: diversi obiettivi Indagini internazionali: di sistema offrono dati sulle prestazioni degli studenti comparabili a livello internazionale permettono di individuare punti di forza e di debolezza del proprio sistema scolastico ricercano fattori antecedenti e correlati del profitto scolastico (e in che misura operano nello stesso modo in diversi contesti) … Indagini nazionali: dal sistema alle singole scuole accertano i livelli di apprendimento degli studenti italiani in italiano e in matematica offrono dati comparabili a livello nazionale, regionale e a livello di singola scuola e classe 5

Le indagini internazionali IEA IEA – PIRLS (Progress in International Reading Literacy Study) IEA – TIMMS (Trends in International Mathematics and Science Study) OCSE OCSE – PISA (Programme for International Student Assessment) OCSE – ALL (Adult Literacy and Life Skills)

le indagini internazionali – OCSE PISA è un progetto internazionale promosso dall’OCSE (Organizzazione per la Cooperazione e lo Sviluppo Economico) per iniziativa dei governi, ed è gestito e coordinato da un consorzio tecnico internazionale Misura l’acquisizione da parte di quindicenni scolarizzati di alcune competenze giudicate essenziali per svolgere un ruolo consapevole e attivo nella società, negli ambiti della lettura, della matematica e delle scienze approfondisce, ogni tre anni, uno in particolare dei tre ambiti di competenza (2000 e 2009: lettura; 2003 e 2011: matematica; 2006: scienze) prevede prove con quesiti a scelta multipla semplice e complessa e quesiti aperti a risposta univoca e articolata utilizza questionari per rilevare informazioni di contesto, rivolti agli studenti, alle scuole e ai genitori ha coinvolto 67 paesi nel 2009

E’ opportuno precisare che: L’indagine PISA è campionaria: vengono prescelte solo alcune scuole di ciascun Paese All’interno di ciascuna scuola viene sottoposto alla prova un campione di alunni, provenienti da classi diverse E’ pertanto impossibile risalire dai risultati al singolo insegnante

le indagini internazionali le indagini comparative hanno per obiettivo principale quello di consentire uno studio dei sistemi di istruzione in termini di prestazioni degli studenti, misurati secondo un quadro di riferimento comune a livello internazionale contenente: “oggetti” delle rilevazioni costrutti e variabili utilizzati per la costruzione dei questionari

IEA PISA le indagini internazionali confronto tra curricoli (opportunità di apprendimento ) e caratteristiche dei sistemi scolastici che influiscono sul livello di prestazione degli studenti PISA confronto fra esiti (lettura, matematica, scienze) ritenuti essenziali per i sistemi educativi/le società dei paesi appartenenti all’OCSE e indicatori di output (progetto INES sugli indicatori di qualità - Education at a Glance)

Risultati quali informazioni ci danno i risultati - 1 I risultati conseguiti dagli studenti italiani in termini di comparazione e rispetto alle medie internazionali sono: buoni a livello di scuola primaria (con alcune eccezioni) meno buoni a livello di scuola secondaria di primo grado decisamente non buoni a livello di scuola secondaria superiore Sostanziale “stabilità” nel tempo di questi risultati

risultati PISA (2000, 2003, 2006) studenti quindicenni (prevalentemente al 10° anno di scolarizzazione, ma non solo) risultati al disotto delle medie internazionali in tutte e tre le aree (lettura, matematica e scienze)

quali informazioni ci danno i risultati - 2 Ampie differenze tra i livelli di prestazioni degli studenti (varianza maggiore del 50%) in confronto con gli altri paesi (OCSE 33,8%) Differenze legate alla frequenza di scuole diverse e a tipi di scuola diversi più che a differenti livelli interni alle scuole Scarsa incidenza dell’indice ESCS sulla varianza all’interno delle scuole: nei vari tipi di scuola e nelle singole scuole i livelli socio-economico-culturali degli studenti tendono ad essere abbastanza omogenei 13

quali informazioni ci danno i risultati - 3 I livelli di prestazione degli studenti italiani variano in rapporto: alle macroaree geografiche (indipendentemente dal livello scolastico): il Nord-Est ha risultati nettamente migliori nella scuola secondaria superiore, al tipo di indirizzo di studio seguito: i livelli risultano canalizzati in ingresso sulla base delle differenze socio-economico-culturali (occupazioni e ai livelli di scolarizzazione dei genitori degli studenti)

Considerazioni sui risultati delle indagini Un problema di equità: differenze tra scuole maggiori che all’interno delle scuole Influenza del tipo di scuola su varianza tra scuole Italia 26,4%, OCSE 17,8% Tipo di scuola + ESCS (studenti e scuole) su varianza tra scuole Italia 31,9% OCSE 24,3% La frequenza ad un certo tipo di scuola diventa predittore di livello 15

alcuni problemi aperti Ogni misurazione ha alla base scelte precise rispetto alle variabili individuate e ai costrutti utilizzati Non si può chiedere alle indagini internazionali quanto è fuori dai loro obiettivi e dalla loro logica (comparazione fra diversi sistemi) Necessità di confrontare questi risultati con quelli delle rilevazioni nazionali, di sviluppare approfondimenti mirati, di affiancare alle indagini su larga scala altre metodologie di indagine e di ricerca

Servizio Nazionale di Valutazione Anno scolastico 2010/011 Rilevazione degli apprendimenti Prova scuola secondaria II grado

rilevazione degli apprendimenti - a.s. 2010-11 Il piano delle rilevazioni II primaria V primaria I secondaria di primo grado III sec. di I grado Prova Nazionale V secondaria di secondo grado II secondaria di secondo grado 18

Finalità e implicazioni della rilevazione fornire alle singole scuole uno strumento di diagnosi per migliorare il proprio lavoro e individuare le aree di eccellenza e quelle problematiche nelle discipline oggetto della rilevazione Dopo la rilevazione, l’INVALSI restituisce alle scuole i dati relativi ai risultati, per consentirne l’analisi e lo studio i dati appartengono esclusivamente alla singola scuola alla quale sono restituiti nel modo più disaggregato possibile, cioè secondo la distribuzione delle risposte domanda per domanda la pubblicazione di ulteriori analisi viene effettuata dall’INVALSI solo ed esclusivamente su dati aggregati per garantire l’anonimato degli allievi e delle singole scuole Nei mesi successivi alla restituzione dei dati, l’INVALSI organizza seminari in cui le scuole sono chiamate a riflettere collettivamente sull’analisi degli esiti e sugli interventi effettuati per risolvere eventuali criticità emerse 19 19

Il disegno della rilevazione la rilevazione è censuaria a livello di scuola e a livello di studente il dirigente scolastico è responsabile del processo di svolgimento della prova nella sua scuola in alcune scuole campione, individuate dall’INVALSI, la somministrazione delle prove avverrà alla presenza di un osservatore esterno 20 20

La correzione delle prove Gli insegnanti di classe competenti per ambito provvedono a: registrare le risposte date dagli alunni alle domande chiuse delle prove correggere e codificare le risposte date dagli alunni alle domande chiuse delle prove I risultati delle prove sono riportati sulle schede-risposta I fascicoli compilati dagli alunni rimangono alla scuola Le schede-risposta devono essere spedite all’indirizzo indicato dall’INVALSI che procede alla lettura ottica dei risultati 21 21

La correzione delle prove nelle scuole campione Nelle scuole campione i risultati delle prove saranno riportati sulle schede risposta dall’osservatore esterno il pomeriggio stesso del giorno in cui si svolge la prova Al termine dell’imputazione al sistema dei risultati l’osservatore esterno consegna alla segreteria della scuola le schede-risposta (stessa modalità della prova nazionale). La segreteria provvederà all’invio delle schede-risposta (compresa la parte di sua competenza) all’indirizzo indicato dall’INVALSI 22 22

La restituzione dei risultati Report nazionale con analisi dei risultati sia a livello di prova che di singola domanda Report regionali con analisi dei risultati sia a livello di prova che di singola domanda Approfondimenti specifici (anche sulla base di richieste ed indicazioni del mondo della scuola) 23 23

Comportamenti opportunistici Sono così definiti tutti i possibili comportamenti dei somministratori che comportano una distorsione dei dati ottenuti e li rendono inutilizzabili l’Invalsi descrive il metodo adottato per la loro individuazione, per la correzione dei dati ed è in grado di fornire informazioni circa le scuole e le classi in cui la somministrazione non è stata effettuata correttamente (appendice 5 Rapporto Nazionale) la quasi totalità dei valori anomali ed estremi riguarda solo le regioni centro-meridionali, con una forte concentrazione in Campania, Puglia, Basilicata e Calabria ( Rapporto Nazionale pag. 93) La correzione ha determinato un significativo abbassamento delle medie degli esiti conseguiti dagli alunni della CAMPANIA: ITALIANO punteggio medio grezzo 29,1 punteggio corretto 24,7 MATEMATICA punteggio medio grezzo 20,1- punteggio corretto 14,4 ( pagg. 19 e 23 Rapporto nazionale ) 24 24

I prossimi appuntamenti 10 -13 maggio 2011 marzo-aprile 2011 marzo-aprile 2012 25

rilevazione degli apprendimenti degli studenti anno scolastico 2010-11 maggio 2011 26

Perché valutare le ricadute di PON M@t.abel sugli studenti ? rilevazione degli apprendimenti - a.s. 2010-11 Il calendario 10 maggio 2011: prova di italiano, matematica e questionario studente nella II classe della scuola secondaria di secondo grado 11 maggio 2011: prova di preliminare di lettura (decodifica strumentale – prova di 2 minuti a cronometro) in II primaria e di italiano in II e V primaria 12 maggio 2011: prova di italiano, matematica e questionario studente nella I classe della scuola secondaria di primo grado 13 maggio 2011: prova di matematica in II e V primaria e questionario studente in V primaria La rilevazione è censuaria a livello di scuola e studente Perché valutare le ricadute di PON M@t.abel sugli studenti ? 27

rilevazione degli apprendimenti - a.s. 2010-11 per le classi seconde delle scuole sec. di II grado tutte le classi seconde delle secondarie di II grado svolgeranno le prove di Italiano (comprensione di testi scritti di varia natura e tipologia e riflessione sulla lingua) e di Matematica. Le prove saranno uniche per tutte le tipologie di scuola (licei, istituti tecnici e professionali) e per tutti gli indirizzi di studio poiché sono costruite per misurare e verificare aspetti comuni a tutti i corsi di studio della scuola secondaria di II grado Maggiori dettagli saranno disponibili nella documentazione informativa che sarà pubblicata sul sito dell’INVALSI (www.invalsi.it) dal 28 febbraio 2011 Perché valutare le ricadute di PON M@t.abel sugli studenti ? 28

Perché valutare le ricadute di PON M@t.abel sugli studenti ? rilevazione degli apprendimenti - a.s. 2010-11 I materiali I quadri di riferimento per la valutazione (disponibili sul sito INVALSI) Esempi di prove per le scuole del Primo Ciclo (disponibili sul sito INVALSI) A partire dall’inizio di marzo saranno pubblicati esempi specifici per la scuola secondaria di II grado Scadenziario di tutte le operazioni (già disponibile sul sito) Perché valutare le ricadute di PON M@t.abel sugli studenti ? 29

quinta edizione di PISA (Programme for International Student Assessment) 30

OCSE-PISA 2012 la quinta edizione ha come domini principali: la competenza in matematica la somministrazione informatizzata di prove di problem solving la capacità di un individuo di individuare e comprendere il ruolo che la matematica gioca nel mondo reale, di operare valutazioni fondate e di utilizzare la matematica e confrontarsi con essa in modi che rispondono alle esigenze della vita di quell’individuo in quanto cittadino impegnato, che riflette e che esercita un ruolo costruttivo (PISA 2009) la capacità di un individuo di mettere in atto processi cognitivi per affrontare e risolvere situazioni reali e interdisciplinari, per le quali il percorso di soluzione non è immediatamente evidente e nelle quali gli ambiti di competenza o le aree curricolari che si possono applicare non sono all’interno dei singoli ambiti della matematica, delle scienze o della lettura (PISA 2003) NOTA: sul sito dell’OECD sono disponibili le bozze di mathematics framework e problem-solving framework  di PISA 2012 e quindi è possibile leggere la riformulazione di Mathematical Literacy. 31

OCSE-PISA 2012: le novità Per questo ciclo l’Italia parteciperà alle seguenti opzioni internazionali: somministrazione informatizzata delle prove di lettura e matematica accertamento delle competenze in Financial Literacy accertamento delle competenze in Reading Components rilevazione sulla familiarità degli studenti con le Tecnologie dell’Informazione e della Comunicazione (TIC) rilevazione sulle esperienze scolastiche passate (Educational Career) rilevazione sul coinvolgimento dei genitori nello sviluppo della literacy matematica dei propri figli per approfondimenti effettuare il download della bozze dei framework di PISA 2012 sul sito dell’OECD. 32

OCSE-PISA 2012: Financial Literacy è conoscenza e capacità di comprensione di concetti di carattere finanziario unite ad abilità, motivazione e fiducia nei propri mezzi nell’applicare tali conoscenze e capacità di comprensione nel prendere decisioni efficaci in molteplici e diversi contesti di carattere finanziario, per migliorare il benessere degli individui e della società e per consentire una partecipazione consapevole alla vita economica per approfondimenti effettuare il download della bozza di PISA 2012 financial literacy framework sul sito dell’OECD. 33

OCSE-PISA 2012: Reading Components Le prove di Reading Components* forniscono informazioni sulle competenze semplici di lettura sottese ai livelli più bassi di competenza. Le componenti oggetto di rilevazione sono: il significato delle parole (vocabolario), l’elaborazione del significato di frasi singole, la comprensione base di brani. * sviluppate sul modello delle prove PIAAC (Programme for the International Assessment of Adult Competencies) 34

OCSE-PISA 2012: il campione come in ogni ciclo di PISA, la popolazione oggetto di indagine è quella degli studenti quindicenni in ciascuna scuola coinvolta saranno campionati fino ad un massimo di 43 studenti il campione di scuole della prova sul campo di PISA 2012 si compone di 3 gruppi come illustrato nella tabella seguente 35

OCSE-PISA 2012: gli strumenti Fascicoli per la prova cartacea PISA Fascicoli di Reading Components Fascicoli di Financial Literacy Prove informatizzate Questionario studente Questionario scuola Questionario genitori fornisce informazioni sulla provenienza socio-economica e sul proprio percorso di studi, sulle caratteristiche dell'indirizzo di scuola seguito e su motivazioni e atteggiamenti nei confronti della scuola e dell'apprendimento rileva informazioni sull'insieme degli studenti iscritti, sull'organizzazione dell'istituto e sulle sue risorse indaga sul contesto familiare, sugli atteggiamenti e i comportamenti dei genitori nei confronti dell’istruzione in generale e in particolare sull’apprendimento della matematica 36

La seconda fase del piano PIANO DI INFORMAZIONE E FORMAZIONE SULL’INDAGINE OCSE-PISA E ALTRE RICERCHE NAZIONALI E INTERNAZIONALI La seconda fase del piano 37 37

Articolazione del Piano per il 2010-2012 Prima Fase Interventi di tipo A: docenti della scuola primaria + docenti della secondaria di I grado + referenti per la valutazione informazione e formazione dei docenti che operano nelle scuole del Primo Ciclo nov. 2010 – febb. 2011 Interventi di tipo D: docenti che operano nei Centri Territoriali Permanenti Seconda Fase Interventi di tipo A: docenti della scuola sec. di I grado + docenti della sec. di II grado + referenti per la valutazione formazione sulla valutazione rivolta ai docenti della scuola secondaria probabilmente settembre – dicembre 2011 Interventi di tipo D: docenti che operano nei Corsi Serali 38 38

Seconda fase del Piano: obiettivi promuovere la crescita della cultura della valutazione anche con il coinvolgimento attivo dei docenti nella produzione di materiali e di strumenti diagnostici e di valutazione; favorire la formazione a livello locale, provinciale e regionale di gruppi di lavoro costituiti da docenti appartenenti a scuole di diverso ordine e grado per riflettere sui contenuti dei curricola e sulle strategie didattiche adeguate a migliorare i livelli di apprendimento degli alunni (le riflessioni saranno supportate dall’analisi dei risultati conseguiti dagli alunni nelle rilevazioni nazionali e internazionali, in particolare nell’indagine PISA 2009); avviare una riflessione e uno studio, con i docenti impegnati nei corsi di istruzione rivolti agli adulti, sugli strumenti diagnostici e di valutazione utili a programmare e verificare interventi finalizzati all’acquisizione di competenze funzionali relative all’area dei linguaggi e all’area matematico-scientifica. 39

Seconda fase del Piano: i destinatari (settembre - dicembre 2011 ) Interventi di tipo A: gruppi di docenti della scuola sec. di I grado e del biennio della scuola sec. di II grado. scuola sec. di I grado: 1docente per ambito ITA (A043) + 1 docente ambito MAT (A059) + 1 docente ambito SCI (A059) + 1 referente valutazione (individuati dal DS) biennio scuola sec. di II grado: 4 docenti per ambito ITA (A050/A051/A052) + 3 docenti ambito MAT (A047/A048/A049) + 2 docenti ambito SCI (A038/A060) +1 referente valutazione (individuati dal DS) si prevede un coinvolgimento di circa 19.000 docenti Interventi di tipo D: tutti i docenti, impegnati nei Corsi Serali delle quattro regioni dell’Obiettivo Convergenza, distribuiti per classi di concorso di appartenenza, relative agli insegnamenti ai quali si accede con laurea, in due aree area linguaggi area mat-scientifica si prevede un coinvolgimento di circa 1.200 docenti 40

grazie a tutti per la partecipazione! 41 41