INValSI Servizio Nazionale di Valutazione del Sistema dell’Istruzione a.s. 2004-2005 Valutazione degli apprendimenti M. Ludovica Battista (da materiale Invalsi) Pesaro 9 febbraio 2005 Referente provinciale

Finalità Informare e sensibilizzare sul tema della valutazione e dell’autovalutazione del sistema scolastico (del sistema e degli apprendimenti). Fornire supporto alle istituzioni scolastiche per l’organizzazione e la gestione delle attività di somministrazione delle prove e di compilazione del questionario di sistema.

Il progetto formativo La I Fase è destinata prevalentemente ai dirigenti del I ciclo, impegnati per la prima volta nei processi di valutazione esterna e finalizzato a dare una formazione di base sul sistema nazionale di valutazione La II Fase è rivolta ai referenti di tutti gli istituti scolastici che aderiscono al sistema di valutazione nazionale, sia in modo obbligatorio che volontario, e orientato a fornire indicazioni sulla lettura e interpretazione dei dati e sulle modalità organizzative per la somministrazione delle prove.

Quadro normativo (1) Legge n. 53 del 28/3/2003 (Riforma) art.3 – c.1 Valutazione interna Valutazione esterna Esami di stato

Testo della legge Art. 3. (Valutazione degli apprendimenti e della qualità del sistema educativo di istruzione e di formazione)     1. Con i decreti di cui all’articolo 1 sono dettate le norme generali sulla valutazione del sistema educativo di istruzione e di formazione e degli apprendimenti degli studenti, con l’osservanza dei seguenti princìpi e criteri direttivi:         a) la valutazione, periodica e annuale, degli apprendimenti e del comportamento degli studenti del sistema educativo di istruzione e di formazione, e la certificazione delle competenze da essi acquisite, sono affidate ai docenti delle istituzioni di istruzione e formazione frequentate; agli stessi docenti è affidata la valutazione dei periodi didattici ai fini del passaggio al periodo successivo; il miglioramento dei processi di apprendimento e della relativa valutazione, nonché la continuità didattica, sono assicurati anche attraverso una congrua permanenza dei docenti nella sede di titolarità;         b) ai fini del progressivo miglioramento e dell’armonizzazione della qualità del sistema di istruzione e di formazione, l’Istituto nazionale per la valutazione del sistema di istruzione effettua verifiche periodiche e sistematiche sulle conoscenze e abilità degli studenti e sulla qualità complessiva dell’offerta formativa delle istituzioni scolastiche e formative; in funzione dei predetti compiti vengono rideterminate le funzioni e la struttura del predetto Istituto;         c) l’esame di Stato conclusivo dei cicli di istruzione considera e valuta le competenze acquisite dagli studenti nel corso e al termine del ciclo e si svolge su prove organizzate dalle commissioni d’esame e su prove predisposte e gestite dall’Istituto nazionale per la valutazione del sistema di istruzione, sulla base degli obiettivi specifici di apprendimento del corso ed in relazione alle discipline di insegnamento dell’ultimo anno.

Quadro normativo (2) D. lgs. N. 59 del 2004 (Riforma) i livelli scolastici interessati inizio I, II e III biennio (II e IV primaria, I secondaria I grado) il periodo della somministrazione inizio anno scolastico cosa valutare “… i livelli di padronanza mostrati dagli allievi nelle conoscenze e nelle abilità raccolte negli OSA ……”

Quadro normativo (3) Direttiva n.56 12/7/2004 Indicazione delle discipline da testare (italiano, matematica e scienze) Obbligatorietà della valutazione nel I ciclo Adesione volontaria scuole II ciclo Continuità con le sperimentazioni PP1, PP2, PP3 Deroga dai tempi previsti Sviluppo della cultura della valutazione e azioni formative per personale della scuola

Quadro normativo (4) D.legislativo n.286 1/12/2004 Istituzione del Servizio nazionale di valutazione del sistema educativo (SNV) per valutare efficienza e efficacia del sistema all’interno del contesto internazionale Riordino dell’Istituto nazionale di valutazione del sistema dell’istruzione (InVALsi) Compiti dell’InVALsi Verifiche periodiche su conoscenze e abilità studenti e su qualità offerta formativa …

Concorrono con l’Invalsi Istituzioni scolastiche Regioni Province Comuni Metodi: Coordinamento di attività e servizi Interoperabilità dei sistemi informativi Scambio di dati e informazioni

Quadro nazionale e internazionale Progetti pilota PP1 (2001/02) PP2 (2002/03) PP3 (2003/04) Obiettivi strategici di Lisbona (maggio 2000) Indagini internazionali come OCSE-PISA, IEA-TIMSS

Lisbona 2000 http://www.istruzione.it/buongiorno_europa/lisbona.shtml Nel marzo del 2000, a Lisbona, il Consiglio Europeo ha adottato un nuovo obiettivo strategico: "diventare l'economia basata sulla conoscenza più competitiva e dinamica del mondo, in grado di realizzare una crescita economica sostenibile con nuovi e migliori posti di lavoro e una maggiore coesione sociale." La strategia di Lisbona per l'istruzione e la formazione Nelle Conclusioni del vertice di Lisbona, i capi di Stato e di governo hanno riconosciuto il ruolo fondamentale di istruzione e formazione per la crescita e lo sviluppo economico. Il Rapporto sugli obiettivi futuri e concreti dei sistemi di istruzione e di formazione è stato presentato al Consiglio europeo di Stoccolma nel marzo 2001. Esso definisce i tre obiettivi strategici seguenti: aumentare la qualità e l'efficacia dei sistemi di istruzione e di formazione nell'Unione europea; facilitare l'accesso ai sistemi di istruzione e di formazione; aprire i sistemi di istruzione e formazione. al mondo esterno.

Aree prioritarie di intervento e livelli da raggiungere entro il 2010: diminuzione degli abbandoni precoci (percentuale non superiore al 10%); aumento dei laureati in matematica, scienze e tecnologia (aumento almeno del 15% e diminuzione dello squilibrio fra sessi); aumento dei giovani che completano gli studi secondari superiori (almeno l'85% della popolazione ventiduenne); diminuzione della percentuale dei quindicenni con scarsa capacità di lettura (almeno del 20% rispetto al 2000); aumento della media europea di partecipazione ad iniziative di lifelong learning (almeno fino al 12% della popolazione adulta in età lavorativa 25/64 anni)

OCSE-PISA Programme for International Student Assessment http://www.invalsi.it/ri2003/pisa2003/ E’ un’indagine internazionale promossa dall’OCSE (Organizzazione per la cooperazione e lo sviluppo economico) che mira ad accertare con periodicità triennale conoscenze e capacità dei quindicenni scolarizzati dei principali Paesi industrializzati. In questo sito è presentata l’indagine OCSE/PISA e la sua realizzazione in Italia.

IEA-TIMSS International Association for the Evaluation of Educational Achievement (IEA) è una associazione indipendente no-profit di centri di ricerca educativa (53 paesi) fondata nel 1958 con sede ad Amsterdam che conduce ricerche comparative internazionali nel campo della valutazione TIMSS: Rilevazione internazionale sugli apprendimenti in matematica e scienze in 50 paesi http://www.invalsi.it/ricerche-internazionali/iea-imss/2003/pdf/TIMSS_2003_conferenza_stampa.pdf

Attività di valutazione

Valutare la scuola Non si valuta la singola scuola, ma il sistema scolastico Valutare significa analizzare cosa non va e perché per apportare correzioni e miglioramenti Non esiste miglioramento senza valutazione Non esiste autonomia senza responsabilità Si valuta l’efficacia e l’efficienza dell’offerta formativa le informazioni ricavate non riguardano il valore degli insegnanti o degli alunni di una scuola ma le scelte didattiche fatte La valutazione NON è sanzionatrice

Obiettivi dei sistemi di istruzione e formazione in Europa (2002) Lettura, scrittura e calcolo; Matematica, scienze e tecnologia; Lingue straniere; Settore delle TIC e uso della tecnologia; Apprendere ad apprendere; Competenze sociali; Spirito d’impresa; Cultura generale.

Costruzione delle prove Continuità con esperienze pregresse (stesse discipline, stessi esperti, stesso metodo di lavoro) Restituzione dei risultati entro l’anno (prove chiuse per lettura ottica) Gruppo di lavoro: esperti scolastici, accademici e ricercatori Invalsi, suddivisi in gruppi disciplinari; Analisi e calibrazione quesiti PP3 Individuazione di un numero limitato di conoscenze e abilità irrinunciabili (OSA I ciclo e programmazione scuole) Ricorsività dei concetti Quesiti per riflettere e non per rispondere meccanicamente Gli OSA hanno lo scopo di indicare con la maggior chiarezza possibile i livelli essenziali di prestazione

Criteri per la costruzione della prove Uniformità della struttura scelta multipla a 4 o 5 alternative, 3 alternative solo per la II primaria Durata delle prove adatta al livello Numero limitato di obiettivi contenuti e abilità sulla base del programma precedente Garanzia delle stesse condizioni di misura Leggere istruzioni per utilizzare lo stesso linguaggio Taratura delle prove su indici medio/medio-facili Pretesting

Italiano: il tipo di testo LIVELLO TIPO II primaria narrativo IV primaria narrativo, espositivo I sec. I grado narrativo, espositivo ----------------------------------------------------------------------------------------- I sec. II grado narrativo, espositivo/argomentativo III sec. II grado narrativo, espositivo/argomentativo, poetico

Italiano: criteri per la scelta dei testi Lunghezza media, crescente dalla primaria alle superiori Autosufficienza Non troppo correnti nella pratica didattica Originali in italiano D’autore o comunque di buona qualità (registro medio o medio-alto) Concettualmente densi, complessi ma non troppo rispetto al livello scolastico Di validità generale (se troppo legati all’attualità diventano rapidamente obsoleti)

Italiano: mappa concettuale Come ha lavorato il Gruppo di lavoro Tema Idea principale Idea di fondo Personaggi principali Tratti caratteristici Funzione Ambientazione Espressioni chiave Contenuti Abilità Quesiti

Italiano: contenuti Quel che NON si testa Quesiti per una prova di IV primaria Categoria Frequenza quesiti Ortografia 2 Lessico 4 Morfo-sintassi 2 Organizzazione logico-semantica 1 Aspetti retorici e formali 2 Comprensione particolare del testo 5 Comprensione globale del testo 4 Quel che NON si testa conoscenze letterarie, culturali o “enciclopediche” abilità produttive scritte o orali

Matematica: criteri generali Evitare ragionamenti meccanici, basati su stereotipi Non una replica del linguaggio dell'insegnante, per proporre stimoli nuovi, diversi da quelli consueti Evidenziare i livelli di formazione di base Mettere in luce anche la presenza o meno di livelli di eccellenza

Matematica: contenuti Numero Numeri naturali, interi, razionali Calcolo numerico Manipolazione elementare dei simboli algebrici Formalizzazione di semplici situazioni proposte in contesti concreti Geometria Figure piane e dello spazio Trasformazioni geometriche elementari: riconoscimento e proprietà Riferimenti cartesiani Relazioni e funzioni Lettura di grafici e tabelle Relazioni e funzioni in contesti diversi Dati e previsioni Semplici valutazioni probabilistiche Saper ricavare semplici dati statistici da una descrizione a parole Calcolo della probabilita di eventi elementari Introduzione al pensiero razionale tipologia “trasversale” uso corretto del linguaggio verbale e simbolico Quesiti da risolvere in modo non standard (creatività)

Matematica: II primaria Numero Lettura e scrittura dei numeri naturali; riconoscimento di regolarità. Nozione di “precedente” e “successivo”, maggiore e minore. Capacità di riconoscere ed eseguire semplici operazioni di addizione e sottrazione. Saper risolvere un problema scegliendo le operazioni opportune da eseguire per giungere alla soluzione. Geometria Capacità di attuare percorsi e di riconoscerne caratteristiche (più o meno lungo, aperto, etc.) Capacità di identificare e denominare correttamente forme geometriche. Saper individuare punti in una quadrettatura piana.

Matematica: IV primaria Numero Numeri naturali ; scrittura posizionale; scrittura decimale dei numeri. Approssimazioni e confronto tra i numeri. Proprietà delle operazioni. Frazione come operatore Saper risolvere un problema scegliendo le operazioni opportune da eseguire per arrivare alla soluzione. Geometria II Riconoscere, denominare, classificare, descrivere figure geometriche del piano e dello spazio; conoscere proprietà elementari delle figure geometriche piane. Individuare simmetrie in oggetti e figure. Calcolare per conteggio aree e perimetri di semplici figure, data la unità di misura. Saper risolvere un problema, saper identificare il percorso per arrivare alla soluzione. . Misura, Sistema metrico decimale. Stima della misura di oggetti comuni. Sscelta dell’unità di misura. Dati e previsioni Saper rappresentare e leggere grafici.

Matematica: I secondaria primo grado Numero Numeri naturali e interi; operazioni tra di essi, proprietà delle operazioni confronto. Scrittura decimale dei numeri: ordinamento e confronto. Calcoli approssimati; ordine di grandezza. Numeri razionali e frazioni: scrittura, confronto, ordinamento. Saper risolvere un problema scegliendo le operazioni opportune da eseguire per arrivare alla soluzione. Geometria II Conoscere le proprietà elementari delle principali figure geometriche piane (triangolo, quadrangolo, cerchio etc.) e solide (parallelepipedo, cono, cilindro ..) Riconoscere figure tra loro corrispondenti in una simmetria. Calcolare area e perimetro di figure geometriche conosciute. Leggere le coordinate di un punto su un reticolo. Risolvere un problema, saper identificare il percorso per arrivare alla soluzione. Misura, Sistema metrico decimale. Stima della misura di oggetti comuni. Sscelta dell’unità di misura. Dati e previsioni Saper rappresentare e leggere grafici.

Scienze Problema della cultura scientifica in Italia: - numeri ritardatari del lotto - astrologia e indovini - …. II primaria: Elementi di metodo sperimentale (“come fare scienza”) Viventi/non viventi Uomo/ambiente IV primaria e I media + trasformazioni Secondaria II grado 5 ambiti disciplinari : Fisica, Chimica, Scienze della vita, Scienze della terra, Scienze ambientali

Scienze: abilità IV primaria I secondaria I grado Osservare descrivere: raccogliere dati riflettere su indizi riconoscere caratteristiche specifiche di un fenomeno Ordinare • in sequenze temporali e/o logiche Classificare stabilire relazioni in base a caratteristiche specifiche confrontare in termini qualitativi e/o quantitativi Linguaggi specifici Leggere e comprendere un breve testo scientifico, usando termini del lessico specifico • Leggere il linguaggio grafico I secondaria II grado Osservare riconoscere fenomeni di natura diversa Classificare ordinare (in sequenze temporali e/o logiche, in termini quantitativi) stabilire relazioni riconoscere caratteristiche specifiche Linguaggi specifici Utilizzare il linguaggio matematico calcolare, quantificare (unità di misura, strumenti di misura), confrontare leggere tabelle, grafici, leggere ed eseguire disegni in scala Interpretare dati empirici e/o sperimentali Risolvere situazioni problematiche Leggere e comprendere un breve testo scientifico II primaria Osservare • esplorare attraverso i sensi • discriminare tra vivente/non vivente Ordinare Classificare • stabilire relazioni

Italiano testo narrativo II primaria Italiano testo narrativo 12 quesiti a 3 alternative 35 minuti COMPRENSIONE TESTO, SEQUENZE Matematica 16 quesiti a 3 alternative 30 minuti NUMERO (lettura/scrittura, riconoscimento di regole, scelta di operazioni opportune) GEOMETRIA (riconoscimento figure, individuazione di punti in una quadrettatura) Scienze 10 quesiti a 3 alternative 30 minuti ELEMENTI DI METODO SPERIMENTALE VIVENTI e NON VIVENTI UOMO / AMBIENTE Osservare, ordinare, classificare

II primaria: Italiano Prova del PP3 Dove il ragno invita la lucciola? A pranzo a casa sua A cena fuori A cena a casa sua Che cosa vuol dire “calò” nella frase “quando calò la sera”? Venne Diminuì Finì

II primaria: Matematica Prova del PP3 Quale numero corrisponde a 4 decine e 7 unità? 40 74 47 Quanti triangoli vedi nella figura? 2 3 5

II primaria: Scienze Prova del PP3 La lumachina affamata, dopo essere salita su alcuni sassi, ha finalmente raggiunto le gustose foglie di una piantina di insalata. Quali sono gli esseri viventi presenti in questo breve racconto? La piantina di insalata, la lumachina e i sassi Solo la piantina di insalata e la lumachina Solo la lumachina Ester assaggia questi alimenti. Quale di queste affermazioni è VERA? il cioccolato è salato il limone è aspro tutti i cibi sono dolci

Italiano testo narrativo, espositivo IV primaria Italiano testo narrativo, espositivo 15 + 15 quesiti a 4 alternative 45 minuti Matematica 25-28 quesiti a 4 alternative 45 minuti NUMERO (naturali, decimali, operazioni, metodo posizionale, approssimazioni, frazioni, scelta di operazioni opportune) GEOMETRIA (riconoscimento figure, qualche proprietà, simmetrie, aree e perimetri di figure semplici) MISURA (sistema metrico decimale, semplici conversioni, stima di misure, scelta di unità adatte) PENSIERO RAZIONALE (utilizzo di termini specifici, classificazione di figure, identificazione di dati e percorso di soluzione di problemi) Scienze 25-28 quesiti a 4 alternative 45 minuti ELEMENTI DI METODO SPERIMENTALE VIVENTI e NON VIVENTI UOMO / AMBIENTE TRASFORMAZIONI Osservare, ordinare, classificare, linguaggi specifici

IV primaria: Italiano Quesito sul lessico Che cosa significa “Lo prese l’impulso di scappare” (riga 13)? A. Prese la decisione di scappare B. Valutò l’opportunità di fuggire C. Si sentì costretto a scappare D. Provò l’istinto di fuggire PRETESTING A 22,92% B 7,99% C 14,93% D 53,47% 0,52 (punto biseriale) Omesso 0,69%

IV primaria: Matematica Prova del PP3 Quanto può essere l’altezza di un gradino delle scale di un palazzo? 20 mm 20 cm 20 dm 20 m Quale coppia di figure è simmetrica rispetto alla retta r? r r r r

IV primaria: Scienze Prova del PP3 Il grafico rappresenta le temperature minime registrate con un termometro in una calda mattina di luglio. Quale tra le seguenti osservazioni è vera? Mercoledì e domenica si è registrata la stessa temperatura Lunedì si è registrata la temperatura più bassa Giovedì si è registrata la temperatura più alta Martedì e domenica si è registrata la stessa temperatura Analisi su campione A 2,30% B 1,03% C 2,91% D 93,38% 0,38 (punto biseriale) Doppia risposta 0,03% Omesso 0,34%

I secondaria I grado (I media) : Italiano Prova del PP3 I BRANO: AGORA’ da U.E.Paoli “Come vivevano i Greci” Torino E.R.I. 1957 pp. 12-23 II BRANO: IL MONDO da P. Quarantotti Gambini “Il mondo” da “Gli scrittori e i giovani 2” Bologna, Paccagnella 1977 pp.459-60 L’agorà, cuore della città, è caratterizzata dal fatto che in essa si svolgeva solo il mercato non venivano edificati luoghi di culto non esistevano edifici destinati all’attività politica si svolgevano attività economiche, politiche, religiose

I secondaria I grado: Matematica Prova del PP3 Ogni parallelogramma ha sempre tutti gli angoli uguali le diagonali uguali tutti i lati uguali i lati opposti paralleli Quanto misura l’area della parte colorata in grigio della figura? 10 cm 8 cm 8 cm 20 cm

I diversamente abili? Difficoltà motorie: somministrazione informatica; Difficoltà sensoriali (vista/udito): edizioni speciali delle prove (caratteri grandi o braille) o presenza insegnante che conosce linguaggio gesti o prolungamento tempi; Difficoltà intellettive: la scuola prepara le prove in modo autonomo (anche attingendo a prove nazionali) e somministra in contemporanea; Dislessie: al momento della conferma si è chiesto di che cosa si avvalgano normalmente, nel manuale ci sono consigli di vario tipo (tempi più lunghi, insegnante sostegno, lettore). La scuola decide cosa somministrare (numero inferiore di quesiti,…); Prima lingua diversa: se integrati svolgono le prove nazionali, se hanno problemi a decodificare messaggio scritto, la scuola prepara le prove in modo autonomo (anche attingendo a prove nazionali) e somministra in contemporanea; Invio prove personalizzate all’Invalsi per archivio.

Le date delle prove – Regione Marche Prova di Italiano Prova di Matematica Prova di Scienze mercoledì 6 aprile 2005 giovedì 7 aprile 2005 venerdì 8 aprile 2005 Recupero entro il 22 aprile 2005 Comunicare le nuove date!

Le procedure da seguire Controllare i materiali inviati dall’INvalSI: Fascicoli delle prove di Italiano, Matematica e Scienze Manuali del Somministratore, manuale del Coordinatore Elenco delle classi (da compilare) Elenco degli studenti (da compilare) Etichette autoadesive da applicare sulle copertine dei fascicoli Avvertire tempestivamente l’INvalSI in caso di materiale mancante Conservare il materiale in luogo sicuro fino al giorno della somministrazione

Elenco classi 30009 prima PSPS........ Codice classi Sezione Codice scuola Classe Codice meccanografico 30009 prima PSPS........ Codice classi Sezione Numero studenti Sede 3000901 A 25 centrale 3000902 B 30 3000903 C 27 3000904 D succursale

Elenco studenti 30009 3000901 prima A Codice scuola Codice classe sezione 30009 3000901 prima A Codice studente Cognome e nome Codice esclusione 1,2,3 Data di nascita Sesso Prova di italiano C, A, AB Prova di matematica 300090101 Abate Mario 11/88 M C 300090102 F 300090103 A 300090104 AB

Pianificazione dei giorni delle prove Prova di Italiano Prova di Matematica Prova di Scienze 20 minuti per la distribuzione dei fascicoli e per la lettura delle spiegazioni Tempo prescritto per lo svolgimento della prova

Somministratori Docenti in servizio nel giorno e nelle ore della somministrazione Oppure scelta del Dirigente per un maggiore coinvolgimento l’anno scorso la somministrazione non è andata sempre bene Rotazione No docente della classe, no docente della materia Ogni somministratore dovrebbe avere una copia del Manuale del Somministratore (con un pò di anticipo) Rispetto assoluto della durata prescritta per la prova

Dopo le prove Dopo ogni prova il referente, aiutato dai somministratori, controlla che ogni studente abbia restituito il fascicolo Raccoglie i fascicoli per ogni classe (compresi quelli bianchi) Relaziona sinteticamente sull’andamento delle prove e su eventuali problemi riscontrati Conserva copia elenchi Prepara pacco dei materiali (fascicoli, elenchi studenti e classi compilati, relazione) Restituzione (3 giorni)

Il campione statistico I stadio selezione di scuole con probabilità proporzionale al numero degli studenti di quel tipo di scuola II stadio classi selezionate casualmente nelle scuole campionate III stadio tutti gli studenti delle classi campionate (90%) Intervallo di confidenza al 95%

Le scuole campione Necessità di raggiungere il 90% di presenze (tasso di rispondenza) Eventuale sessione di recupero solo per gli assenti Riconsegna dei materiali in tempi più lunghi Controllo di qualità Assenze ammesse per le classi normali: 50%

Tecnica di risoluzione test Consigli Prima lettura rapida Spunta delle risposte sicure Rileggere ed andare per esclusione Lasciare in bianco le domande su cui non si riesce a escludere nulla Su due risposte, tentare la sorte

Come scaricare le prove dei progetti pilota? Vai nel sito del PROGETTO PILOTA 3 http://www.invalsi.it/pilota3/pp3/ seleziona prove pp3 registrati come utente esterno oppure vai su accesso utenti esterni (in fondo) Login: ludus Password: pilota clicca su Accedi alle prove