Progetto Pilota 3 per la valutazione del sistema dell’istruzione Presentazione base: finalità generali e procedure di somministrazione a cura di Claudio Marangon con la collaborazione di Danila Canzian e Marina Favero febbraio 2004

Indice Finalità del Progetto Pilota Servizio Nazionale di Valutazione dell’Istruzione (SNVI): Rete interistituzionale Missione PP1>PP3: la partecipazione in Italia e nel Veneto PP3 caratteristiche Il Questionario di sistema Le prove oggettive La somministrazione delle prove Materiali e documentazione di riferimento febbraio 2004

Progetti pilota: perché? Finalità PP3 Progetti pilota: perché? Per promuovere una cultura della valutazione come strumento di miglioramento per le scuole autonome Per creare una rete di figure professionali addette alla valutazione, facendole emergere dalle scuole Per sperimentare un modello di Servizio Nazionale di Valutazione, allineando il sistema italiano ad analoghe esperienze di altri Paesi febbraio 2004

Servizio Nazionale di Valutazione dell’Istruzione (SNVI)/1 Rete interistituzionale Nel nuovo scenario istituzionale il Servizio Nazionale di Valutazione dell’Istruzione prevede due polarità fondamentali: INValSI, perno delle operazioni di valutazione le autonomie scolastiche, assurte al riconoscimento costituzionale Uffici scolastici regionali e IRRE dovrebbero assumere ruolo di sussidiarietà e accompagnamento delle autonomie scolastiche febbraio 2004

Servizio Nazionale di Valutazione dell’Istruzione (SNVI)/2 Missione del futuro SNVI Misurerà scuola per scuola le uscite del sistema istruzione secondo gli obiettivi nazionali indicati dal Ministro Individuerà annualmente i punti critici per azioni correttive e allocazioni di risorse Utilizzerà parametri coerenti con quelli usati dai servizi di valutazione comunitari ed internazionali febbraio 2004

PP1>PP3: la partecipazione in Italia e nel Veneto A livello nazionale: 2653 scuole iscritte volontariamente nel PP1 6755 scuole iscritte volontariamente nel PP2 oltre 9000 scuole iscritte volontariamente nel PP3 A livello regionale: 138 scuole venete iscritte volontariamente nel PP1 357 scuole venete iscritte volontariamente nel PP2 445 scuole venete iscritte volontariamente nel PP3, di cui: 372 statali e 73 paritarie 279 già iscritte a PP2 41 scuole nel campione probabilistico nazionale 34 scuole a sperimentazione informatica febbraio 2004

PP3 caratteristiche Articolazione delle scuole in due gruppi: campione probabilistico nazionale (589 scuole selezionate dall’INValSI) scuole aderenti volontariamente (oltre 9000 istituzioni scolastiche) Rilevazione nelle classi indicate dalla riforma Tre discipline indagate Strumenti: Questionario di sistema Prove con quesiti a scelta multipla Somministrazione per via cartacea Continuazione sperimentazione informatica febbraio 2004

Il questionario di sistema/1 Dal PP1 e PP2 emerge la necessità di un confronto tra prestazioni degli allievi e offerta delle istituzioni scolastiche. Il Questionario di sistema può rappresentare: strumento di raccolta di elementi di processo traccia complementare e compatibile con qualsiasi modello di autovalutazione di istituto adottato dalle scuole. Tiene conto sia di voci fondamentali comuni sia del possibile spazio di differenziazione fra le scuole stesse febbraio 2004

Il questionario di sistema/2 Il Gruppo che ha elaborato il Questionario di Sistema per il PP3 ha tenuto conto delle indicazioni emerse dal PP2 ha utilizzato le osservazioni di un gruppo di Dirigenti scolastici ha eliminato alcune domande ritenute superflue ha modificato altre domande ha razionalizzato la struttura generale ha aggiunto alcune domande sulle risorse finanziarie, richieste dall’Amministrazione e dalla Corte dei Conti febbraio 2004

Il questionario di sistema/3 Quest’anno il questionario è diviso in due parti da compilarsi in momenti diversi. La prima parte raccoglie informazioni su: caratteristiche strutturali dell’istituto scolastico (strutture fisiche e risorse disponibili) caratteristiche di contesto (bacino demografico, popolazioni, contesto esterno) La compilazione della prima parte (entro il 15 febbraio 2004 è a cura del Dirigente scolastico e del Direttore dei servizi generali e amministrativi. febbraio 2004

Il questionario di sistema/4 La seconda parte raccoglie informazioni su: anagrafica organizzazione istruzione e formazione progetti di integrazione culturale attività di autovalutazione, valutazione interna, certificazione attività di analisi sui risultati ottenuti dalle scuole miglioramento finalizzato ai processi di insegnamento e apprendimento febbraio 2004

Il questionario di sistema/5 La seconda parte è a cura di un Gruppo di discussione individuato all’interno della scuola, e va compilata entro il 31 marzo 2004 Le scuole debbono compilarla almeno in una copia (per l’ordine nel quale si trova la sede amministrativa) si suggerisce, tuttavia, di compilarla in tante copie quanti sono gli ordini presenti (ad es. tre copie nel caso di un Comprensivo costituito da scuola dell’infanzia, elementare e scuola media; nel caso di scuola media andrà compilata un’unica copia, anche se la scuola è dislocata in più plessi) febbraio 2004

Le prove oggettive L’esigenza di rapidità e velocità per l’immissione e l’elaborazione dei dati ha precluso la possibilità di risposte aperte Le prove sono costituite tutte, uniformemente, da quesiti a scelta multipla (4 o 5 risposte, una sola corretta; 3 solo per la classe 2a sc. primaria) I quesiti si riferiscono sostanzialmente agli obiettivi della programmazione dell’anno precedente a quello in cui si svolge la prova numero limitato di obbiettivi durata circa 60’ (leggermente sovradimensionata) taratura difficoltà su indici medio-facili (pre-testing) febbraio 2004

La prova di ITALIANO/1 Quel che si intende testare: Abilità grafiche (e di scrittura) di base Padronanza di un lessico di estensione adeguata Nozioni fondamentali di morfosintassi e semantica L’architettura di un testo Aspetti retorici e formali Comprensione particolare e globale del testo febbraio 2004

La prova di ITALIANO/2 ESEMPIO 1 All’interno della frase: forme implicite, … Indica il significato del gerundio nella frase: Piovendo a dirotto, arrivai in ritardo Siccome pioveva a dirotto, … Anche se pioveva a dirotto, … Ogni volta che pioveva a dirotto, … Se pioveva a dirotto, … febbraio 2004

La prova di ITALIANO/3 ESEMPIO 2 Oltre la frase: i connettivi testuali, … Indica la relazione di significato che collega le due frasi seguenti: Lo chiamai. Non si voltò Lo chiamai. Ma non si voltò Lo chiamai. Infatti Non si voltò Lo chiamai. Dunque non si voltò Lo chiamai. Poi non si voltò febbraio 2004

Comprensione particolare del testo La prova di ITALIANO/4 Comprensione particolare del testo Es. 1: livello scuola primaria (testo narrativo) All’inizio del racconto, il personaggio X è presentato come un … Che cosa fa X per / contro Y? Perché X compie una certa azione? Es.2: livello scuola sec. I grado (testo espositivo) Dopo aver letto la prima parte del brano hai capito che … L’autore afferma che X: questo vuol dire che… Qual è il significato dell’espressione X? febbraio 2004

Comprensione globale del testo La prova di ITALIANO/5 Comprensione globale del testo Es. 1: livello scuola primaria Da chi è raccontata la storia? Dove/Quando si svolge la storia? In quale ordine accadono i fatti della storia? (uso di disegni) Es.2: livello scuola sec. I grado Qual è lo scopo principale del brano? Qual è l’argomento principale del brano? Quale delle seguenti sequenze riassume meglio il brano? febbraio 2004

La prova di ITALIANO/6 Tipologia per livelli Livello Tipo di testo II quesiti n° distrattori II elementare Narrativo (+ prova scienze) 12 2 IV Espositivo 15 3 Medie inferiori Espositivo (argomentativo) 20 Medie superiori Narrativo/poetico espositivo- argomentativo febbraio 2004

Comprensione testo poetico La prova di ITALIANO/7 Comprensione testo poetico Livello: scuola secondaria II grado, III anno Qual è il ‘tema’ profondo della poesia? Qual è il registro linguistico usato dal poeta? In quante strofe si articola la poesia? Da che tipo di versi è composta la poesia? Qual è lo schema ritmico della poesia? Il poeta si rivolge a un interlocutore che va identificato con … La condizione esistenziale / Lo stato d’animo del poeta trova una corrispondenza nell’immagine di … Confrontando il verso X con il verso Y si può osservare che … Qual è la parafrasi corretta dei versi XY? febbraio 2004

La prova di MATEMATICA/1 Conoscenze e abilità COMPETENZE scelte in un ambito disciplinarmente limitato ma significativo CONOSCENZE riferite essenzialmente a quelle acquisite nell’anno precedente Riferimento ai PROGRAMMI di ORDINAMENTO, con attenzione anche ai nuovi CURRICULA in via di formulazione febbraio 2004

La prova di MATEMATICA/2 Classe II scuola primaria Il NUMERO Lettura e scrittura dei numeri naturali …. GEOMETRIA Capacità di attuare percorsi e di riconoscerne caratteristiche (più o meno lungo, aperto, …) … febbraio 2004

La prova di MATEMATICA/3 Classe IV scuola primaria IL NUMERO Conoscere i numeri naturali e decimali e sapere operare con essi; scrittura posizionale dei numeri … GEOMETRIA LA MISURA INTRODUZIONE AL PENSIERO RAZIONALE ... febbraio 2004

La prova di MATEMATICA/4 Classe I scuola secondaria I grado IL NUMERO Conoscere i numeri naturali e decimali; saper operare con essi e attuare approssimazioni … GEOMETRIA LA MISURA INTRODUZIONE AL PENSIERO RAZIONALE DATI E PREVISIONI febbraio 2004

La prova di MATEMATICA/5 Classi I e III scuola secondaria II grado NUMERO e ALGEBRA Conoscenze fondamentali riguardanti i numeri naturali, interi, razionali … GEOMETRIA RELAZIONI e FUNZIONI DATI E PREVISIONI / LOGICA febbraio 2004

La prova di SCIENZE/1 Caratteristiche delle prove Anche se su indici medi (Idiff = 0,4 ÷ 0,6), queste prove dovrebbero essere leggermente più difficili del PP2 per la II elementare 7 quesiti a scelta multipla (3 alternative) per gli altri livelli 25 quesiti a scelta multipla (4 alternative) quesiti a scelta multipla per tutti i livelli, centrati sui concetti fondamentali delle scienze sperimentali della natura verifica dell’acquisizione dei punti chiave del metodo scientifico, che entra in gioco con modalità diverse nelle diverse discipline temi fondamentali per tutti i livelli, ma con approfondimenti e specificità disciplinari diversificate febbraio 2004

La prova di SCIENZE/2 Caratteristiche dei quesiti Riproduzione degli stessi argomenti nei diversi livelli ma con formulazione più complessa dei quesiti e dei distrattori Abilità implicate dai concetti indagati: identificazione delle caratteristiche dell’oggetto riconoscimento di differenze e somiglianze costruzioni di nessi, ecc. Abilità trasversali: osservazione, uso di un linguaggio ordinario o tecnico, comprensione di un testo, ecc. febbraio 2004

La prova di SCIENZE/3 TEMI Seconda elementare Elementi di metodo sperimentale Viventi/non viventi Uomo/ambiente Quarta elementare - Prima media Trasformazioni Prima superiore - Terza superiore Biologia Chimica Fisica Scienze della Terra Scienze dell’ambiente febbraio 2004

La prova di SCIENZE/4 ABILITA’ I sc. sec II grado IV scuola primaria Osservare riconoscere fenomeni di natura diversa Classificare ordinare (in sequenze temporali e/o logiche, in termini quantitativi) stabilire relazioni riconoscere caratteristiche specifiche Linguaggi specifici Utilizzare il linguaggio matematico calcolare, quantificare (unità di misura, strumenti di misura), confrontare leggere tabelle, leggere grafici, leggere ed eseguire disegni in scala Interpretare dati empirici e/o sperimentali Risolvere situazioni problematiche mediante concetti disciplinari Leggere e comprendere un breve testo scientifico IV scuola primaria I sc. sec I grado Osservare descrivere: raccogliere dati riflettere su indizi riconoscere caratteristiche specifiche di un fenomeno Ordinare •in sequenze temporali e/o logiche Classificare stabilire relazioni in base a caratteristiche specifiche confrontare in termini qualitativi e/o quantitativi Linguaggi specifici Leggere e comprendere un breve testo scientifico, usando termini del lessico specifico •Leggere il linguaggio grafico ABILITA’ II scuola primaria Osservare •esplorare attraverso i sensi •discriminare tra vivente e non vivente Ordinare Classificare •stabilire relazioni febbraio 2004

La prova di SCIENZE/5 Classe II scuola primaria Esempio 1 (pre-testing) La mamma ha messo sul fuoco una pentola colma d’acqua. Si è però distratta per preparare la verdura e l’acqua ha continuato a bollire per 15 minuti. Che cosa è successo nel frattempo alla quantità d’acqua? A. È rimasta quella iniziale. B. È diminuita molto. C. È aumentata. Risposta Risposta corretta Casi Percentuale Punto biseriale A 26 10,79 -0,28 B * 105 43,57 0,34 C 110 45,64 -0,16 Doppia risposta 0 0,00 NA Omesso 0 0,00 NA Numero totale dei casi 241 Indice di discriminazione 0,34 febbraio 2004

Esempio 2 (pre-testing) La prova di SCIENZE/6 Classe II scuola primaria Esempio 2 (pre-testing) Renzo porta in classe una piccola calamita che gli è stata regalata dal nonno. I compagni avvicinano alla calamita i seguenti oggetti: una chiave di ferro; un foglio di carta appallottolato; una biglia di vetro; una gomma. Quali oggetti verranno attirati dalla calamita? A. Tutti gli oggetti. B. La chiave e la biglia. C. La chiave. D. Nessun oggetto. Risposta Risposta corretta Casi Percentuale Punto biseriale A 3 1,08 -0,27 B 22 7,94 -0,23 C * 250 90,25 0,30 D 2 0,72 0,03 Doppia risposta 0 0,00 NA Omesso 0 0,00 NA Numero totale dei casi 277 Indice di discriminazione 0,30 febbraio 2004

La prova di SCIENZE/7 Classe II scuola primaria Esempio 3 (pre-testing) Secondo te quanto misura lo spessore della moneta di un euro? □A. 5 millimetri □B. 0,2 centimetri □C. 1 centimetro □D. 0,3 millimetri Risposta Risposta corretta Casi Percentuale Punto biseriale A 61 26,99 -0,11 B * 62 27,43 0,25 C 18 7,96 -0,14 D 85 37,61 -0,05 Doppia risposta 0 0,00 NA Omesso 0 0,00 NA Numero totale dei casi 226 Indice di discriminazione 0,25 febbraio 2004

La somministrazione delle prove La somministrazione cartacea La somministrazione informatica/mista Il campione statistico a somministrazione cartacea Ruolo e compiti del referente di istituto Ruolo e compiti del somministratore Il monitoraggio delle attività Il controllo di qualità febbraio 2004

La somministrazione cartacea Riguarda tutte le scuole che hanno aderito volontariamente al Progetto Pilota 3 Ogni scuola riceverà il materiale cartaceo (copie dei fascicoli delle prove in numero sufficiente, elenco delle classi e degli studenti, manuale del somministratore) tramite corriere La somministrazione, coordinata dal Referente di istituto, sarà effettuata da tutte le scuole nelle date indicate dall’Invalsi (un giorno per ognuna delle tre prove) Le date indicate per il PP3 sono 16-28 febbraio 2004; le prove si svolgeranno in ore antimeridiane Le date delle prove devono essere comunicate agli studenti delle rispettive classi, sensibilizzandoli sull’importanza della rilevazione febbraio 2004

La somministrazione informatica/mista/1 Riguarda le scuole segnalate dalla Direzione Generale, e dotate di adeguata attrezzatura E’ possibile una somministrazione mista (alcune classi informatica, le restanti cartacea) secondo quanto le scuole hanno già segnalato all’Invalsi Il referente di istituto riceverà un apposito software per gestire l’operazione di scarico e carico dei dati Per difficoltà di carattere tecnico è possibile fare riferimento a: prof. Pierantonio Garlini (presso CSA Vicenza) tel. 0444 251173; cell. 347 4588897 pierantonio.garlini@istruzionevicenza.it oppure a: Help desk INValSI tel. 06 94185273-274-275-276-277 Fax 06 94185252-202-279 e-mail progettopilota3@invalsi.it febbraio 2004

La somministrazione informatica/mista/2 Esempio di pianificazione nel caso di somministrazione informatica Ipotesi: Laboratori = 1\6 classi PC per laboratorio = 12-14 febbraio 2004

La somministrazione informatica/mista/3 Condizioni per svolgere l’eventuale recupero della prova: compilazione sospesa per un cattivo funzionamento dell’apparato informatico locale compilazione rimandata per l’assenza del 50% degli studenti di una classe Chi svolge il recupero: Una o più classi intere Quando svolgere il recupero: Dopo l’ultima sessione di compilazione delle prove oggettive di scienze febbraio 2004

Il campione statistico a somministrazione cartacea INValSI ha già reso note le classi selezionate (vedi http://www.invalsi.it/Pilota3/pp3/index.htm, poi Classi campionate) La somministrazione delle prove sarà cartacea La scuola riceverà comunque il materiale cartaceo per tutte le classi, e potrà scegliere se somministrare le prove a tutte le classi oppure solo quella selezionata da INValSI per ogni livello Tuttavia, solo quella selezionata da INValSI risulterà parte del campione statistico febbraio 2004

Ruolo e compiti del referente di istituto/1 Sensibilizzazione personale scolastico e famiglie (presentazione PP3 e suoi obiettivi; esempi risultati PP2) Sensibilizzazione studenti ad una partecipazione consapevole (riservatezza e non anonimato) Coordinamento della compilazione del Questionario di sistema Responsabilità della somministrazione delle prove febbraio 2004

Ruolo e compiti del referente di istituto/2 Per il QUESTIONARIO DI SISTEMA: Coordina le attività della compilazione del questionario Preleva il Questionario e il Manuale di compilazione dal sito Invalsi Costituisce il Gruppo di discussione Distribuisce copia cartacea del Questionario a tutti i membri del Gruppo Pianifica le date per i necessari incontri del Gruppo Stabilisce la data in cui registrare on line le risposte Compila, entro il 31 marzo 2004, il Modulo di osservazioni per permettere il monitoraggio delle attività che hanno portato alla compilazione del Questionario febbraio 2004

Ruolo e compiti del referente di istituto/3 In base al tipo di Istituto, il Gruppo di discussione può essere costituito da: il Dirigente scolastico due allievi (per le scuole superiori) scelti tra i rappresentanti di classe o di Istituto due genitori scelti tra i rappresentanti di classe o di Istituto il DSGA e un rappresentante del personale ATA (per quanto di loro competenza e in particolare per le scuole statali) tre Docenti di discipline diverse febbraio 2004

Ruolo e compiti del referente di istituto/4 Per la SOMMINISTRAZIONE DELLE PROVE: Sceglie, assieme al Dirigente scolastico, i colleghi somministratori Informa adeguatamente i somministratori sulle procedure, garantendo che ci siano le stesse condizioni di misura >>> Manuale del referente di istituto >>> Manuale del somministratore E’ responsabile di tutti i materiali Controlla i materiali ricevuti dall’INValSI via corriere e li conserva in luogo sicuro febbraio 2004

Ruolo e compiti del referente di istituto/5 Applica le etichette con i codici sulle copertine di ciascun fascicolo Compila Elenco classi e Elenco studenti Conserva una copia degli elenchi Coordina le attività di somministrazione delle prove oggettive nelle date indicate dall’Invalsi Pianifica eventuale attività di recupero Stende una relazione guidata Riconsegna i materiali (via corriere) febbraio 2004

Ruolo e compiti del referente di istituto/6 Elenchi studenti Obbligo di partecipare per tutti gli studenti presenti il giorno della prova Assicurare che siano ‘esclusi’ solo gli studenti che rientrano fra i casi previsti Si consiglia di far partecipare alle prove anche gli studenti cui è stato assegnato un codice di esclusione (per non turbare la loro sensibilità e non discriminarli) Esclusioni: non verranno elaborati i dati di alcune categorie di studenti, da segnalare con il relativo codice esclusione: Studenti disabili fisici Studenti disabili psichici Studenti di lingua madre diversa dalla lingua delle prove, >>> esempio Elenco classi e studenti PP3 febbraio 2004

Ruolo e compiti del somministratore E’ scelto tra gli insegnanti che non sono della classe, possibilmente non della materia interessata, indicativamente a rotazione tra gli insegnanti in servizio il giorno della somministrazione Ha il ruolo fondamentale di assicurare la correttezza della somministrazione.In particolare: assicura la necessaria assistenza agli studenti distribuendo i materiali e fornendo le spiegazioni per la compilazione delle prove se necessario, richiama gli studenti all’impegno e vigila affinché le prove siano da tutti compilate autonomamente non fornisce, in alcun modo, alcun tipo di aiuto in merito alle risposte febbraio 2004

Il monitoraggio delle attività Un monitoraggio sull’andamento degli incontri provinciali di coordinamento verrà effettuato dall’Invalsi tramite: osservazione sul campo: personale dell’INValSI parteciperà ad alcuni degli incontri programmati a livello regionale e provinciale. somministrazione telematica di un questionario (uno per ciascuna tipologia di referente: regionale, provinciale, coordinatore di istituto) a partire dalla fine di febbraio 2004. I dati che scaturiranno dall’osservazione sul campo e dalla somministrazione dei tre questionari saranno pubblicati in tempo reale sul sito Formazione PP3. febbraio 2004

Il controllo di qualità Durante i giorni della somministrazione verrà effettuato, a cura della Direzione Generale, un controllo di qualità per verificare come vengano attuate le procedure, con lo scopo di assicurare la maggiore affidabilità ai dati che verranno raccolti per l’elaborazione a livello nazionale. Il controllo di qualità sarà condotto tramite personale appositamente incaricato che effettuerà visite a un campione di scuole. febbraio 2004

Materiali e documentazione di riferimento http://www.invalsi.it/Pilota3/pp3/index.htm Manuali per referenti di istituto e somministratori Questionario di sistema (Parti 1 e 2) e Manuali per la compilazione Esempi di prove e risultati PP2 (http://www.invalsi.it/pilota2/) Nominativi referenti regionali Informazioni su incontri provinciali Bacheche per Comunicazioni urgenti e Forum Materiale vario … febbraio 2004 Altro materiale sul sito dell’USR Veneto, area Progetto Pilota: http://www.istruzioneveneto.it/pilota/menupilota.shtml

Riferimenti a livello provinciale Per ogni attività legata al PP3 è possibile rivolgersi anche a: (riferimento referente c/o CSA) (riferimento docente esterno) febbraio 2004