Tutte le tappe sono passaggi obbligati: 1.La decisione iniziale 2.La costruzione dellinfrastruttura tecnica 3.La costruzione degli strumenti 4.Lindagine pilota 5.Lindagine principale 6.Lanalisi dei dati

2004Messa a punto del quadro teorico e costruzione degli strumenti Sviluppo del quadro teorico Costruzione e revisione di prove e questionari 2005Indagine pilota Traduzione prove, questionari e manuali Somministrazione su campione di giudizio Codifica risposte aperte, immissione e pulizia dati Analisi dati e finalizzazione degli strumenti Comunicazione dei risultati alle singole scuole 2006Indagine principale Campionamento Finalizzazione delle traduzioni degli strumenti Operazioni propedeutiche alla somministrazione Somministrazione (marzo aprile) Codifica risposte aperte, immissione e pulizia dati 2007Analisi dati e preparazione rapporto Analisi dei dati Stesura rapporti

Non si può conoscere tutto; I gruppi di esperti definiscono le specifiche dimensioni oggetto di analisi; Gli item si concentrano esclusivamente sullinvestigazione di queste dimensioni.

I sistemi scolastici partecipanti allindagine sono invitati a proporre item per le prove strutturate. In questo modo si raccolgono migliaia di quesiti. Tutti i quesiti proposti sono valutati da parte di tutti secondo una griglia di criteri comuni

La costruzione dei test (prove standardizzate) è effettuata dal consorzio dopo la scelta finale dei quesiti da parte di specialisti di psicometria. I quesiti vengono dapprima messi alla prova (validità, pertinenza, dimensioni misurate, ecc.) secondo i criteri psicometrici di validità degli items.

Gli items non sono scelti a caso. I loro comportamenti (ossia come un quesito è capito da uno studente) devono essere sperimentati. Il caso delle caratteristiche formali dei quesiti, ossia la questione delle domane a scelta multipla (i quiz) o delle domande aperte. Per esempio in PISA 2000 si sono previste: Domande a scelta multipla semplice Domande s scelta multipla complessa Domande aperte a risposta univoca Domande aperte a risposta breve Domande aperte a risposta articolata In PISA 2000 cerano in totale 56 domande a scelta multipla e 63 domande aperte (a risposta breve o articolata). Questa impostazione pone il problema della codificazione di queste risposte.

Una prova strutturata non si può inventare di sana pianta. Esige il rispetto di regole precise per non falsare le risposte. I quesiti vanno provati prima di essere adottati. Occorre ipotizzare tutti i tipi di trattamento e risposta per prevedere le correzioni. Questo lavoro va svolto da specialisti che indagano la qualità degli item (la validità dei quesiti). Lanalisi degli item studia in particolare: –indice di difficoltà (problema dellinterpretazione delle risposte mancanti); –indice di discrimiazione (problema dellinterpretazione degli item scartati nella fase di preparazione. I quesiti del test sono quelli adottati allunanimità)

Lindagine pilota è responsabilità di ciascuno dei sistemi scolastici coinvolti ed ha i seguenti obiettivi: Mira a valutare la validità degli strumenti La pertinenza delle traduzioni degli strumenti nelle diverse lingue nazionali Allenamento dei responsabili dei sistemi scolastici, dei dirigenti e dei valutatori Analisi dei dati: cosa si può dire con i dati che si ottengono? Correzione e adattamento degli strumenti per lindagine principale

Dopo lindagine pilota: –Messa a punto delle diverse versioni nazionali –Ritocchi del campionamento –Preparazione della lista delle scuole, estrazione del campione di scuola, contatti con le scuole prescelte: supervisione di un arbitro neutro unico che verifica la validità dei campioni di tutti i sistemi scolastici –Campionamento degli studenti allinterno delle scuola –Formazione dei valutatori –Stampa dei quaderni e dei questionari

Somministrazione principale: stesso giorno, stessa ora in ciascun sistema scolastico Supervisione della somministrazione da parte di valutatori neutri Raccolta del materiale in ogni sistema scolastico partecipante (dalle scuole il materiale ritorna al centro di coordinamento) Codifica delle risposte aperte in ogni sistema scolastico Elaborazione dei dati dapprima a livello nazionale e poi nel centro di calcolo internazionale Trasmissione del materiale al centro di calcolo internazionale

Comparazione dellindagine nei vari Paesi Preparazione del rapporto dindagine Presentazione dei risultati internazionali Preparazione dei risultati nazionali Presentazione dei risultati nazionali Approfondimenti tematici