INDAGINE OCSE PISA COME SI COSTRUISCE UN ITEM

PREMESSA Qualsiasi elemento è negoziato e discusso nella comunità internazionale I conflitti diplomatici e scientifici sono allordine del giorno Il prodotto finale è il frutto di un compromesso che riflette la bravura dei rappresentanti di un sistema scolastico e il grado del loro inserimento nella comunità scientifica e diplomatica internazionale Qualsiasi tappa si prova in anteprima, si verifica, e si controlla nei minimi dettagli. La regola è: lasciare al caso e allimprovvisazione il meno possibile

QUALI SONO I PASSAGGI? 1.La decisione iniziale 2.La costruzione dellinfrastruttura tecnica 3.La costruzione degli strumenti (items e questionari) 4.Lindagine pilota 5.Lindagine principale 6.Lanalisi dei dati

LA DECISIONE INIZIALE: componente politica 1.La definizione degli obiettivi 2.La decisione di svolgere lindagine 3.Lo stanziamento delle risorse 4.La scelta dei sistemi scolastici partecipanti in funzione di determinate condizioni: –Disporre delle risorse finanziare necessarie per pagare la quota parte dei costi internazionali e la totalità della spesa nazionale; –Disporre di una infrastruttura tecnica in grado di condurre lindagine secondo i criteri standard internazionali allinterno del sistema scolastico

PRIMO PASSAGGIO: DEINIZIONE DEI CRITERI DI SCELTA I TAGS definiscono quel che si vuole sapere partendo dal presupposto che non si può conoscere tutto I TAGS definiscono anche i criteri di scelta degli items.

COSA SONO I TAGS? Sono gruppi tecnici di esperti (Technical Advisory Groups) composti dal consorzio che invita i massimi esperti mondiali nel campo (una decina) per ognuna delle tre competenze chiave (comprensione della lettura,literacy matematica e literacy scientifica) e per i questionari.

COSA FANNO I TAGS? Discutono e precisano il profilo della cultura scientifica che un quindicenne oggi dovrebbe avere per cavarsela nella vita quotidiana e capire quel che succede nel mondo

SECONDO PASSAGGIO: COSTRUZIONE DEGLI ITEMS I sistemi scolastici partecipanti allindagine sono invitati a proporre items per le prove strutturate. In questo modo si raccolgono migliaia di quesiti. Tutti i quesiti sono valutati da parte di tutti secondo una griglia di criteri comuni La costruzione ultima dei test è effettuata dal consorzio dopo la scelta finale dei quesiti da parte di specialisti di psicometria.

QUALE TIPOLOGIA? Domande a scelta multipla semplice Domande s scelta multipla complessa Domande aperte a risposta univoca Domande aperte a risposta breve Domande aperte a risposta articolata In PISA 2000 cerano in totale 56 domande a scelta multipla e ben 63 domande aperte (a risposta breve o articolata). Questa impostazione pone il problema dlla codificazione di qust risposte.

SUPPORTI PER LA VALUTAZIONE Questionario per gli studenti: sviluppato da parte di un gruppo di esperti Questionario per le scuole: costruito da parte di un gruppo di esperti Questionario per gli insegnanti: costruito da parte di un gruppo di esperti e insegnanti Questionario per le famiglie: raro; complementare al questionario studenti Tutti gli strumenti sono sempre il risultato di compromessi didattici, scientifici, politici, sociali

PERCHE LINDAGINE PILOTA –Perchè una prova strutturata non si può inventare di sana pianta. Esige il rispetto di regole precise per non falsare le risposte. –Perchè i quesiti vanno provati prima di essere adottati. Occorre ipotizzare tutti i tipi di trattamento e risposta per prevedere le correzioni. –Perché così i responsabili dei sistemi scolastici, dei dirigenti e dei valutatori fanno esperienza sul campo

PERCHE LINDAGINE PILOTA Serve a verificare tutte le procedure e tutti i protocolli (è in un certo senso una prova generale): –Consente il monitoraggio delle diverse fasi del lavoro –Valuta la pertinenza delle traduzioni degli strumenti nelle diverse lingue nazionali –Codifica le risposte aperte (è un esercizio che pone molti problemi e richiede tempo) –Corregge e adatta gli strumenti per lindagine principale

QUANDO SI FA LINDAGINE PILOTA? UN ANNO PRIMA

DOPO LINDAGINE PILOTA –Messa a punto delle diverse versioni nazionali –Ritocchi del campionamento –Preparazione della lista delle scuole, estrazione del campione di scuola, contatti con le scuole prescelte: supervisione di un arbitro neutro unico che verifica la validità dei campioni di tutti i sistemi scolastici –Campionamento degli studenti allinterno delle scuola –Formazione dei valutatori –Stampa dei quaderni e dei questionari

ED INFINE LA SOMMINISTRAZIONE UFFICIALE Svolgimento della somministrazione nello stesso giorno, stesse ore nello stesso sistema scolastico –Supervisione della somministrazione da parte di arbitri neutri Raccolta del materiale da parte di ogni sistema scolastico partecipante (dalle scuole il materiale ritorna al centro di coodinamento) Codificazione delle risposte aperte in ogni sistema scolastico Pulizia dei dati dapprima a livello nazionale e poi nel centro di calcolo internazionale Trasmissione al centro di calcolo internazionale del materiale

LE FASI FINALI Pulizia dei dati a livello internazionale (comparabilità) Preparazione dei rapporti dindagine Presentazione dei risultati internazionali Preparazione dei risultati nazionali Presentazione dei risultati nazionali Approfondimenti tematici

PERCHE LA COMPARAZIONE? La comparazione serve a conoscere, a mettere in evidenza similitudini e differenze, a ipotizzare fattori di successo e insuccesso La comparazione esige il rispetto di numerose regole di lavoro per non falsificare i dati: –Comparabilità degli items (per esempio la traduzione in varie lingue) –Comparabilità delle procedure –Comparabilità delle definizioni