Pisa 2006: Approfondimenti tematici e metodologici

Gli Obiettivi di PISA Monitoraggio triennale di un segmento rappresentativo delle competenze attese negli ambiti della comprensione dei testi scritti, della literacy matematica, di quella scientifica. Analisi dei risultati in funzione di caratteristiche degli alunni e delle scuole allinterno dei contesti più ampi (in assenza di alcuna considerazione dei risultati dei singoli) Valutazione comparativa tra contesti locali (regionali-nazionali)

Quello che tutti vogliono sapere

Risultati in scienze (livelli) in PISA 2006

La valutazione comparativa ha una sua rilevanza, ma solo se viene inserita in un contesto di analisi più complesse che permette di spiegare le differenze in termini dei fattori, possibilmente modificabili, che ne sono alla base.

Aspetti Metodologici 1: Misurare le Scienze

Definizioni operative " Il nuovo atteggiamento verso i concetti è del tutto differente. Possiamo illustrarlo prendendo in considerazione il concetto di lunghezza. Cosa intendiamo per lunghezza di un oggetto? Evidentemente sappiamo che cosa intendiamo per lunghezza se possiamo dire qual'è la lunghezza di qualunque oggetto, ed al fisico non occorre niente di più. Per trovare la lunghezza di un oggetto, dobbiamo compiere certe operazioni fisiche. Il concetto di lunghezza risulta pertanto fissato quando sono fissate le operazioni mediante cui la lunghezza si misura; vale a dire, il concetto di lunghezza implica né più né meno che il gruppo di operazioni con cui la lunghezza si determina. In generale, per concetto noi non intendiamo altro che un gruppo di operazioni; il concetto è sinonimo del corrispondente gruppo di operazioni" Percy W. Bridgman Percy W. Bridgman. The Logic of Modern Physics (1927)

Dalle scienze alle domande variabili Definizione delarea dinteresse Indicatore A Indicatore B Indicatore C variabili Livello più astratto: Le scienze. Livello intermedio Livello operazioni concrete (Es. variabile su cui vengono registrate le risposte alla domanda) CONCRETO ASTRATTO

Il livello intermedio 1)Le conoscenze scientifiche e la capacità di usarle per spiegare i fenomeni e per trarre conclusioni basate sulle evidenze 2)La comprensione della scienza come forma di conoscenza 3)La consapevolezza del ruolo delle scienze 4)La volontà di impegnarsi in problemi che implicano nozioni a carattere scientifico

Il livello delle operazioni concrete: Le domande. 1)Adattare il materiale 2)Porre cura e attenzione alle domande troppo connotate culturalmente 3)Scartare gli item su cui si riscontrano comportamenti diversi nei diversi contesti Esiste una analisi della invarianza delle misure nei diversi contesti regionali? Qual è il modo migliore per costruire indicatori capaci di esprimere sinteticamente informazioni di di natura complessa che siano validi e attendibili?

I TEMI DI NATURA PSICOMETRICA SONO AFFRONTATI ANCHE NEL VOLUME. AD ESEMPIO …. Di Chiacchio e Mayer mettono in evidenza la necessità di avere indici relativi al processo di apprendimento-insegnamento e sulla difficoltà di avere tali indici Il contributo di Corni e Mariani riflette la condivisibile esigenza di identificare nuovi indicatori utili ai fini della valutazione dellefficacia dellinsegnamento. Nel lavoro viene descritta la costruzione e lapplicazione di uno specifico metodo per lanalisi delle risposte alle domande del PISA basato sulla concentrazione delle risposte tra le diverse alternative. Il contributo è particolarmente interessante e da spunto al lettore a tutta una serie possibile di applicazioni che si riferiscono sia ai dati del PISA che ad altri possibili data set nello stesso ambito. Quintano, Castellano e Longobardi propongono un indicatore motivazionale basato su la rielaborazione di indicatori della collaborazione dei rispondenti. Anche in questo caso la misura ha, potenzialmente, un valore euristico che prescinde dalle finalità dello studio presentato. Borrione affronta il problema della misura dellempowerment Asquini e Corsini i temi della sottoscale relative alla lettura

Aspetti Metodologici 2: Analizzare le Scienze

Le differenze

La variabilità tra contesti e limpatto di alcune variabili su di essa

Le regressioni multilevel sono IL modello di analisi che caratterizza la maggior parte dei contributi empirici del volume In quello di Alivernini, Losito e Palmerio i metodi di analisi si combinano, dapprima alla ricerca di gruppi classificati ad albero per diversi livelli di omogeneità sul piano delle competenze, poi la regressione multilevel viene condotta nel tentativo di identificare i fattori che incidono di più sulle competenze scientifiche dentro le scuole e fra le scuole. Quintano, Castellano e Longobardi usano la strategia multilevel per indagare il ruolo degli aspetti motivazionali dopo aver controllato per variabili sia a livello dello studente che a livello della scuola. Il contributo di Borrione enfatizza la rilevanza del sistema sociale ed economico regionale valutando limpatto delle opportunità di empowerment sui risultati. Gentile e Borrione analizzano limpatto dei diversi percorsi di istruzione Martini e Zaccarin guardano al genere e alla sua interazione con il percorso intrapreso.

1) Pareggiando gli aspetti strutturali, le scuole contano tot, pareggiando anche gli aspetti scolastici, gli individui contano tot….. 2) Pareggiando gli aspetti scolastici, gli aspetti strutturali, contano tot, pareggiando anche gli aspetti strutturali, gli individui contano tot….. 3) Pareggiando le differenze individuali, gli aspettistrutturali contano tot, pareggiando anche quelli, le scuole contano tot Sono informazioni cruciali ma….. cambiando lordine dei livelli il risultato potrebbe cambiare!

Grazie ai contributi del volume alcuni aspetti emergono con chiarezza ancora maggiore 1) Vi è la necessità di stabilire con chiarezza lunità di analisi. Unità di analisi diverse danno luogo a domande diverse che, ovviamente, danno luogo a risposte differenti 2) Vi è la necessità di compiere le scelte nella gerarchia dei livelli entro un piano strategico esplicitato a priori: di quali variabili voglio controllare gli effetti e di quali voglio stimare limpatto? 3) Vi è la necessità di non confondere correlazioni con rapporti causali

Aspetti Metodologici 3: Disegnare le Scienze

Solo gli aspetti di disegno rendono possibile lo stabilirsi di relazioni causali. Esse sono potenzialmente diverse tra i diversi contesti nazionali, perché diverse possono essere le ragioni di iniquità. La necessità di studi longitudinali