La valutazione delle competenze scientifiche Michela Mayer Science Expert Group Pisa 2006 INVALSI- Rapporto PISA italiano per le scienze

E’ importante valutare le competenze scientifiche? In Italia non è così scontato Gruppo di lavoro per la diffusione della cultura scientifica e tecnologica presieduto da L. Berlinguer

Italia, paese di scienziati? Siamo tra gli ultimi nei Paesi OCSE Gli studenti italiani non sanno perchè ci sono il giorno e la notte La nostra scuola non fornisce competenze scientifiche e matematiche Abbiamo i migliori ricercatori del mondo I nostri ragazzi arrivano primi alle olimpiadi scientifiche La nostra è una scuola seria, sono i test che si sbagliano…

Chi valuta le competenze e perché? Le indagini internazionali - PIRLS, TIMSS, PISA – si sono proposte negli ultimi 10 anni di valutare competenze e non solo conoscenze. Per competenza si intende (OCSE, DeSeCo, 2002): La capacità di rispondere a esigenze individuali e sociali, o di svolgere efficacemente un'attività o un compito. Ogni competenza comporta dimensioni cognitive, abilità, attitudini, motivazione, valori, emozioni e altri fattori sociali e comportamentali

Cos’è TIMSS? Trends in International Mathematics and Science Study Si rivolge a studenti di 4° elementare e 3° media Il test è rivolto agli studenti della stessa classe, e il questionario insegnante permette di interpretare i risultati degli studenti anche in relazione agli stili di insegnamento. Tiene conto dei curricoli nazionali Si ripete ogni 4 anni Nel 2007 hanno partecipato 37 nazioni per la 4° elementare e 50 per l’8° anno di scolarizzazione. Attraverso l’analisi dei risultati vengono definiti 4 livelli di competenza: avanzato, alto, intermedio, basso.

Cos’è PISA? PISA - Programme for International Student Assessment Indagine internazionale promossa dall’OCSE l’attenzione non è sui contenuti curricolari quanto sulle capacità ad affrontare problemi e compiti di vita quotidiana

PISA si rivolge solo ai ‘quindicenni’, in qualunque tipo di scuola si trovino propone rilevazioni ogni tre anni, su tre aree (lettura, matematica, scienze) 32 paesi partecipanti nel 2000, 41 nel 2003, 57 nel 2006

literacy lingua madre 2000 e 2009 matematica scienze 2006 2003

Paesi che hanno partecipato a PISA nel 2006

PISA: Quale scienza per quale società? “Che cosa è importante che un cittadino conosca, a che cosa è importante che dia valore e che cosa è importante che sia in grado di fare, in situazioni che richiedono il ricorso alla scienza e alla tecnologia o che sono in qualche modo da esse determinate?” Le competenze che costituiscono il nucleo centrale della definizione di literacy scientifica di PISA 2006 sono fondamentali per rispondere a questa domanda. Esse si riferiscono a quanto gli studenti sappiano: individuare questioni di carattere scientifico dare una spiegazione scientifica dei fenomeni usare prove fondate su dati scientifici   

Come PISA 2006 definisce e valuta le competenze scientifiche Contesto Situazioni di vita che hanno a che fare con la scienza e la tecnologia Competenze individuare questioni di carattere scientifico dare ai fenomeni una spiegazione scientifica usare prove basate su dati scientifici Conoscenze Conoscenze sul mondo naturale (conoscenza della scienza) Conoscenze sulla scienza in quanto tale (conoscenza sulla scienza) Atteggiamenti Risposta alle questioni di carattere scientifico interesse sostegno alla ricerca scientifica responsabilità Richiede alle persone di Il modo in cui lo fanno è influenzato da

Risultati in scienze (medie) in PISA 2006

Risultati in scienze (livelli) in PISA 2006

Risultati medi su tutte le scale di scienze Italia OCSE Scale Punt. medio D. S. Diff.. M-F Individuare questioni di carattere scientifico 474 99 -17 499 95 Dare una spiegazione scientifica dei fenomeni 480 100 15 500 98 Usare prove basate su dati scientifici 467 111 -2 108 Conoscenza sulla scienza 472 -8 97 Sistemi della Terra e dell’Universo 113 104 17 Sistemi Viventi 488 3 502 4 Sistemi Chimici e Fisici 25 26 Scala complessiva 475 96 2 Source: OECD PISA database 2006. Le differenze tra punteggio dei maschi e punteggio delle femmine poste in grassetto sono significative.

Risultati Italiani in Scienze TIMMS 2007 e PISA 2006 TIMSS 2007 Quarto anno Ottavo anno Pisa 2006 Quindici anni   Media Err. St. Err.St. Nord-Ovest 541 4.9 509 4.5 501 4.1 Nord Est 556 5.4 527 7.1 520 2.8 Centro 536 5.8 506 3.7 486 8.0 Sud 532 8.8 477 6.1 448 Sud e Isole 507 8.7 462 432 4.6 Italia 535 3.2 495 475 2.0 Media Int. o Media OCSE 500 Nazione migliore 587 567 4.4 563 Singapore Finlandia

Risultati nella scala complessiva di scienze per tipo di scuola

Media e dispersione dei risultati al Sud rispetto ai risultati nazionali e internazionali Area geografica * Tipo di scuola Tutti gli studenti Punteggio medio Deviazione Standard Media E.S. D.S. Sud Licei 485 (6,6) 77 (2,8) Istituti Tecnici 442 (5,0) 73 (2,2) Istituti Professionali 387 (5,4) 69 (2,5) Scuole Medie 343 (11,0) 74 (13,0) Formazione Professionale -   Totale 448 (3,7) 84 (1,9) Italia 518 (3,2) 85 (2,0) 475 (2,9) 83 (1,4) 414 (4,3) 82 340 (16,3) 93 (15,0) 405 (11,8) 80 (4,7) 96 (1,3) Totale OCSE 491 (1,2) 104 (0,6) Media OCSE 500 (0,5) 95 (0,3) Fonte: base dati OCSE PISA2006 / INVALSI

Un esempio: PIOGGE ACIDE La fotografia qui sotto mostra alcune statue dette Cariatidi, erette sull’Acropoli di Atene più di 2500 anni fa. Queste statue sono fatte di un tipo di roccia che si chiama marmo. Il marmo è composto di carbonato di calcio. Nel 1980, le statue originali, che erano state corrose dalle piogge acide, sono state trasferite all’interno del museo dell’Acropoli e sostituite da copie. L’effetto delle piogge acide sul marmo può essere simulato immergendo scaglie di marmo nell’aceto per una notte. L’aceto e le piogge acide hanno più o meno lo stesso livello di acidità. Quando si immerge una scaglia di marmo nell’aceto, si formano bolle di gas. Si può determinare la massa della scaglia di marmo asciutta, prima e dopo l’esperimento. Nei test PISA ogni prova è introdotta da un testo stimolo, che contestualizza le domande che seguono e che fornisce gran parte delle informazioni necessarie

Le domande possono essere a scelta multipla Domanda  3: PIOGGE ACIDE (competenza: Dare una spiegazione scientifica dei fenomeni) Una scaglia di marmo ha una massa di 2,0 grammi prima di essere immersa per una notte nell’aceto. Il giorno dopo, la scaglia viene tolta dall’aceto e asciugata. Quale sarà la massa della scaglia di marmo asciutta? Meno di 2,0 grammi. Esattamente 2,0 grammi. Tra 2,0 e 2,4 grammi. Più di 2,4 grammi. Domanda  5: PIOGGE ACIDE(competenza: Individuare questioni di carattere scientifico) Gli studenti che hanno fatto questo esperimento hanno immerso per una notte scaglie di marmo anche in acqua pura (distillata). Spiega perché gli studenti hanno inserito anche questa fase nel loro esperimento. ___________________________________________________________ Le domande possono anche essere aperte

Come rispondono gli studenti Paesi Piogge Acide Dom. 5 Difficoltà 529– Livello 3 Difficoltà 717– Livello 6 % punteggio parziale E. S. % punteggio pieno % Omesse Italia 32,7 0,9 16,2 29,2 1,2 Finlandia 60,1 1,4 8,2 0,8 10,4 Giappone 32,3 1,3 19,3 29,8 Media OCSE 43,0 0,2 14,0 17,3

Il problema delle omissioni

Un altro esempio: MARY MONTAGU Leggi il seguente articolo di giornale e rispondi alle domande che seguono. LA STORIA DELLA VACCINAZIONE Mary Montagu era una donna molto bella. Nel 1715, sopravvisse ad un’epidemia di vaiolo ma rimase piena di cicatrici. Durante un soggiorno in Turchia nel 1717, osservò un metodo che lì veniva praticato abitualmente detto inoculazione. Tale trattamento prevedeva che una forma attenuata del virus del vaiolo fosse trasmessa graffiando la pelle di persone giovani e sane che così si ammalavano ma che, nella maggior parte dei casi, sviluppavano la malattia solo in forma lieve. Mary Montagu fu così convinta che queste inoculazioni non fossero pericolose, da permettere che suo figlio e sua figlia fossero inoculati. Nel 1796, Edward Jenner si servì di inoculazioni di una malattia della stessa famiglia, il vaiolo vaccino, per stimolare la produzione di anticorpi contro il vaiolo. In confronto all’inoculazione del vaiolo, questo trattamento aveva meno effetti collaterali e la persona trattata non poteva infettarne altre. Il trattamento divenne noto sotto il nome di vaccinazione.

Domanda 2: MARY MONTAGU Contro quale tipo di malattie ci si può far vaccinare? Le malattie ereditarie, come l’emofilia. Le malattie provocate dai virus, come la poliomielite. Le malattie dovute ad una disfunzione del corpo, come il diabete. Tutte le malattie per le quali non esiste una cura.

Domanda 3: MARY MONTAGU Se animali o esseri umani si ammalano per un’infezione batterica e poi guariscono, di solito non si ammaleranno più a causa di quel tipo di batteri. Per quale motivo? Il corpo ha ucciso tutti i batteri che possono provocare lo stesso genere di malattia. Il corpo ha prodotto anticorpi che uccidono quel tipo di batteri prima che si moltiplichino. I globuli rossi uccidono tutti i batteri che possono provocare lo stesso genere di malattia. I globuli rossi catturano tutti i batteri di quel tipo e li eliminano dal corpo. Domanda 4: MARY MONTAGU Fornisci un motivo per cui si raccomanda in particolare ai bambini ed alle persone anziane di vaccinarsi contro l’influenza. ………………………………………………………………………………………………………………….............. ................................................................................................................. …………………………………………………………………………………………………………………………………..

Come rispondono gli studenti Paesi MARY MONTAGU Dom. 2 Difficoltà 436 – Livello 2 MARY MONTAGU Dom. 3 Difficoltà 431 – Livello 2 MARY MONTAGU Dom. 4 Difficoltà 507 – Livello 3 % corrette E. S. Finlandia 85.3 1.1 84.4 0.9 79.2 1.2 Francia 76.5 1.4 84.1 1.0 51.6 1.6 Grecia 69.8 78.8 52.5 1.5 Italia 79.4 0.8 81.3 54.0 Media OCSE 74.9 0.2 75.1 61.7

Un esempio di prova che non è stata usata: ENERGIA EOLICA L’energia eolica è da molti considerata una fonte di energia in grado di sostituire le centrali termiche a petrolio o a carbone. I dispositivi nella foto sono rotori dotati di pale che il vento fa ruotare. Queste rotazioni permettono ai generatori messi in moto dalle pale di produrre energia elettrica.

usare prove basate su dati scientifici Competenza: usare prove basate su dati scientifici I seguenti grafici riportano la velocità media del vento in quattro diversi luoghi nel corso di un anno. Quale dei grafici indica il luogo più adatto all’installazione di un generatore ad energia eolica? A. Velocità del vento Gennaio Dicembre B. D. C. Nella prova sul campo la domanda si è dimostrata molto facile, con circa il 75% delle risposte corrette a livello internazionale, e una discriminatività molto buona.. In Italia ha risposto correttamente circa il 73% ma si è avuto il 13% di omissioni.

Competenza: usare prove basate su dati scientifici Più il vento è forte, più le pale del rotore girano veloci e maggiore è la quantità di energia elettrica prodotta. Tuttavia, in situazione reale, non esiste una relazione di proporzionalità diretta fra la velocità del vento e l’elettricità prodotta. Qui sotto vengono descritte quattro condizioni di funzionamento di una centrale eolica in situazione reale: Le pale cominciano a ruotare quando il vento raggiunge la velocità V1. Per ragioni di sicurezza, la rotazione delle pale non accelera più quando la velocità del vento è superiore a V2. La potenza elettrica è al massimo (W) quando il vento raggiunge la velocità V2. Le pale smettono di ruotare quando il vento raggiunge la velocità V3. Quale fra i seguenti grafici rappresenta meglio la relazione fra velocità del vento e potenza elettrica nelle condizioni di funzionamento descritte? C. W V1 V2 V3 potenza Velocità del vento A. D. B. In Italia l’item è risultato significativamente più difficile che a livello internazionale, con solo il 32% di risposte corrette e quasi il 26 % di studenti che ha scelto il distrattore C.

Competenza: Dare una spiegazione scientifica dei fenomeni Descrivi un vantaggio specifico ed uno specifico svantaggio della produzione di energia da parte dei generatori ad energia eolica, rispetto alla produzione di energia a partire dai combustibili fossili come il carbone e il petrolio. Un vantaggio …………………. Uno svantaggio ………………… La domanda, anche per la varietà delle risposte accettate, è risultata piuttosto facile, anche se con una discriminatività molto buona. In Italia ha raggiunto il punteggio pieno il 46% degli studenti, mentre circa il 23% ha ottenuto un punteggio parziale, un 23% non ha nemmeno provato a rispondere

Cosa influenza i risultati italiani in Scienze? TIMSS 2003 Quarto anno Ottavo anno Pisa 2003 Quindici anni Numero di libri a casa? % IT Media IT % Int. Media Int IT Int. % OCSE OCSE 0-10 18 498 453 13 457 438 9 416 12 419 11-25 33 511 24 430 29 474 26 458 17 449 16 25-100 27 525 31 502 25 497 483 32 482 30 494 101-200 11 531 14 507 20 506 524 201-500 10 518 19 15 536 558 + di 500* 8 544 565 * Questa categoria è usata solo da PISA, il TIMSS si arresta alla categoria precedente espressa come “+di 200”.

Cosa influenza i risultati italiani in Scienze? L’immagine diffusa della scienza. Eurobarometro: La scienza e la tecnologia possono risolvere qualunque problema. % di chi si dichiara in forte disaccordo

Cosa influenza i risultati italiani in Scienze? Uso del libro di testo da parte degli insegnanti di scienze (% di studenti) In 4° elementare In 3° media Italia Internazionale Mai 7% 18% 1% 5% Come base principale per la lezione 32% 56% 63% Come risorsa aggiuntiva 61% 26% 36% 39%

Un’analisi dei libri di testo italiani svolta nel 2000, da Zadigroma su incarico del MIUR, mostra come per la maggioranza dei libri di testo utilizzati l’approccio sia “ancorato alla didattica disciplinare’ e non ‘integrato’ neanche quando i programmi lo propongono L’analisi dell’immagine della scienza emergente dai libri, sia delle elementari sia delle medie, mostra “un’immagine tendenzialmente statica”, in cui si afferma “un’idea di scienza in grado di spiegare tutto, di dare sempre soluzioni e che non muta nel tempo”, in cui “non emerge in modo significativo che la conoscenza scientifica è costituita da teorie corroborate da prove di fatto, né l’idea di indagine e ricerca. Le prove sperimentali sono proposte spesso come verifica di enunciati e il risultato viene talvolta anticipato come sicuro e inconfutabile: la scienza spiega tutto, non predice.”

Cosa influenza i risultati italiani in Scienze Cosa influenza i risultati italiani in Scienze? Percentuali di studenti e di insegnanti che dichiarano di svolgere le attività proposte minimo una volta al mese (TIMSS) Attività svolte in classe una o + volte al mese 4° elementare ITALIA 2007 Intern. 2007 3° media 8° anno STU INS Guardare l’insegnante che svolge un esperimento 69 23 67 25 22 8 41 Progettare un esperimento o una ricerca 45 47 12 50 27 Fare un esperimento o una ricerca 31 49 32 11 9 54 Lavorare con altri studenti in piccoli gruppi per una ricerca o un esperimento a scuola 56 36 10 Scrivere spiegazioni rispetto a qualcosa che si è studiato o osservato 72 91 78 89 65 71 Collegare quello che si sta apprendendo in scienze con la vita quotidiana degli studenti * 74 57 79

L’indice di insegnamento/apprendimento SCHANDS Cosa influenza i risultati italiani in Scienze? Che tipo di laboratorio viene proposto e in quali scuole? L’indice di insegnamento/apprendimento SCHANDS Item ITA % (E.S.) ESP FIN FRA GBR NLD Gli studenti conducono esperimenti pratici in laboratorio (ST34Q02) 17.3 8.4 22.2 23.2 26.7 29.9 (0.698) (0.452) (0.939) (0.803) (1.074) (1.047) Agli studenti è richiesto di progettare attività di laboratorio per rispondere a domande riguardanti materie scientifiche (ST34Q03) 15.6 13.7 9.7 23.1 35.7 25.6 (0.558) (0.601) (0.465) (0.843) (0.776) (0.835) Agli studenti è richiesto di trarre conclusioni da un esperimento condotto da loro stessi (ST34Q06) 36.0 48.0 54.6 68.3 67.0 51.1 (0.962) (0.825) (0.920) (0.958) (0.891) Gli studenti fanno esperimenti seguendo le istruzioni dell’insegnante (ST34Q14) 32.7 32.1 61.8 62.0 31.9 (0.752) (0.879) (0.972) (0.979) (0.999) (0.941) Gli esperimenti vengono condotti dall’insegnante a scopo dimostrativo (ST34Q10) 27.8 19.9 23.9 40.0 49.2 25.1 (0.628) (0.751) (0.829) (0.881) (0.864) (0.872)

Come influisce l’indice SCHANDS? Paese Media SCHANDS E.S. Italia -0.41 0.028 Spagna -0.30 0.026 Finlandia 0.02 0.018 Francia 0.28 0.020 Regno Unito 0.45 0.017 Paesi Bassi 0.08 0.019 Modello di regressione Paese INTERCETTA SCHANDS Spagna (R2 = .11) 487,1 3,0* Finlandia(R2= .13) 555,4 19,5 Francia (R2 = .21) 483,8 45,1 Regno Unito (R2= .07) 508,3 15,9 Italia (R2 = .14) 478,9 4,9 Paesi Bassi (R2 = .15) 527,5 8,8 Elaborazione da dati OCSE * Non statisticamente significativo per p>0,05

Cosa influenza i risultati italiani in Scienze Cosa influenza i risultati italiani in Scienze? Relazione tra % di studenti ai livelli più alti nella scala PISA scienze e numero di ricercatori per ogni mille persone impiegate

Cosa influenza i risultati italiani in Scienze? La mancata accettazione nel senso comune della Scienza come cultura Lo scarso investimento pubblico e privato nella ricerca scientifica e tecnologica La mancanza di relazione tra scuola e mercato del lavoro soprattutto nel Sud Una società a rischio di analfabetismo di ritorno, che non legge e non argomenta ciò che sostiene La scarsa presenza delle scienze sperimentali nei curricoli della scuola secondaria italiana sia in termini di status sia in termini di ore (nella scuola media siamo il paese con meno ore e tra quelli con più contenuti, dati TIMSS) Una visione ancora nozionistica delle scienze, con poco tempo dedicato a momenti di indagine autonoma e ancora meno a riflessioni sui limiti del procedere scientifico e sulla sua utilizzazione per comprendere la tecnologia e i problemi di ogni giorno (in Italia l’uso quasi esclusivo del libro di testo come fonte di apprendimento, aumenta all’aumentare del livello scolare, a differenza degli altri paesi) Un’organizzazione delle cattedre e dei curricoli che esalta un approccio quasi solo teorico e separa spesso la teoria dalla ‘pratica’ di laboratorio Una separazione tradizionale tra le discipline scientifiche e la realtà Manca la ricerca didattica e quando c’è non viene valorizzata Manca la collaborazione tra Scuole, Istituti di Ricerca, Musei scientifici, Imprese… …………………………………………………………………………………………………..

Al mondo esistono macchine banali, quelle costruite dall’uomo e di cui si possono prevedere le risposte, e imprevedibili macchine non banali: tutti gli esseri viventi. Sembra che lo scopo della scuola sia trasformare imprevedibili macchine non banali in macchine banali (Von Foerster)