LA VALUTAZIONE SCOLASTICA Indagini internazionali sulle competenze degli studenti Sergio LONGOBARDI sergio.longobardi@uniparthenope.it Dipartimento di Statistica e Matematica per la Ricerca Economica

LE SCUOLE ED IL CAPITALE UMANO Lo studio e l’analisi dei sistemi educativi assume un’importanza rilevante, in quanto le principali istituzioni deputate alla formazione del CAPITALE UMANO sono sicuramente le SCUOLE e le UNIVERSITÀ Esse adempiono, direttamente, a questo compito dotando i giovani di un adeguato bagaglio culturale e trasmettendo lo stock di conoscenze ereditato dalle precedenti generazioni ed, in modo indiretto, stimolando la capacità dei giovani ad apprendere 2

OBIETTIVI DELLE INDAGINI INTERNAZIONALI Le indagini internazionali sul grado di preparazione degli studenti rappresentano sicuramente un valido contributo per valutare la qualità del capitale umano I loro risultati forniscono una robusta evidenza della qualità del capitale umano stesso, consentendo, in maniera efficace, di rilevare abilità, capacità e competenze non altrimenti identificabili se ci si limita al grado di istruzione “formale” raggiunto 3

MOTIVAZIONE DELLE INDAGINI INTERNAZIONALI Le domande: Come valorizzare i risultati della scuola? Come verificare che gli investimenti fatti stiano andando nella giusta direzione? Come sapere se gli incrementi di conoscenze dei nostri studenti sono in linea con gli altri paesi? Come avere informazioni oggettive per responsabilizzare i genitori sulla necessità di far lavorare gli studenti? La risposta: Disponibilità di dati confrontabili a livello nazionale ed internazionale

Le valutazioni scolastiche esterne accompagnano e non sostituiscono il lavoro dell’insegnante

Quali sono le valutazioni internazionali comparate su vasta scala e chi le conduce?

International Association for the Evaluation of Educational Achievement E’ una associazione di Enti di ricerca non governativi; dagli anni ’60 ha condotto indagini internazionali la cui metodologia si basa sulla misurazione tramite prove oggettive dei livelli di profitto e sull’esame di come le variabili di sfondo nei diversi paesi contribuiscono a determinare i diversi livelli di profitto

IEA PIRLS

(Progress In International Reading 2006 IEA PIRLS (Progress In International Reading Literacy Study) Nel 2006 40 paesi partecipanti Obiettivi: Ricavare informazioni Fare inferenze semplici Interpretare ed integrare informazioni Analizzare e valutare PROVE UTILIZZATE: testi narrativi e informativi. QUESTIONARI DI SFONDO: studente, famiglia, insegnante, scuola

Solo il 2% di cattivi lettori Omogeneità fra le macroaree 2006 – IEA PIRLS Risultati 9 anni +11 rispetto al 2001 Età media +bassa Solo il 2% di cattivi lettori Omogeneità fra le macroaree Sudafrica 10

(Progress In International Reading 2006 IEA PIRLS (Progress In International Reading Literacy Study) L’indagine PIRLS dell’IEA ha come obiettivo principale l’accertamento di competenze ed abilità, compresa quella in un momento di passaggio nella vita dello studente, dall’apprendere a leggere al leggere per apprendere. Il progetto PISA – Programme for International Student Assessment – ha come obiettivo principale l’accertamento di competenze ed abilità tenendo conto dei bisogni degli studenti nel momento di passaggio dal mondo della scuola al mondo del lavoro. 11

IEA TIMMS 12

(Trends in International Mathematics and Science Study) IEA TIMMS (Trends in International Mathematics and Science Study) si è svolta nel 1995, 1999, 2003, 2007 è rivolta ad alunni di 4° elementare e 3° media permette di analizzare i trends in matematica e in scienze in più di 50 nazioni 13

OBIETTIVI DELL’INDAGINE TIMMS Punto di partenza è l’analisi dei curricoli delle nazioni partecipanti Su questa base, vengono definite le conoscenze e le competenze che verranno valutate Attraverso l’analisi dei risultati vengono definiti 4 livelli di competenza: avanzato, alto, intermedio, basso. Il test è rivolto agli studenti della stessa classe, e il questionario insegnante permette di interpretare i risultati degli studenti anche in relazione agli stili di insegnamento.

Popolazione Studentesca: TIMSS 2003 Popolazione Studentesca: 48 paesi coinvolti (14 europei), Tutti gli studenti iscritti all’ottavo anno di scuola Campioni rappresentativi di almeno 4.000 studenti per paese stratificati in base a due livelli: almeno 150 scuole selezionate con una probabilità proporzionale alla dimensione, quindi 1 o 2 classi selezionate in maniera casuale in ciascuna scuola.

TIMSS 2003 Lituania Belgio (Flemish) Bulgaria Paesi Bassi Cipro Paesi europei coinvolti: Belgio (Flemish) Bulgaria Cipro Inghilterra Estonia Ungheria Italia Latvia Lituania Paesi Bassi Norvegia Romania Scozia Slovenia Svezia

I questionari di supporto utilizzati: TIMSS 2003 I questionari di supporto utilizzati: Il questionario di scuola chiede ai dirigenti scolastici di fornire informazioni sul contesto scolastico per l’insegnamento della matematica e delle scienze. Il questionario docente, raccoglie informazioni sulla preparazione e sviluppo professionale dei docenti, sulle loro strategie pedagogiche e sul curriculum. Il questionario studente, raccoglie informazioni sul background socioeconomico familiare degli studenti e sulle loro esperienze nell’apprendimento della matematica e delle scienze.

TIMSS 2003 cl.8: Matematica

L’indagine PISA Programme for International Student Assessment

PRINCIPALI CARATTERISTICHE PISA (Programme for International Student Assessment) è condotta dall’Organizzazione per la Cooperazione e lo Sviluppo Economico (OCSE) Indagine internazionale promossa per rilevare le competenze dei quindicenni scolarizzati Si svolge con periodicità triennale (prima indagine 2000) L’obiettivo generale è verificare se, e in che misura, i giovani che escono dalla scuola dell’obbligo abbiano acquisito alcune competenze giudicate essenziali per svolgere un ruolo consapevole e attivo nella società e per continuare ad apprendere per tutta la vita

Obiettivi principali mettere a punto indicatori relativi al rendimento scolastico degli studenti quindicenni individuare le caratteristiche dei sistemi scolastici dei paesi che hanno ottenuto i risultati migliori fornire con regolarità dati sui risultati dei sistemi di istruzione, in modo da consentire il loro monitoraggio e la costruzione di serie storiche di dati utilizzabili per orientare le politiche educative e scolastiche.

Equivalenti a 77% dell’economia mondiale Paesi aderenti al Progetto PISA nel 2000 Equivalenti a 77% dell’economia mondiale

Equivalenti a 81% dell’economia mondiale Paesi aderenti al Progetto PISA nel 2003 Equivalenti a 81% dell’economia mondiale

Equivalenti a 87% dell’economia mondiale Paesi aderenti al Progetto PISA nel 2006 Equivalenti a 87% dell’economia mondiale

Caratteristiche del progetto PISA Tre ambiti d’indagine: lettura, matematica e scienze Periodicità triennale con un’area di contenuti principale in ciascun ciclo PISA 2000: lettura, PISA 2003: matematica, PISA 2006: scienze Popolazione bersaglio: i quindicenni scolarizzati In PISA 2003 sono stati coinvolti oltre 275.000 studenti nei 41 Paesi partecipanti, mentre in PISA 2006 sono stati coinvolti 400.000 studenti nei 57 Paesi partecipanti a rappresentare una popolazione di quasi 20 milioni di quindicenni scolarizzati. Popolazione testata: studenti di età compresa tra 14 anni 6 mesi e 15 anni e 6 mesi.

Caratteristiche del progetto PISA Il campione italiano del PISA 2003 è stato di 407 scuole per un totale di oltre 11.000 studenti mentre quello del PISA 2006 è stato di 850 scuole per un totale di circa 28.000 studenti che rappresentano circa mezzo milione di quindicenni scolarizzati. A livello geografico il campione è rappresentativo di 5 macroaree e 12 Regioni/Province autonome. A livello del sistema dell’istruzione, il campione è rappresentativo di due livelli scolastici (scuola media e scuola secondaria superiore) e di tre indirizzi di studio (Istituti Tecnici, Istituti Professionali e Licei) più i centri di formazione professionale nelle regioni in cui sono attivi.

Composizione del campione italiano -PISA 2006 Regioni e province autonome SCUOLE STUDENTI Licei Istituti tecnici Istituti prof. Scuole medie Formazione prof. Totale Basilicata 18 13 1 7 57 1.507 Bolzano 27 20 11 6 19 83 2.084 Campania 22 14 4 53 1.406 Emilia R. 15 52 1.531 Friuli V. G. 61 1.578 Liguria 73 1.753 Lombardia 17 12 2 5 54 1.524 Piemonte 3 50 1.478 Puglia 16 1.540 Sardegna 21 10 55 1.390 Sicilia 1.354 Trento 1.757 Veneto 1.530 Altre regioni 46 1.341 284 232 168 41 81 806 21.773 27

Le prove cognitive 13 fascicoli di prove cognitive di 120 minuti ciascuno, assegnati agli studenti secondo uno schema di rotazione ciascun fascicolo contiene principalmente prove di scienze e in alcuni fascicoli vi sono anche prove di lettura, e matematica. Le prove sono costituite da: uno stimolo (testo, diagramma o grafico, immagini) una o più domande indicazioni per la correzione Le domande possono essere: chiuse a scelta multipla semplice o complessa; aperte a risposta univoca o a risposta breve; aperte a risposta articolata.

QUESTIONARI Questionario Studente: Questionario Scuola: ambiente socio economico; motivazioni e atteggiamenti nei confronti della scuola; strategie di studio delle scienze; familiarità con tecnologie dell’informazione e della comunicazione. Questionario Scuola: bacino di utenza e dimensioni della scuola; risorse della scuola; corpo docente; clima disciplinare della scuola; strategie didattiche e di valutazione; autonomia scolastica.

QUESTIONARI Questionari facoltativi: Domande nazionali : Questionario sul percorso scolastico; Questionario TIC; Questionario Genitori. Domande nazionali : I Paesi hanno inoltre la facoltà di includere, se necessario, un numero limitato di items di interesse nazionale.

I quindicenni italiani e le prove PISA 2006 Presentazione generale dei risultati e lettura dei dati sulla base delle variabili di contesto 31

Come si classifica l’ITALIA nel contesto internazionale? OCSE: Australia 527, Canada 534, Corea 522, Finlandia 563, Giappone 531, Nuova Zelanda 530, Paesi Bassi 525. Partner: Estonia 531, Hong Kong 542, Slovelia 519, Taiwan 532. 32

Performance in SCIENZE ITALIA: 475 (DS 96) - 31°/57 OECD: 500 (DS 95) La media dei 25 paesi dell’Unione Europea partecipanti a PISA 2006 è pari a 497 33

Performance in MATEMATICA ITALIA: 462 (DS 96) - 38°/57 OECD: 498 (DS 92) La differenza tra il punteggio degli studenti maschi (470; ES 2,9) e il punteggio delle studentesse (453; ES 2,7) è statisticamente significativa a vantaggio degli studenti maschi 34

Performance in LETTURA ITALIA: 469 (DS:109) – 33°posto OECD: 492 (DS:99) La differenza tra il punteggio degli studenti maschi (448; ES 3,4) e il punteggio delle studentesse (489; ES 2,8) è statisticamente significativa a vantaggio delle studentesse 35

Differenze interne al sistema ITALIA: tipologia di scuola Gli studenti di liceo conseguono risultati migliori, seguiti dagli studenti degli istituti tecnici e da quelli degli istituti professionali. Il punteggio medio degli studenti dei licei (518) è più alto di quello degli studenti degli istituti professionali (414) di oltre una deviazione standard Gli studenti dei licei conseguono mediamente risultati superiori alla media OCSE, quelli degli altri indirizzi di studio risultati inferiori Andamento dal Nord al Sud. Conferma di precedenti cicli PISA e di altre indagini internazionali. 36

Differenze interne al sistema ITALIA: tipologia di scuola Percentuale studenti a ciascun livello della scala complessiva di literacy scientifica scuola Commento sulle cifre nei grafici e nelle tabelle (approssimazione ai decimali) 37

Differenze interne al sistema ITALIA: macroaree Gli studenti del Nord-Est si collocano al di sopra della media OCSE, quelli del Nord-Ovest al livello della media OCSE, quelli del Centro leggermente al di sotto di questa media, quelli del Sud e del Sud Isole si collocano nettamente al di sotto della media OCSE Al di sopra della media OCSE si collocano gli studenti dei licei del Nord-Ovest, del Nord-Est e del Centro; gli studenti degli istituti tecnici del Nord-Ovest e del Nord-Est 38

LE 5 MACRO AREE Nord-Ovest: Piemonte, Lombardia, Liguria, Val d’Aosta Nord-Est: Veneto, Trentino A.A., Friuli V. G-, Emilia R. Centro: Lazio,Toscana, Umbria, Marche Sud: Campania, Molise, Abruzzo, Puglia Sud e isole: Basilicata, Calabria, Sicilia, Sardegna

Differenze interne al sistema ITALIA: macroaree Percentuale studenti a ciascun livello della scala complessiva di literacy scientifica per area geografica 40

Divari interni (literacy divide) –Ripartizioni geografiche- LETTURA MATEMATICA SCIENZE 41

VARIAZIONE DELLE SINGOLE REGIONI/PROVINCE RISPETTO ALLA MEDIA NAZIONALE 42

L’effetto delle variabili di contesto 43

L’indice di status economico, sociale e culturale (ESCS) Nel calcolo dell’indice ESCS, in PISA 2006, rientrano gli indici di benessere materiale e di possesso di risorse educative e culturali, il numero dei libri presenti a casa, lo status occupazionale dei genitori (il più elevato fra madre e padre) e il numero maggiore di anni frequentati a scuola fra la madre e il padre

Valori medi indice ESCS per area geografica e per tipo di scuola Lo status socioeconomico degli studenti degli istituti prof. è più basso della media nazionale di: Si esclude un’inversione di tendenza al centro, in cui le famiglie hanno uno status socioeconomico mediamente più elevato rispetto alla media nazionale di: Lo status socioeconomico degli studenti degli istituti tec. è più basso della media nazionale di: Lo status socioeconomico degli studenti dei licei è più alto della media nazionale di: 0,60 0,47 0,53 0,21 0,11 0,40 0,20 -0,19 0,04 -0,36 -0,44 -0,06 0,00 -0,47 -0,38 -0,39 -0,66 -0,20 -0,40 -0,60 -0,80 Nord Ovest Nord Est Centro Sud Sud Isole Licei Istituti Tecnici Istituti Professionali 45

Differenze tra scuole ed all’interno delle scuole Varianza spiegata dal tipo di scuola Italia 26,4% (OCSE 17,8%) Varianza tra scuole spiegata dal tipo di scuola + Status Socioeconomico della famiglia (ESCS) Italia 31,9% (OCSE 24,3%) ESCS: spiega il 10% della varianza totale; meno che nella media OCSE (14,4%) 46

Combiniamo lo status socio economico ed il tipo di scuola

- LICEI -

- ISTITUTI TECNICI -

- ISTITUTI PROFESSIONALI-

- SCUOLE MEDIE -

LE OMISSIONI (mancate risposte)

LE OMISSIONI (mancate risposte)

Struttura casuale di un modello multilevel Contesto scolastico -Media di scuola indice ESCS -Attenzione dei familiari -Privata vs pubblica LEVEL 2 Scuola j Study programme Technical, Professional, Vocational, Lower secondary vs Classical studies Macro area Nord Est, Nord Ovest, Sud, Sud e Isole vs Centro Risorse scolastiche -Computers connessi al web -Qualità delle risorse educazionali -Mancanza di docenti Immigration background 1. or 2. generatione vs nativi Student performance Genere Ragazze vs Ragazzi LEVEL 1: Studente i della Scuola j Risorse educative a casa Confidenza con ICT Studio a casa (ore settimanali) 54

Effetto delle variabili a liv.studente 55

Effort and performance Variation of the index of student effort in correspondence of the average performance at macro region level. Italy=100 The correlation coefficient between this index and the science performance is equal to 0,553 at national level 56

Effetto delle variabili a liv.scuola 57

Per chi vuole approfondire... www.pisa.oecd.org www.iea.nl www.invalsi.it Grazie per l’attenzione