La scienza è cultura I criteri di valutazione dei sistemi scolastici Andrea Gavosto Fondazione Giovanni Agnelli Catanzaro, 25 marzo.

Presentazione sul tema: "La scienza è cultura I criteri di valutazione dei sistemi scolastici Andrea Gavosto Fondazione Giovanni Agnelli Catanzaro, 25 marzo."— Transcript della presentazione:

1 La scienza è cultura I criteri di valutazione dei sistemi scolastici Andrea Gavosto Fondazione Giovanni Agnelli andrea.gavosto@fga.it Catanzaro, 25 marzo 2010

2 Indice 1.Perché la valutazione nella scuola è necessaria 2.Che cosa si valuta: il concetto di valore aggiunto 3.Come costruire un sistema di valutazione: i quattro pilastri 4.Un esperimento condotto sulle scuole piemontesi 5.Limiti della valutazione

3 La Fondazione Agnelli e la scuola Autonomia Valutazione e Accountability Studenti INSEGNANTI Osservatorio Insegnanti Divari digitali Equità FEDERALISMO 3

4 Valutazione Perché è necessaria? Anche se incompleta, lautonomia degli istituti scolastici, costituzionalmente garantita, rappresenta il maggior cambiamento avvenuto nella scuola italiana negli ultimi dieci anni. Laltro lato dellautonomia è la necessità che le scuole rendano conto alle autorità di governo, alle famiglie, agli studenti e ai contribuenti, delle scelte didattiche e organizzative compiute (accountability). Questo comporta la misurazione degli effetti di queste scelte 4

5 Valutazione Perché è necessaria? La raccolta di informazioni omogenee e confrontabili sui risultati ottenuti da studenti e scuole consente di stabilire a che punto si trova la singola scuola rispetto al resto del sistema. Famiglie e studenti sono informati sulla qualità degli insegnamenti; le scuole possono avviare le azioni necessarie a migliorare gli esiti. Oggi gli esami di stato non funzionano da orientamento, perché manca la confrontabilità. 5

6 Divari territoriali Divari di indirizzo Valutazione Il divario nei risultati scolastici fra Nord e Sud è spiegabile dalla mancata percezione del ritardo al Sud68 61 34 32 28 12 11 7 4 2 -16 NORD LICEO CENTRO IST. TECNICO DONNA RETROTERRA SOCIOCULTURALE NELLA SCUOLA PIACERE NELLO STUDIARE LE SCIENZE NUMERO ORE DI SCIENZE A SCUOLA INTERESSE APPRENDIMENTO SCIENZE RETROTERRA SOCIOCULTURALE INDIVIDUALE ATTIVITA SCIENTIFICHE EXTRACURRICULARI Caratteristiche individuali Punti PISA Fonte: elaborazione su dati Ocse Pisa 2006 6

7 Valutazione Percezione degli studenti della propria competenza in matematica e risultati effettivi in Pisa Lindice di percezione per il totale Italia è pari a 0 (valore che coincide con la media OCSE). A valori positivi più alti corrispondono gli studenti che dichiarano una buona familiarità e buoni esiti in matematica, mentre assumono valori negativi gli studenti per cui questa materia è considerata problematica. Fonte: Foresti, Pennisi, 2007. 7

8 Valutazione I test standardizzati disponibili PIRLS - Progress in International Reading Literacy Study COSA: Comprensione di un testo scritto CHI: bambini di 10 anni di età (IV elementare) DOVE: in 40 paesi (Italia compresa) nel 2006 (nel 2011 si sale a 53 paesi) TIMMS - Trends in International Mathematics and Science Study COSA: Rendimento degli studenti in matematica e scienze CHI: bambini di 10 anni e ragazzi di 14 anni (IV elementare e III media) DOVE: in 60 paesi (Italia compresa) nel 2007 (nel 2011 si sale a 64) PISA - Programme for International Student Assessment COSA: Competenze in lettura, matematica e scienze CHI: quindicenni scolarizzati (in prevalenza primo anno secondarie II grado) DOVE: in 57 paesi (Italia compresa) nel 2006. Attesi i risultati 2009 INVALSI - Istituto nazionale per la valutazione del sistema educativo di istruzione e di formazione COSA: Apprendimenti di italiano e matematica CHI: studenti della scuola italiana al II e al V anno della primaria, e al I e III anno della secondaria di I grado 8

9 Valutazione I risultati dei test standardizzati mettono in luce il calo dopo le primarie Fonti: TIMMS 2007, PISA 2006 IV elementareIII MediaStudenti 15enni IV elementareIII MediaStudenti 15enni Nord Est Nord Ovest Centro Sud Media internazionale 9

10 10 Valutazione I test standardizzati raccontano una storia diversa dagli esiti degli scrutini 10

11 Valutazione Che cosa si valuta La valutazione va fatta su obiettivi condivisi Ad esempio, combattere la dispersione scolastica e promuovere il successo formativo di ogni studente sono obiettivi di sistema rispetto ai quali le singole scuole secondarie superiori possono e devono essere chiamate a produrre risultati. Lefficacia formativa si rileva allinterno delle scuole (valore aggiunto) ma si proietta anche allesterno (esiti occupazionali, performance universitarie). 11

12 Lapprendimento di uno studente è influenzato non solo dalle sue caratteristiche personali ma anche dalleffetto di contesto o effetto di composizione del gruppo – classe e/o scuola - di cui un alunno fa parte. Esso è prima di tutto un effetto dovuto alla particolare composizione del gruppo ed è dunque, in termini diretti, un effetto dei compagni (peer effect). La composizione del gruppo genera però anche tutta una serie di effetti indiretti. Ad esempio, gli insegnanti si comportano in modo diverso a seconda del gruppo di alunni con cui si trovano ad interagire. Di tale effetto andrebbe tenuto conto nel valutare lefficacia di una scuola sul progresso dei suoi alunni. Valutazione Che cosa si valuta: leffetto di contesto 12

13 Fonte: Angela Martini Canale dAgordo 13 settembre 2008 eRoberto Ricci, lLa misurazione del valore aggiunto nellascuola, Fondazione Agnelli Il problema fondamentale è quello di separare l'effetto della scuola da tutte le altre influenze che agiscono sui livelli di apprendimento degli alunni, per arrivare a stabilire il valore aggiunto dellistruzione impartita da ciascun istituto scolastico. Leffetto scuola può essere misurato in quattro modi : differenza 1)Come differenza tra il punteggio medio grezzo di una scuola e quello medio generale di un certo territorio, progressi medi 2)Con i progressi medi che gli allievi realizzano in un determinato arco di tempo (guadagni cognitivi), differenzapunteggi osservati punteggi attesi 3)Come differenza media tra i punteggi osservati ed i punteggi attesi in relazione alle caratteristiche degli allievi (condizione socio-economico-culturale, attitudini, ecc.), guadagno cognitivo medio 4)Come il guadagno cognitivo medio netto rispetto a tutti i fattori di contesto che non sono controllati dalla scuola. Valutazione Che cosa si valuta: il valore aggiunto 13

14 Valutazione Che cosa si valuta: lefficacia differenziale Ist. Tec. Industriale – G.B. Pininfarina Liceo Scientifico – G. Vasco Se si guardasse ai soli valori assoluti le distanze tra le due scuole sembrerebbero molto elevate. Voti medi assoluti 14

15 Valutazione Che cosa si valuta: lefficacia differenziale Voti medi depurati Guardando alleffettivo valore aggiunto le distanze si accorciano. Non si può imputare alle scuole il ruolo giocato dalle caratteristiche individuali degli studenti e dai fattori di contesto (indirizzo, territorio) 15

16 Valutazione La necessità di un sistema stratificato Le informazioni sulla qualità di una scuola dovrebbero scaturire da 4 punti dosservazione: 1.lautovalutazione - strumento essenziale dindirizzo per le scuole autonome; 2.le visite ispettive ministeriali - non più verifica di adempimenti burocratici, ma valutazione complessiva della qualità del servizio scolastico e alla sua rispondenza agli obiettivi di sistema (modello OFSTED); 3.le prove standardizzate di misurazione degli apprendimen- ti (INVALSI) - il cuore della valutazione, improntate allindividuazione del valore aggiunto prodotto dalla scuole; 4.il giudizio offerto da soggetti terzi, quali università e mondo del lavoro. 16

17 Valutazione Per essere efficace la valutazione va legata a incentivi economici o motivazionali = Retribuzione Finale + Incremento per funzioni obiettivo + Differenza per regione/materia E meglio premiare la scuola anziché il singolo insegnante perché linsegnamento è un lavoro dequipe Retribuzione Base 17 + Premio Scuola

18 Valutazione Le opinioni dei docenti 18 Nellipotesi di costruzione di un sistema nazionale di valutazione, chi dovrebbe essere valutato secondo la sua opinione? Quota di insegnanti neoassunti che risponde daccordo o molto daccordo

19 Un esempio di valutazione esterna Un caveat Questo approccio è valido soprattutto nel caso in cui lo sbocco privilegiato dagli studenti di una data scuola sia proprio luniversità (licei), mentre lo è meno nel caso di istituti la cui missione formativa verte su aspetti maggiormente professionalizzanti (tecnici, ma soprattutto professionali*). La FGA ha ricostruito le carriere universitarie degli studenti (esami, voti, crediti) per trarre indicazioni sulla qualità delle basi acquisite presso le scuole superiori d'origine. I risultati hanno condotto alla pubblicazione di una graduatoria degli istituti scolastici superiori. * Esclusi dallanalisi 19

20 Lesercizio Cosa cè dietro le performance degli studenti? Risultati universitari Effetto scelte universitarie Effetto studenti Effetto contesto territoriale Effetto tipo di scuola EFFETTO SCUOLA 20

21 Lesercizio Un esempio di ranking PIEMONTE Posizioni guadagnate (+) o perse (-) a causa di: IstitutoEnteComuneProv. Rank Effetto Scuola Caratteristiche degli studenti Effetti territoriali Effetti tipo di scuola Rank Finale 21

22 Lesercizio Un esempio di ranking PIEMONTE Posizioni guadagnate (+) o perse (-) a causa di: IstitutoEnteComuneProv. Rank Effetto Scuola Caratteristiche degli studenti Effetti territoriali Effetti tipo di scuola Rank Finale Liceo Scientifico - G. FerrariStataleBorgosesiaVC 22

23 Lesercizio Un esempio di ranking PIEMONTE Posizioni guadagnate (+) o perse (-) a causa di: IstitutoEnteComuneProv. Rank Effetto Scuola Caratteristiche degli studenti Effetti territoriali Effetti tipo di scuola Rank Finale Liceo Scientifico - G. FerrariStataleBorgosesiaVC80 23

24 Lesercizio Un esempio di ranking PIEMONTE Posizioni guadagnate (+) o perse (-) a causa di: IstitutoEnteComuneProv. Rank Effetto Scuola Caratteristiche degli studenti Effetti territoriali Effetti tipo di scuola Rank Finale Liceo Scientifico - G. FerrariStataleBorgosesiaVC80+10+33+1819 24

25 Lesercizio Un esempio di ranking PIEMONTE Posizioni guadagnate (+) o perse (-) a causa di: IstitutoEnteComuneProv. Rank Effetto Scuola Caratteristiche degli studenti Effetti territoriali Effetti tipo di scuola Rank Finale Liceo Scientifico - G. FerrariStataleBorgosesiaVC80+10+33+1819 I.T.C.G. - G. GuariniStataleTorinoTO 25

26 Lesercizio Un esempio di ranking PIEMONTE Posizioni guadagnate (+) o perse (-) a causa di: IstitutoEnteComuneProv. Rank Effetto Scuola Caratteristiche degli studenti Effetti territoriali Effetti tipo di scuola Rank Finale Liceo Scientifico - G. FerrariStataleBorgosesiaVC80+10+33+1819 I.T.C.G. - G. GuariniStataleTorinoTO25 26

27 Lesercizio Un esempio di ranking PIEMONTE Posizioni guadagnate (+) o perse (-) a causa di: IstitutoEnteComuneProv. Rank Effetto Scuola Caratteristiche degli studenti Effetti territoriali Effetti tipo di scuola Rank Finale Liceo Scientifico - G. FerrariStataleBorgosesiaVC80+10+33+1819 I.T.C.G. - G. GuariniStataleTorinoTO25-16-45-52139 27

28 Lesercizio Risultati principali Dalle graduatorie emergono molte conferme e alcuni elementi di novità: Sia in Piemonte che in Emilia Romagna si rileva la buona qualità dellistruzione tecnica in termini di effetto scuola. I licei sono avvantaggiati rispetto agli istituti tecnici dal processo di autoselezione degli studenti negli indirizzi formativi. I primi ricevono studenti più brillanti e di estrazione socio-culturale più elevata. In entrambe le regioni si rileva la presenza di un effetto provincia: gli studenti dei piccoli centri hanno in media performance universitarie migliori, forse a seguito del maggior controllo sociale presente nelle piccole realtà rispetto ai grandi centri urbani, o semplicemente per il carico motivazionale maggiore che spesso caratterizza gli studenti universitari fuori sede. Le scuole non statali hanno in media performance pessime rispetto a quelle statali. Questo è particolarmente evidente in Piemonte, mentre in Emilia Romagna risaltano alcune realtà di assoluto prestigio ed elevata efficacia formativa (scuole comunali). 28

29 Valutazione I limiti 1.Loggetto della misurazione: competenze (problem solving) o conoscenze? Ad es, i test tradizionali non sono adatti a misurare leffetto delluso delle tecnologie a scuola 2.Teaching to the test 3.Nessun sistema di valutazione esterno è in grado di controllare perfettamente linterazione fra insegnanti, allievi e famiglie 29

30 Back up

31 Lesercizio Prime sperimentazioni Nel 2009 è stato fatto il primo tentativo di valutazione delle scuole secondarie superiori Piemontesi. Nel 2010 al Piemonte si è aggiunta lEmilia Romagna. 31

32 Lesercizio Fonte dei dati e atenei considerati Fonte principale dei dati: Anagrafe Nazionale degli Studenti Universitari (ANS) Per ogni studente sono disponibili, tra gli altri, dati relativi a: studi scolastici compiuti (titolo di scuola media superiore conseguito, istituto che lo ha rilasciato, anno solare di conseguimento, votazione allesame di Stato); immatricolazione (università, corso di laurea, sede didattica, denominazione corso, impegno a tempo pieno o parziale); carriera universitaria (totale crediti formativi, crediti acquisiti per stage, crediti riconosciuti validi per il corso, esami, votazione). Atenei di riferimento: Per ogni regione sono stati considerati solamente i diplomati immatricolati negli atenei della stessa regione. Piemonte: Unito, Polito, Unipmn. (circa 82% dei diplomati) Emilia Romagna: Unibo, Unife, Unimore, Unipr. (circa 87% dei diplomati) 32

33 Lesercizio Studenti e indicatori di performance Studenti considerati: immatricolati iscritti regolarmente, quelli cioè che hanno proseguito gli studi al livello universitario immediatamente dopo lottenimento del diploma, e immatricolati ritardatari, coloro che si iscrivono dopo 1 o 2 anni dal conseguimento del diploma. Segmento di carriera considerato: solo il primo anno del corso universitario, poiché negli anni successivi lesperienza sul campo (learning by doing) assume sempre maggiore importanza e leffetto della scuola tende a scemare. Indicatori di performance: si è costruito un indicatore sintetico che tiene conto con pari peso del profitto universitario e della velocità negli studi. Profitto: media dei voti conseguiti agli esami universitari ponderata per i crediti formativi di ogni esame. Velocità: rapporto fra i crediti conseguiti dallo studente e crediti dichiarati come impegno annuale. 33

34 Lesercizio Periodo e scuole coinvolte Anni accademici di riferimento: tre per il Piemonte (2005/06, 2006/07, 20007/08 ), due per lEmilia Romagna (2006/07, 20007/08 ) Chi cè sotto la soglia? scuole di piccole dimensioni o con tassi di prosecuzione modesti; scuole in aree di confine (maggiore probabilità di prosecuzione fuori regione); scuole con particolari relazioni con atenei extra-regionali o esteri; scuole per le quali si sono riscontrati problemi di qualità o assenza dei dati allinterno dellANS (ad esempio, scuole che hanno cambiato denominazione o sono state accorpate). Soglie di selezione: per esigenze di rappresentatività statistica del dato e affidabilità dellesercizio abbiamo imposto delle numerosità minime. Piemonte: almeno 15 allievi iscritti presso gli atenei della regione nei tre anni accademici di riferimento; Emilia Romagna: almeno 10 allievi iscritti presso gli atenei della regione nei due anni accademici di riferimento. Scuole Numero studenti in atenei regionali soglia 34

35 Lesercizio Altri limiti … Attenzione! 1.La banca dati ANS, nata per altri scopi, viene utilizzata solo da due anni per questa tipologia di esercizi di valutazione. Sono inevitabilmente presenti alcune lacune (campi parzialmente compilati, codici errati, ecc), e non in tutti i casi si è potuto intervenire per colmarle o correggere le inesattezze. 2.Gli accorpamenti di molte scuole in Istituti Superiori con indirizzi diversi non consente di costruire graduatorie separate per le scuole e gli indirizzi che ne fanno parte. Nei calcoli si tiene comunque conto della composizione per indirizzi delle scuole, la diversa natura dei percorsi formativi e le diverse caratteristiche individuali degli studenti iscritti nei vari indirizzi. 35

36 Lesercizio Leffetto scelte universitarie A parità di abilità, preparazione e impegno, di certo contano le scelte universitarie degli individui possono falsare i risultati. Frequentare un corso di studio umanistico presso un ateneo periferico e/o di recente istituzione vuol dire avere una carriera universitaria più agevole rispetto al frequentare una facoltà scientifica (hard science) presso un ateneo metropolitano di tradizione? Se è così, bisogna evitare che una scuola che abbia più diplomati nel primo corso di laurea che nel secondo risulti avvantaggiata nel giudizio. I confronti tra studenti vanno effettuati per gruppi omogenei rispetto alle scelte universitarie compiute. Il profitto e la velocità di ognuno sono stati confrontati non con quelli medi di tutta la popolazione studentesca considerata, bensì con quelli medi degli studenti che frequentano lo stesso ateneo e la stessa area disciplinare. 36

37 Lesercizio Leffetto studenti Le scuole non ricevono e non educano studenti dello stesso tipo. Per confrontare correttamente il lavoro svolto da due scuole, occorre farlo a parità di caratteristiche degli studenti in ingresso. I dati dellANS ci hanno permesso di tener conto per ogni studente di: sesso: è noto che le ragazze ottengono mediamente risultati migliori negli studi (anche se non in tutte le discipline); talento scolastico: ricevere studenti più dotati facilita il compito educativo delle scuole. Dunque, controlliamo per il voto di maturità standardizzato rispetto allindirizzo di studio e alla media di scuola; ritardo nella prosecuzione degli studi al livello universitario: chi non prosegue immediatamente ha delle caratteristiche particolari (studente del tecnico, forse ha tentato un ingresso nel mercato del lavoro, ecc.) che possono influire sulla performance. 37

38 Lesercizio Effetto contesto territoriale L e specificità territoriali del luogo di provenienza degli studenti e di localizzazione dellistituto scolastico possono a vario titolo influire sulle performance universitarie degli individui. La provincia è diversa dalla città, e province e città sono tra loro molto eterogenee per le condizioni economiche e lofferta formativa disponibile, ma anche per i modelli culturali prevalenti e per il controllo sociale. Questi fattori possono condizionare la scelta di proseguire o meno gli studi e quella di come proseguire (studenti fuorisede). Per queste ragioni abbiamo isolato leffetto territoriale nellanalisi, individuando le celle geografiche a partire dai Sistemi Locali del Lavoro definiti dallISTAT che dovrebbero catturare il bacino dutenza potenziale delle singole scuole. 38

39 Lesercizio Effetto tipo di scuola (indirizzo) L a forte stratificazione socio-culturale della scuola secondaria superiore italiana determina vantaggi o svantaggi per i singoli istituti a seconda dellindirizzo formativo di appartenenza. Lestrazione socio-culturale di chi frequenta un liceo classico è molto diversa da quella di chi frequenta un istituto tecnico. Allo stesso modo, i talenti scolastici si distribuiscono in modo non casuale tra i diversi percorsi di studio. Dunque, le popolazioni studentesche tendono ad essere molto omogenee allinterno dei singoli indirizzi formativi e molto diverse tra indirizzi (cfr. Rapporto FGA 2010). Inoltre, in assenza di meccanismi di carriera e di incentivi, anche gli insegnanti migliori tendono a concentrarsi in alcuni indirizzi formativi (cfr. Rapporto FGA 2009). Gli effetti positivi o negativi derivanti da questi fenomeni non sono attribuibili alla singola scuola che invece ne beneficia o ne risente. Pertanto, bisogna isolarli nellanalisi. 39

40 Lesercizio Effetto scuola Solo tenendo conto dellinfluenza esercitata sui risultati universitari da altri fattori non direttamente controllabili dalle scuola stesse (effetto studenti, effetto contesto territoriale, effetto tipo di scuola), e di cui dunque non possono essere considerate responsabili, si può pervenire al vero effetto scuola. EFFETTO SCUOLA Predisposizione agli studi universitari che deriva dallaver frequentato una determinata istituzione scolastica 40

41 Lesercizio Come presentare i risultati? Si possono ordinare le scuole per il contributo effettivo alla preparazione agli studi universitari, al netto delle altre componenti, in una graduatoria in base alleffetto scuola. Questo ranking offrirebbe informazioni utili ad esempio agli operatori scolastici e ai responsabili della politica scolastica che saprebbero in quale scuola si fa di più con i mezzi a disposizione. Ma per studenti e famiglie che vogliono scegliere un istituto al passaggio dalle medie alle superiori è importante sapere anche se sono presenti degli effetti di contesto in grado di migliorare gli apprendimenti e le performance individuali. Si può allora stilare anche una graduatoria in base ai risultati finali dove le scuole sono ordinate in base ai risultati raggiunti per loperare simultaneo di tutte le componenti (tranne gli effetti distorsivi delle scelte universitarie). 41