Luso delle misure standardizzate degli apprendimenti nella valutazione dellinsegnamento scolastico. Paolo Sestito Commissario straordinario INVALSI Giornate nfa Torino 1 luglio 2012

Outline della presentazione Le prove INVALSI in concreto Perché valutare (in generale): certificazioni, feedback e graduatorie Prove INVALSI e certificazione degli studenti Prove INVALSI e valutazione delle scuole Oltre le scuole: i singoli docenti?

Le prove INVALSI in concreto Due ambiti (a valenza trasversale) 5 gradi scolastici: [Riepilogo prove][Riepilogo prove] –Prove universali, restituibili a tutti –Un campione più controllato (-cheating+info) per meglio conoscere il sistema nel suo complesso –In un caso parte (con peso pari a 1/6) dellesame di Stato –La prospettiva longitudinale (da questanno) Cenni ad aggiustamenti on going: –Gradi da eliminare/inserire –Altri ambiti e gradi, su base campionaria, per meglio conoscere il sistema –Verso le prove adattive e il pc (come semplificazione e velocizzazione ma anche al fine di avere prove + custom tailored)

Perché si valuta Certificare (a vantaggio di terzi) il possesso di determinate conoscenze/competenze Fornire un feedback (innanzitutto al valutato) Definire una graduatoria: –Per stimolare meccanismi di quasi-mercato o comunque emulativi (serve incentivo ad essere i più bravi) –Per premiare/punire (o selezionare) nel continuo –Idem ma con riferimento a una data soglia (assoluta o relativa) Caso particolare di queste graduatorie: identificare i casi critici (chi non raggiunge una certa soglia minima) per consentire di intervenire a supporto, imporre cambiamenti..

Prove INVALSI e certificazione studenti Le prove INVALSI sono troppo dipendenti da un singolo momento (il giorno della prova) e con un focus troppo circoscritto (italiano e matematica, che pure sono considerati non solo in quanto discipline quanto per la loro valenza e natura trasversale) per farne la base unica della certificazione degli studenti Il rischio di prove troppo high stakes (coaching ed eccesso uniformità) Ma attenzione che cheating/coaching etc. sono fenomeni insiti in qualsiasi tipologia di prova (standardizzata o diversificata, tradizionale o meno). Attribuire un (sia pur limitato e parziale) valore alle prove INVALSI può anzi aiutare: –Il focus sulle competenze delle prove INVALSI contrasta la prevedibilità delle prove (e le distorsioni che ne discendono) meglio di tante prove tradizionali –Le prove INVALSI hanno una funzione dindirizzo culturale (coerente con gli orientamenti ed una impostazione che valorizza le competenze a superamento dei vecchi programmi scolastici come assieme di nozioni da trasmettere e acquisire): una leva da valorizzare –La prospettiva delle prove adattive potrà migliorare questo quadro

La valutazione delle scuole A livello di gruppo (la classe, la scuola) molte delle criticità esistenti a livello di singolo studente vengono superate. Nellaggregato di più studenti è più ragionevole usarle come segnale di fenomeni latenti, da decrittare sia per dare un feedback che per definire graduatorie. Attenzione però: –Il gruppo deve essere grande a sufficienza: piccoli gruppi rischiano di esser dominati da measurement bias [Grafico italiano, Grafico matematica]Grafico italianoGrafico matematica –Identificare gli estremi è un po meno difficile [Tavole punteggi]Tavole punteggi Comunque gli utilizzi (feedback/premi/competizione..) dipendono dalle regole generali del sistema e non possono essere visti in astratto in particolare, va tenuto conto che oggi non esiste un quasi mercato dei servizi scolastici; ove ci si muovesse in tal senso andrebbero definite varie regole a contorno (sostegno alle famiglie nelle scelte, impedimenti alle scuole nel selezionarsi gli studenti migliori, strumenti per le scuole nel competere per gli insegnanti migliori …). Forzare la pubblicizzazione dei risultati delle prove non è la soluzione di tutto (ed avrebbe anzi varie controindicazioni); la pubblicità ingannevole va contrastata.

La valutazione delle scuole: livello degli apprendimenti o VA? Focus su livello per identificare chi non raggiunge un target minimo, chi sia in condizioni di criticità estreme –Focus su poveri di conoscenza più che sul dato medio complessivo, le due cose non sempre concidendo [Tavola cfr.]Tavola cfr. Focus su VA per valutare la scuola e giudicarne i responsabili. Ma con vari problemi aperti: –La prospettiva longitudinale: VSQ e luso (anonimo) delle anagrafi –Ma continuerà a servire anche un approccio sezionale (eventualmente pseudo-longitudinale) [Tavola regressione]Tavola regressione –Nel valutare la scuola (il d.s.) come trattare le covariate non appieno ctrlate dalla scuola (dal d.s.): esempio turnover e in generale qualità docenti –Idem: come trattare variabili che dipendono dal contesto ma anche dalla capacità di attivazione delle scuole: esempio risorse aggiuntive (da famiglie ed ee.ll.)

La valutazione delle scuole: autovalutazione e valutazione esterna Feedback alla scuola (alle sue singole componenti interne) per ragionare su se stessi: –Benchmarking complessivo (livello e VA, dato medio ma anche eccellenze e poveri di conoscenze –Ma soprattutto dettaglio: quali competenze? Quali situazioni di disagio (su aspetti che le scuole altrimenti neppure conoscerebbero: ad es. circa la composizione sociale dei propri studenti) NB1 anche in un meccanismo di mercato – in cui lincentivo a rinnovarsi e migliorarsi venga dalla pressione di mercato – serve poi che la scuola (il d.s.) sappia leggere le proprie criticità NB2 le prove INVALSI comunque non esauriscono le cose su cui focalizzare la propria autovalutazione: servono altri strumenti di feedback (sondaggi alunni e famiglie, sondaggi e commenti tra pari) ed unattitudine/disponibilità a ragionare su stessi e superare lautoreferenzialità (e la solitudine) del singolo docente NB3 la scuola ha varie componenti: il feedback può/deve innescare una sana dialettica interna

La valutazione delle scuole: le prove INVALSI e la valutazione esterna In tutti i sistemi in cui si procede a periodici esercizi di valutazione esterna delle singole scuole non ci si limita a leggere, centralmente e passivamente, i risultati delle prove standardizzate: –Le prove (in livello, soprattutto il dato sui poveri di conoscenze) come indicatore per identificare le situazioni più critiche ove concentrare il supporto e da visitare con maggior frequenza –Le prove (in livello ma anche e soprattutto come VA) come primo dato da analizzare a cura di un team valutativo esterno, che però guardi anche altri aspetti soft e di processo del funzionamento della scuola Le visite valutative esterne: –Peer review (le cui indicazioni possano essere accettate o meno dalla scuola) o anche trigger di una possibile azione di riorganizzazione? Una questione di gradi –Quale il focus dei giudizi espressi e dei consigli per migliorare? la scuola o il suo d.s. (eventualmente da cambiare) visto come motore del cambiamento?

Oltre le scuole: i singoli docenti? Premessa:Premessa: 1.Singoli docenti e risultati delle classi agli stessi affidate non sono ricollegabili, né da INVALSI né a livello centrale (lallocazione dei docenti alle classi è processo decentrato, che avviene a livello di singola scuola) 2.Nel sistema italiano: vi è un più forte legame classe/docente (il docente insegna a tutti gli alunni di una certa classe, non a una sommatoria di persone provenienti da classi diverse) e, nel contempo, un elevato turnover di queste relazioni biunivoche. Stimare un VA di docente (differenziando gli studenti trattati da quel docente rispetto a quelli che, nello stesso contesto, sono trattati da altri) sarebbe particolarmente arduo, e quindi meno affidabile, econometricamente.

Oltre le scuole: i singoli docenti? Considerazioni di merito: –Conta il singolo docente o il team? Il rischio di sistemi premiali individuali che ostacolino il funzionamento del team di docenti –Cosa premiare: Performance assoluta o relativa? Dibattito (US) su pay for percentile e uso prove poco prevedibili –Quanto sono affidabili le misure di VA a livello di singolo docente? Sapere che vi sono in media grandi differenze tra docenti (anche negli effetti a lunghissimo andare: cfr. Chetty et al, 2011) non significa poter dire con certezza, oggi, che tizio è più bravo di caio dellx% –Qual è la priorità? differenziare le paghe di tutti (di anno in anno) o intervenire sugli estremi (evitando che arrivi in cattedra anche chi non supera una soglia minima di decenza e premiando (quasi) a fine carriera le eccellenze)? –Nel raccordo col singolo docente non esistono solo i sistema premiali: come per le scuole, vi è spazio per una funzione di feedback al singolo docente: per segnalargli che sta trascurando elementi rilevanti, il disagio di (alcuni) dei suoi allievi etc. un feedback necessariamente locale (dalla comunità professionale di pari, dal d.s...), ma azionabile sulla base di strumenti e metodologie comuni

MATEMATICA I SECONDARIA Risultati medi di scuola e indicatore poveri di conoscenza Quintile indicatore poveri di conoscenza Quintile risultati medi di scuola Totale bottom2,003,004,005,00 1, , , , , Totale

LIVELLO POPOLAZIONECAMPIONE TOTALE STUDENTIanno di introduzione STUDENTI CAMPIONATI anno di introduzione II PRIMARIA ( )34.416( ) V PRIMARIA ( )33.177( ) I SECONDARIA DI I GRADO ( )43.473( ) III SECONDARIA DI I GRADO ( ) ( ) II SECONDARIA DI II GRADO ( )50.431( )

Mutamenti nel ranking delle scuole (tra 2010 e 2011) livelloValore aggiunto ITAMATITAMAT Scuole quintile inferiore che si spostano di ± 5 percentilii 75,975,584,882,4 Scuole quintili centrali che si spostano di ± 5 percentili 87,787,390,088,7 Scuole top quintile che si spostano di ± 5 posizioni 80,782,784,884,5 ITAMATITAMAT Scuole che escono dal primo quintile 58,157,570,867,1 Scuole che escono dal top quintile 64,365,174,171,4

Modello di regressione ITALIANO V PRIMARIA a.s ModelloBSig. (Costante)43,433,000 Punteggio medio di scuola di italiano al livello 2,215,000 Punteggio medio di scuola di matematica al livello 2,180,000 FEMMINA1,023,000 ANTICIPATARIO-,338,229 POSTICIPATARIO-6,208,000 Straniero di I generazione-8,334,000 Straniero di II generazione-6,162,000 Parla DIALETTO in casa-1,297,000 VOTO ITALIANO I QUADR,022,000 VOTO MATEMATICA I QUADR,036,000 ESCS a livello individuale3,802,000 ESCS medio di classe,134,253 Perc. Femmine nella classe-,012,000 Perc. Anticipatari nella classe-,035,001 Perc. Posticipatari nella classe,004,634 Perc. Straniero di I generazione nella classe-,025,000 Perc. Straniero di II generazione nella classe-,035,000 Perc studenti che parlano DIALETTO nella classe-,001,654 ESCS medio di scuola3,327,000 Perc. Femmine nella scuola-,006,247 Perc. Anticipatari nella scuola-,260,000 Perc. Posticipatari nella scuola-,057,000 Perc. Straniero di I generazione nella scuola,245,000 Perc. Straniero di II generazione nella scuola,207,000 Perc. studenti che parlano DIALETTO nella classe-,077,000