IL RAPPORTO DI AUTOVALUTAZIONE DELLE SCUOLE Il contesto, le risorse, gli esiti Angela Martini Mestre, 2 marzo 2015

Che cosa si intende per "contesto" Angela Martini – Mestre, 2 Marzo 2015 Il termine “contesto”, in riferimento agli istituti scolastici, assume due significati, indicando sia il contesto esterno alla scuola sia il contesto interno.  Nel primo significato, esso sta ad indicare le caratteristiche, dal punto di vista economico, sociale, ecc., dell’ambiente in cui la scuola, per la sua localizzazione territoriale, si trova ad essere inserita.  Nel secondo significato, per “contesto” si intendono le caratteristiche aggregate della popolazione di studenti che frequenta ciascun istituto, vale a dire la composizione (school mix) del corpo studentesco dell’istituto.

La relazione tra risultati dei test di apprendimento e lo sviluppo economico di un territorio Angela Martini – Mestre, 2 Marzo 2015 Fonte: ISTAT (2013) I risultati delle regioni italiane nelle rilevazioni INVALSI e in PISA (livello 10)

Il territorio: gli indicatori economici e il capitale sociale Angela Martini – Mestre, 2 Marzo 2015 Il territorio è l’area geografica dove la scuola è localizzata, “sia per quel che riguarda la provenienza degli studenti, sia con riferimento ai rapporti che essa intrattiene con le istituzioni locali e altri soggetti esterni” (INVALSI, 2014). Quello di capitale sociale è un costrutto sociologico (Coleman, Putnam, ecc.) che ha definizioni diverse a seconda dell’autore e dell’approccio ma che in genere riguarda l’intensità e la qualità delle relazioni di reciprocità e di fiducia all’interno di una data comunità, su cui si basa la propensione alla cooperazione fra i suoi membri.

Il fenomeno del cheating per regione (livello ) Angela Martini – Mestre, 2 Marzo 2015

Il cheating: lo studio di Bertone e altri (IZA DP 6629/2012) Angela Martini – Mestre, 2 Marzo 2015 Lo studio sul fenomeno del cheating (di Bertone, Brunello e Rocco) è stato condotto sulle classi campione e non campione di II e V Primaria della rilevazione Esso ha riscontrato che:  nelle classi con osservatore esterno rispetto a quelle senza osservatore si assiste a una riduzione del punteggio delle prove INVALSI, che va, in media, dal 5,5% all’8,5% a seconda del livello e della materia;  accanto all’effetto diretto della presenza dell’osservatore, responsabile di circa l’80% dell’effetto complessivo, vi è un effetto indiretto, che fa sì che anche nelle classi non campionate di scuole campionate si abbia una riduzione del punteggio.

Le conclusioni dello studio di Bertone Angela Martini – Mestre, 2 Marzo L’effetto dell’osservatore nelle classi dove questi è presente non è dovuto né alla distrazione provocata dalla presenza di un estraneo né a un maggior livello di ansia sperimentato dagli alunni. 2.L’analisi del variare della dimensione dell’effetto in funzione di una serie di variabili, come la dimensione della classe, il carattere pubblico o privato della scuola, la percentuale di insegnanti di ruolo nella scuola, l’Escs medio di scuola e alcune misure di capitale sociale della provincia in cui la scuola è localizzata, ha portato a rilevare che l’effetto dell’osservatore: è più piccolo nelle classi più numerose, non cambia se la scuola è pubblica o privata, è maggiore nelle scuole dove è più alta la percentuale di insegnanti di ruolo, non varia con l’Escs medio di scuola, è fortemente associato con il livello di capitale sociale della provincia in cui la scuola è localizzata, e ciò anche controllando per il PIL pro-capite e il tasso di disoccupazione.

Il contesto interno Angela Martini – Mestre, 2 Marzo 2015 Il contesto interno è determinato dalla composizione sotto il profilo socio- economico-culturale della popolazione scolastica reclutata dalla scuola.

L’effetto di contesto Angela Martini – Mestre, 2 Marzo 2015 Dalle ricerche sugli effetti del raggruppamento degli alunni e sull’effetto della scuola è emersa la presenza di un effetto di contesto o effetto di composizione del gruppo – classe e/o scuola - di cui un alunno fa parte. Ciò significa che l’apprendimento di uno studente è influenzato non solo dalle sue caratteristiche personali ma anche dalle caratteristiche medie e dal grado di eterogeneità/omogeneità degli alunni della classe e/o della scuola che egli frequenta. L’effetto di contesto è prima di tutto un effetto dovuto alla particolare composizione del gruppo ed è dunque, in termini diretti, un “effetto dei compagni” (peer effect). La composizione del gruppo genera però anche tutta una serie di effetti indiretti, in particolare per quanto riguarda la qualità degli insegnanti, il clima di classe, l’approccio all’insegnamento, ecc.

Effetti dell’Escs individuale e dell’Escs medio di scuola sul punteggio in scienze (PISA 2006) Angela Martini – Mestre, 2 Marzo 2015 Barre scure: aumento del punteggio di uno studente per l’aumento di mezza unità di deviazione standard dell’Escs individuale. Barre chiare: aumento del punteggio di uno studente per l’aumento di mezza unità di deviazione standard dell’Escs della scuola

Scomposizione della varianza dei risultati in Italiano – INVALSI, 2014 Angela Martini – Mestre, 2 Marzo 2015

Scomposizione della varianza dei risultati in Matematica - INVALSI, 2014 Angela Martini – Mestre, 2 Marzo 2015

Implicazioni sul piano delle politiche dell’effetto di composizione del gruppo Angela Martini – Mestre, 2 Marzo 2015 Se esiste un effetto del raggruppamento, allora la ripartizione degli alunni all’interno delle unità del sistema scolastico (scuole e classi) è un’operazione non neutrale. L’equieterogeneità del raggruppamento degli alunni costituisce la forma d’organizzazione migliore per garantire l’equità educativa e l’eguaglianza di opportunità d’apprendimento. Ciò tuttavia può urtare contro l’esigenza di promuovere il progresso degli alunni più capaci. Questo nodo ha evidenti implicazioni per quanto riguarda l’organizzazione del sistema educativo (scansione fra primo e secondo ciclo e articolazione degli indirizzi nel ciclo secondario) ed è un punto cruciale nell’impostazione delle politiche educative.

Le risorse economiche e materiali Angela Martini – Mestre, 2 Marzo 2015 Le risorse economiche sono rappresentate da tutti i finanziamenti che la scuola riceve, mentre le risorse materiali sono rappresentate dagli edifici e dalle attrezzature di cui la scuola è dotata. È importante ricordare che la ricerca dimostra che più che la quantità delle risorse ciò che conta è l’uso che se ne fa.

Le risorse umane: il mistero del "buon insegnante" Angela Martini – Mestre, 2 Marzo 2015 «Un buon insegnamento è chiaramente importante per alzare i livelli di apprendimento degli studenti. In effetti, la maggioranza delle ricerche suggerisce che i benefici derivanti da un miglioramento della qualità degli insegnanti di un paese sono di gran lunga superiori ad ogni altra politica d’intervento, come ad esempio la diminuzione del numero di alunni per classe. Tuttavia, mentre sappiamo che un buon insegnamento è importante, è assai meno chiaro che cosa faccia un buon insegnante. Le misure della qualità degli insegnanti che sono usate dalla maggior parte dei sistemi educativi pubblici per selezionare i candidati e determinarne la retribuzione – certificazione, esperienza, e livello d’istruzione – sono state ampiamente analizzate, ma vi è una scarsa evidenza sperimentale che queste caratteristiche, definite in termini generali, siano associate a più alti livelli di apprendimento degli studenti» (Goldhaber, Center for Education Data and Research, Washington, 2002)

I risultati: gli esiti istituzionali Angela Martini – Mestre, 2 Marzo 2015 La valutazione degli esiti non può prescindere dagli obiettivi e dalle finalità che ciascuna scuola si pone, obiettivi e finalità che variano a seconda del ciclo d’istruzione e dell’indirizzo-orientamento della scuola. Un problema da tener presente ai fini della formulazione di un giudizio è rappresentato dalla limitata comparabilità delle valutazioni istituzionali.

Distribuzione dei voti di licenza media e risultati TIMSS 2011 in matematica e scienze Angela Martini – Mestre, 2 Marzo 2015 Fonte: Rapporto internazionale TIMSS

Distribuzione dei voti in Matematica per area geografica (PISA 2003) Angela Martini – Mestre, 2 Marzo 2015

Voti e punteggi in matematica per macro-area (PISA 2003) Angela Martini – Mestre, 2 Marzo 2015

Angela Martini – Mestre, 2 Marzo 2015 I risultati nelle prove standardizzate nazionali Gli indicatori esplicitamente citati sono: i punteggi medi in Italiano e matematica per scuola e per classe, al netto del cheating la distribuzione degli alunni nei 5 livelli di apprendimento per materia e in totale la variabilità dei risultati tra classi Ognuno di questi indicatori ha un diverso significato, in sé e in relazione al tipo di scuola.

Il cheating: che fare? Angela Martini – Mestre, 2 Marzo 2015 Fenomeni di cheating sono presenti in tutti i paesi in cui siano stati introdotti sistemi di rilevazione esterna degli apprendimenti degli alunni. L’Italia non costituisce da questo punto di vista un’eccezione. Dall’inizio delle rilevazioni ( ), l’INVALSI sottopone i dati a un procedimento di "pulizia" per correggere le distorsioni dovute a cheating. Nel sono stati introdotti alcuni accorgimenti per prevenire i comportamenti non corretti da parte di studenti e insegnanti: la rotazione delle alternative di risposta alle domande chiuse e, nel caso del test di matematica, anche dei quattro ambiti in cui le domande sono ripartite; l’invio di un osservatore di II livello in scuole selezionate indipendentemente dal fatto che facessero o no parte del campione. Inoltre, la metodologia statistica di rilevazione del cheating nelle classi e nelle scuole è stata affinata rispetto a quella utilizzata fino all’anno prima, basata essenzialmente sulla stima di 4 indicatori: la media e la dispersione dei punteggi, il pattern delle risposte ai singoli item e la percentuale di omissioni.

Il problema dei "falsi positivi" Angela Martini – Mestre, 2 Marzo 2015 Anche se dalle ultime rilevazioni il cheating appare, rispetto agli anni precedenti, in riduzione, il fenomeno non è scomparso. Per tutti i livelli scolari della popolazione di studenti testati rimane dunque necessario procedere, prima della restituzione dei dati alle scuole, alla loro correzione sulla base del coefficiente rilevato di cheating di ciascuna classe e scuola. Sebbene, come si è detto, la metodologia statistica di rilevazione del cheating sia stata affinata, tuttavia essa, come ogni procedura statistica, non è esente da errore e dà dunque luogo ai cosiddetti "falsi negativi" e "falsi positivi". Sono soprattutto questi ultimi, per ovvie ragioni, a rappresentare un problema. I casi di cheating, vero o presunto, appaiono più frequenti nella seconda classe della scuola superiore, in particolare nei licei, e assai più in Italiano che non in matematica. Dall’anno l’INVALSI restituisce alle scuole sia i punteggi corretti, sia i punteggi osservati, responsabilizzando le scuole rispetto all’affidabilità dei dati.

L’efficacia della scuola e la comparabilità dei risultati degli studenti Angela Martini – Mestre, 2 Marzo 2015 «Le prove sperimentali accumulate in più di quarant’anni di ricerche indicano che il livello medio dei risultati degli alunni di una certa scuola in un dato momento è condizionato dall’origine famigliare degli alunni, dalle loro precedenti esperienze formative al di fuori della scuola e dagli effetti delle scuole che hanno frequentato prima, assai più di quanto esso non sia influenzato dalla scuola che attualmente frequentano» (S. Raudenbush, 2004) «Le burocrazie scolastiche ed altre entità governative in vari paesi hanno l'infelice abitudine di pubblicare i risultati grezzi di esami e test a livello di scuole, consentendo così ingiuste comparazioni tra istituti con alunni provenienti da ambienti socio-culturali assai diversi.» «Sebbene nessun ricercatore che abbia il rispetto di se stesso considererebbe tali risultati grezzi come indicativi della reale efficacia di una scuola, i profani (come i genitori), funzionari governativi disinformati e critici del sistema scolastico spesso li utilizzano a questo scopo» (International Handbook of School Effectiveness Research, Teddlie & Reynolds, 2000, pag. 66)

Il valore aggiunto Angela Martini – Mestre, 2 Marzo 2015 Il problema fondamentale che un sistema di valutazione delle scuole deve affrontare è quello di separare l'effetto della scuola da tutte le altre influenze, pregresse e attuali, che agiscono sui livelli di apprendimento degli alunni, per arrivare a stabilire il “valore aggiunto” dell’istruzione impartita da ciascun istituto scolastico. Il valore aggiunto di una scuola è il contributo della scuola al progresso degli studenti verso gli obiettivi stabiliti di apprendimento, al netto delle caratteristiche degli alunni, a livello individuale e aggregato, che incidono sui livelli di apprendimento degli alunni. Esso consiste in una differenza misurabile fra il risultato che gli alunni di un dato istituto hanno conseguito (risultato osservato) e il risultato che teoricamente avrebbero dovuto ottenere (risultato atteso), se essi avessero appreso tanto quanto mediamente hanno imparato, in un dato periodo di tempo, alunni che abbiano frequentato altre scuole.

La classificazione dei modelli di valutazione dell’efficacia educativa secondo l’OCSE (OECD, 2008) Angela Martini – Mestre, 2 Marzo ) Modelli di apprendimento contestualizzato (Contextualized attainment models): stimano il contributo della scuola ai livelli di apprendimento raggiunti dagli alunni in un punto del tempo, al netto delle caratteristiche di background degli studenti a livello individuale e/o aggregato. 2) Modelli di valore aggiunto (Value-added models): la caratteristica principale è l’inclusione di misure dei livelli di apprendimento precedente, che consente una stima molto più accurata del contributo della scuola al progresso degli studenti.

Graduatorie delle scuole al KS2 in Matematica (Goldstein, 2001) Angela Martini – Mestre, 2 Marzo 2015 Modello “non aggiustato” Modello che tien conto del background sociale e del genere Modello che tien conto anche del livello di competenza all’ingresso

Risultati grezzi e risultati contestualizzati degli istituti comprensivi trentini in Italiano (INVALSI, 2011) Angela Martini – Mestre, 2 Marzo 2015

Risultati grezzi e risultati contestualizzati degli istituti superiori trentini in Matematica (INVALSI, 2011) Angela Martini – Mestre, 2 Marzo 2015

La variabilità dei risultati tra classi dello stesso istituto Angela Martini – Mestre, 2 Marzo 2015 La varianza "tra" classi è la quota di variabilità dei risultati che è da attribuire a differenze tra le classi: essa indica il grado di omogeneità dei risultati delle classi di uno stesso istituto (così come la varianza tra scuole è la quota di variabilità dovuta a differenze tra le scuole ed indica il grado di omogeneità dei risultati delle scuole del medesimo livello scolare). Se la formazione delle classi fosse perfettamente equieterogenea – cioè se ciascuna classe riflettesse al proprio interno la composizione dell’intera popolazione reclutata dall’istituto - e se in ogni classe fosse assicurata la stessa qualità d’insegnamento così che il progresso nell’apprendimento avvenisse allo stesso ritmo, tutta la variabilità dei risultati si situerebbe tra gli alunni all’interno delle classi, mentre la varianza tra le classi tenderebbe a zero. Questo indicatore assume un’importanza e un significato in parte diversi a seconda che si tratti di una scuola del primo o del secondo ciclo d’istruzione.

La varianza tra classi dei punteggi e dell’Escs Angela Martini – Mestre, 2 Marzo 2015

L’effetto della classe sul progresso degli alunni nel primo biennio del collège (Duru-Bellat, 1999) Angela Martini – Mestre, 2 Marzo )Le variabili di contesto (livello medio all’ingresso e grado di eterogeneità) hanno un impatto statisticamente significativo ma minore delle variabili individuali. 2)Il livello medio della classe tende ad avere un effetto positivo sul progresso individuale tanto più quanto più esso è elevato. 3)Anche l’eterogeneità è associata a una migliore progressione, ma in misura meno marcata. 4)Le due variabili precedenti interagiscono fra loro: il progresso degli alunni è tanto minore quanto più la classe è di livello medio basso ed omogenea, mentre nelle classi di livello medio elevato l’eterogeneità non ha più alcun effetto. Quindi è nei gruppi di livello medio basso ed omogenei che gli alunni deboli hanno meno probabilità di migliorare. 5)Il progresso individuale degli alunni è influenzato dalla loro posizione all’interno della classe, vale a dire che gli alunni “deboli” traggono profitto dall’appartenenza a una classe di livello medio più elevato del loro, mentre gli alunni “forti” sono svantaggiati dall’appartenenza a una classe di livello medio meno elevato del loro, anche se il beneficio che ritraggono i primi è il doppio dello svantaggio che subiscono i secondi.

Le competenze chiave e di cittadinanza Angela Martini – Mestre, 2 Marzo ) Raccomandazione del Parlamento europeo del 2006, l’Allegato alla quale si intitola: Competenze chiave per l’apprendimento permanente. Un quadro di riferimento europeo. Il progetto DeSeCo dell’OCSE ha individuato come competenze chiave: Competenza sociale e civica Imparare a imparare Spirito d’iniziativa e imprenditorialità Comunicazione nella madrelingua Comunicazione nelle lingue straniere Competenza matematica e competenze di base in scienze e tecnologia Competenza digitale Consapevolezza ed espressività culturale 2) Allegato al Regolamento sull’adempimento dell’obbligo scolastico del 2007, dove le competenze chiave e di cittadinanza sono così elencate: Imparare a imparare Progettare Comunicare Collaborare e partecipare Agire in modo autonomo e responsabile Risolvere problemi Individuare collegamenti e relazioni Acquisire e interpretare l’informazione

I risultati a distanza Angela Martini – Mestre, 2 Marzo 2015 Alcuni degli indicatori si riferiscono chiaramente alla scuola del primo ciclo (2.4.c), altri a quella del secondo (2.4.a, 2.4.b). Fra questi, inoltre, l’importanza dell’indicatore può variare a seconda del tipo di scuola.

Grazie per l’attenzione!