Restituzione Daniele Pitturelli Pavia – 24 aprile 2007.

Presentazione sul tema: "Restituzione Daniele Pitturelli Pavia – 24 aprile 2007."— Transcript della presentazione:

1 Restituzione Daniele Pitturelli Pavia – 24 aprile 2007

2 Ferrari (2004, p. 62), per quanto riguarda la valutazione di un contesto educativo, sottolinea l’importanza dell’intersoggettività del percorso e chiarisce che l’analisi si svolge su tre piani che si intersecano tra loro: i punti di vista tra i diversi valutatori, l’idea di qualità che è presente nello strumento proposto e in coloro che lo utilizzano

3 Da questa riflessione nasce, a livello metodologico, la centralità della fase di restituzione degli esiti di un processo valutativo, elemento fondamentale per la riuscita di un’indagine.

4  Uno degli scopi principali di una ricerca in un contesto educativo è, infatti, riuscire a modificare la situazione di partenza, creando le condizioni per introdurre significativi cambiamenti e per attivare processi di innovazione (Beeby, 1977; Wolf, 1987).

5  Il momento della restituzione non si limita a una verifica dei punteggi assegnati tramite lo strumento, ma consiste nel mettere in relazione differenti punti di vista e nel favorire una discussione in grado di far emergere le motivazioni e le ragioni più profonde del proprio valutare, alla ricerca dei significati espliciti e impliciti del nostro modo di intendere la realtà.

6 All’interno della fase di restituzione che, come si è visto, è punto di arrivo e di partenza di un processo valutativo, coesistono e si intrecciano temi complessi quali: a) le relazioni tra le scelte degli individui e le esigenze proprie dell’istituzione; b) la tensione, all’interno di un contesto formativo, tra ‘essere’ e ‘dover essere’, tra un’immagine di scuola ideale e la scuola reale, così come si definisce nel suo agire e farsi concreto; c) la ricerca delle motivazioni che spingono gli attori coinvolti ad operare determinate scelte che avvengono sulla base di complessi processi di mediazione, di negoziazione e di condivisione.

7 Dewey e il percorso transattivo (Dewey 1929- 1951) Assunto di base: Conoscenza è transazione, un processo a spirale senza fine che coinvolge tutti gli attori nella presa di decisioni.

8 Il percorso transazionale (Dewey 1929-1951)  Coinvolgimento dei diversi attori sociali nel processo di crescita e di confronto  Riorientamento delle scelte e delle decisioni circa l’organizzazione di un dato contesto  Negoziazione tra diversi saperi di differenti soggetti che giocano ruoli non omogenei sulla scena

9 Valutazione di quarta generazione (Guba e Lincoln, 1989) “Una forma di valutazione in cui le dichiarazioni, le preoccupazioni e le questioni degli stakeholders fungono da fuochi organizzativi” (Guba e Lincoln, 1989) Richiamo a un paradigma costruttivistico che orienta l’azione del valutare a partire dagli stakeholders coinvolti nel processo.

10 Valutazione di quarta generazione (Guba e Lincoln, 1989) Assunto di base: Nel processo valutativo tutti gli attori sono chiamati a co-costruire conoscenza e sapere circa un dato fenomeno che si definisce e ri- definisce nel confronto.

11 Processo valutativo (Guba e Lincoln, 1989) Identificare con precisione gli stakeholders Far emergere i diversi punti di vista dei diversi attori/gruppi circa l’oggetto della valutazione Creare un contesto di dialogo/interazione Valorizzare i diversi punti di vista Negoziare circa gli aspetti poco condivisi Raccogliere e fornire informazioni utili al processo di negoziazione Stimolare la discussione circa gli esiti della valutazione Trovare accordi e soluzioni condivise Valutazione come percorso a spirale aperta/ Continua negoziazione di significato

12 Durante la fase di restituzione è utile fornire alcuni schemi interpretativi ai gruppi che hanno partecipato alla valutazione. Gli incontri, di volta in volta verbalizzati, offrono una preziosa serie di informazioni. Si tratta, anzitutto, di dati “qualitativi” che emergono dalle relazioni elaborate per le scuole. Le relazioni presentate alle scuole: schemi interpretativi.

13 Le relazioni, elaborate sulla base di uno schema comune, sono comprensive anche dei dati di natura “quantitativa” che si analizzano al fine di discutere le questioni relative all’affidabilità dello strumento, ma che non escludono ulteriori riflessioni di tipo comparativo.

14 A ciascun istituto può essere restituita una relazione dettagliata con l’analisi delle misure di tendenza centrale e una serie di grafici in linea capaci di visualizzare l’andamento, così come si è indicato nelle tabelle che seguono e che concernono gli indicatori per la valutazione e dei criteri interpretativi.

15 Indicatori per la valutazione della scuola 1 Punteggi Medi 2Deviazione Standard. 3Moda 4Media Aree 5Grafici in linea - Valutazione della scuola (generale) 6Grafici in linea - Confronto valutazione della scuola/dv.st.. 7Grafici in linea - Confronto valutazione della scuola item Area/dv.st 8Commento analitico delle carenze (item/area) espresse dai valutatori

16 Punti di forza e punti di debolezza di una scuola Ai valutatori può essere fornita inoltre una tabella utile per individuare i punti di forza e i punti di debolezza di una scuola, sulla falsariga di altre ricerche di valutazione formativa compiute dal gruppo pavese (Gusmini, 2004, pp. 223-253)

17 SituazioneMedia Val. item Dv. St.Commento Punti di forza (riconosciuti da tutti) ALTABASSAI valutatori riconoscono i punti di forza della scuola in modo condiviso. Si attribuiscono capacità di offrire buona qualità nell’ambito di contenuto definito dall’item. Punti di forza (non riconosciuti da tutti) ALTA Una parte dei valutatori non condivide la buona qualità attribuita dagli altri. La qualità dell’offerta non è riconosciuta in modo condiviso. Punti di debolezza (carenze non riconosciute da tutti) BASSAALTALa scarsa qualità offerta non è riconosciuta in modo condiviso. Esiste una frammentazione nelle percezioni della qualità, prevale una visione negativa. Punti di debolezza (carenze) BASSA I valutatori riconoscono, in modo condiviso, carenze nella qualità offerta nell’ambito di contenuto definito dall’item.

18 Un esempio di restituzione. La restituzione comporta una relazione dettagliata circa gli esiti della valutazione condotta dagli insegnanti e tutte le scuole che hanno partecipato hanno ricevuto un documento costruito secondo il seguente schema. Si riporta, a titolo di esempio di un lavoro svolto in un gruppo di scuole, lo schema di una relazione dopo l’uso dello strumento SASI-S (II).

19 La prima parte della relazione: uno sguardo d’insieme A) Il verbale del I incontro, elaborato in forma sintetica, riporta le principali informazioni che sono state comunicate nel corso della riunione: la presentazione dello strumento, le procedure per l’operazione di testing (attribuzione del punteggio, raccolta dei fogli di risposta, restituzione dei risultati).

20 B) La lettura dei dati: la relazione, fornisce una prima chiave interpretativa sulla base di alcune indicazioni tratte dal lavoro di ricerca di Gusmini (2004, pp. 223-253). Si sottolineano, in particolare, i punti di forza e i punti di debolezza della scuola. C) La composizione e il comportamento valutatorio del gruppo: si indica il numero delle persone che hanno valutato la scuola, specificando la qualifica e il ruolo che giocano all’interno dell’organizzazione e si segnalano gli item non valutati. È un primo momento di riflessione circa l’uso dello strumento e di verifica della sua applicabilità.

21 D) L’analisi dei dati relativi alla valutazione della scuola: mette in luce il punteggio medio espresso dal gruppo e sottolinea l’omogeneità o la difformità di valutazione al suo interno. I punteggi medi del gruppo per ciascuna area sono riportati, secondo un ordine decrescente, in una tabella. I grafici in linea, come si può vedere nel grafico seguente, permettono il confronto tra il punteggio medio degli item e la deviazione standard.

22 Esempio: analisi dei dati relativi alla valutazione operata dal gruppo di insegnanti del Liceo XXX punteggio medio espresso dal gruppo = 3.1. Esiste una marcata differenziazione all’interno del gruppo dei valutatori il punteggio medio dei singoli valutatori: [Val1, (4.2); Val2, (2.4); Val3, (2.6); Val4, (3); Val.5, (2.7); Val.6 (2.6); Val.7 (4.1)] 4 valutatori assegnano un punteggio medio al di sotto della situazione 3, mentre 3 valutatori attribuiscono un punteggio abbastanza elevato che varia da 3 a 4.2.

23 Un altro dato interessante riguarda i punteggi medi espressi dal gruppo dei valutatori per ciascuna area dello strumento. Le aree dello strumento che ottengono i punteggi medi più elevati sono: 9. Il sostegno (3.7) e 10. Rapporti con il territorio (3.7), seguono l’area 8. I rapporti con gli alunni con 3.6 e l’area 4. La progettualità (3.4). Le aree 1. Organizzazione e gestione della scuola (3.2), 3. La valutazione (3.1) e 2. La professionalità docente (3) ottengono un punteggio uguale o poco superiore al 3. Le aree che ottengono i punteggi medi meno elevati sono: 7. I rapporti con le famiglie (2.8), 6. Le relazioni interne (2.6) e 5. La struttura e le risorse (2,4).

24

25 E) Si passano in rassegna gli item con i punteggi medi più alti, punti di forza, gli item con i punteggi medi meno elevati, punti critici o di debolezza della scuola. F) Particolare attenzione viene prestata all’analisi della deviazione standard. Gli item con la deviazione standard più elevata indicano una difformità di giudizio tra i soggetti che osservano la stessa realtà.

26 Le cause dell’emergere di una valutazione discrepante all’interno del gruppo, in questo caso, possono dipendere da molti fattori quali:  un’analisi superficiale delle situazioni indicate dall’item,  la scarsa chiarezza di alcuni termini,  l’ambiguità del lessico o delle situazioni presentate,  le informazioni limitate che un singolo valutatore può avere circa l’argomento trattato,  l’adesione non piena alla filosofia di qualità proposta dai diversi item dello strumento (Bondioli, 2004, p. 288).

27 Gli item con la deviazione standard meno elevata: sottolineano una omogeneità di giudizio all’interno del gruppo dei valutatori. Questo comune guardare alla stessa realtà può dipendere da molti fattori quali la partecipazione coerente e convinta alle scelte operate, le informazioni e le conoscenze condivise circa l’argomento, l’adesione ai criteri di qualità intrinseci nello strumento.

28 G) Si discutono gli item con i valori di moda più e meno elevati: la moda rappresenta un indice di posizione che permette di stabilire il valore che appare più frequentemente fra i risultati della prova;  è facile da individuare e permette di evidenziare con immediatezza il punteggio raggiunto dalla maggior parte dei valutatori.  La presenza di item con più mode (bimodali o trimodali), a volte collocate agli estremi del punteggio previsto, permette di riflettere sulla discrepanza di giudizio all’interno del gruppo.

29 La seconda parte della relazione: analisi delle aree e delle carenze. La seconda parte della relazione prosegue con un’analisi approfondita delle aree sottoposte a valutazione e un commento relativo alle carenze individuate dai valutatori.

30 Tali osservazioni forniscono una base di discussione per altri incontri che il gruppo può svolgere successivamente allo scopo di prendere decisioni, operare cambiamenti, introdurre innovazioni. Attraverso le tabelle e i grafici si mettono in evidenza i punti di forza e i punti di debolezza della scuola, si possono presentare i risultati più significativi e fare, utilizzando le chiavi interpretative, le opportune considerazioni circa il comportamento valutatorio e i valori di media registrati.

31 Una serie di grafici in linea, sul modello del grafico qui riportato, visualizza l’andamento della valutazione nelle dieci aree dello strumento e permette di stabilire confronti tra la valutazione della scuola e la deviazione standard.

32

33 La terza parte della relazione: dalla valutazione dello strumento alle proposte di riflessione I risultati della valutazione criteriale sono esposti in una relazione che segue le indicazioni fornite in precedenza e che mette in luce gli aspetti più significativi. Anche per quanto riguarda la valutazione criteriale, come si può vedere dalla tabella, si tiene conto degli stessi indicatori utilizzati per la valutazione della scuola.

34 Indicatori per la valutazione criteriale 1 Punteggi Medi 2Deviazione Standard. 3Moda 4Media Aree 5Grafici in linea - Valutazione dello strumento (generale) 6Grafici in linea - Confronto valutazione dello strumento/dv.st.. 7Grafici in linea - Confronto valutazione dello strumento item Area/dv.st 8Commento analitico delle carenze (item/area) espresse dai valutatori

35 Ai valutatori può essere fornita questa tabella utile per individuare la capacità degli item di riscontrare la qualità del servizio del contesto scolastico.

36 SituazioneMedia Val. item Dv. St.Commento Pertinenza riconosciuta e condivisa ALTABASSAI valutatori riconoscono a questi item alta valenza nella loro rilevanza ai fini della costruzione di una qualità educativa. Pertinenza non riconosciuta BASSA I valutatori non riconoscono a questi item capacità di rilevare una qualità educativa. Pertinenza riconosciuta ma non condivisa da tutti ALTA Vi sono percezioni diverse tra i valutatori sull’importanza da attribuire a questi item ai fini della costruzione di una qualità educativa.

37 Si è quindi proceduto, come consigliato dagli autori del QUAFES e dell’ASEI (Darder, Mestres, 1994-2000), mettendo a confronto la valutazione del servizio e la valutazione criteriale Ai valutatori sono state date delle indicazioni utili, così come riportato nella tabella seguente. Cfr. il lavoro di Darder e Mestres per lo strumento ASEI, in Gusmini, 2004, nota 6, p. 248.

38 Si è fornita, inoltre, una visualizzazione grafica che pone a confronto la valutazione del servizio e la valutazione criteriale.

39 SituazioneA Manteni mento B Revisione dei criteri assunti C Piano d’intervento D Sensibilizza zione e formazione Punteggio attribuito al servizio ++-- Punteggio attribuito all’item (Valutazione criteriale) +-+-

40 Situazione A + +: esiste coerenza perché il punteggio attribuito al servizio è alto, così come quello assegnato agli item Situazione B + -: il punteggio attribuito al servizio è alto, la valutazione criteriale è bassa; occorre che i valutatori riflettano circa i valori attribuiti agli item e nei confronti degli assunti di base sottesi alla costruzione degli item. Una maggiore sensibilizzazione, un’opera di motivazione del gruppo dei valutatori può modificare l’atteggiamento e limitare le difficoltà in un piano d’intervento migliorativo del servizio.

41 Situazione C - +: il punteggio attribuito al servizio è basso, mentre la valutazione criteriale è alta. Si può pensare che esista una certa predisposizione dei valutatori al cambiamento e all’innovazione e che si possa predisporre in modo condiviso un piano di miglioramento. Situazione D - -: il punteggio attribuito al servizio è basso, così come la valutazione criteriale. Sembra necessaria una riflessione più approfondita e una strategia di sensibilizzazione e di formazione dei valutatori circa i contenuti trattati. La modifica del proprio atteggiamento nei confronti degli aspetti considerati è la premessa per poter programmare iniziative di miglioramento.

42 Cod. Id. ScuolaArea 1Area 2Area 3Area 4Area 5 1 3,93,23,73,62,8 2 4,53,43,644,4 3 3,72,32,52,61,7 4 2,82,42,72,32,4 5 3,42,432,82,7 6 3,22,12,533,5 7 3,233,13,42,4 8 3,83,54,142,8 9 2,62,12,32,82,1 103,4 3,62,8 113,9 3,62,93,73 124,4 3,84,4 3,2 134,7 4,33,54,53,6 143,5 3,42,33,52,5 153,2 2,91,92,62,4 La valutazione delle singole scuole: la media delle aree

43 Cod. Id. ScuolaArea 6Area 7Area 8Area 9Area 10 1 3,633,343,6 2 4,33,64 *4 3 2,7 *3,3 *3,6 4 2,82,73,33,83,3 5 332,8 *2,5 6 2,12,9 *3,3 7 2,62,83,63,7 8 44,4 * 9 2,6 2,73,42,8 10 3,43,63,9 *4,2 11 3,73,53,643,8 12 4,53,64,344,1 13 4,2 4,34,83,9 14 3,53,73,64,33,2 15 333,63,82,8 * La scuola (Cod.id.3) non ha valutato l’area 7. I rapporti con le famiglie perché gli studenti sono per la maggior parte stranieri (circa 80%), in genere adulti, senza la famiglia in loco. * Le scuole 2, 3, 5, 6, 8, 10 non hanno valutato, come concordato, l’area 9. Il sostegno perché non ci sono mai state esperienze a riguardo. * In grassetto sono evidenziati i punteggi medi più elevati e quelli meno elevati

44 Valutazione Scuole/Aree e punteggi più elevati il gruppo di valutatori della scuola 13 assegna il punteggio medio più elevato a 5 aree dello strumento: 1. Organizzazione e gestione della scuola (4.7), 2. La professionalità docente (4.3), 4. La progettualità (4.5), 7. I rapporti con le famiglie (4.2), 9. Il sostegno (4.8). Seguono le scuole 8 e12 che attribuiscono il punteggio più elevato rispettivamente alle aree 8. I rapporti con gli alunni e 10. Rapporti con il territorio (4.4) e alle aree 3. La valutazione (4.4) e 6. Le relazioni interne(4.5). La scuola 2, infine, assegna il punteggio più alto all’area 5. La struttura e le risorse (4.4).

45 Valutazione Scuole/Aree e punteggi più elevati Due scuole assegnano, invece, il punteggio medio più basso a tre aree.  La scuola 6 indica le aree 2. La professionalità docente (2.1), 6. Le relazioni interne (2.5), 7. I rapporti con le famiglie (2.1),  mentre la scuola 9 segnala le aree 1. Organizzazione e gestione della scuola (2.6), 8. I rapporti con gli alunni (2.7), 9. Il sostegno (3.4); seguono quattro scuole con un’area.

46 La valutazione delle scuole: la media generale delle aree 1-5 Area 1Area 2Area 3Area 4Area 5 Media3,6333,32,8 Mediana3,53,233,52,8 Moda3,23,42,53,62,8 Deviazione standard0,60,7 Conteggio15

47 La valutazione delle scuole: la media generale delle aree 6-10 Area 6Area 7Area 8Area 9Area 10 Media3,33,23,643,5 Mediana3,43,23,64 Moda333,64 Deviazione standard0,70,60,50,40,6 Conteggio1514159

48 Posiz.Aree dello StrumentoMedia 1Area 9. Il sostegno4 2Area 1. Organizzazione e gestione della scuola 3.6 2Area 8. I rapporti con gli alunni3.6 3Area 10. I rapporti con il territorio3.5 4Area 4. La progettualità3.4 5Area 6. Le relazioni interne3.3 6Area 7. I rapporti con le famiglie3.2 7Area 2. La professionalità docente3 7Area 3. La valutazione3 8Area 5. La struttura e le risorse2.8 I punteggi medi espressi dalle scuole per ciascuna area dello strumento

49 Valutazione Scuole/Aree e punteggi meno elevati L’area 5. La struttura e le risorse ottiene il punteggio medio più basso (2.8), in questo caso bisogna considerare che esistono fattori esterni, dipendenti dagli enti locali che si occupano della manutenzione e dell’organizzazione degli spazi degli edifici scolastici. L’area 9 Il sostegno, valutata da 9 realtà scolastiche, ottiene il punteggio medio più alto (4), ciò significa che le scuole interessate non solo prestano molta attenzione circa gli aspetti e le dimensioni legate all’inserimento e alla partecipazione di soggetti portatori di handicap, ma hanno investito molto in formazione e aggiornamento del personale specializzato, strutture e servizi di rete e di accompagnamento delle situazioni e dei singoli casi. Le dispersioni risultano abbastanza basse e oscillano tra 0.4 e 0.7, segno di un comportamento valutatorio omogeneo da parte del gruppo di insegnanti delle scuole prese in esame.

50 Comportamento valutatorio Dall’analisi dei punteggi medi emergono: i punti di forza e i punti di debolezza della scuola in rapporto alle diverse aree dello strumento. L’atteggiamento del gruppo (coeso, unito, punti di vista molto differenziati, ecc.)

51 Comportamento valutatorio Circoli  in 2 circoli il gruppo dei valutatori mostra una sostanziale omogeneità quanto ai punteggi medi attribuiti alle diverse aree, mentre in un circolo  una parte del gruppo esprime punti di vista differenti. Scuola media e Comprensivo  i risultati confermano una sostanziale condivisione all’interno del gruppo dei valutatori.

52 Comportamento valutatorio Scuole medie superiori  in 6 scuole lo staff di dirigenza appare unito e mostra un orientamento comune stabilisce un confronto costante circa i modi per affrontare i problemi che si presentano In 4 scuole  il gruppo mostra, al suo interno, differenti valutazioni, soprattutto per quanto riguarda il giudizio relativo ad alcune dimensioni organizzative e gestionali della scuola