La sperimentazione Sivadis: il valore aggiunto del monitoraggio Seminario di Formazione SIVADIS 3 28 Novembre-02 Dicembre 2005 Genny Terrinoni

La sperimentazione Sivadis: il valore aggiunto del monitoraggio Soggetti coinvolti Aspetti consolidati nelle opinioni Aspetti critici Lavoro di analisi Classificazione Avvio analisi multivariata

Aspetti consolidati nelle opinioni e negli atteggiamenti Limportanza della partecipazione al progetto viene motivata con: la voglia di confrontarsi e di mettersi alla prova occasione per migliorare le proprie capacità professionali come unoccasione di formazione e aggiornamento Anche le motivazioni meno frequenti indicano un atteggiamento decisamente costruttivo nel merito e nelle finalità del progetto, evidenziando altresì la percezione di un ruolo formativo delloperazione

Aspetti consolidati nelle opinioni e negli atteggiamenti Procedura di confronto-condivisione tra valutatore e/o team e dirigente scolastico Giudizio ampiamente positivo, caratterizzato come utile e costruttivo congruentemente con latteggiamento nei confronti della propria partecipazione alla sperimentazione Interazione come una dimensione complessa ma dinamica da governare attraverso un coinvolgimento costruttivo

Aspetti consolidati nelle opinioni e negli atteggiamenti Il fascicolo individuale riscuote apprezzamenti più positivi rispetto allo scorso anno sia nella struttura complessiva che nelle singole sezioni soddisfazione per laccoglimento delle indicazioni e suggerimenti dei soggetti che hanno messo su campo il modello Utilità delle informazioni ricevute sul progetto informazioni e strategie sono ritenute significativamente più utili rispetto a quanto espresso nello scorso anno

Aspetti consolidati nelle opinioni e negli atteggiamenti Team di Valutazione e Componente DS nel Team la costituzione di team riscuote un largo consenso da parte dei DS più critica e articolata la posizione dei valutatori (problemi di risorse, tempi, organizzazione, selezione) presenza componente DS nel ruolo di valutatore riscuote un ampio consenso dai DS più debole il consenso e più critico il giudizio dei valutatori Obiettivi pluriennali la stragrande maggioranza dei soggetti coinvolti considera più adeguata una valutazione su obiettivi pluriennali motivandola con il rapporto: complessità obiettivi- tempi più distesi per una loro attuazione e adeguata valutazione Dati questionari e focus group

Aspetti problematici nelle opinioni e negli atteggiamenti Informazioni e strategie informative scarsa tempestività scarsa o quasi nulla estensione delle informazioni sul progetto che, secondo il giudizio di molti DS generano: rinforzo delle percezioni di diffidenza ed esclusione alimentano atteggiamenti pregiudizialmente negativi nei confronti del sistema valutativo frenano altresì consapevoli aperture alla partecipazione Tempi di attuazione inadeguati alla complessità del lavoro (avvio tardivo) non corrispondenza con linizio delle attività dellanno scolastico Dati questionari e focus group

Aspetti problematici nelle opinioni e negli atteggiamenti Adeguatezza dello strumento (giudizio valutatori) Lo strumento in sé va bene ma: Dati questionari e focus group Esigenza di pervenire ad una valutazione valida e attendibile Viene rilevata la presenza di gradi di eccessiva arbitrarietà Elaborazione di strumentazione di accompagnament o/ supporto alla strumentazione predisposta che guidi le fasi procedurali della valutazione (raccolta di informazioni, osservazione)

Aspetti problematici nelle opinioni e negli atteggiamenti Adeguatezza dello strumento (giudizio dirigenti scolastici) Lo strumento in sé va bene ma: Dati questionari e focus group Perplessità sulla capacità del solo strumento di consentire una rappresentazione sostanziale della complessità del proprio lavoro Visite più frequenti e più sistematiche del valutatore nella scuola per favorire una lettura ed una comprensione di ciò che accade realmente nella scuola Rischio di produzioni cartacee formali Esigenza di pervenire ad una valutazione valida e attendibile

Aspetti problematici nelle opinioni e negli atteggiamenti Formulazione obiettivi e indicatori Dati questionari e focus group Cresciuta la percentuale di ds che dichiarano modifiche degli ind nel corso del colloquio Stabili le esigenze formative di natura metodologica, confermate dallanalisi dei fascicoli Percentualmente identiche le indicazioni sulle richieste di supporto fatte al valutatore: formulazione ob ma soprattutto ind Percentualmente basse le difficoltà segnalate nella formulazione di ob e ind

Esiti dellanalisi dei Fascicoli individuali di Valutazione Lanalisi formale e di contenuto, attuata sulla base di criteri scientifici, dei materiali valutativi contenuti nei 176 fascicoli individuali (contesto, obiettivi, azioni e indicatori) offre: una descrizione esaustiva e affidabile riduce lestrema variabilità ed eterogeneità dei materiali ad un numero limitato di tipologie salvaguarda la pluralità, la ricchezza e la rappresentatività delle effettive pratiche valutative

Elementi di progresso nella formulazione degli obiettivi I risultati dellanalisi evidenziano un processo in corso di lenta ma progressiva condivisione semantica e concettuale: consistente riduzione di obiettivi generici e/o pluriconcettuali minore ambiguità semantica riduzione del numero di categorie di contenuto entro le quali sono codificabili lettura più immediata e riduzione di operazioni interpretative Tale processo sembra essere stato positivamente influenzato da due fattori: la riduzione e la ridefinizione interna delle aree valutative (da cinque a quattro) operata nel secondo anno di sperimentazione lampio uso (anche se non sempre rispettoso delle indicazioni metodologiche ad esso connesse e della chiara indicazione sulla sua natura empirico-descrittiva e non normativa) del repertorio elaborato dallINVALSI a conclusione del primo anno di sperimentazione

Elementi di progresso nella formulazione degli obiettivi Tutti questi aspetti, insieme alladeguamento della strumentazione, sono particolarmente interessanti in quanto costituiscono le basi fondamentali per: descrivere correttamente loggetto della valutazione predisporlo alla lettura e dunque alla sua valutazione creare condizioni affidabili per il governo della intersoggettività elaborare un lessico comune per rendere comparabili i dati valutativi

Elementi di progresso nella formulazione di obiettivi e indicatori Difficoltà permanenti nella formulazione degli obiettivi: un numero abbastanza consistente di obiettivi che non corrisponde ancora a criteri basilari di corretta formulazione obiettivi semanticamente ambigui e/o incomprensibili Elementi di progresso nella formulazione degli indicatori: una formulazione che consente il riconoscimento più immediato del contenuto/oggetto di misurazione e della tipologia di misura, dunque, una loro più facile classificazione una formulazione che consentirebbe, se ulteriormente affinata in termini di criteri, strumenti e procedure, lidentificazione più immediata e più precisa dei criteri di misurazione e/o di verifica intersoggettiva in essi contenuti

Elementi di progresso nella formulazione di obiettivi e indicatori Difficoltà permanenti nella formulazione degli indicatori: un numero abbastanza consistente di indicatori non consente di comprendere loggetto/i che in concreto vorrebbero misurare e le modalità connesse alloperazione di misura

Indicatori Semplici CategoriaFrequenza % sul totale delle codifiche Quantità Partecipanti fra il Personale Scolastico ,4 % Quantità di Risorse Finanziarie ,2 % Quantità di Incarichi Assegnati al Personale 153 7,6 % Quantità di Riunioni / Incontri tra il Personale Scolastico 144 7,2 % Quantità di Progetti % Quantità di Convenzioni 126 6,3 % Quantità di Strutture Predisposte e Attivate 119 5,9 % Presenza e Corrispondenza nel POF 110 5,5 % Quantità Partecipanti tra gli Alunni 95 4,7 % Quantità di Corsi di Formazione 49 2,4 % Elaborazione Portfolio 30 1,5 % Quantità di Alunni Promossi, Inscritti, con Insufficienze, Debiti, etc ,3 % Rispetto dei Tempi 16 0,8 % Utilizzo ore per Attività Scolastiche, Extra- Scolastiche, aggiuntive 12 0,6 % Totale Indicatori: 4693 su 176 Fascicoli Individuali

Indicatori Complessi CategoriaFrequenza % sul totale delle codifiche Livello di Soddisfazione (Senza Soggetti Specificati) 75 3,7 % Livello di Condivisione del Personale Scolastico 65 3,2 % Verifica, Rilevazione degli Apprendimenti degli Alunni 58 2,9 % Livello di Efficacia 47 2,3 % Grado Positività Immagine della Scuola 46 2,3 % Grado Positività Clima nella Scuola 44 2,2 % Livello di Soddisfazione del Personale Scolastico 40 2 % Livello di Responsabilità del Personale Scolastico 33 1,6 % Livello di Soddisfazione degli Alunni 24 1,2 % Livello di Soddisfazione delle Famiglie 24 1,2 % Livello di Soddisfazione degli Utenti 24 1,2 % Livello di Motivazione degli Alunni 24 1,2 % Livello di Motivazione senza Soggetti Specificati 17 0,8 % Livello di Collegialità tra il Personale Scolastico 12 0,6 % Totale Indicatori: 4693 su 176 Fascicoli Individuali

Elementi di interesse nella descrizione del contesto La focalizzazione più precisa [1] dei punti di forza e di debolezza del contesto risulta particolarmente interessante in quanto: [1] mette in evidenza dati di lettura individuale del contesto che, al di là degli strumenti e dei metodi attraverso i quali tale lettura viene attuata, esprime le priorità che il dirigente scolastico, in prima persona, individua e pone come base delle sue scelte operative lanalisi di questi dati risulta altresì interessante per un reperimento (tanto a livello autovalutativo che valutativo) di legami di congruenza, significatività e pertinenza tra contesto scolastico, obiettivi e azioni individuali che il dirigente scolastico intende elaborare e perseguire [1] [1] Grazie al radicale cambiamento della sezione del fascicolo dedicata alla rilevazione dei dati di contesto

Elementi di interesse nellanalisi delle azioni Sul piano specificamente formale le azioni dichiarate presentano spesso: una formulazione che, di fatto, è la ripetizione pedissequa dellobiettivo/i correlato/i una scarsa definizione in termini di operazioni e comportamenti osservabili lassociazione di identiche azioni (la differenza risiede solo in una diversa formulazione linguistica) ad obiettivi diversi dichiarati nelle quattro aree valutative; in particolare, le azioni dellarea 1 e dellarea 2 sono praticamente sovrapponibili

La classificazione di tutti i materiali offre una descrizione esaustiva e affidabile che: riduce lestrema variabilità ed eterogeneità dei materiali ad un numero limitato di tipologie salvaguarda comunque la pluralità, la ricchezza e la rappresentatività delle effettive pratiche valutative un repertorio descrittivo delle aree di attività e delle azioni professionali del DS una lettura interpretativa, su base semantica, delle azioni dichiarate ed un loro raggruppamento una sintesi delle azioni più frequenti raggruppate attorno a categorie/funzioni che delineano un profilo empirico del dirigente scolastico Classificazione dei materiali dellanalisi

La lettura degli esiti suggerisce di procedere ad una loro analisi che permetta laccesso ad aree semantiche più significative. Ciò è possibile attraverso lapproccio dellanalisi relazionale che consente di lavorare ancora sui dati classificati per: esplorarne, più in profondità, aree semantiche più significative rilevare lorganizzazione dei dati in una rete di connessioni reciproche sistematizzare i dati nellottica di restituire il messaggio nei suoi aspetti o caratteri fondamentali Sviluppi possibili

Obiettivo dellanalisi delle azioni: reperire un significato unitario di capire se le eterogenee descrizioni delle azioni, potessero essere ricondotte allinterno di alcune tipologie capaci di rappresentare i caratteri e le funzioni emergenti delloperato dei dirigenti scolastici definire in qualche modo una sorta di suo profilo di ruolo empirico non si è tenuto conto degli specifici obiettivi cui sono associate né dunque del legame di pertinenza congruenza con essi perché, dalla lettura comparata dei singoli fascicoli, risulta abbastanza evidente che le azioni costituiscono la vera peculiarità individuale del dirigente scolastico in quanto esse non risultano mai meccanicamente associabili a specifici obiettivi [1] bensì ad una pluralità di essi, anche appartenenti ad aree valutative differenti [1] Il legame chiaramente riscontrabile è tra azioni e contesto ma spesso dipendono più strettamente da variabili del contesto specifico (dallurgenza, dai costi, dalle risorse disponibili, ecc) [1][1] Nei fascicoli analizzati è molto più frequente lassociazione tra azioni diverse ad un identico obiettivo che non stesse azioni ad uno stesso obiettivo Lettura interpretativa delle azioni

I verbi e le aree di contenuto nellanalisi delle Azioni Verbi Favorire (100)* Promuovere (69) Coinvolgere (53) Individuare (45) Creare (43) Attivare (35) Gestire (31) Organizzare (31) Utilizzare (31) Sviluppare (29) Predisporre (27) Motivare (25) Migliorare (24) Monitorare (22) Area di contenuto dellazione Area di contenuto dellazione Ricerca conoscitiva (100)* Delega incarichi (65) Formazione del personale (60) Rapporti con enti territoriali (35) Organizzazione dei tempi (30) Costituzione gruppi di lavoro (27) Individuazione/utilizzo risorse finanziarie (26) Individuazione/valorizzazione competenze(25) Definizione protocolli dintesa (22) Elaborazione di contenuti nel P.O.F. (21) Predisposizione di strumenti informatici (16) Condivisione delle scelte (15) Circolazione delle informazioni (15) Motivazione allo studio alunni (13) Manutenzione/gestione risorse strutturali (13) Documentazione a vari livelli (10) * (100= verbo più frequente * Indice (100= verbo più frequente 1= verbo meno frequente) * (100= azione più frequente 1= azione meno frequente) * Indice (100= azione più frequente 1= azione meno frequente)

E stato condotto un triplo livello di categorizzazione: il primo ha considerato i verbi più frequentemente utilizzati per esprimere le azioni e i sostantivi (oggetti) esplicitati e/o più frequentemente associati ai verbi Il secondo ha considerato i verbi coniugati in modi diversi dallinfinito e spesso associati ai verbi che esprimono lazione che fa fatto emergere due grandi modalità organizzative delle azioni: comunicativo/relazionale e organizzativo/strutturale il terzo ha considerato laspetto specificamente semantico dei verbi- azione categorizzati e dei rispettivi oggetti; tale aspetto ha suggerito le tre funzioni: 1. management educativo 2. management delle risorse 3. management delle relazioni esterne Lettura interpretativa delle azioni

Promuovendo incontri e seminari Partecipando in prima persona Seguendo con attenzione le iniziative culturali organizzate Contattando e dialogando con tutti i soggetti del territorio Coinvolgimento ufficializzato di istruzioni esterne per sostegno finanziario Ottimizzando luso delle risorse, rendicontando… Intervento puntuale professionisti esterni esperti per supporto azione pilotata dalla scuola Stipulando convenzioni e individuando esperti Collaborazione e cooperazione, condivisione responsabilità di progettazione e valutazione Promuovendo scambio di risorse economiche, strutturali e professionali Sviluppo motivazione e clima Rilevando bisogni e attese Rendendosi sempre disponibile al dialogo Riconoscendo potenzialità e risultati impegno Incoraggiando e supportando i docenti Definendo ruoli Fissando obiettivi Stabilendo criteri e regole Delegando incarichi Investendo quote sulla formazione Mettendo a disposizione materiali e strumenti Management Educativo Management Relazioni Esterne Azioni del DS Management del Personale Costruzione cultura comune Intercettando e interpretando le domande e le attese Ascoltando e dialogando con tutti Ricercando il contatto individuale e/o collettivo con gli studenti Organizzando e predisponendo strutture laboratoriali di varia tipologia Aprendo canali e modalità di counicazione Organizzando momenti di riflessione e dibattito allargati Sviluppo partecipazione studenti Ricercando il contatto individuale e/o collettivo Individuando attese e problemi Incoraggiando limpegno Mettendo a disposizione strumenti e servizi Ampliando lofferta formativa Predisponendo percorsi ed opzioni per lutenza debole Sviluppo motivazione docenti

Obiettivo Migliorare rapporti con il territorio Obiettivo Migliorare rapporti con il territorio Rafforzare rapporti con enti territoriali Formare il personale scolastico Promuovere/migliorar e i rapporti con famiglie Esempio analisi esplorative Azioni Istituti comprensivi Punti Forza Buon raccordo tra scuola del territorio Punti Forza Buon raccordo tra scuola del territorio Buona attivazione e gestione dei progetti Buon funzionamento del personale Adeguatezza della continuità educativa Punti Deboli Debole raccordo tra scuola del territorio Punti Deboli Debole raccordo tra scuola del territorio Inadeguate risorse finanziarie Resistenza a modalità di lavoro collettivo Inadeguate risorse struttural Scarsa apertura verso linnovazione didattica La probabilità che le associazione con lobiettivo siano dovute al caso è minore del 5%. P<0,05