Peer Review in RETE e Comunità di Pratiche 9 marzo – 18 marzo 2010 Formazione PARI Ismene Tramontano e Paola OLIVIERO

Programma formazione frontale per i PARI Presentazione della metodologia Peer Review quale forma leggera di etero valutazione Obiettivi del Progetto, cronogramma, partner Fasi della Peer Review Compiti del referente istituto/CFP Regole, atteggiamenti, compiti dei Pari Strumenti Simulazione visita di Revisione tra Pari

Quadro di riferimento La Rete nazionale di Peer Review si inserisce nell’ambito delle attività per la promozione della qualità del sistema di Istruzione e Formazione professionale programmate all’interno del PON Convergenza e Competitività Ob 3.1 Asse Capitale Umano del Ministero del Lavoro

Obiettivi della sperimentazione nazionale della Peer Review Favorire la disseminazione e l’ulteriore applicazione della metodologia a livello nazionale Adattare e migliorare gli strumenti europei per il contesto nazionale Favorire il dialogo e l’integrazione tra il sistema di istruzione e quello della formazione professionale

Finalità principali del Progetto Promuovere l’apprendimento organizzativo per la creazione di valore aggiunto condiviso per la “rete dei partner” Promuovere lo scambio di know-how Approccio integrato sulla Qualità

Risultati attesi dal progetto migliorare la gestione organizzativa dei CFP/Istituti da valutare; mettere a disposizione delle Regioni e Province strumenti operativi per la gestione della qualità nei servizi di istruzione, formazione e orientamento; realizzare un Manuale qualità per la gestione della revisione tra pari a livello nazionale; realizzare una Comunità di Pratiche, spazio web condiviso a livello nazionale per promuovere il confronto e il dialogo costruttivo sullo scambio di esperienze, buone prassi, miglioramenti attuati dai diversi attori della rete nazionale; coinvolgere e ascoltare tutte le parti interessate alle attività, processi e risultati dei servizi di istruzione e formazione e analizzare le osservazioni e suggerimenti derivanti dalle verifiche tra pari per sviluppare potenziali azioni di miglioramento atte a innovare il sistema.

Composizione della Rete Nazionale di Peer Review 6 Istituzioni scolastiche: Istituto Tecnico commerciale “Romanazzi”-Bari Istituto professionale “Cattaneo” – Roma ISIS “F. De Sanctis” – Napoli IPIA “Sannino” – Napoli IIS “Antonello” – Messina IIS “Spinelli” – Sesto San Giovanni 6 Centri di formazione professionale Fondazione Clerici-Milano ECAP – Messina ENAIP – Foggia Ciofs – Acireale AGEFORMA – Matera ELIS - Roma 9 sono dislocati nelle Regioni dell’obiettivo Convergenza e 3 nelle regioni Competitività

CRONOGRAMMA DELLE ATTIVITA’ Inizio attività: gennaio 2010 Fine attività: dicembre 2010 febbraio marzo aprile maggio giugno luglio Agosto settembre ottobre novembre dicembre 1 Creazione RETE NAZIONALE Istituti/CFP 2 Seminario iniziale 3 Selezione e Formazione Pari 4 Organizzazione Visite di Revisione tra pari 5 Supporto per la realizzazione Report finali Peer Review Visit 6 Monitoraggio e valutazione 7 Comunità di pratiche 8 Seminario finale

Che cosa è la Peer Review? La Peer Review è una forma di valutazione esterna che ha l’obiettivo di sostenere l’istituzione “valutata” nel percorso per la gestione e sviluppo Qualità. La Peer Review è condotta da un gruppo di esperti esterni, i Pari, che sono invitati ad esprimere una valutazione sulla qualità di differenti ambiti/aree di qualità della struttura valutata. Gli ambiti di valutazione possono riguardare singole Aree di qualità o l’intera organizzazione.

Caratteristiche della Peer Review Valutazione formativa esterna Volontaria Qualitativa: si tratta di una valutazione qualitativa in cui ci si avvale delle informazioni quantitative disponibili Sviluppata tra reti di strutture scolastiche e formative

Requisiti e caratteristiche della revisione tra pari focalizzare l’attenzione sulle persone coinvolte, i loro interessi e aspettative; garantire l’oggettività ed imparzialità dei revisori; evitare conflitti di interesse e competizione diretta tra i Pari e le istituzioni valutate; promuovere apertura, integrità e sincerità come prerequisiti per la formazione reciproca; promuovere un atteggiamento critico da ambo le parti, pari e istituzioni valutate;

Punti di forza della Peer Review (1) Si può inserire tra le strategie e le attività per la Qualità già in corso (es. autovalutazione, accreditamento, certificazione ISO) evitando di duplicare gli sforzi E’ una metodologia di facile applicazione anche per i “principianti” della valutazione Prevede una combinazione di valutazione interna ed esterna: intreccio tra controllo di qualità e miglioramento continuo E’ una procedura economica

Punti di forza della Peer Review (2) Procedura flessibile che si presta ad essere adattata a contesti differenti Elevato grado di accettazione da parte della struttura valutata: valutazione “leggera” Obiettivo flessibile: la valutazione dei Pari può riferirsi ad una o più aree di qualità o all’intera organizzazione Apprendimento reciproco

I benefici per la struttura valutata della Peer Review ottenere un riscontro critico sulla qualità dei propri servizi/attività da colleghi esperti nel campo, essere informati sulle prospettive esterne, accertare la qualità dei provvedimenti adottati all’interno dell’organizzazione educativa/formativa, ricevere consigli e suggerimenti per la buona riuscita del lavoro, ottenere un oggettivo resoconto sulla qualità dell’organizzazione. avviare un confronto reciproco sulle attività dei processi dell’organizzazione educativa/formativa.

La procedura di Peer Review La struttura sottoposta a valutazione deve redigere un “self report” . Un processo di autovalutazione è necessario e preliminare alla visita di Revisione tra Pari. La struttura decide quale metodologia utilizzare per l’autovalutazione. La struttura nomina un “facilitatore” che costituirà il referente interno della Revisione tra Pari la visita dei Pari dura 2,5 giorni I pari redigono una bozza del rapporto finale della visita che la struttura può commentare Il pari coordinatore redige il rapporto finale definitivo

Manuale europeo sulla Peer Review Contiene una procedura Europea standard per l’applicazione della metodologia Peer review. Si propone come uno strumento operativo, prevedendo delle Linee guida per l’applicazione della metodologia rivolte a: erogatori di IFP che vogliono introdurre la metodologia all’interno delle procedure di Qualità decision makers e altri stakeholders che vogliono applicare la metodologia a livello di sistema

Contenuti del Manuale europeo Descrizione e definizione della procedura Descrizione delle possibili dimensioni della qualità da presidiare Linee guida per l’ applicazione della metodologia a livello di sistema: indicazioni per l’implementazione delle peer reviews, punti di forza e di debolezza, raccomandazioni per i decisori politici

L’individuazione delle aree di qualità La struttura scolastica/formativa, non è valutata sull’insieme di attività ma individua almeno due aree di qualità (max 2/3) su cui sarà valutata dal gruppo dei Pari. Almeno una delle aree di qualità deve essere individuata tra le “core” (le prime 4 aree di qualità evidenziate nel Manuale)

Le 14 Aree Qualità proposte sono: Area Qualità 1: Curriculum Area Qualità 2: Apprendimento ed insegnamento Area Qualità 3: Valutazione Area Qualità 4: Esiti dell’apprendimento e risultati Area Qualità 5: Ambiente sociale ed accessibilità Area Qualità 6: Infrastrutture e risorse finanziarie Area Qualità 7: Gestione ed Amministrazione Area Qualità 8: Etica istituzionale e pianificazione strategica Area Qualità 9: Distribuzione, reclutamento e sviluppo delle risorse umane Area Qualità 10: Condizioni di lavoro delle risorse umane Area Qualità 11: Relazioni esterne ed internazionali Area Qualità 12: Interazioni & partecipazione sociale Area Qualità 13: Parità di genere Area Qualità 14: Gestione e valutazione della qualità

Le Fasi della Peer Review Le quattro fasi di una Peer Review Peer Review successiva Fase 1 Preparazione (min. 1 mese) e)Avvio Invito dei Pari Autovalutazione e Self-Report Preparazione della Visita dei Pari Fase 2 Visita dei Pari (2-3 giorni) Raccolta dei dati Analisi dei dati Feedback verbale Fase 3 Rapporto dei Pari (entro 4 settimane) Bozza del rapporto Osservazioni sull’istituto/centro di IFP Resoconto finale Fase 4 Attuazione dei Piani (6-12 mesi) Identificazione dei target Definizione delle risorse Piano d’azione ed attuazione Pianificazione della Peer Review successiva

Fase 1: autovalutazione e self-report Il rapporto di autovalutazione costituisce il punto di partenza della Peer Review e deve essere redatto dalla struttura scolastica/formativa valutata almeno 1 mese prima la visita. Il gruppo dei Pari prima della visita confronta il contenuto del Self-Report con i criteri e gli indicatori per ognuna delle aree di qualità selezionate

Fase 2: visita di Revisione tra Pari Visita dell’istituto/CFP Focus Group con referenti interni e/o esterni della scuola Interviste dirette alle parti interessate (risorse umane interne, allievi, famiglie, imprese, eventuali altre stakeholder) Utilizzo strumenti, raccolta documentazione/file istituto/CFP, gestione file Osservazione d’aula

Fase 3: elaborazione del rapporto di visita Bozza del rapporto finale visita di revisione tra pari a cura del peer coordinatore in accordo con gli altri peer Meta valutazione Gestione file per comunità di pratiche Elaborazione del rapporto finale

Fase 4: interventi di miglioramento Redazione del Piano di miglioramento a seguito della visita di Peer Review (azioni, tempi, risorse, etc.) Pianificazione della Peer Review successiva

Compiti dell’Istituto/CFP Attività: Responsabilità: REFERENTE istituto/CFP 1) Coinvolgimento e formazione risorse umane interne dell’istituto/CFP 2) Analisi Manuale Peer Review 3) Individuazione Aree di QUALITA’ 4) Preparazione SELF REPORT 5) Invio SELF REPORT e file per la COMUNITA’ DI PRATICHE 6) Preparazione Interviste alle diverse parti interessate 7) Invio interviste al Peer coordinatore e team di coordinamento 8) Comunicazioni con il Peer Coordinatore per ipotesi agenda di lavoro 9) Informazioni e formazione agli intervistati 10) Preparazione logistica per la visita di Revisione tra Pari Apprendimento organizzativo

Responsabilità del REFERENTE Nel corso dell’intero processo, il Referente dell’Istituto/CFP è il [contatto principale] per il Gruppo di Pari e per l’equipe di coordinamento nazionale (segreteria tecnica). Ha il compito di: Mettere a disposizione oltre a quanto già previsto [ulteriore documentazione] accessibile su richiesta (es. manuale per la qualità, autovalutazione, procedure, etc.) [Responsabile degli aspetti organizzativi ] (es. ambienti, pc, stampanti, cartelle documenti per ogni singolo pari, sincronizziazione tempi, etc.) della preparazione e della conduzione della Peer Review Visit e raccolta file, strumenti utilizzati durante la visita

Un Peer è un “Critical Friend” Chi è un Peer? Un collega, un pari livello della/e persona/e le cui performance è chiamato a valutare; Che lavora nello stesso settore, in un ambiente simile È esterno (appartiene ad un’altra struttura) e indipendente (non ha interessi personali nella struttura o nel processo di valutazione) Ha competenze ed esperienza nel settore di appartenenza della struttura valutata Un Peer è un “Critical Friend”

Caratteristiche personali In generale: Un PARI deve avere: Morale Mentalità aperta Diplomatico Percettivo Versatile Tenace Risoluto Sicuro di sè

Composizione del Gruppo di Pari “Veri Pari”: 2 Formatori CFP “Esperto di Valutazione”: è consigliabile che un Pari svolga questo ruolo con già esperienza nella valutazione, nella gestione dei processi di comunicazione che assume il ruolo di Peer Coordinatore 2 Docenti Istituti

Ruoli all’interno del Gruppo di Pari All’interno di un Gruppo di Pari devono essere presenti le seguenti figure: Docente Istituto Formatore CFP Docente Istituto Peer Coordinatore (1 del gruppo di pari) Formatore CFP

Peer Coordinatore Oltre alle funzioni di [Pari], il Peer Coordinator è il [leader del gruppo]. E’ il [principale contatto] dell’organizzazione scolastica/formativa insieme al equipe di coordinamento nazionale [Coordina] le attività dei Pari [Pianifica] le attività dei Pari Assume ruolo di [Moderatore] del processo di revisione e comunica con il facilitatore [Gestisce] il tempo Responsabile della stesura del [Report finale della Valutazione dei Pari] Il Peer Coordinatore svolge quindi un ruolo fondamentale, possibilmente un livello elevato di competenza nella valutazione, nel coordinamento dei gruppi di lavoro, nella comunicazione, nella moderazione e nella gestione del tempo.

Conoscenze, competenze, compiti del Pari coordinatore Il Pari coordinatore dovrebbe avere conoscenze e competenze aggiuntive in materia di responsabilità dell’audit per facilitare la sua conduzione e renderlo efficace. Compiti del Pari coordinatore Pianifica la visita e utilizza in modo efficace le risorse durante la verifica; Rappresenta il gruppo di pari nei confronti del soggetto valutato; Organizza e guida i membri del gruppo di verifica; Guida il gruppo di verifica a raggiungere le conclusioni della verifica; Previene e risolve i conflitti; Prepara e completa il rapporto finale della visita.

IL COMPITO FONDAMENTALE DEI PARI Compito dei pari IL COMPITO FONDAMENTALE DEI PARI è di giungere ad una comprensione della particolare situazione dell’organizzazione scolatica/formativa valutata e di dare un feedback critico, sulla base di un dialogo autentico tra le diverse parti interessate Le raccomandazioni e le soluzioni ai problemi dovrebbero essere simulate soltanto dietro richiesta espressa dell’istituto/CFP valutato

Compiti dei Pari Attività di preparazione alla visita: Responsabilità: Pari Analisi Metodologia Peer Review e atteggiamenti pari Analisi Manuale Peer Review (con particolare attenzione alle aree di qualità, criteri, indicatori, evidenze oggettive) Analisi Self Report dell’istituto/CFP Analisi ed eventuale revisione interviste in bozza inviate dal referente/facilitatore dell’istituto/CFP Analisi ed eventuale revisione agenda di lavoro elaborata dal referente istituto/CFP FAD su piattaforma (domus work) Comunicazioni tra il referente e il pari coordinatore Gestione file definitivi per la visita di Revisione tra Pari e invio al referente e segreteria tecnica del progetto, comunità di pratiche (responsabilità: peer coordinatore) 34

Compiti dei Pari prima della visita di Revisione I Pari conducono principalmente 3 compiti: Analizzano il Self-Report elaborato dall’organizzazione scolastica/formativa da valutare Elaborano l’agenda di lavoro definitiva della visita di revisione tra pari (sentito il referente) Elaborano le interviste definitive (interviste, focus group, griglia per osservazioni d’aula, etc.)

Compiti dei Pari durante la visita di Revisione Seguono la pianificazione (agenda di lavoro elaborata e condivisa con il referente dell’istituto/CFP) Compilano gli strumenti elaborati (interviste, focus group, sintesi osservazioni d’aula, etc.) Raccolgono i documenti e file per la comunità di pratiche Elaborano bozza Report finale e Meta valutazione

Preparazione e formazione dei Pari I Pari sono tenuti a partecipare alla formazione organizzata dal team di coordinamento del progetto Prima della Peer Review i Pari seguono un “Programma di formazione dei pari” Metodologia Peer Review Organizzazione visita, ruoli e responsabilità Atteggiamenti professionali dei Pari Strumenti da utilizzare Redazione rapporto finale visita di Revisione tra Pari DOMUS WORK (FAD)

1 GIORNATA di FORMAZIONE Formazione Pari FAD 1 GIORNATA di FORMAZIONE frontale 9 marzo 2010 o 18 marzo 2010 Sede CIOFS/FP (dalle 10,00 alle 16,00) Iscrizioni per la piattaforma

Regole generali concernenti la Visita dei Pari Durante la Visita, il Gruppo dei Pari deve osservare le seguenti regole: I Pari lavorano ai compiti di valutazione assegnati loro dall’istituto/CFP. I Pari si attengono agli orari concordati (agenda di lavoro). I Pari si attengono alle regole stabilite per le interviste. I Pari trattano i dati a loro affidati ed il feedback come dati riservati. I Pari cercano di ascoltare e di riferire le affermazioni in modo oggettivo. I Pari lavorano in gruppi e si coadiuvano reciprocamente nell’esecuzione dei compiti e nel feedback. I Pari sono preparati a gestire eventi imprevisti. I Pari sono orientati all’analisi e alla sintesi. 39

Regole concernenti la comunicazione e le interviste Atteggiamenti: Atteggiamento di base: curioso, aperto e tollerante, desideroso di comprendere, senza interpretazioni o giudizi generici affrettati. Usare un linguaggio appropriato. Stabilire un contatto, assumere un atteggiamento di apertura e cordialità, ascoltare attivamente e dimostrare interesse. Durante l’intervista: parlare brevemente e chiaramente, porre domande brevi e concise, interporre silenzi e pause, non interrompere il corso del pensiero dell’intervistato. Porre domande brevi per consentire all’intervistato di parlare il più a lungo possibile. Ripetere la domanda: Chiedere fatti ed esempi, soprattutto se le risposte sono troppo generiche. Seguire il principale filo conduttore, riportare il discorso sul tema principale. Concludere l’intervista in orario (come da agenda di lavoro). Lasciare spazio ad alcune domande critiche concernenti le interviste o sul Peer Review. Prendere nota delle osservazioni e dei commenti critici. 40

Caratteristiche del feedback riflessivo e costruttivo Feedback orientato a promuovere la riflessione nel contesto di un dialogo tra l’emittente ed il ricevente del feedback. Entrambe le parti sono impegnate nell’ascoltare, nel pensare, nel riferire e nel rispondere. Feedback focalizzato sui processi e non sulla persona. Si riferisce a ciò che un individuo fa e non a quello che riteniamo che sia. Feedback descrittivo e non valutativo. Evitare di utilizzare un linguaggio valutativo riduce il bisogno di un individuo di rispondere sulla difensiva. Feedback specifico e non generico. Feedback diretto ad un comportamento che il ricevente può modificare. Feedback orientato a promuovere la riflessione sulle strategie e sul rispetto dello studente o dell’osservatore in merito ad una strategia specifica. 41

Caratteristiche del feedback riflessivo e costruttivo Considera le esigenze del ricevente, le aspettative per rilevare insieme le potenziali azioni di miglioramento in forma condivisa. Implica più una condivisione delle informazioni che una consulenza, lascia libero l’individuo di apportare cambiamenti in armonia con gli obiettivi e le esigenze personali. Considera la quantità di informazioni che il ricevente è in grado di utilizzare e non la quantità di informazioni che l’osservatore vorrebbe dare. Instaura una relazione di supporto e di confidenza, costruito sulla fiducia, sull’onesta e su un interesse genuino. 42

Interviste e approccio per stakeholder… Allievi Imprese Famiglie Coinvolgimento intervistati…… Docenti interni Peer Review Visit… 2,5 gg. e 4 pari Staff di coordinamento interno Esperti/Docenti esterni

Interviste in tandem Le Revisioni Europee tra Pari sono condotte da un gruppo di 4 Pari visita istituto/CFP …focus group, osservazioni in aula Peer Tandem Peer Tandem Le interviste saranno condotte dal peer tandem

con collegamento alle comunità di pratiche nazionali sulla Qualità Promuovere apprendimento organizzativo, Favorire confronto, scambio di miglioramenti, buone prassi Valorizzazione competenze delle risorse umane Diffusione delle esperienze positive Qualificazione del sistema di istruzione e formazione . Finalità SPAZIO WEB con user_id e password con collegamento alle comunità di pratiche nazionali sulla Qualità

Report finale visita di Revisione tra Pari suggerimenti Interviste e strumenti Aree di qualità (criteri, indicatori) Comunità di pratiche Responsabilità: Peer Coordinatore sulla base delle Interviste, focus group, osservazioni in aula Evidenziazione delle potenziali azioni di miglioramento, suggerimenti Trasferimento File per la comunità di pratiche (web) condivisi con l’Istituto/CFP

Revisione tra Pari per… Miglioramento Innovazione Ascolto delle parti interessate Valutare per innovare Critica costruttiva Scambio esperienze, buone prassi Dialogo autentico

Grazie Per qualsiasi informazione Segreteria tecnica CIOFS/FP Francesca Di Paolantonio Via di San Saba, 14 - 00153 Roma tel: 0039 06 57299144 – fax: 0039 06 45210030 e-mail: fdipaolantonio@ciofs-fp.org