Ministero dell'Università e della Ricerca UNIONE EUROPEA Il progetto Monitoraggio e valutazione di interventi formativi pilota nella Pubblica Amministrazione Cnel, 28 Ottobre 2008, GLIMAA Carla Collicelli – Fondazione CENSIS

Misura III.3 Formazione di Alte Professionalità per adeguare le competenze della Pubblica Amministrazione Obiettivi della misura Promuovere interventi di Alta Formazione in favore delle amministrazioni pubbliche del Mezzogiorno in materia di R&STI: * formulare e gestire programmi *rafforzare i raccordi tra le amministrazioni ai diversi livelli * migliorare la qualità dei servizi offerti Origini, motivazioni e obiettivi del progetto PON “Ricerca Scientifica, Sviluppo Tecnologico, Alta Formazione”

IN COERENZA CON LA MISURA III.3 il MUR ha promosso un’Azione Pilota (anno 2006) personale della Pubblica Amministrazione nella finalizzata ad adeguare le abilità del personale della Pubblica Amministrazione nella,formulazione e sviluppo di interventi di R&STI e Alta Formazione, in coerenza con gli obiettivi del Quadro Comunitario di Sostegno, dei Programmi e Iniziative comunitari, del Piano Nazionale della Ricerca, degli strumenti di incentivazione nazionali (es. D.lgs 297/99) e regionali; implementazione di strategie di raccordo e integrazione tra le amministrazioni che intervengono nella filiera della R&STI e Alta Formazione; ricerca di soluzioni organizzative per l’innalzamento della qualità dei servizi offerti in materia di R&STI e Alta Formazione.

Program- mazione Proget- tazioneGestione Monitoraggio, valutazione, trasferimento di risultati Linea di intervento A – Amministrazioni regionali, enti pubblici funzionali ed enti locali Ambito Tematico diretto esclusiva- mente alla formazione di personale delle Regioni X X X Linea di intervento B – Università ed Enti pubblici di Ricerca X X X Linea di intervento C – Istituti di Alta formazione artistica, musicale e coreutica X X X Linea di intervento D – Camere di Commercio I.A.A. XX X Azione Pilota del MUR: Linee di intervento e ambiti tematici proposti dall'Avviso Pubblico

Infine, una Linea di intervento TRASVERSALE (Linea E) (anno 2006) con lo scopo di assicurare interventi di accompagnamento, monitoraggio “qualitativo” e valutazione in itinere e finale di tutte le attività formative contemplate nelle Linee A, B, C e D valorizzare il patrimonio di Conoscenza prodotto dall’insieme delle quattro Linee “formative” attraverso l’impiego di una piattaforma tecnologica ad hoc. Ciò per favorire la diffusione di informazioni sui temi dell’Azione Pilota, la creazione e promozione di una “community” di dipendenti della PA in formazione e per sensibilizzare i corsisti sulle opportunità (informative, relazionali e di “condivisione della conoscenza”) della piattaforma

Tra i soggetti che hanno presentato la propria candidatura per l’affidamento degli interventi, il MUR ha selezionato i seguenti Partenariati: Linea A (enti pubblici): CNR e FORMEZ (Progetto Parsec)‏ Linee B-C (università, ricerca): RSO, Fondazione CRUI, Città della Scienza Onlus (Progetto FIORI)‏ Linea D (CCIA): Istituto G. Tagliacarne (Progetto FoSTeR)‏

Il Progetto (Linea E)‏ realizzato dalla Fondazione CENSIS con AREA Science Park Trieste, London School of Economics, Interact Obiettivi Principali: Fornire un modello tecnico di Governance delle procedure e dei processi che offra soluzioni metodologiche, strumentali, operative e organizzative per contribuire ad innalzare la cosiddetta capacity building della P.A. Fornire un modello innovativo di monitoraggio e valutazione della formazione per la PA con metodi e strumenti progettati, realizzati e sperimentati sul campo, disseminabile in altre Amministrazioni impegnate nella programmazione di interventi sia cofinanziati dai Fondi Strutturali, sia sostenuti da risorse ordinarie.

La struttura del progetto Formazione integrativa Ricerca (Blocco, cooperazione internazionale) Comunicazione e diffusione Progettazione e adattamento del sistema Manutenzione e sicurezza sistemi Rilascio al Miur Reportistica standard attività formative Monitoraggio qualitativo Valutazione impatto a breve dell’azione pilota

Struttura del monitoraggio delle attività formative Monitoraggio fisico report di monitoraggio Analisi dei report di monitoraggio e dei prodotti intermedi e finali predisposti da ciascuna delle linee dati quantitativi relativi ai formandi Acquisizione ed elaborazione di dati quantitativi relativi ai formandi (più di dipendenti della PA)‏ Monitoraggio qualitativo 4 diversi questionari Somministrazione di 4 diversi questionari di motivazione, valutazione e gradimento (più di questionari pervenuti)‏ Visite di audit Visite di audit (in 200 aule)‏ Valutazione di Impatto Valutazione di Impatto (su un campione di 87 amministrazioni)‏

Aspetti innovativi del monitoraggio (1) Monitoraggio fisico : verifica bimestrale sull'andamento delle attività formative e la qualità dei dati forniti dalle diverse tipologie di Amministrazione (dati direttamente utilizzati per il monitoraggio Fse)‏ Monitoraggio qualitativo : analisi bimestrale comparativa sui principali elementi di contesto attraverso 4 questionari In particolare, la suddivisione tra monitoraggio on-field e on-desk ha consentito una gestione più agile della valutazione

Il monitoraggio fisico è attuato tramite apposite schede di rilevazione Per ciascuna aula vengono considerati: identificazione aula ed eventuali variazioni Dati identificazione aula (Comune, indirizzo, ambito tematico/area di competenza, ecc.) ed eventuali variazioni caratteristiche degli iscritt i ed eventuali variazion Elenco e caratteristiche degli iscritt i (sesso, età, titolo di studio, ente di appartenenza, livello di inquadramento, ecc.) ed eventuali variazioni caratteristiche del personale ed eventuali variazioni Elenco e caratteristiche del personale docente e non docente (età, sesso, ente di appartenenza, ecc.) ed eventuali variazioni Calendario didattico ed eventuali variazioni Calendario didattico, con l’identicazione delle giornate d’aula, di fad, i temi trattati, la durata in ore, ecc.) ed eventuali variazioni giornate di frequenza Le giornate di frequenza di ciascun partecipante e/o la fruizione delle unità didattiche in Fad

1.Indagine motivazionale 1.Indagine motivazionale (ex ante – per i partecipanti di ciascuna aula) ‏ 2.Questionario di gradimento 2.Questionario di gradimento (in itinere, per i partecipanti, alla fine di ciascun modulo) ‏ 3.Questionario di autovalutazione 3.Questionario di autovalutazione (ex post, per i partecipanti, alla fine dell’intero corso seguito) ‏ 4.Rilevazione del clima d’aula 4.Rilevazione del clima d’aula ( a cura del tutor, per ciascun modulo) ‏ Monitoraggio qualitativo: quattro questionari

Riepilogo tempistica

Risultati qualitativi: alcuni esempi Grado di soddisfazione in merito ad alcuni aspetti del modulo frequentato (punteggi medi) (*) Fonte: elaborazione 2008

Risultati qualitativi: alcuni esempi Grado di efficacia delle metodologie utilizzate nei moduli frequentati (% di "del tutto+molto efficace" - punteggi 4 e 5) (*) (*) 1 = per niente; 5 = del tutto Fonte: elaborazione 2008

Risultati qualitativi: alcuni esempi Ritengo di aver raggiunto gli obiettivi formativi dichiarati

Aspetti innovativi del monitoraggio (2) Focus Group ispettive riallineamento Audit : Focus Group che abbandonano le logiche ispettive e, in caso di criticità, prevedono un intervento di riallineamento (200 aule) Analisi ex post Valutazione di Impatto : Analisi ex post (87 amministrazioni) anche come punto di partenza per una valutazione ex ante di una eventuale riproposizione dell’Azione Pilota nel contesto della programmazione

Aspetti innovativi del monitoraggio (3) Piattaforma comune e sistema di Content Management, che hanno favorito: - lo sviluppo di una semantica comune nel linguaggio della valutazione - la possibilità reale di creare un database che metta a sistema la mole di informazioni relative ai dipendenti delle Amministrazioni coinvolte -la creazione e promozione di una “Community” di dipendenti in formazione nelle PA nel Mezzogiorno

Aspetti innovativi del monitoraggio (4) Il percorso dei file di monitoraggio

infine... Il modello di gestione delle attivita’ di monitoraggio e valutazione presenta diversi elementi di trasferibilita’ e riproducibilita’ per applicazioni future I risultati emersi dalle attività di monitoraggio e valutazione non si esauriscono nel finire del progetto ma rappresentano punto di partenza per analizzare e rispondere ai fabbisogni conoscitivi e formativi all’interno della PA in merito alle skills circa la Ricerca e l’Innovazione.

Per maggiori informazioni consultare il sito: