Ministero dell'Università e della Ricerca UNIONE EUROPEA Il progetto Monitoraggio e valutazione di interventi formativi pilota nella Pubblica.

Presentazione sul tema: "Ministero dell'Università e della Ricerca UNIONE EUROPEA Il progetto Monitoraggio e valutazione di interventi formativi pilota nella Pubblica."— Transcript della presentazione:

1 Ministero dell'Università e della Ricerca UNIONE EUROPEA Il progetto KARMA@PA Monitoraggio e valutazione di interventi formativi pilota nella Pubblica Amministrazione Cnel, 28 Ottobre 2008, GLIMAA Carla Collicelli – Fondazione CENSIS

2 Misura III.3 Formazione di Alte Professionalità per adeguare le competenze della Pubblica Amministrazione Obiettivi della misura Promuovere interventi di Alta Formazione in favore delle amministrazioni pubbliche del Mezzogiorno in materia di R&STI: * formulare e gestire programmi *rafforzare i raccordi tra le amministrazioni ai diversi livelli * migliorare la qualità dei servizi offerti Origini, motivazioni e obiettivi del progetto KARMA@PA: PON “Ricerca Scientifica, Sviluppo Tecnologico, Alta Formazione” 2000-2006

3 IN COERENZA CON LA MISURA III.3 il MUR ha promosso un’Azione Pilota (anno 2006) personale della Pubblica Amministrazione nella finalizzata ad adeguare le abilità del personale della Pubblica Amministrazione nella,formulazione e sviluppo di interventi di R&STI e Alta Formazione, in coerenza con gli obiettivi del Quadro Comunitario di Sostegno, dei Programmi e Iniziative comunitari, del Piano Nazionale della Ricerca, degli strumenti di incentivazione nazionali (es. D.lgs 297/99) e regionali; implementazione di strategie di raccordo e integrazione tra le amministrazioni che intervengono nella filiera della R&STI e Alta Formazione; ricerca di soluzioni organizzative per l’innalzamento della qualità dei servizi offerti in materia di R&STI e Alta Formazione.

4 Program- mazione Proget- tazioneGestione Monitoraggio, valutazione, trasferimento di risultati Linea di intervento A – Amministrazioni regionali, enti pubblici funzionali ed enti locali Ambito Tematico diretto esclusiva- mente alla formazione di personale delle Regioni X X X Linea di intervento B – Università ed Enti pubblici di Ricerca X X X Linea di intervento C – Istituti di Alta formazione artistica, musicale e coreutica X X X Linea di intervento D – Camere di Commercio I.A.A. XX X Azione Pilota del MUR: Linee di intervento e ambiti tematici proposti dall'Avviso Pubblico

5 Infine, una Linea di intervento TRASVERSALE (Linea E) (anno 2006) con lo scopo di assicurare interventi di accompagnamento, monitoraggio “qualitativo” e valutazione in itinere e finale di tutte le attività formative contemplate nelle Linee A, B, C e D valorizzare il patrimonio di Conoscenza prodotto dall’insieme delle quattro Linee “formative” attraverso l’impiego di una piattaforma tecnologica ad hoc. Ciò per favorire la diffusione di informazioni sui temi dell’Azione Pilota, la creazione e promozione di una “community” di dipendenti della PA in formazione e per sensibilizzare i corsisti sulle opportunità (informative, relazionali e di “condivisione della conoscenza”) della piattaforma

6 Tra i soggetti che hanno presentato la propria candidatura per l’affidamento degli interventi, il MUR ha selezionato i seguenti Partenariati: Linea A (enti pubblici): CNR e FORMEZ (Progetto Parsec)‏ Linee B-C (università, ricerca): RSO, Fondazione CRUI, Città della Scienza Onlus (Progetto FIORI)‏ Linea D (CCIA): Istituto G. Tagliacarne (Progetto FoSTeR)‏

7 Il Progetto KARMA@PA (Linea E)‏ realizzato dalla Fondazione CENSIS con AREA Science Park Trieste, London School of Economics, Interact Obiettivi Principali: Fornire un modello tecnico di Governance delle procedure e dei processi che offra soluzioni metodologiche, strumentali, operative e organizzative per contribuire ad innalzare la cosiddetta capacity building della P.A. Fornire un modello innovativo di monitoraggio e valutazione della formazione per la PA con metodi e strumenti progettati, realizzati e sperimentati sul campo, disseminabile in altre Amministrazioni impegnate nella programmazione di interventi sia cofinanziati dai Fondi Strutturali, sia sostenuti da risorse ordinarie.

8 La struttura del progetto KARMA@PA Formazione integrativa Ricerca (Blocco, cooperazione internazionale) Comunicazione e diffusione Progettazione e adattamento del sistema Manutenzione e sicurezza sistemi Rilascio al Miur Reportistica standard attività formative Monitoraggio qualitativo Valutazione impatto a breve dell’azione pilota

9 Struttura del monitoraggio delle attività formative Monitoraggio fisico report di monitoraggio Analisi dei report di monitoraggio e dei prodotti intermedi e finali predisposti da ciascuna delle linee dati quantitativi relativi ai formandi Acquisizione ed elaborazione di dati quantitativi relativi ai formandi (più di 3.000 dipendenti della PA)‏ Monitoraggio qualitativo 4 diversi questionari Somministrazione di 4 diversi questionari di motivazione, valutazione e gradimento (più di 10.000 questionari pervenuti)‏ Visite di audit Visite di audit (in 200 aule)‏ Valutazione di Impatto Valutazione di Impatto (su un campione di 87 amministrazioni)‏

10 Aspetti innovativi del monitoraggio KARMA@PA (1) Monitoraggio fisico : verifica bimestrale sull'andamento delle attività formative e la qualità dei dati forniti dalle diverse tipologie di Amministrazione (dati direttamente utilizzati per il monitoraggio Fse)‏ Monitoraggio qualitativo : analisi bimestrale comparativa sui principali elementi di contesto attraverso 4 questionari In particolare, la suddivisione tra monitoraggio on-field e on-desk ha consentito una gestione più agile della valutazione

11 Il monitoraggio fisico è attuato tramite apposite schede di rilevazione Per ciascuna aula vengono considerati: identificazione aula ed eventuali variazioni Dati identificazione aula (Comune, indirizzo, ambito tematico/area di competenza, ecc.) ed eventuali variazioni caratteristiche degli iscritt i ed eventuali variazion Elenco e caratteristiche degli iscritt i (sesso, età, titolo di studio, ente di appartenenza, livello di inquadramento, ecc.) ed eventuali variazioni caratteristiche del personale ed eventuali variazioni Elenco e caratteristiche del personale docente e non docente (età, sesso, ente di appartenenza, ecc.) ed eventuali variazioni Calendario didattico ed eventuali variazioni Calendario didattico, con l’identicazione delle giornate d’aula, di fad, i temi trattati, la durata in ore, ecc.) ed eventuali variazioni giornate di frequenza Le giornate di frequenza di ciascun partecipante e/o la fruizione delle unità didattiche in Fad

12 1.Indagine motivazionale 1.Indagine motivazionale (ex ante – per i partecipanti di ciascuna aula) ‏ 2.Questionario di gradimento 2.Questionario di gradimento (in itinere, per i partecipanti, alla fine di ciascun modulo) ‏ 3.Questionario di autovalutazione 3.Questionario di autovalutazione (ex post, per i partecipanti, alla fine dell’intero corso seguito) ‏ 4.Rilevazione del clima d’aula 4.Rilevazione del clima d’aula ( a cura del tutor, per ciascun modulo) ‏ Monitoraggio qualitativo: quattro questionari

13 Riepilogo tempistica

14 Risultati qualitativi: alcuni esempi Grado di soddisfazione in merito ad alcuni aspetti del modulo frequentato (punteggi medi) (*) Fonte: elaborazione Karma@PA, 2008

15 Risultati qualitativi: alcuni esempi Grado di efficacia delle metodologie utilizzate nei moduli frequentati (% di "del tutto+molto efficace" - punteggi 4 e 5) (*) (*) 1 = per niente; 5 = del tutto Fonte: elaborazione Karma@PA, 2008

16 Risultati qualitativi: alcuni esempi Ritengo di aver raggiunto gli obiettivi formativi dichiarati

17 Aspetti innovativi del monitoraggio KARMA@PA (2) Focus Group ispettive riallineamento Audit : Focus Group che abbandonano le logiche ispettive e, in caso di criticità, prevedono un intervento di riallineamento (200 aule) Analisi ex post Valutazione di Impatto : Analisi ex post (87 amministrazioni) anche come punto di partenza per una valutazione ex ante di una eventuale riproposizione dell’Azione Pilota nel contesto della programmazione 2007-2013

18 Aspetti innovativi del monitoraggio KARMA@PA (3) Piattaforma comune e sistema di Content Management, che hanno favorito: - lo sviluppo di una semantica comune nel linguaggio della valutazione - la possibilità reale di creare un database che metta a sistema la mole di informazioni relative ai dipendenti delle Amministrazioni coinvolte -la creazione e promozione di una “Community” di dipendenti in formazione nelle PA nel Mezzogiorno

19 Aspetti innovativi del monitoraggio KARMA@PA (4) Il percorso dei file di monitoraggio

20 infine... Il modello di gestione delle attivita’ di monitoraggio e valutazione presenta diversi elementi di trasferibilita’ e riproducibilita’ per applicazioni future I risultati emersi dalle attività di monitoraggio e valutazione non si esauriscono nel finire del progetto ma rappresentano punto di partenza per analizzare e rispondere ai fabbisogni conoscitivi e formativi all’interno della PA in merito alle skills circa la Ricerca e l’Innovazione.

21 www.karma-pa.it Per maggiori informazioni consultare il sito: