Progetto Qualità ed efficacia della formazione pubblica Linea 2 Valutazione Sperimentazione di un metodo per la valutazione di impatto della formazione pubblica in Emilia Romagna Seminario tecnico Regione Emilia Romagna Bologna, 7 dicembre 2005 Maddalena Cagnolati

Attori del progetto Dipartimento Funzione Pubblica – ente finanziatore Formez – ente attuatore Regione Emilia Romagna – ente “cedente” la metodologia di valutazione d’impatto utilizzata Azioni formative Programma Cantieri - oggetto di valutazione 20 amministrazioni del territorio emiliano – romagnolo (aderenti al Programma Cantieri)

Obiettivi del progetto: sperimentare e valutare sperimentare una metodologia di valutazione dell’impatto organizzativo della formazione continua, già sviluppata dalla Regione Emilia Romagna valutare raccogliere informazioni sui risultati e gli impatti dei Cantieri di Innovazione 2003 in Emilia Romagna per mettere a disposizione di tutte le amministrazioni interessate una metodologia di valutazione con relative “note d’uso” fornire al Programma Cantieri informazioni utili per la riprogrammazione di attività

Obiettivi della valutazione Verificare a distanza di più di un anno dalla conclusione delle azioni formative gli effetti da queste prodotti relativamente a: competenze e propensione al cambiamento dei partecipanti (dimensione individuale) processi operativi, soluzioni organizzative adottate dagli enti aderenti (dimensione organizzativa)

Oggetto di valutazione: le azioni formative realizzate dai Cantieri di Innovazione Benessere OrganizzativoDonne e Leadership Temi differenti, metodologia comune, obiettivo di supportare il cambiamento organizzativo Sponsorizzazioni Customer Satisfaction

Perché valutare le azioni formative realizzate da Cantieri? Il Programma ha lo scopo di sostenere il cambiamento organizzativo delle amministrazioni destinatarie supportare lo sviluppo di competenze individuali e di meccanismi di apprendimento organizzativo (mediante modalità proprie della formazione – azione) supportare la formulazione di politiche pubbliche e il consolidamento delle stesse sensibilizzare i singoli partecipanti come “tramite” per coinvolgere le organizzazioni I Cantieri prevedono quindi risultati e impatti “rilevanti” e si caratterizzano come un intervento integrato rispetto a differenti tipologie di azione (formazione – azione, consulenza sul campo, rete di apprendimento)

Metodologia di valutazione partecipanti Focus group tematici (per tipologia di intervento formativo) – dimensione individuale responsabili Interviste semi strutturate (individuali o piccoli gruppi) – dimensione organizzativa Metodologia qualitativa: rilevazione della percezione soggettiva degli effetti (individuali e organizzativi) cui le azioni formative hanno dato luogo. Focus sulle percezioni e opinioni dei partecipanti alla formazione e dei loro diretti superiori (U.O. di appartenenza)

Metodologia: momenti rilevanti del processo Per verificare i risultati e gli impatti si è scelto di analizzare il processo cui i Cantieri danno luogo rispetto ad alcuni momenti, ritenuti rilevanti rispetto a risultati e impatti durante Soluzioni organizzative adottate, modalità operative, comunicazione interna, legittimazione dopo Azioni di consolidamento intraprese, bisogni, criticità, punti di forza prima Aspettative, bisogni, esperienze pregresse, progetti in corso

Risultati – chiavi di lettura I risultati sono stati restituiti mediante diverse chiavi di lettura che rispecchiano i momenti rilevanti del processo cui danno luogo le azioni formative: prima (prodotto: mappa di variabili rilevate in questa fase da cui dipendono risultati e impatti) durante (prodotto: mappa di variabili rilevate in questa fase da cui dipendono risultati e impatti) dopo (prodotto: considerazioni sui risultati e impatti rilevati)

Risultati – variabili della fase del “prima” Condizioni presenti presso gli intervistati al momento dell’adesione al programma: 1.Maturità del bisogno di adesione al programma (in questo caso si è osservata una correlazione diretta tra la “maturità” del bisogno e i risultati e impatti rilevati) 2.Tipologia di motivazione all’adesione – legittimazione del partecipante (quando l’adesione è dell’individuo singolo non si riscontano frequentemente risultati rilevanti; se l’adesione viene legittimata e sostenuta dall’organizzazione vi sono maggiori garanzie di continuità)

Risultati – variabili della fase del “durante” Modalità organizzative utilizzate durante il Cantiere: 1.Creazione di gruppi di lavoro interni per seguire i Cantieri 2.Comunicazione interna 3.Conoscenza e condivisione della metodologia di intervento di Cantieri e dell’offerta di servizi correlata 4.Responsabilizzazione individuale e dell’organizzazione

Risultati e impatti rilevati (fase del “dopo”) Sulle persone: percezione di incremento di competenze (area tecnico – professionale e trasversale) competenza “di sintesi”è la capacità di analisi critica e sistemica dell’organizzazione rispetto al tema oggetto del Cantiere propensione al cambiamento

Risultati e impatti rilevati (fase del “dopo”) Sulle organizzazioni: sperimentazione di nuovi metodi e strumenti di lavoro in un ambiente protetto (il Cantiere) – capacità di valutare quando e come utilizzarli dopo la fine del Cantiere creazione di condizioni per agevolare l’implementazione della politica (diffusione di competenze, attivazione di dialogo tecnici – politici, destinazione di risorse, comunicazione interna, creazione di collegamenti con altri processi organizzativi) In alcuni casi queste condizioni sono correlate, in altri no. Discrimine: legittimazione interna della funzione

Mappa dei bisogni di consolidamento Legittimazione interna (della funzione cui il Cantiere si riferisce) Incremento progressivo della complessità dei bisogni e delle aspettative Legami con le Istituzioni del territorio Prosecuzione della “rete”

Note finali sulla metodologia metodologia qualitativa adeguata all’approfondimento di fenomeni “complessi” (percezione del senso e significato dell’esperienza formativa) coinvolgimento delle sole Amministrazioni che hanno portato a termine la formazione (non utilizzo di campioni statistici, gruppi di controllo) impossibilità di approfondire la conoscenza di condizioni organizzative proprie di ogni ente intervistato (che influiscono sugli impatti) difficoltà a cogliere in modo approfondito la correlazione tra i fenomeni rilevati (es. competenze, comunicazione interna, legittimazione) mandato debole all’approfondimento degli impatti in termini di competenze individuali Un effetto della valutazione è stato il “dar valore” a ciò che si è valutato