Progetto Qualità ed efficacia della formazione pubblica Linea 2 Valutazione LA VALUTAZIONE DEGLI INTERVENTI DI FORMAZIONE PER IL CAMBIAMENTO NELLA PUBBLICA AMMINISTRAZIONE Seminario tecnico Regione Emilia Romagna Bologna, 7 dicembre 2005 Renato Tasca

Valutare la formazione: il paradigma tradizionale …“ un sistema di valutazione dei risultati della formazione consente di: ridurre lo spreco di risorse finanziarie e professionali, dunque di recuperare efficienza, modificare i programmi formativi negli aspetti meno efficaci e di salvaguardare le aree di sperimentata affidabilità; corrispondere all'esigenza dei professionisti della formazione, all'interno ma anche all'esterno dell'impresa, di validare più e meglio la propria attività attraverso verifiche di utilità funzionale; svolgere una politica coerente, anche sul terreno dei meccanismi operativi, alla rinnovata valorizzazione della gestione delle risorse umane.” Tratto da: F. e P. L. Amietta: “Perché valutare la formazione diventa strategico?” Professionalità - VII-VIII 1992

Modelli prevalenti di valutazione della formazione Area dell’impatto Approccio socio-organizzativo (Kirkpatrick) Le reazioni L’apprendimento Il comportamento I risultati Approccio economico (Jack Phillips) Ritorno dell’investimento (ROI) t

2 obiettivi - 2 modelli nella formazione Mantenere il capitale umano Sviluppare il capitale umano 2. PROFESSIONALE Centrato sulle politiche (programmi, progetti) Sostiene i processi di cambiamento Acquisizione competenze aggiuntive in modo mirato, sistematico e valutato acquisizione di competenze sostitutive di quelle già disponibili apprendimento organizzativo (formazione- azione) 1. AMMINISTRATIVO Centrato sui servizi finalizzato a fare “di più e meglio” manutenzione delle competenze professionali già esistenti. rafforzamento delle abilità di base Aula modalità prevalente (addestramento iniziale, aggiornamento, ecc)

Esigenza di aggiornamento e rafforzamento competenze individuali Esigenza di apprendimento organizzativo Corsi rivolti a uno o più dipendenti Percorsi formativi rivolti all’organizzazione Trasferimento di saperi e nozioni attraverso l’aula Apprendimento organizzativo basato sul processo di implementazione di soluzioni innovative

Complessità della valutazione d’impatto Le procedure di valutazione d’impatto della formazione sono complesse e devono essere costruite “su misura” per essere coerenti con le caratteristiche dell’intervento formativo L’impatto atteso deve essere riferibile a benefici:  sull’organizzazione,  sui servizi  o sui “cittadini-utenti” Due osservazioni generali: La valutazione d’impatto deve essere svolta in modo integrato con il processo di valutazione della formazione Non sempre è facile, nel processo di valutazione, distinguere i confini tra l’impatto generato da un intervento formativo da quello - più ampio - originato dal progetto di cambiamento nel quale esso si inserisce.

L’impatto di un intervento formativo Si estende oltre la sfera dell’apprendimento individuale Include più dimensioni: La “trasferibilità”, ovvero la concreta applicazione sul lavoro di quanto appreso (introduzione di nuove procedure, “cultura” aziendale, motivazione, ecc.) Le ricadute sull’organizzazione e sui servizi (efficienza, qualità, sicurezza, processi di accreditamento – standard di servizio, trasparenza, informazione, produttività, risparmi, ecc.) I benefici per i destinatari finali, misurati attraverso indicatori sociali, economici, demografici: es. accesso, copertura, occupazione, inquinamento atmosferico, tassi di criminalità, ecc.) impatto delle politiche

La valutazione d’impatto: quando farla? In linea di principio, qualunque intervento formativo è in grado di produrre, anche se in modo indiretto, qualche tipo di impatto sull’organizzazione, sui servizi o sui cittadini Per la sua complessità, per le risorse e per i tempi richiesti, non è però razionale applicarla a tappeto, ma è opportuno limitarla ad una rosa limitata di azioni formative, di alta priorità e strategicità. La valutazione d’impatto può essere realizzata solo dopo un certo tempo dall’intervento formativo, la cui durata dipende dal tipo di impatto atteso. In generale, non meno di sei mesi.

I tempi della valutazione d’impatto? Reazione/apprendimento Applicazione al lavoro Avvio nuove procedure “Cultura” organizzativa Motivazione e identità I processi di valutazione dell’impatto richiedono tempi medio – lunghi e di accurata preparazione tempo 0 anni

Valutazione d’impatto: aspetti critici La scelta degli strumenti dipende totalmente dall’oggetto dell’intervento formativo: Tecniche quantitative o metodi statistici in alcuni casi (tassi, indicatori soioeconomici, ecc.) Strumenti di misurazione delle performance (controllo di gestione, ecc.) Metodi di tipo sociologico (interviste, focus group) o antropologico - sociale (osservazione, simulazioni, ecc.) in altri Indagini di customer satisfaction in altri ancora I risultati osservati possono spesso essere influenzati da variabili esterne L’impatto su alcuni aspetti (“cultura”, identità, indicatori di salute, ecc.) spesso deve essere valutato come il risultato complessivo di più azioni formative svolte nel tempo per diverse tipologie i operatori.

Valutazione d’impatto: per quale progetto formativo? Avere un oggetto di valutazione definito e oggettivamente misurabile (chiarezza degli obiettivi) Essere voluto, promosso e sponsorizzato dal vertice (meglio ancora, se legato a risultati attesi formalmente dichiarati ai cittadini) Essere un intervento “completo” (numero e tipologia di operatori coinvolti, contenuti formativi esaustivi, mix di metodologie didattiche, ecc.) Avere un impatto atteso “rilevante” per l’azienda, generando ricadute dirette sui servizi, sull’organizzazione o sui cittadini-utenti Possibilità di usare in modo concreto i risultati della valutazione d’impatto per la pianificazione strategica dell’ente Tempi compatibili con quelli relativi ad azioni conseguenti ai risultati della valutazione d’impatto Costi compensabili con i possibili incrementi di efficienza ed efficacia attribuibili ad interventi suggeriti dalla valutazione Deve essere trascorso un certo tempo tra la conclusione dell’intervento formativo e l’inizio della valutazione (non meno di 6 mesi)

Valutazione d’impatto: quali soggetti? Il vertice (DG, Staff, Responsabili di linea) La funzione formazione I destinatari dell’intervento formativo I destinatari della politica (programma, progetto)

La valutazione d’impatto: ruoli Il vertice (DG, Staff, Responsabili di linea) Obiettivi, opportunità e fattibilità della valutazione d’impatto Input strategici per progettazione della valutazione Analisi strategica dei risultati Uso dei risultati per alimentare il ciclo della pianificazione strategica La funzione formazione Supporto al vertice in tutte le sue funzioni Programmazione aspetti tecnici e logistici della valutazione Realizzazione analisi e coordinamento operativo Elaborazione dati e istruttorie al vertice Valorizza l’esperienza e gestisce la conoscenza tecnica e metodologica maturata I destinatari dell’intervento formativo Ascolto e partecipazione nel processo di pianificazione dell’esercizio valutativo Comunicazione chiara e tempestiva dei risultati Informazione sugli effetti/benefici ottenuti per l’amministrazione I destinatari delle politiche Informazione e sensibilizzazione Coinvolgimento, a seconda dell’oggetto della valutazione Comunicazione dei risultati e dei benefici per i diversi attori interessati dalla politica