LA METRICA DI VALUTAZIONE CAF

LA METRICA CAF 2006 Sistema di punteggio - Premessa per una corretta comprensione dei sistemi di punteggio e loro uso (1) Il sistema di punteggio consente di quantificare il livello di qualità dei sottocriteri ai fini di: Fornire un’indicazione sintetica utilizzabile, assieme ad altri parametri, per stabilire le priorità riguardo alle azioni di miglioramento Consentire confronti, a livello di sottocriterio e criterio, fra la situazione presenta e quelle delle precedenti autovalutazioni Consente confronti tra diverse organizzazioni con finalità / attività / processi paragonabili

LA METRICA CAF 2006 Sistema di punteggio - Premessa per una corretta comprensione dei sistemi di punteggio e loro uso (2) I punteggi hanno fini diversi nell’autovalutazione e nelle valutazioni dei premi (di cui la guida CAF 2006 non si occupa). Pur obbedendo ovviamente alla stessa logica, i secondi devono garantire il raggiungimento della massima oggettività e coerenza fra giudizi dati da valutatori diversi. Si usano perciò algoritmi che restringono il campo di incertezza.

I sistemi di punteggio del CAF 2006 a) Sistema classico Punteggio cumulativo basato sul giudizio relativo a ciascun sottocriterio. Su base 100 e non più da 1 a 5, impostato sull’avanzamento nell’uso delle fasi del ciclo PDCA. b) Sistema avanzato In relazione ai Fattori abilitanti (criteri 1-5) attribuisce un punteggio da 0 a 100 ad ognuna delle fasi del ciclo di PDCA e ne calcola la percentuale rispetto al massimo ottenibile (400 punti). In relazione ai Risultati (criteri 6-9) il punteggio da 1 a 100 è assegnato in relazione a due variabili: il trend degli ultimi 3 anni; i risultati rispetto ai target. Si calcola poi la percentuale rispetto al massimo (200 punti)

Il sistema classico per i Fattori abilitanti

Il sistema classico per i Risultati

Il sistema avanzato per i Fattori abilitanti

Il sistema avanzato per i Risultati

Metrica CAF 2006 per la valutazione dei Premi PPAA   La struttura del sistema di valutazione proposto dal modello Caf 2006 è stata integrata, ai fini della valutazione per i premi, con una “guida” aggiuntiva per l’autovalutazione e la valutazione esterna, contenente integrazioni delle matrici e spiegazioni di dettaglio, utili alle amministrazioni per una corretta autovalutazione e indispensabili per un’appropriata valutazione esterna nell’ambito del Premio PPAA. Nelle pagine seguenti è riportata questa guida, mettendo a confronto la “Griglia di analisi CAF 2006” per i fattori e per i risultati con la “Griglia di analisi per i premi PA”. Quest’ultima è riportata anche nella “Griglia di valutazione per i premi PA”, strumento operativo per la valutazione quantitativa dei fattori e dei risultati

LA VALUTAZIONE DEI FATTORI ABILITANTI L’analisi dei sottocriteri mira a valutare ciò che la dirigenza dell’organizzazione ha fatto e sta facendo (approcci - processi – progetti) per realizzare i requisiti posti dal sottocriterio in esame – “come” lo ha fatto e lo sta facendo e perché lo sta facendo (chi sono i destinatari, quali le loro attese e requisiti). Cioè: il “cosa” il “come” il “perché” 10

GLI ELEMENTI DELLA METRICA DEI FATTORI IN SINTESI La Metrica per la valutazione dei fattori è basata sul PDCA secondo i concetti indicati qui di seguito: PLAN La pianificazione è basata sui bisogni e sulle aspettative dei portatori di interesse. La pianificazione è diffusa regolarmente in significative parti dell’organizzazione. DO L’esecuzione è gestita attraverso processi e responsabilità definite e diffusa regolarmente in significative parti dell’organizzazione CHECK I processi definiti sono monitorati con indicatori significativi e rivisti regolarmente in significative parti dell’organizzazione ACT Azioni correttive e di miglioramento sono assunte a seguito del controllo dei risultati e diffuse regolarmente in significative parti dell’organizzazione

Nelle organizzazioni eccellenti (PLAN): GLI ELEMENTI DELLA METRICA DEI FATTORI IN DETTAGLIO Nelle organizzazioni eccellenti (PLAN): Gli approcci hanno un chiaro fondamento logico. Gli approcci e la relativa pianificazione sono basati sui bisogni e sulle aspettative dei portatori di interesse. Gli approcci e la relativa pianificazione supportano le politiche e le strategie. Gli approcci e la relativa pianificazione sono deployed regolarmente nelle parti pertinenti dell’organizzazione.

GLI ELEMENTI DELLA METRICA DEI FATTORI “PLAN” Gli approcci sono organizzativamente affidabili, non frutto del caso, ma di progettazione, pianificazione, organizzazione. Gli approcci e la relativa pianificazione sono basati sui bisogni e sulle aspettative dei portatori di interesse. L’efficacia dell’approccio dipenderà in larga misura dal fatto che sia stato ideato e progettato in modo “autoreferenziale”, oppure partendo dalle esigenze/attese dei destinatari. Gli approcci e la relativa pianificazione supportano le politiche e le strategie e sono definiti obiettivi appropriati e fattibili. L’approccio è ben definito, documentato e prevede, già in sede di pianificazione, lo schema delle verifiche e delle revisioni critiche necessarie per valutarne l’efficacia e l’efficienza. 13

Nelle organizzazioni eccellenti (DO): GLI ELEMENTI DELLA METRICA DEI FATTORI Nelle organizzazioni eccellenti (DO): L’esecuzione è gestita attraverso processi e responsabilità definite. L’esecuzione è diffusa in modo sistematico nelle parti pertinenti dell’organizzazione.

GLI ELEMENTI DELLA METRICA DEI FATTORI “DO” Gli approcci / progetti / iniziative sono attuati concretamente secondo i piani definiti (PLAN). L’esecuzione è gestita attraverso processi e responsabilità definite. L’esecuzione è diffusa in modo sistematico nelle parti pertinenti dell’organizzazione, dove possono dare valore aggiunto. 15

Nelle organizzazioni eccellenti (CHECK): GLI ELEMENTI DELLA METRICA DEI FATTORI Nelle organizzazioni eccellenti (CHECK): Approcci e processi sono monitorati con indicatori appropriati. Approcci e processi sono rivisti regolarmente nelle parti pertinenti dell’organizzazione.

GLI ELEMENTI DELLA METRICA DEI FATTORI “CHECK” Approcci e processi sono monitorati con indicatori appropriati e rivisti regolarmente. Si tratta della verifica sistematica della attuazione di quanto pianificato, attraverso verifiche e controlli basati su opportuni indicatori. L’obiettivo della fase di Check è quello di assicurare che gli approcci e i processi attraverso cui essi si attuano siano costantemente gestiti ed allineati agli obiettivi a cui mirano. E’ in genere la parte più carente nelle amministrazioni pubbliche. La carenza nel check è in generale la conseguenza di carenze a monte, a livello della fase Plan: definizione dei processi, dei relativi indicatori, dell’assegnazione delle responsabilità. 17

Nelle organizzazioni eccellenti (ACT): GLI ELEMENTI DELLA METRICA DEI FATTORI Nelle organizzazioni eccellenti (ACT): A seguito del controllo dei risultati (check) vengono intraprese azioni correttive e di miglioramento. La definizione delle azioni è supportata dalle attività di benchmarking e di apprendimento. Le azioni sono diffuse regolarmente nelle parti pertinenti dell’organizzazione.

GLI ELEMENTI DELLA METRICA DEI FATTORI “ACT” A seguito del controllo dei risultati (CHECK) vengono intraprese azioni correttive e di miglioramento. La definizione delle azioni è supportata dalle attività di benchmarking e di apprendimento. L’autovalutazione, il benchmarking, la ricerca delle soluzioni, sono fra le vie maestre per l’apprendimento collettivo e la diffusione delle prassi migliori. Le azioni sono diffuse regolarmente nelle parti pertinenti dell’organizzazione. 19

La Griglia di Analisi CAF 2006 e la Griglia di analisi per Premi PPAA - Fattori GRIGLIA DI ANALISI CAF 2006 Griglia di analisi per Premi PPAA PLAN La pianificazione è basata sui bisogni e sulle aspettative dei portatori di interesse. La pianificazione è diffusa regolarmente in significative parti dell’organizzazione. Gli approcci hanno un chiaro fondamento logico. Gli approcci e la relativa pianificazione sono basati sui bisogni e sulle aspettative dei portatori di interesse. Gli approcci e la relativa pianificazione supportano le politiche e le strategie. Gli approcci e la relativa pianificazione sono deployed regolarmente nelle parti pertinenti dell’organizzazione. DO L’esecuzione è gestita attraverso processi e responsabilità definite e diffusa regolarmente in significative parti dell’organizzazione L’esecuzione è gestita attraverso processi e responsabilità definite. L’esecuzione è diffusa in modo sistematico nelle parti pertinenti dell’organizzazione. CHECK I processi definiti sono monitorati con indicatori significativi e rivisti regolarmente in significative parti dell’organizzazione Approcci e processi sono monitorati con indicatori appropriati Approcci e processi sono rivisti regolarmente nelle parti pertinenti dell’organizzazione ACT Azioni correttive e di miglioramento sono assunte a seguito del controllo dei risultati e diffuse regolarmente in significative parti dell’organizzazione A seguito del controllo dei risultati (check) vengono intraprese azioni correttive e di miglioramento La definizione delle azioni è supportata dalle attività di benchmarking e di apprendimento Le azioni sono diffuse regolarmente nelle parti pertinenti dell’organizzazione

La Griglia di Analisi CAF 2006 e la Griglia di analisi per Premi PPAA - Fattori Gli elementi di valutazione L’interpretazione La logica PDCA I dettagli interpretativi per la valutazione del Premio PA Gli elementi della Griglia CAF 2006

Punteggio Totale % (Somma/4) FATTORI - Griglia di Valutazione per Premi PPAA FASE ATTRIBUTI SCALA 0 - 10 11 - 30 31 - 50 51 - 70 71 - 90 91 - 100 PLAN Gli approcci hanno un chiaro fondamento logico Nessuna evidenza, o solo qualche idea Alcune deboli evidenze relative a poche aree Alcune buone evidenze relative a un numero significativo di aree ad aree significative Forti evidenze relative alle maggior parte delle aree Evidenze molto forti relative a tutte le aree Evidenze eccellenti confrontate con altre organizzazioni, relative a tutte le aree Gli approcci e la relativa pianificazione sono basati sui bisogni e sulle aspettative degli stakeholder Gli approcci e la relativa pianificazione supportano le politiche e le strategie Gli approcci e la relativa pianificazione sono deployed regolarmente nelle parti pertinenti dell’organizzazione Punteggio PLAN 5 10 15 20 25 30 35 40 45 50 55 60 65 70 75 80 85 90 95 100 DO L’attuazione degli approcci è gestita attraverso processi e responsabilità definite L’attuazione degli approcci è diffusa in modo sistematico nelle parti pertinenti dell’organizzazione Punteggio DO CHECK Approcci e processi sono monitorati con indicatori e obiettivi appropriati per valutarne l’efficacia Approcci e processi sono rivisti regolarmente nelle aree pertinenti della organizzazione Punteggio CHECK ACT A seguito del controllo dei risultati (check) vengono intraprese azioni correttive e di miglioramento La definizione delle azioni è supportata dalle attività di benchmarking e di apprendimento Le azioni sono diffuse regolarmente nelle parti pertinenti dell’organizzazione Punteggio ACT Punteggio Totale % (Somma/4)

LA VALUTAZIONE DEI RISULTATI I risultati devono basarsi su dati oggettivi. Si valuta “che cosa” l’organizzazione ha raggiunto attuando gli approcci relativi ai fattori abilitanti. Dall’analisi scaturisce un punteggio e delle indicazioni per i percorsi di indagine sui fattori. I criteri di giudizio sono dati da una “griglia di analisi dei risultati” che declina il “che cosa” a livelli tali da poter fornire indicazioni utili per il punteggio e per le azioni successive. 23

GLI ELEMENTI DELLA METRICA DEI RISULTATI IN SINTESI La Metrica per la valutazione dei risultati è basata sul PDCA secondo i concetti indicati qui di seguito: Trend Target

La Griglia di Analisi CAF 2006 e la Griglia di analisi per Premi PPAA - Risultati CAF 2006 Griglia di analisi per Premi PPAA TREND I trend sono positivi e/o le performance sono costantemente buone. TARGET Obiettivi Gli obiettivi (Target o Risultati attesi) sono stati raggiunti e gli stessi sono stati definiti in modo appropriato. Confronti Confronti favorevoli con altre organizzazioni (interne e/o esterne) scelte in modo appropriato. Copertura I risultati sono relativi alle aree pertinenti ed Eventualmente segmentati quando appropriato.

Nelle organizzazioni eccellenti: GLI ELEMENTI DELLA METRICA DEI RISULTATI IN DETTAGLIO Nelle organizzazioni eccellenti: I trend sono positivi e/o le performance sono costantemente buone. Gli obiettivi (Target o Risultati attesi) sono stati raggiunti e gli stessi sono stati definiti in modo appropriato. Confronti favorevoli con altre organizzazioni (interne e/o esterne), scelte in modo appropriato. I risultati sono relativi alle aree pertinenti ed eventualmente segmentati quando appropriato.

GLI ELEMENTI DELLA METRICA DEI RISULTATI “TREND” Per individuare un trend occorrono almeno tre misure successive (statisticamente anche più), ad intervalli opportuni, ad esempio tre anni. Qualitativamente si può affermare che il trend è positivo se i risultati migliorano, negativo se peggiorano, costante se non variano. La tabella della metrica fornisce i criteri che si assumono per la valutazione quantitativa. Nel caso in cui non sia possibile avere andamenti, si annoteranno i motivi nel foglio della tabella in cui sono commentati i risultati relativi al sottocriterio. 27

GLI ELEMENTI DELLA METRICA DEI RISULTATI “Confronto con OBIETTIVI” Gli obiettivi quantitativi (target) che l’amministrazione vuole conseguire devono essere definiti nella fase di pianificazione. Il criterio e/o la logica utilizzata per fissare gli obiettivi (ad esempio rispetto ai risultati storici e/o le ipotesi di evoluzione futura, i livelli ottenuti da altri ecc), devono essere stabiliti e oggetto di valutazione al fine di determinarne l’appropriatezza . Ogni risultato presentato deve essere confrontato con il relativo obiettivo per capire se e in che misura esso sia stato raggiunto. 28

GLI ELEMENTI DELLA METRICA DEI RISULTATI “Confronto con ALTRI” Confronti interni: confronti effettuati tra settori o tra sedi diverse confrontabili all’interno della stessa amministrazione. Confronti con l’esterno: il confronto avviene con i risultati di altre organizzazioni confrontabili e di rilievo con le quali siano state effettuate attività di benchmarking, o ottenuti con altre modalità. Devono essere evidenti i criteri di scelta delle organizzazioni (interne o esterne) con cui è stato effettuato il confronto (ad esempio è stata scelta una amministrazione perché ha risultati eccellenti riconosciuti a livello territoriale o nazionale / è stato scelto un settore perché è quello che ha ottenuto i migliori risultati dell’amministrazione nell’area considerata). 29

GLI ELEMENTI DELLA METRICA DEI RISULTATI “COPERTURA” La parola “copertura” fa riferimento alla completezza dei risultati presentati. Si verificherà a tal fine che i risultati: riguardino tutti gli aspetti appropriati del sottocriterio considerato; siano propriamente segmentati (per esempio per i diversi tipi di servizio, settori, sedi, ecc); si riferiscano effettivamente agli indicatori importanti per gli aspetti considerati. 30

La valutazione “efficace” dei Risultati I “Risultati” misurano l’adeguatezza di quanto l’amministrazione genera in termini di valore per i propri clienti e portatori di interesse (efficacia), nonché la sua efficienza. “Risultati” significa dati, non elementi qualitativi, sensazioni. Da evitare l’errore di valutare, nella parte “risultati”, quanto l’organizzazione ha fatto o sta facendo per ottenere i risultati stessi (gli approcci): ciò va riportato, se non è già presente, nei Fattori abilitanti pertinenti. E’ opportuno invece che si facciano commenti che possano indirizzare ai criteri e sottocriteri dei fattori abilitanti su cui indagare per capire le cause dei risultati stessi. 31

La valutazione “efficace” dei Risultati Commentare sempre i risultati I risultati dovrebbero essere in ogni caso accompagnati da commenti e analisi, espressi in forma sintetica. Nel caso in cui non lo siano il valutatore deve ricercare le eventuali informazioni nei sottocriteri correlati: causa - effetto valutare come i risultati siano la conseguenza degli approcci descritti nei fattori abilitanti obiettivi valutare i criteri con cui l’Amministrazione definisce gli obietti risultati non positivi valutare quello che l’Amministrazione ha fatto / sta facendo / ha intenzione di fare per risolvere i problemi che hanno portato a quei risultati 32

RISULTATI - Griglia di Valutazione per Premi PPAA Fase Attributi / Scala 0 - 10 11 - 30 31 - 50 51 - 70 71 - 90 91 - 100 TREND I trend sono positivi e/o le performance sono costantemente buone Nessuna misurazione o indicazioni sporadiche trend negativi non motivati Alcuni trend positivi alcune performance soddisfacenti negli ultimi 3 anni e che riguardano le aree e/ o attività pertinenti Trend positivi performance soddisfacenti e che riguardano il 40% circa dei risultati delle aree e/o attività pertinenti performance buone negli ultimi 3 anni e che riguardano il 60% circa dei risultati delle aree e/o attività pertinenti O eccellenti negli ultimi 3 anni e che riguardano il 80% circa dei risultati delle aree e/o attività pertinenti e che riguardano tutti i risultati delle aree e/o attività pertinenti Punteggio TREND 5 10 15 20 25 30 35 40 45 50 55 60 65 70 75 80 85 90 95 100 TARGET OBIETTIVI Gli obiettivi (Target o Risultati attesi) sono stati raggiunti e gli stessi sono stati definiti in modo appropriato. Non ci sono obiettivi o vengono fornite indicazioni sporadiche Alcuni obiettivi raggiunti appropriati Raggiunti appropriati per il 40% circa dei risultati appropriati per il 60% circa dei risultati appropriati per il 80% circa dei risultati appropriati per tutti i risultati Punteggio OBIETTIVI CONFRONTI Confronti favorevoli con altre organizzazioni (interne e/o esterne) scelte in modo appropriato. Nessun confronto confronti con organizzazioni scelte in modo non appropriato Confronti non favorevoli favorevoli per alcuni risultati Alcuni confronti favorevoli pari almeno al 25% dei risultati scelti in modo appropriato pari almeno al al 50% dei risultati scelti in modo appropriato al 60% dei risultati scelti in modo appropriato Confronti favorevoli per tutti i risultati scelti in modo appropriato Punteggio CONFRONTI COPERTURA I risultati sono relativi alle aree pertinenti ed eventualmente segmentati quando appropriato. Nessun risultato I risultati riguardano il 20% delle aree e/o attività pertinenti I risultati riguardano il 40% delle aree e/o attività pertinenti e sono segmentati quando appropriato I risultati riguardano il 60% delle aree e/o attività pertinenti I risultati riguardano il 80% delle aree e/o attività pertinenti I risultati riguardano tutte le aree e/o attività pertinenti E sono Punteggio COPERTURA