Giancarlo Vecchi MISURARE COSA E PERCHE’. Valutazione delle politiche come strategia (conscia) di coordinamento Quinta Giornata degli Innovatori 11 maggio 2005 Forum P.A. Fiera di Roma

Programma Cantieri – V Giornata degli Innovatori Forum P.A. - Roma, 11 maggio Misurare per monitorare e valutare Misurare nel senso di monitorare, valutare ( e cioè apprendere dal passato o da altri per progettare il futuro) significa attivare tentativi consci di coordinamento, il che implica avere l’obiettivo di modificare (o di tenere “condizionato”) il comportamento di attori coinvolti in una arena decisionale (intervento).

Programma Cantieri – V Giornata degli Innovatori Forum P.A. - Roma, 11 maggio 2005 Progettare misurazioni implica il tenere presente due aspetti: a)Un aspetto tecnico: come si fa a misurare (a monitorare, a valutare) b)Un aspetto di processo: chi devo condizionare e quindi cosa devo

Programma Cantieri – V Giornata degli Innovatori Forum P.A. - Roma, 11 maggio 2005 ASPETTI TECNICI: -IN CHE FASE MI TROVO: a) (ri)-progettazione di interventi: mi serve valutazione ex post per sapere quali fattori critici devo mantenere e quali evitare nei prossimi interventi b) pianificazione: mi serve sia ex post sia valutazione ex ante per selezionare tra alternative c) attuazione: mi serve monitoraggio e valutazione on going per sapere che probabilità ho di raggiungere gli obiettivi

Programma Cantieri – V Giornata degli Innovatori Forum P.A. - Roma, 11 maggio QUALI SONO LE DIMENSIONI DI ANALISI, IN PARTICOLARE LA QUESTIONE DEGLI OUTCOME E DEGLI IMPATTI (Cfr.Figura) - COSTRUZIONE SISTEMA INFORMATIVO (PERIODICITA’ DELLE RILEVAZIONI, VALIDAZIONE DATI,…)

Programma Cantieri – V Giornata degli Innovatori Forum P.A. - Roma, 11 maggio 2005 IL CICLO LOGICO DEL MONITORAGGIO E DELLA VALUTAZIONE PROBLEMI COLLETTIVI = CONDIZIONI INDESIDERATE ObiettiviInput Prodotti (output) Risultati (outcome) Impatti (impact) Attuazione Variabili intervenienti utilità, sostenibilità MONITORAGGIO VALUTAZIONE efficienza, qualità Efficacia interna Rilevanza

Programma Cantieri – V Giornata degli Innovatori Forum P.A. - Roma, 11 maggio 2005 ASPETTI DI PROCESSO/2 -Quali sono i soggetti il cui comportamento devo condizionare attraverso la misurazione (monitoraggio/valutazione)? -COSA DEVO MISURARE A QUESTO FINE? -(e poi:come strutturare la diffusione delle analisi a fini di coordinamento,…)

Programma Cantieri – V Giornata degli Innovatori Forum P.A. - Roma, 11 maggio Cosa misurare per chi: la “misurazione” tra performance di servizi/settori e risultati di strategie (politiche)

Programma Cantieri – V Giornata degli Innovatori Forum P.A. - Roma, 11 maggio 2005 DUE PUNTI DI RIFERIMENTO PER QUESTA RIFLESSIONE: A)L’ARTICOLAZIONE ORGANIZZATIVA INTERNA ALLE AMMINISTRAZIONI: - Vertice politico - Alta amministrazione - Articolazioni settoriali

Programma Cantieri – V Giornata degli Innovatori Forum P.A. - Roma, 11 maggio 2005 B) GOVERNANCE CONTEMPORANEA: gli interventi pubblici si caratterizzano per essere multilivello, per coinvolgere più attori: vari livelli politico-amministrativi, i privati, il terzo settore; per migliorare un problema della mia collettività non mi basta fare “il mio” pezzo, ma devo vedere in che modo il mio ruolo contribuisce a determinare mutamenti sociali adeguati

Programma Cantieri – V Giornata degli Innovatori Forum P.A. - Roma, 11 maggio 2005 ESEMPIO – UNIVERSITA’ a) l’andamento di un singolo corso di laurea è valutato sulla base di: n. ingressi (nuovi studenti), n. crediti acquisiti ogni anno, soddisfazione studenti, laureati,laureandi, ecc.; per un singolo preside di Facoltà il problema in questo senso è definito in termini di sostenibilità del Corso

Programma Cantieri – V Giornata degli Innovatori Forum P.A. - Roma, 11 maggio 2005 Ma se il vertice di una università pensa che un modo per migliorare la competitività di un Ateneo sia la capacità di attrarre studenti stranieri perché le imprese locali hanno bisogno di certe figure e per strutturare relazioni con i Paesi di origine (internazionalizzazione), viene ridefinito il problema di una serie complessiva di articolazioni organizzative e delle relazioni con altri soggetti:

Programma Cantieri – V Giornata degli Innovatori Forum P.A. - Roma, 11 maggio 2005 Offrire corsi in inglese (condizionare i docenti) Offrire corsi che siano comprensibili per un mercato internazionale (idem come sopra) Semplificare le procedure di accesso (relazioni con Ministero interno e Min. lavoro, oltre che Miur) Relazioni con Università straniere Tutoraggio per inserimenti (costruire nuove figure) Alloggi, ecc. (relazioni con contesto territoriale) Comunicazione esterna, ecc.

Programma Cantieri – V Giornata degli Innovatori Forum P.A. - Roma, 11 maggio 2005 Qui il parametro di riferimento non è più solo la sostenibilità del singolo corso e non basta sapere il numero di studenti stranieri in ogni corso; ma è essenziale sapere quanti ex studenti stranieri lavorano nelle imprese (dopo un certo periodo), quanto contatti si sono sviluppati con i paesi di origine (contratti delle imprese, ricerche tra Uni, ecc.). E su questo parametro, l’università è ovviamente corresponsabile, sia per la propria parte di funzioni (cordinamento interno verso l’obiettivo) sia per la sua capacità di “indurre a comportamenti virtuosi” gli altri soggetti (coordinamento dell’arena complessiva)

Programma Cantieri – V Giornata degli Innovatori Forum P.A. - Roma, 11 maggio 2005 IN ALTRE PAROLE: AL MUTARE DELLA DEFINIZIONE DEL PROBLEMA ALLA BASE DI UN INTERVENTO, MUTANO ( O SI DEVONO RIARTICOLARE) LE MISURE DI CUI HO BISOGNO PER FAVORIRE IL CORDINAMENTO VERSO UN OBIETTIVO DI MUTAMENTO SOCIALE

Programma Cantieri – V Giornata degli Innovatori Forum P.A. - Roma, 11 maggio 2005 ES. questionario VIC: Valutazione integrata del cambiamento - Analisi non settoriale ma su obiettivi “programmatici” riguardanti l’orientamento di una organizzazione (Enti locali) ai principi di modernizzazione amministrativa

Programma Cantieri – V Giornata degli Innovatori Forum P.A. - Roma, 11 maggio 2005 ES. DOMANDA VIC Retribuzione di risultato del personale dirigenziale (posizioni organizzative negli enti senza dirigenti), importi effettivamente erogati: Considerando in senso decrescente l’elenco degli importi erogati alle varie posizioni dirigenziali, indicare la differenza percentuale tra l’importo maggiore effettivamente erogato e l’importo minore effettivamente erogato 1. meno del 10%2. tra il 10% e il 20%3. tra il 21% e il 40%4. più del 40%|__||__||__||__|

Programma Cantieri – V Giornata degli Innovatori Forum P.A. - Roma, 11 maggio 2005 Continua esempio VIC Differenza % tra totale delle somme fissate a preventivo per retribuzione di performance e somme effettivamente erogate

Programma Cantieri – V Giornata degli Innovatori Forum P.A. - Roma, 11 maggio CONSEGUENZE 1.LE ESPERIENZE DI MISURAZIONE IN QUESTI ANNI HANNO SVILUPPATO IN PARTICOLARE L’ANALISI SETTORIALE E DEI SERVIZI 2.SI TRATTA DI ESPERIENZE IMPORTANTI, PERCHE’ HANNO PERMESSO DI MOSTRARE AGLI OPERATORI CHE ANCHE L’AZIONE PUBBLICA PUO’ ESSERE MISURATA (SIA I SERVIZI ALL’ESTERNO SIA I SERVIZI INTERNI: ES: IL PERSONALE, I SERVIZI FINANZIARI, ECC.)

Programma Cantieri – V Giornata degli Innovatori Forum P.A. - Roma, 11 maggio I fattori dell’economicità e della qualità sono entrati a far parte del modo di pensare dei dirigenti, spesso anche quelli di risultato e impatto. 4. Minori esperienze si sono invece sviluppate con riguardo alla costruzione di sistemi di valutazione di “politiche” (termine che utilizziamo qui non in senso metodologico,ma per fare riferimento ad obiettivi di cambiamento sociale di rilievo strategico e comunque propri del livello politico e dell’alta amministrazione; è sinonimo di “programma”)

Programma Cantieri – V Giornata degli Innovatori Forum P.A. - Roma, 11 maggio 2005 C’è sicuramente un problema tecnico: valutare e misurare è una attività professionale; ai vari livelli politico-amministrativi è necessario ripetere le sperimentazioni fatte per i servizi, e cioè sviluppare proposte di definizioni e di fattori da misurare in relazione a “problemi di livello strategico”. E’ necessario progettare in modo concreto quali professionalità coinvolgere,e come istituzionalizzare questa funzione

Programma Cantieri – V Giornata degli Innovatori Forum P.A. - Roma, 11 maggio 2005 E’ necessario evitare l’idea che tutti i sistemi informativi debbano essere correlati e integrati tra di loro: e cioè che il sistema informativo settoriale è anche quello da cui si prendono tutti i dati per le analisi del livello superiori (delle politiche / dei programmi). Ogni livello deve elaborare le proprie analisi e le proprie dimensioni di valutazione: le informazioni, infatti, cambiano al mutare della definizione di qual è il problema che dobbiamo risolvere con uno o più interventi pubblici.

Programma Cantieri – V Giornata degli Innovatori Forum P.A. - Roma, 11 maggio 2005 In ogni caso, al livello di politica/programma, diventa rilevante misurare e analizzare : -Come muta il problema collettivo alla base degli interventi -Come si stano comportando gli attori del sistema (arena decisionale) in relazione agli obiettivi che intendiamo perseguire,

Programma Cantieri – V Giornata degli Innovatori Forum P.A. - Roma, 11 maggio 2005 Es. Turismo Livello Settoriale: Settore a) n. stanze costruite con contributi per agriturismi Settore b) n. diplomati ai corsi per servizi agrituristici Livello di Programma: N. giornate di presenza di turisti (provenienti da Paese X N. gg presenza in Località con offerta analoga

Programma Cantieri – V Giornata degli Innovatori Forum P.A. - Roma, 11 maggio 2005 Es.: Cultura -Teatro comunale: n.rappresentazioni, n. spettatori, economicità -Sistema della cultura di una città: qualità dell’offerta complessiva, pubblica e privata: mix tra tipi di ambiti, equilibrio tradizione/avanguardia, equilibrio tra categorie di spettatori, locali/da fuori provincia-nazione, ecc.