Seminario: Il piano di valutazione nella politica regionale unitaria Torino 10/07/2007 La valutazione nella politica regionale unitaria Tito Bianchi UVAL Torino, 10/07/2007

Seminario: Il piano di valutazione nella politica regionale unitaria Torino 10/07/2007 INDICE 1.Dai temi alle domande 2.Dalle domande al metodo/disegno 3.Dal metodo allorganizzazione della valutazione 4.Monitoraggio, diffusione, utilizzo dei risultati III SEZIONE INDIVIDUAZIONE, GESTIONE E UTILIZZO DELLE ATTIVITÀ VALUTATIVE

Seminario: Il piano di valutazione nella politica regionale unitaria Torino 10/07/2007 Nuovo orientamento : Attribuire incarichi di valutazione a partire da domande di valutazione di interesse pubblico, Richiede un processo per la selezione di domande attraverso lascolto di esigenze conoscitive espresse da diversi soggetti, interni ed esterni alla PA Selezione guidata (oltre che dalla scarsità di risorse e tempo) da……

Seminario: Il piano di valutazione nella politica regionale unitaria Torino 10/07/2007 Proprietà di una buona Domanda di Valutazione Utilità-rilevanza (risponde ad esigenze di decisione del committente o delle politiche) Valutabilità (esistono metodi che consentono di dare ad essa una risposta persuasiva) Condivisione (corrisponde ad esigenze conoscitive diffuse nel sistema) Dettaglio (consente più chiaro controllo di qualità sulloperato del valutatore)

Seminario: Il piano di valutazione nella politica regionale unitaria Torino 10/07/2007 Come i temi di dibattito possono divenire domande di valutazione: Primo step: prendere un tema e trasformarlo in una frase che termina con un punto interrogativo ESEMPIO : Politiche per la Ricerca Tema di dibattito: Lefficacia delle politiche per la ricerca I progetti finanziati nel periodo di programmazione XY sono stati efficaci?

Seminario: Il piano di valutazione nella politica regionale unitaria Torino 10/07/2007 Secondo step: Il dibattito che cè dietro. Passare ad un maggior livello di specificità sulla base della diagnosi del problema, o delle teorie interpretative prevalenti. La spesa privata per ricerca in Italia è troppo bassa nel confronto internazionale In particolare le imprese di piccola dimensione sotto- investono in ricerca rispetto a quanto sarebbe desiderabile a livello di sistema I rapporti fra PMI e università sono difficili per una differenza culturale Utilizzare i termini di questo dibattito per specificare il concetto di efficacia, e quindi la sua valutazione

Seminario: Il piano di valutazione nella politica regionale unitaria Torino 10/07/2007 le politiche per la ricerca attuate nel periodo , sono in grado di attivare capitali privati, in particolare di PMI? A questo punto, lulteriore effettiva specificazione della domanda di valutazione, dipende: Dalle finalità che si perseguono nel caso specifico; Dal grado di conoscenza già diffusa nel sistema sul problema e su ciò che funziona per risolverlo; Dai principali beneficiari dei risultati della valutazione (stakeholders nellinteresse dei quali è stata intrapresa) infatti….. Domanda di valutazione revisionata: STEP 3

Seminario: Il piano di valutazione nella politica regionale unitaria Torino 10/07/2007 Esistono diverse classificazioni possibili fra domande valutative: Fase della policy oggetto dindagine Le strategie I processi I risultati (oggetti-soggetti) Funziona o no? Per chi e in che condizioni/circostanze funziona? Finalità di trasparenza di rendicontazione di indirizzo di scelte di apprendimento Tipo di risposta attesa SI-NO Numerica (percentuale) Articolata e discorsiva

Seminario: Il piano di valutazione nella politica regionale unitaria Torino 10/07/2007 Nel caso delle politiche per la ricerca: Fase: processi interni Domanda del tipo: funziona o no? Tipo di risposta attesa Numerica (percentuale) Quante delle imprese destinatarie di finanziamenti per la ricerca hanno richiesto brevetti allUfficio Europeo? Fase di interesse: risultati (soggetti) Tipo di risposta attesa: Articolata e discorsiva Finalità: di indirizzo di scelte di policy Da cosa dipende la difficoltà delle politiche di incentivazione della ricerca privata delle imprese, a raggiungere le PMI?

Seminario: Il piano di valutazione nella politica regionale unitaria Torino 10/07/2007 Più unipotesi di ricerca è chiara e dettagliata, più la domanda può specificarsi a livello tale da poter essere ridotta ad unindagine quantitativa: Ad esempio: Ipotesi: progetti di ricerca di grandi dimensioni hanno maggior probabilità di produrre innovazioni di impatto elevato Domanda: Esiste una correlazione fra la dimensione dei progetti di ricerca finanziati (da qualunque fonte) nel periodo di programmazione X, ed il valore complessivo dei brevetti registrati dai destinatari dei finanziamenti? 2. Dalle domande ai metodi

Seminario: Il piano di valutazione nella politica regionale unitaria Torino 10/07/2007 Contro-esempio: Ipotesi: i tentativi di offrire attività di ricerca collettivamente a gruppi di PMI attraverso laboratori e centri di ricerca consortili, non funzionano per via delle difficoltà nel garantire lappropriabilità delle eventuali innovazioni a ciascuna impresa a titolo individuale Domanda: Quali circostanze consentono alle PMI di fare ricerca in forma associata o consortile?

Seminario: Il piano di valutazione nella politica regionale unitaria Torino 10/07/2007 A seconda di come è posta la domanda di valutazione, i metodi usati possono guardare a: Una variabile esplicativa (gli incentivi per le imprese sono più efficaci quanto più elevato il livello di istruzione del titolare?) Un numero chiuso di variabili esplicative: (La dimensione di partenza, il livello di istruzione del titolare, e la vicinanza alle reti di trasporto, influenzano lefficacia degli incentivi sulle imprese) Un insieme aperto di variabili: (Quali caratteristiche delle imprese aumentano la probabilità che lincentivo che esse ricevono raggiunga gli obiettivi che si prefigge? …segue.. elenco dei sospetti

Seminario: Il piano di valutazione nella politica regionale unitaria Torino 10/07/2007 Dalle domande ai metodi: un criterio semplice per valutare lappropriatezza di un metodo: il numero di casi presi in esame Un metodo che prevede un numero basso di casi studiati consente di affrontare domande aperte, che non predefiniscono le variabili esplicative Un numero elevato di casi studiati, per via di una tendenza verso la rappresentatività, ha il vantaggio di dire qualcosa di più provato riguardo alle variabili esplicative preventivamente individuate Un metodo che prevede un numero basso di casi studiati, in casi particolari, consente di rivedere i concetti di guida alla valutazione come quello di efficacia, o le modalità previste di misurazione dei risultati

Seminario: Il piano di valutazione nella politica regionale unitaria Torino 10/07/ Dai metodi allorganizzazione della singola valutazione Il Piano di Valutazione non può regolare tutti i problemi di governo dei mandati di valutazione. In quanto non tutte le indagini valutative, e per la verità solo una sparuta minoranza di esse, saranno già previste nella versione iniziale del piano. Lorganizzazione della gestione degli incarichi di valutazione va spesso decisa caso per caso, sulla base della natura della domanda

Seminario: Il piano di valutazione nella politica regionale unitaria Torino 10/07/2007 Tra le decisioni più importanti da prendere in materia: 1.Tempi previsti per la ricerca, per la consegna dei risultati 2.Affidamento a società di mercato o svolgimento allinterno dellamministrazione 3.Meccanismi a garanzia della qualità

Seminario: Il piano di valutazione nella politica regionale unitaria Torino 10/07/2007 Tempi previsti per la ricerca, per la consegna dei risultati; criteri Valutazioni che hanno la funzione di indirizzare specifiche scelte, sono condizionate, nella consegna, dalla tempistica di queste ultime Le valutazioni ex-post, volte a stimare i risultati o gli impatti raggiunti, richiedono di aspettare che questi si manifestino completamente Il piano di valutazione dovrebbe (almeno) pre- determinare le date future in cui le decisioni sui mandati saranno prese

Seminario: Il piano di valutazione nella politica regionale unitaria Torino 10/07/2007 Affidamento a società di mercato o svolgimento allinterno dellamministrazione; criteri Il Nucleo di Valutazione ha un vantaggio comparato nello svolgimento di valutazioni che presuppongono una conoscenza elevata dei meccanismi dellamministrazione Ci sono modalità intermedie, in cui la valutazione è diretta da personale interno, ma si avvale, a titolo individuale, di esperti, che curano le fasi dellindagine e producono materiali intermedi. Laffidamento a società esterna NON richiede inferiori competenze allamministrazione, che rimane interamente responsabile per linterfaccia tecnica: individuazione di una chiara domanda, gestione tecnica, garanzia qualità

Seminario: Il piano di valutazione nella politica regionale unitaria Torino 10/07/2007 Meccanismi per la garanzia della qualità Dietro i diversi meccanismi, un sola ratio: Il responsabile della valutazione non possiede in genere il tempo o le competenze per stabilire se il prodotto rispetta standard scientifici. Possono venire in aiuto: il nucleo di valutazione Uno steering group della specifica valutazione Un expertise esterna richiesta In tutti i casi si richiede indipendenza fra valutatore e soggetto incaricato di questa meta-valutazione

Seminario: Il piano di valutazione nella politica regionale unitaria Torino 10/07/2007 Valutazione e Monitoraggio I dati di monitoraggio da soli non consegnano alcun risultato valutativo. Sono una fonte che la valutazione deve organizzare ed interpretare nellinterazione con altri dati e conoscenze Il monitoraggio non dovrebbe contenere indicatori di impatto e risultato, che attengono alla sfera della valutazione, ma solo di realizzazione (finanziaria, fisica, ed occupazionale) La valutazione unificata si gioverebbe dellunificazione delle basi dati di monitoraggio, come nel avviene a liv. Nazionale Più in generale, un investimento nella qualità e tempestività dei dati di monitoraggio è di interesse della valutazione che li userà.

Seminario: Il piano di valutazione nella politica regionale unitaria Torino 10/07/2007 Diffusione dei risultati della valutazione Non è sufficiente prevedere, come molti hanno fatto nei piani sarà data la massima diffusione… E possibile, invece, prevedere che un grado di diffusione differenziata: pubblica per alcune valutazioni, interna per altre, più delicate, a tutela dellindipendenza; Stabilire in anticipo allinterno del piano, per la maggioranza delle valutazioni, tempi e modalità di diffusione, ad es. Seminario, conferenza stampa con date previste. Ciò crea gli spazi per la diffusione effettiva In altri casi, sarebbe consigliabile esprimersi nel senso di un diritto per il pubblico di accedervi: sono pubbliche

Seminario: Il piano di valutazione nella politica regionale unitaria Torino 10/07/2007 Lutilizzo non può essere garantito Un rapporto le cui indicazioni non sono state utilizzate dal committente, non è uno spreco di risorse Gli stessi committenti della valutazione attribuiscono troppo valore alle raccomandazioni: il contributo di conoscenza dei rapporti di valutazione non solo in quella sezione I momenti decisionali su cui le valutazioni possono influire, sono imprevedibilio ex-ante Utilizzo dei risultati della valutazione