A.Silvani - 22.01.07 La valutazione nel disegno di riforma del sistema ricerca-innovazione provinciale Presentazione del Comitato per la valutazione della.

Presentazione sul tema: "A.Silvani - 22.01.07 La valutazione nel disegno di riforma del sistema ricerca-innovazione provinciale Presentazione del Comitato per la valutazione della."— Transcript della presentazione:

1 A.Silvani - 22.01.07 La valutazione nel disegno di riforma del sistema ricerca-innovazione provinciale Presentazione del Comitato per la valutazione della ricerca CVR Alberto Silvani - Presidente CVR UniMITT – Università degli Studi di Milano (alberto.silvani@unimi.it)

2 A.Silvani - 22.01.07 Traccia dell’intervento Il punto di partenza: la legge e le sue indicazioni Quali opportunità: alcune considerazioni su cui ragionare Quali sfide e con quali risorse Il Comitato e il suo programma di lavoro

3 A.Silvani - 22.01.07 L’esperienza trentina: luci …. La scelta di sostenere la qualificazione del sistema provinciale modificandone la propensione alla competizione: anche la dimensione locale può essere terreno di gara “tra pari” Favorire la dimensione cooperativa sia tra soggetti locali che in reti extralocali: ottimizzare le masse critiche, promuovere l’attrazione di competenze, valorizzare la dimensione di sistema Operare su risorse addizionali sostenendo la reale volontà di cambiamento IL TUTTO CON UN APPROCCIO BASATO SUGLI STRUMENTI DI POLICY PIUTTOSTO CHE SULL’ARCHITETTURA ISTITUZIONALE

4 A.Silvani - 22.01.07 –Sovrapposizioni sulla stessa area di diverse tipologie e titolarità di interventi –Scala non ottimale e dimensione spaziale e tematica limitata –Limitata attenzione alla domanda locale e alle caratteristiche del rapporto ricerca- innovazione ed ombre ….

5 A.Silvani - 22.01.07 Dicevamo quasi due anni fa a Rovereto (maggio 2005) Un dilemma per le istituzioni …. Due scenari a confronto: L’innovazione e la ricerca utilizzati come fattori competitivi di vantaggio per il territorio entro il quale si svolgono La ricerca e l’innovazione come rilevanti strumenti per promuovere e sostenere lo sviluppo sociale ed economico del territorio

6 A.Silvani - 22.01.07 La Legge di riforma: i principi ispiratori Apertura nazionale ed internazionale Quadro programmatico coerente Equilibrio ricerca di base e orientata Attività per progetti Centralità del monitoraggio e della valutazione Distinzione tra governo e consulenza Coinvolgimento dei ricercatori Trasparenza amministrativa Valorizzazione economica dei risultati Coinvolgimento e cooperazione imprese Promozione iniziative imprenditoriali

7 A.Silvani - 22.01.07 Il Comitato di Valutazione della Ricerca (CVR) Compiti (art. 24) Valutare l’efficacia del complesso degli interventi Provinciali anche rispetto agli obiettivi del Programma Valutare i risultati dei progetti Presentare agli organi un rapporto sulle attività di valutazione relativamente al programma pluriennale o su richiesta della Giunta. 2 DIMENSIONI PRINCIPALI DELL’INTERVENTO: IL PROGRAMMA E I PROGETTI

8 A.Silvani - 22.01.07 Ripartizione dei compiti tra CTS e CVR in materia di valutazione Al CTS: valutazione dei progetti (selezione), incluso monitoraggio e verifica (del raggiungimento dei risultati) Al CVR: valutazione ex-post dei risultati (del programma e dei progetti) ed efficacia del complesso degli interventi Entrambi si possono avvalere di esperti esterni ed operano in forma coordinata e con scambio di informazioni

9 A.Silvani - 22.01.07 Il campo d’azione del CVR Analisi di efficacia degli interventi del Programma, in particolare rispetto agli obiettivi, agli strumenti e alle tipologie di intervento Analisi di impatto delle iniziative, e degli strumenti Verifica di coerenza tra obiettivi, risultati e strumenti Valutazione del complesso degli interventi rispetto al contesto provinciale, inclusa l’analisi dei soggetti e delle strutture

10 A.Silvani - 22.01.07 Una problematica nuova: la valutazione d’impatto…. Distinguere tra le possibili ricadute dei risultati delle iniziative e degli interventi scientifici programmati ed incentivati: –Sul sistema scientifico e i suoi soggetti –Sul sistema economico ed ambientale e i suoi soggetti –Sul sistema amministrativo gestionale e i suoi soggetti –Sulla società in generale ed i cittadini, distinguendo tra contesto locale e non

11 A.Silvani - 22.01.07 Difficoltà metodologiche… Deboli nessi di causalità (attribuzione dei risultati rispetto alle azioni e alla volontarietà dei comportamenti), scarsa definizione ex-ante del sistema di obiettivi e strumenti e problematico trattamento della multidimensionalità dei fenomeni Ciclo di vita lungo e complesso delle iniziative e ritardi temporali misurabili solo ex-post, in particolare rispetto al rapporto tra output e outcome Parzialità e significatività di dati ed indicatori, aggravate dalla limitatezza territoriale (e tematica) dell’area oggetto dell’esame Necessità di coinvolgimento e partecipazione (ancora più ampia rispetto alla valutazione interna della comunità scientifica) degli evaluandi e dei decisori

12 A.Silvani - 22.01.07 Alla ricerca di un modello Alcuni requisiti da rispettare: –Qualificare gli oggetti della valutazione (Programma, accordi, progetti, iniziative) rispetto al processo di valutazione per una loro valutabilità successiva –Istruire il processo valutativo su un ragionevole compromesso di approcci quali-quantitativi –Garantire la trasparenza e la tracciabilità dei processi anche attraverso la partecipazione e il coinvolgimento

13 A.Silvani - 22.01.07 Un esempio di applicazione: gli obiettivi di indirizzo del Programma Sistema provinciale integrato ed aperto Valorizzare la conoscenza prodotta localmente Promuovere iniziative per innovazione sistema produttivo Stimolare e incentivare collaborazione tra soggetti Ridefinire il ruolo di indirizzo e non di gestione Rafforzare la competitività dei soggetti attraverso risorse addizionali Favorire l’internazionalizzazione e la proiezione esterna Promuovere la diffusione di strumenti di accountability possibili variabili da tenere sotto osservazione: numerosità e consistenza di contratti congiunti e finanziamenti esterni, esistenza e performance di laboratori “misti”, creazione consorzi, incentivazione ad attività congiunte e numero attività attivate, relazioni internazionali, analisi di performance, analisi controfattuali su campioni di confronto, “addizionalità” comportamentale, ….. Affiancate da indagini di “soddisfazione” dei soggetti (locali e non) coinvolti nelle relazioni

14 A.Silvani - 22.01.07 Un esempio di applicazione: gli Accordi di programma Introdurre nella loro formulazione criteri e parametri che consentano la valutabilità rispetto a: –I settori (es. analisi di coerenza rispetto griglia e competenze) –Gli obiettivi e risultati (es. verifica di chiarezza nell’enunciazione e possibilità di misurazione in corso e al termine) –Le risorse necessarie per la realizzazione e loro distribuzione (es. verifica di coerenza e di possibilità e modalità di implementazione) –Il concorso finanziario PAT (es. verifica rispetto della credibilità dei criteri piuttosto che degli aspetti formali amministrativi) –Le modalità di autofinanziamento (es. analisi entità e ruolo) –Le modalità di valutazione e monitoraggio (es. analisi intermedia, procedure accompagnamento, monitori, valuazione ex-post) –Le modalità di revisione (es. indicatori di aggiornamento)

15 A.Silvani - 22.01.07 Un esempio di applicazione: un’indagine periodica sulle istituzioni Un monitoraggio delle risorse umane e delle loro dinamiche (e dei flussi in ingresso e uscita) Un’analisi dell’output scientifico con i tradizionali parametri bibliometrici Un’analisi delle relazioni economiche ed innovative, inclusa la generazione di know how, trovati tutelati e imprese Un’analisi delle collaborazioni strutturate e del livello di internazionalizzazione Un’analisi della capacità attrattiva dall’esterno (risorse umane e materiali)

16 A.Silvani - 22.01.07 Un terreno nuovo da valutare: i rapporti tra scienza e società Elementi per un “contratto” tra scienza e società: –I ricercatori delle istituzioni trentine nel rapporto con la società in cui sono collocati il “bilancio sociale” delle istituzioni scientifiche “public understanding of science” e valutazione delle relative iniziative temi etici e modalità di loro trattazione –Le indicazioni e la domanda sociale l’analisi e la rappresentazione dei fabbisogni la dimensione territoriale della domanda “ambientale” centralità della “domanda pubblica” e delle relazioni extraprovinciali

17 A.Silvani - 22.01.07 Apprendere da chi sa (per sviluppare buone pratiche ….) Accrescere le capacità del Comitato e delle strutture provinciali di supporto, costituendo competenze strutturate sul territorio provinciale con il coinvolgimento delle istituzioni scientifiche e dell’Università di Trento Stabilire relazioni con i centri e le competenze esterne alla Provincia anche attraverso la partecipazione a progetti cooperativi Promuovere su questo tema presentazioni ed iniziative partecipative nei diversi contesti locali Creare gruppi locali di interesse anche per favorire la condivisione e la standardizzazione delle iniziative e dei criteri

18 A.Silvani - 22.01.07 Il piano d’attività del CVR Costruire un DB delle attività degli enti e delle istituzioni utile ai fini valutativi Costruire un DB strutturato dei “grandi progetti” della precedente legislatura, a valere sul Fondo Unico ma non solo…, ed iniziare sperimentalmente la loro valutazione Affiancare il CTS per le parti di competenza nell’implementazione del Programma, con particolare attenzione agli Accordi di programma Sviluppare l’asse d’attività sulle metodiche e sull’impatto Operare per rendere funzionale un supporto tecnico per le attività

19 A.Silvani - 22.01.07 La modalità di funzionamento Istituiti tre gruppi di lavoro: –Predisposizione del DB sui grandi progetti e sulle istituzioni: organizzazione, armonizzazione e trattamento dei dati disponibili e raccolta dei nuovi –Affiancamento del percorso realizzativo degli Accordi di programma per gli aspetti connessi alla valutazione ex-post e all’impatto atteso: definizione di un set di parametri ed indicatori –Valutazione dell’impatto degli interventi promossi, in particolare attraverso la Legge 6/99, indirizzati alle imprese e al sistema locale: definizione di un set di parametri ed indicatori

20 A.Silvani - 22.01.07 La composizione del Comitato Alberto Silvani (CNR e Università di Milano) Presidente Andrea Bonaccorsi (Università Pisa) Bruno Codenotti (CNR Pisa) Paolo Dario (S. Sup. S.Anna Pisa) Armando Vadagnini (Trento) Diego Loner (PAT) Segreteria assicurata dal Servizio Università ricerca: Michele Nulli, Lucia Cella, Monica Zanetti

21 A.Silvani - 22.01.07 Alcune considerazioni operative Non esistono vincoli di natura procedurale nell’iter del Comitato E’ richiesta una forte capacità di monitoraggio (e di dominio delle conoscenze) anche in ragione dell’estensione della copertura della Legge E’ necessario un forte interfacciamento con il CTS e gli altri momenti della programmazione

22 A.Silvani - 22.01.07 Considerazioni conclusive –Disciplinare le attività tra le esigenze di monitoraggio, di valutazione dell’esecuzione e di stima e giudizio d’impatto –Progettare un sistema di analisi in grado di incrociare le attività di competenza alle diverse dimensioni: Programma e progetto/i (compreso il contributo dei singoli progetti al programma) Qualità tecnico scientifica e (potenzialità di) performance economica, sempre riferite all’impatto Attività di ricerca vs interventi per l’innovazione –Integrare le attività e confrontarsi con strutture similari –Operare a stretto contatto con il Comitato per lo Sviluppo interfacciandosi con le sue attività

23 A.Silvani - 22.01.07 In particolare, per dare continuità e visibilità … Promuovere la costituzione di competenze strutturate di supporto come evoluzione professionalizzata delle attività dell’Osservatorio e del Servizio su temi quali il trattamento dei dati e degli indicatori e le problematiche di politica scientifica e tecnologica: –Per realizzare un sistema informativo strutturato –Per accedere a basi dati e per preparare report –Per elaborare documentazione di supporto –Per dare continuità al lavoro tra le diverse riunioni –Per dare visibilità e per facilitare interlocuzioni locali –Per facilitare relazioni con Regioni/Province attraverso strutture analoghe