Convegno CGIL Roma, 24 aprile2012 La Valutazione della Qualità della Ricerca (VQR) Le sfide per gli enti di ricerca Giorgio Sirilli

Indice  Gli obiettivi  Gli attori  L’approccio  L’impatto sugli enti pubblici di ricerca  Ancune considerazioni

Avvertenza Le diapositive con lo sfondo bianco contengono informazioni Quelle con lo sfondo fondo blu contengono opinioni

L’ANVUR è un’Agenzia del MIUR, come l’Agenzia delle entrate è un’Agenzia del MEF Non è dunque una Autorità indipendente come l’Autorità garante della concorrenza ed altre, ma uno strumento del ministro E’ composta da sette membri (tutti universitari) Presidente: Stefano Fantoni Coordinatore della VQR: Sergio Benedetto Vice coordinatore della VQR: Andrea Bonaccorsi

Gli attori della VQR  ANVUR  Gruppi di Esperti della Valutazione (GEV)  Revisori  Strutture  Università  Dipartimenti  Enti di ricerca  CINECA  Ricercatori /tecnologi/docenti Nella VQR vi sono due tipi di attori: le istituzioni (ANVUR, enti di ricerca, università) ed i singoli ricercatori/tecnologi/docenti. Quest’ultimi hanno la responsabilità diretta della fornitura dei “prodotti” attraverso il CINECA: se non forniscono i dati la VQR non può essere eseguita.

LA VQR è stata pensata dagli universitari per valutare l’università, gli enti di ricerca sono un accidente Gli universitari non “capiscono” il CNR. Ciò è stato ampiamente dimostrato in occasione della valutazione svolta nel 2009 allorché i panel di esperti hanno visitato gli Istituti Gli universitari hanno un conflitto di interessi con la “seconda rete scientifica”: la considerano una piattaforma al loro servizio da utilizzare e da governare per svolgervi le attività che non riescono a realizzare nelle università La VQR

Oggetto della valutazione E’ stato deciso di valutare gli enti di ricerca nel loro complesso, non i singoli istituti (107 nel CNR, simili ai dipartimenti). Nelle università vengono valutati anche i dipartimenti

La VQR  Gruppi di Esperti di Valutazione (GEV)  14 Gruppi (vedi tabella seguente)  450 esperti, quasi tutti universitari. Soltanto 3 sono ricercatori del CNR  Centinaia di referee (presumibilmente quasi tutti universitari, selezionalti dagli universitari) che riceveranno il compenso di 30 euro a “prodotto”)  Cronoprogramma della VQR  Inizio: novembre 2011  Fine: giugno 2013

VQR – Aree, GEV, ricercatori, prodotti

Il costo della VQR E’ stato stimato che la VQR costerà 300 milioni di euro, pari a metà del Fondo di Finanziamento Ordinario del CNR Il costo verrà sostenuto principalmente dall’università (92%) mente la quota rimanente sarà a carico delle strutture da valutare (6%) e dell’ANVUR (2%)

La metodologia della VQR Nella VQR verranno raccolti i dati relativi a 15 indicatori: 7 indicatori di Area 8 indicatori di “Terza missione” E’ stata adottata una metodologia “a tavolino”, basata soltanto su documenti E’ da notare la terminologia usata: “Terza missione” è un concetto residuale dell’università che è impegnata prioritariamente nella didattica e nella ricerca. Le attività elencate fanno pienamente parte della missione degli enti pubblici di ricerca, non sono residuali.

Indicatori Indicatori di Area legati alla ricerca: qualità (0,5) attrazione di risorse (0,1) mobilità (0,1) internazionalizzazione (0,1) alta formazione (0,1) risorse proprie(0,05) miglioramento (0,05) Oggi l’attenzione è tutta qui

Qualità delle pubblicazioni Punteggi: eccellente1,0 20% superiore della scala internazionale buono0, % accettabile0, % limitato0,0 <50% mancante-0,5 non valutabile-1,0 plagio o frode-2,0 La VQR presenta forti caratteri di originalità. Prevede l’assegnazione di valori negativi, scleta ignota ad altre procedure valutative. La distribuzione non riflette la distribuzione statistica delle pubblicazioni

Problemi della valutazione dei prodotti Valutazione dei pari/ bibliometria Riviste da includere Pesi Valori positivi e negativi Prodotti 6/3 Selezione dei referee Giudizio finale dei GEV Presenza schiacciante degli universitari Associati Classificazioni Nell’ovale è riportato un elenco, non esaustivo, dei punti critici della VQR: in particolare l’assegnazione di punteggi negativi e la richiesta ai ricercatori degli enti di ricerca di esibire 6 “prodotti” ed agli universitarii di esibirne 3

Gli indicatori Indicatori di struttura di ‘terza missione’: conto terzi (0,2) brevetti (0,1) spin-off (0,1) incubatori (0,1) consorzi (0,1) siti archeologici (0,1) poli museali (0,1) altre attività (0,2) Le strutture dovranno fornire i dati su 14 indicatori: tali dati non sono certificati da un’autorità indipendente, per cui vi potranno essere comportamenti opportunistici nella competizione tra enti e università per l’assegnazione delle risorse. In particolare la categoria “alte attività” si presta a libere e interessate interpretazioni di carattere estensivo

La carta europea dei ricercatori Valutazione “Il merito non dovrebbe essere valutato esclusivamente sul numero di pubblicazioni, …., ma dovrebbe essere ponderato con le attività di insegnamento e supervisione, il lavoro di équipe, il trasferimento delle conoscenze, la gestione della ricerca, l’innovazione e le attività di sensibilizzazione del pubblico” Le attività segnate in rosso, svolte dai ricercatori e menzionate della Carta europea dei ricercatori, non sono considerate nella VQR

Quanti indicatori? Uno, nessuno, centomila? Tre scenari per gli indicatori:  un indicatore sintetico  due indicatori (Area e Terza missione)  cruscotto (scoreboard) Scenari possibili:  graduatorie (Shanghai)  multi-ranking Quale sarà l’output della VQR: un solo indicatore per ciascuna struttura, due indicatori o un cruscotto di 15 indicatori? Mancano regole chiare econdivise: la metodologia della VQR non dà risposta a questi quesiti lasciando aperte tutte le possibilità

Valutazione della Qualità della Ricerca (VQR) Didattica Ricerca Terza missione Ricerca Terza missione Enti di ricerca Università

VA lutazione delle S trutture che svolgono A ttività di RI cerca e di TRA sferimento delle CO noscenze (VASARITRACO) Valutazione della Qualità della Ricerca (VQR) La VQR non valuta la ricerca e la sua qualità, ma le strutture impegnate in una serie di attività di produzione e trasferimento delle conoscenze

Un profilo degli enti pubblici di ricerca La VQR valuta soltanto i 12 enti di ricerca vigilati dal MIUR, lasciando fuori importanti enti di ricerca come l’ENEA, l’ISTAT, l’Istituto Superiore di Sanità, l’ISFOL Gli enti pubblici di ricerca sono profondamente diversi tra loro per dimensione, missione e struttura, e diversi dall’università Tra I 12 enti vigilati dal MIUR soltanto 6 svolgono attività di ricerca Va chiarito come verranno valutati gli enti che non svolgono attività di ricerca (per esempio l’Agenzia spaziale italiana

Gli enti pubblici di ricerca: realtà molto eterogenee

6/12 5/12

La valutazione degli Istituti del CNR  Nel 2009 il CNR ha sottoposto a valutazione i suoi 107 Istituti di ricerca  E’ stata impiegata una metodologia che prevedeva sia l’analisi “a tavolino” che le “visite in loco”  Il costo diretto della valutazione è stato di 1,8 milioni di euro, a cui vanno aggiunti i costi indiretti stimati pari a 2,8 milioni di euro. Totale: 4,6 milioni di euro  Il return on investment è stato finora pari a 0. Non risulta che le informazioni raccolte non siano state utilizzate per orientare le scelte dell’ente Sarebbe oppotuno utilizzare i risultati della valutazione degli Istituti del CNR per eseguire la VQR Andrebbe affettuato un accurato calcolo del costo che stanno sostenendo gli enti di ricerca per corrispondere alle richieste della VQR

L a valutazione degli Istituti Nel caso della valutazione degli Istituti del CNR le regole erano chiare fin dall’inizio ed il personale era coinvolto nell’ambito degli Istituti ma non era chiamato a fornire al Panel generale alcuna informazione. Al termine dell’esercizio ciascun Istituto ha avuto la sua valutazione numerica e qualitativa (vedi gli esempi sopra riportati)

Una simulazione sul comportamento dei ricercatori/tecnologi del CNR Nel caso in cui 350 ricercatori/tecnologi (il 10%) non inserisca i dati ("mancante" nel gergo ANVUR) l'impatto sarà di una diminuzione del punteggio del 18,3%. Nel caso in cui 350 ricercatori/tecnologi (10%) inserisca qualche prodotto anomalo (“non valutabile” nel gergo ANVUR), l'impatto sarà di una diminuzione del punteggio del 26,7%.

Alcune considerazioni  Non c’è dubbio che gli enti pubblici di ricerca debbano essere valutati  La metodologia della VQR è una originalità nel panorama internazionale e non è stata sottoposta a test  La metodologia della VQR è inadatta per gli enti di ricerca  La VQR penalizza il CNR  Gli enti dovrebbero essere valutati con una metodologia ad hoc (“a tavolino” e “in loco”)

Alcune considerazioni  Per il CNR andrebbero utilizzati i risultati della valutazione svolta tre anni fa  Le informazioni acquisite sui “prodotti” sono “vecchie” ( ): nel frattempo sono cambiate molte cose  La valutazione deve essere adiuvante, non punitiva (le dichiarazioni di Benedetto hanno suscitato molta apprensione circal’uso dei risultati della VQR)  La VQR, come ogni tipo di musurazione, cambia le regole del gioco. C’è il pericolo che i ricercatori degli enti di ricerca, per ben apparire nelle classifiche VQR, tendano ad appiattirsi sui parametri tipicamente universitari, snaturando la missione degli enti di ricerca  Vanno chiarite le modalità di utilizzazione dei risultati da parte dei policy maker (dentro e fuori gli enti)

E ora … affrontiamo le sfide Grazie dell’attenzione