CONSIGLIO NAZIONALE DELLE RICERCHE Istituto di Studi sui Sistemi Regionali Federali e sulle Autonomie ''Massimo Severo Giannini'' Roma, 19 marzo 2012 La Valutazione della Ricerca del CNR Le sfide della VQR dell’ANVUR Giorgio Sirilli

Un Seminario di politica scientifica

 La genesi  L’approccio  Gli attori  La Valutazione della Qualità della Ricerca (VQR)  Discussione  Le sfide Indice

 Quale sarà l’esito della valutazione del CNR da parte dell’ANVUR? La domanda

Classifica delle università e degli enti di ricerca?

Possibile classifica degli enti di ricerca INFN CNR.…

E’ possibile pronosticare l’esito della VQR per gli enti di ricerca? No

Un precedente  Studio all’inizio del millennio (2002)  Il 3% di Lisbona 1,20

L’approccio  Domanda di ricerca  Dati  Elaborazione  Conclusioni  Previsioni e raccomandazioni

La valutazione della ricerca La valutazione della ricerca può essere definita come un processo oggettivo mirato all’analisi critica della rilevanza, dell’efficienza e dell’efficacia di politiche, programmi, progetti, istituzioni, gruppi e singoli ricercatori nel perseguire gli obiettivi prefissati. La valutazione consiste in un complesso di attività coordinate, di carattere comparativo, basate su metodi e tecniche formalizzate e realizzate attraverso procedure codificabili, volte ad esprimere un giudizio su interventi intenzionali rispetto al loro svolgimento ed agli effetti generati.

Il primo giorno Dio creò il cielo e la terra. E Dio vide tutto quello che aveva fatto. “Guarda” disse Dio “è veramente molto buono”. E venne sera, e poi mattina: era il sesto giorno. Ed il settimo giorno Dio si riposò dopo il Suo lavoro. Venne quindi da Lui il Suo arcangelo che Gli chiese: “Dio, come fai a sapere che quello che hai creato è ‘veramente molto buono’?. Quali sono i Tuoi criteri? Su quali dati basi la Tua valutazione? Non sei Tu forse un po’ troppo direttamente coinvolto per dare un giudizio spassionato?” Dio rifletté su queste domande per tutto il settimo giorno, ed il Suo riposo fu molto agitato. L’ottavo giorno Dio disse: “Lucifero, vai all’inferno”. La prima valutazione (Genesi)

La valutazione e gli indicatori

L’elefante ci ricorda che l’informazione che otteniamo dalle classifiche degli indicatori è corretta, ma è comunque parziale La valutazione e gli indicatori Each in his own opinion Exceeding stiff and strong, Though each was partly in the right, And all were in the wrong! John Godfrey Saxe (1816–1887) "The Blind Men and the Elephant" Ciascuno con la sua opinione Convinto caparbiamente di essere nel giusto, Sebbene ciascuno fosse parzialmente nel giusto, Tutti erano nell’errore! John Godfrey Saxe (1816–1887) "The Blind Men and the Elephant"

(Ben Martin)  “Quando misuri un sistema, cambi il sistema”  “I quattro principi di Merton: - universalismo - comunitarismo - disinteresse - scetticismo organizzato sono sempre più erosi” La valutazione

scienzasocietà 15 La valutazione: il difficile equilibrio tra le esigenze della scienza e quelle della società

Alcune considerazioni Le classifiche globali non coprono di più del 3-5% delle università del mondo

Scienza e ideologia: impatto sulle citazioni Caduta del muro di Berlino Nov. 1989

La matrice multidimensionale della valutazione Unità da valutare Individuo Gruppo di ricerca Dipartimento Istituzione Area di ricerca Obiettivo Allocazione di risorse Miglioramento della performance Incremento della multidisciplinarità Incremento del coinvolgimento regionale Promozioni, reclutamento Dimensioni dell’output Produttività della ricerca Impatto sulla comunità scientifica Innovazione e beneficio sociale Sostenibilità Infrastrutture di ricerca Indicatori bibliometrici Pubblicazioni Impact factor Impatto delle citazioni Collaborazioni internazionali Prestigio delle citazioni Altri indicatori Valutazione dei pari Brevetti, licenze, spin-off Inviti alle conferenze Finanziamenti esterni “Qualità” dei PhD

La VQR Unità da valutare Individuo Gruppo di ricerca Diparti- mento Istituzione Area di ricerca Obiettivo Allocazione di risorse Miglioramento della performance Incremento della multidisciplinarità Incremento del coinvolgimento regionale Promozioni, reclutamento Dimensioni dell’output Produttività della ricerca Impatto sulla comunità scientifica Innovazione e beneficio sociale Sostenibilità Infrastrutture di ricerca Indicatori bibliometrici Pubblicazioni Impact factor Impatto delle citazioni Collaborazioni internazionali Prestigio delle citazioni Altri indicatori Valutazione dei pari Brevetti, licenze, spin- off Inviti alle conferenze Finanziamenti esterni “Qualità” dei PhD

ROARS

Agenzia vigilata dal MIUR Sette membri (tutti universitari) Presidente: Stefano Fantoni Coordinatore della VQR: Sergio Benedetto Vice coordinatore della VQR: Andrea Bonaccorsi

Gli attori della VQR  ANVUR  Gruppi di Esperti della Valutazione (GEV)  Revisori  Strutture  Università  Dipartimenti  Enti di ricerca  CINECA  Ricercatori

La VQR  GEV  14 Gruppi  450 esperti (di cui 3 del CNR)  Cronoprogramma della VQR  Inizio: novembre 2011  Fine: giugno 2013

VQR – Aree, GEV, ricercatori, prodotti

La metodologia  15 indicatori utilizzati  7 indicatori di Area  8 indicatori di “Terza missione”

Indicatori Indicatori di Area legati alla ricerca: qualità (0,5) attrazione di risorse (0,1) mobilità (0,1) internazionalizzazione (0,1) alta formazione (0,1) risorse proprie(0,05) miglioramento (0,05) Oggi l’attenzione è tutta qui

Qualità dei “prodotti” Punteggi: eccellente1,0 20% superiore della scala internazionale buono0, % accettabile0, % limitato0,0 <50% mancante-0,5 non valutabile-1,0 plagio o frode-2,0

Problemi della valutazione dei prodotti Valutazione dei pari/ bibliometria Riviste da includere Pesi Valori positivi e negativi Prodotti 6/3 Selezione dei referee Giudizio finale dei GEV Presenza schiacciante degli universitari Associati

Gli indicatori  Indicatori di struttura di ‘terza missione’: conto terzi (0,2) brevetti (0,1) spin-off (0,1) incubatori (0,1) consorzi (0,1) siti archeologici (0,1) poli museali (0,1) altre attività (0,2)

Quanti indicatori? Uno, nessuno, centomila? Tre scenari per gli indicatori:  un indicatore sintetico  due indicatori (Area e Terza missione)  cruscotto (scoreboard) Scenari possibili:  Graduatorie (Shanghai)  multi-ranking

Valutazione della Qualità della Ricerca (VQR) Didattica Ricerca Terza missione Ricerca Terza missione Enti di ricerca Università

VA lutazione delle S trutture che svolgono A ttività di RI cerca e di TRA sferimento delle CO noscenze Valutazione della Qualità della Ricerca (VQR) (VASARITRACO)

Il progetto della VQR

Un profilo degli enti pubblici di ricerca

Gli enti pubblici di ricerca: realtà molto eterogenee

6/12 5/12

6/12 5/12

La valutazione degli Istituti del CNR  Svolta nel 2009  Metodologia: “a tavolino” e “visita in loco”

L a valutazione degli Istituti

La valutazione degli Istituti del CNR A missed opportunity?

Alcune considerazioni  Gli enti pubblici di ricerca devono essere valutati  La metodologia della VQR è inadatta per gli enti di ricerca  Gli enti dovrebbero essere valutati ad hoc (“a tavolino” e “in loco”)  Informazioni “vecchie” ( ) per un’utilizzazione futura in tempi di “vacche magre”  Valutazione adiuvante, non punitiva  Modalità di utilizzazione dei risultati da parte dei policy maker

Sfide per il CNR  Penalizzazione del CNR – è più che un rischio  Prestare attenzione agli “altri” 14 indicatori  Tipo e qualità dei dati da fornire all’ANVUR  Valutazione dell’ente, degli istituti e dei ricercatori/tecnologi  Come rapportarsi con gli altri enti (concorrenti)?  Chiedere che gli enti di ricerca siano valutati a parte  Chiedere un “momento di riflessione” per migliorare la metodologia  Gestire le tensioni all’interno del CNR

E ora … affrontiamo le sfide Mettiamoci a lavoro Grazie dell’attenzione