Valutazione Triennale della Ricerca (VTR) : Lesperienza del Panel 13 Franco Peracchi Università di Roma Tor Vergata

2 Scopi Suggerire regole e procedure di riferimento per la valutazione nazionale della ricerca. Stabilire un collegamento tra risultati della valutazione e allocazione delle risorse. Avviare procedure sistematiche di raffronto tra le strutture di ricerca. Favorire la diffusione dei risultati della ricerca. Assicurare la massima trasparenza del processo di valutazione.

3 Caratteristiche principali Si svolge su base triennale. Ha lo scopo di valutare la performance scientifica delle strutture di ricerca (Università, enti pubblici di ricerca, ecc.) e dei progetti speciali finanziati dal MIUR nei 3 anni precedenti. La performance scientifica delle strutture di ricerca è misurata dallaqualità dei loro prodotti di ricerca. Lorganizzazione generale e il calendario dellesercizio sono fissati dal MIUR. La partecipazione è volontaria (ma tutte le Università pubbliche hanno partecipato). La selezione dei prodotti di ricerca viene effettuata dalle strutture. La valutazione dei prodotti di ricerca si svolge attraverso un sistema di peer-review.

4 Il CIVR Il processo di valutazione è stato condotto dal CIVR (Comitato di Indirizzo per la Valutazione della Ricerca) tramite un insieme di Panel di area. Il CIVR dispone di personale tecnico e bilancio propri, e può usare esperti esterni, anche stranieri. La spina dorsale del CIVR è il sistema informatico, disegnato e implementato dal CINECA, il quale fornisce versioni PDF di quasi tutti i prodotti (non circolano copie fisiche dei prodotti). Nella sua composizione attuale, il CIVR ha iniziato la sua attività nel maggio Il CIVR consiste di 7 esperti, nominati dal Governo, ed eleggono un Presidente al loro interno.

5 Membri del CIVR Mario Bressan (Chimica Generale, DAnnunzio) Michele Coccia (Letteratura Latina, Sapienza) Franco Cuccurullo (Medicina Interna, DAnnunzio, Presidente) Enrico Garaci (Microbiologia, Tor Vergata) Fiorella Kostoris Padoa Schioppa (Economia Politica, Sapienza) Carlo Rizzuto (Fisica, Genova) Renato Ugo (Chimica Inorganica, Milano)

6 Compiti del CIVR Formulare le linee guida dellesercizio di valutazione, e specialmente i criteri per la valutazione dei prodotti. Organizzare il processo di valutazione. Scegliere i componenti dei 14 panel di area e dei 5 panel per aree speciali, che hanno il compito di condurre lesercizio di valutazione. Produrre un rapporto finale che contiene una graduatoria delle strutture per ciascuna area basata sulla valutazione data ai prodotti di ricerca presentati da ciascuna struttura.

7 Aree e aree speciali 1.Scienze matematiche e informatiche 2.Scienze fisiche 3.Scienze chimiche 4.Scienze della terra 5.Scienze biologiche 6.Scienze mediche 7.Scienze agrarie e veterinarie 8.Ingegneria civile ed architettura 9.Ingegneria industriale e dellinformazione 10.Scienze dellantichità, filologico-letterarie e storico-artistiche 11.Scienze storiche, filosofiche, psicologiche e pedagogiche 12.Scienze giuridiche 13.Scienze economiche e statistiche 14.Scienze politiche e sociali 15 a Scienze e tecnologie per una società dell'informazione e della comunicazione 15 b Scienze e tecnologie per la qualità e la sicurezza degli alimenti 15 c Scienze e tecnologie dei nano/microsistemi 15 d Scienze e tecnologie aerospaziali 15 e Scienze e tecnologie per lo sviluppo e la governance sostenibili 15 f Scienze e tecnologie per la valutazione e la valorizzazione dei beni culturali

8 Selezione dei prodotti Per ciascuna area scientifica, le strutture hanno selezionato un insieme di prodotti di ricerca (libri, capitoli di libro, articoli su rivista, brevetti, ecc.), prodotti durante il triennio A ciascun prodotto prescelto, le strutture hanno assegnato anche una categoria ISI. Il numero totale di prodotti selezionati da una struttura doveva essere uguale al 50% del numero medio di ricercatori equivalenti a tempo pieno (ETR) nel periodo Non era obbligatorio presentare prodotti in ogni area. Le aree prive di prodotti sono state giudicate inattive. Queste due regole hanno consentito qualche trade-off tra aree. Non è chiaro come le strutture hanno selezionato i prodotti. Alcune strutture chiaramente non hanno capito o hanno male interpretato i criteri resi noti dal CIVR.

9 Criteri di valutazione dei prodotti Qualità: Posizionamento del prodotto rispetto alleccellenza scientifica nella scala di valore condivisa dalla comunità scientifica internazionale. Rilevanza: Valore aggiunto per lavanzamento della conoscenza nel settore e per la scienza in generale, nonché per i benefici sociali derivati, anche in termini di appropriatezza, efficacia, tempestività e durata delle ricadute. Integra il giudizio di qualità. Originalità/Innovazione: Contributo a nuove acquisizioni o all'avanzamento di conoscenze, nel settore di riferimento. Integra il giudizio di qualità. Internazionalizzazione: Posizionamento nello scenario internazionale, in termini di rilevanza, competitività, diffusione editoriale e apprezzamento della comunità scientifica, inclusa la collaborazione esplicita con ricercatori e gruppi di ricerca di altre nazioni.

10 Classificazione dei prodotti In base ai giudizi indipendenti di almeno 2 esperti esterni e alla propria valutazione, i panel di area classificano ciascuno dei prodotti ricevuti in una delle seguenti 4 classi: Eccellente (20% superiore della scala di valore condivisa dalla comunità scientifica internazionale). Buono (60-80%). Accettabile (40-60%). Limitato (40% inferiore).

11 Componenti del Panel 13 (12, di cui 8 da Università italiane e 4 da istituzioni straniere) Pierre Dehez (UCL, Belgio) Jean-Paul Fitoussi (OFCE, Francia) Francesco Giavazzi (Bocconi) Daniel Gros (CEPS, Belgio) Marco Lippi (Sapienza) Luigi Pasinetti (Cattolica) Daniel Peña (Carlos III, Spagna) Alessandro Penati (Cattolica) Franco Peracchi (Tor Vergata, Presidente) Alessandro Petretto (Firenze) Alessandro Riccaboni (Siena) Guido Tabellini (Bocconi)

12 Prodotti presentati dalle strutture

13 Prodotti valutati dal Panel prodotti distinti (cioè al netto dei prodotti presentati da più strutture) da 4 categorie della classificazione ISI: 574 (59%) da IS0058 (Economia), 201 (21%) da IS0142 (Matematica), 183 (19%) da IS0132 (Management), 13 (1%) da IS0328 (Sociologia e Antropologia).

14 Tipologie di prodotto nel Panel (54%) articoli in riviste con fattore di impatto (IF), 187 (19%) libri, 156 (16%) articoli in riviste senza IF, 102 (11%) capitoli di libro, nessun prodotto di altra tipologia (brevetto, ecc.).

15 Distribuzione per area Tipologie di prodotto

16 Lingua dei prodotti nel Panel (79%) in Inglese, 193 (20%) in Italiano, 5 in Francese, 3 in altre lingue.

17 Distribuzione per area Lingua dei prodotti

18 Attività del Panel 13 Lesercizio di valutazione della ricerca è iniziato alla fine di Gennaio Dopo lelezione del Presidente e una prima tornata di discussioni preliminari, si è deciso di strutturare il Panel in tre sottogruppi: Economia, Business/Finanza e Statistica/Econometria. Lassegnazione dei prodotti ai Panelisti è stata fatta dal Presidente, tenuto conto dellarea di specializzazione e dei suggerimenti di ciascun Panelist.

19 Sottogruppi del Panel 13 Economia (463 prodotti): Dehez (76), Fitoussi (43), Gros (92), Pasinetti (73), Petretto (87), Tabellini (92). Business/Finanza (249 prodotti): Giavazzi (75), Penati (83), Riccaboni (101). Statistica/Econometria (259 prodotti): Lippi (84), Peña (85), Peracchi (90).

20 Distribuzione dei prodotti per categoria ISI e sottogruppo CIVR EconomiaBusinessStatisticaTOTALE Economia Management Matematica Sociologia10313 TOTALE

21 Distribuzione dei prodotti per categoria ISI e tipologia (% di lavori in italiano in parentesi) No IFIFCapitoloLibroTOTALE Economia92 (15.2) 323 (0.0) 70 (27.1) 89 (62.9) 574 (15.5) Management32 (34.4) 40 (0.0) 21 (38.1) 90 (87.8) 183 (53.6) Matematica31 (0.0) 157 (0.0) 10 (0.0) 3 (33.3) 201 (0.5) Sociologia1 (0.0) 6 (0.0) 1 (100.0) 5 (80.0) 13 (38.5) TOTALE156 (16.0) 526 (0.0) 102 (27.5) 187 (74.9) 971 (19.9)

22 Le 9 riviste più frequenti per categoria ISI Economics [82 articoli su 415 (19.8%)]: Journal of Banking and Finance (12), European Economic Review (11), Scottish Journal of Political Economy (10), Journal of Economic Dynamics and Control (9), Applied Economics (9), Research Policy (8), Journal of Public Economics (8), Journal of Economic Behavior and Organization (8), Journal of Economic Theory (7). Management [20 articoli su 72 (27.8%)]: Organization Science (3), Research Policy (3), Management Science (2), Journal of Management Studies (2), Journal of Banking and Finance (2), Oxford Review of Economic Policy (2), R & D Management (2), Small Business Economics (2), Revue Française du Marketing (2). Mathematics [53 articoli su 188 (28.2%)]: Biometrika (10), Computational Statistics and Data Analysis (10), European Journal of Operational Research (9), Annals of Statistics (4), Scandinavian Journal of Statistics (4), Insurance Mathematics and Economics (4), Environmetrics (4), Statistics and Probability Letters (4), Journal of Statistical Planning and Inference (4).

23 Assegnazione dei prodotti agli esperti esterni Lassegnazione di un prodotto ad esperti esterni (almeno due) è stata fatta dal Panelist incaricato. Cè stato disaccordo tra i Panelist circa l interpretazione e il peso da dare ai criteri CIVR per la valutazione dei prodotti. Ogni Panelist ha seguito criteri propri nellassegnare i prodotti agli esperti esterni e ha dato loro indicazioni non sempre coincidenti. Di conseguenza, esperti differenti potrebbero avere usato standard differenti nel valutare i prodotti. Per circa 2/3 dei prodotti, la valutazione esterna è stata completata tra aprile e giugno (3 mesi). Per il restante 1/3, il processo di valutazione esterna si è concluso solo alla fine di novembre (8 mesi).

24 Affiliazione degli esperti esterni dellArea 13 ItalianaStranieraTotale Economia92 (55.8) 73 (44.2) 165 (100.0) Management30 (73.2) 11 (26.8) 41 (100.0) Matematica48 (64.9) 26 (35.1) 74 (100.0) Sociologia6 (85.7) 1 (14.3) 7 (100.0) TOTALE176 (61.3) 111 (38.7) 287 (100.0)

Raggruppamenti per aree affini Esperti utilizzati Affiliazione Università italiane Istituzioni estere Enti di ricerca italiani Imprese Italiane Scientifica (1, 2, 3, 4) %29%16%3% Scienze della vita (5, 6, 7) %22%23%2% Tecnologica (8, 9) 99360%13%23%4% Umanistica (10, 11) 83379%13%8%0% Giuridica e Socio-politica (12, 14) 40881%12%7%0% Economica (13) 28555%37%8%0% TOTALE %22%17%2% Esperti esterni per area

26 Analisi divergenze giudizi

27 Giudizi finali Basandosi sui giudizi degli esperti esterni, i Panelist incaricati hanno proposto la loro proposta di giudizio agli altri componenti del sottogruppo. Il consenso è stato raggiunto quando una maggioranza dei componenti del sottogruppo si è detta daccordo sul giudizio proposto. Alla fine del processo, si è raggiunto il consenso a livello di sottogruppo (in alcuni casi dopo 1 o 2 iterazioni) per 967 dei 971 prodotti (99.6%). Per 830 di questi 967 prodotti (l85.8%), il consenso è stato unanime. Per il sottogruppo Business, il consenso non è stato unanime in 6 casi, per il sottogruppo Economia in 123 casi (26.7% dei prodotti dove si è raggiunto il consenso), per il sottogruppo Statistica in 1 caso. Per 4 prodotti (3 di Economia, 1 di Statistica), il giudizio finale è stato raggiunto attraverso votazione a maggioranza allinterno del panel.

Distribuzione per area Giudizi finali

29 Distribuzione dei giudizi finali del Panel 13 per categoria ISI LimitatoAccettabileBuonoEccellenteTOTALE Economia100 (17.4) 161 (28.0) 214 (37.3) 99 (17.3) 574 (100.0) Management60 (32.8) 48 (26.2) 62 (33.9) 13 (7.1) 183 (100.0) Matematica12 (6.0) 49 (24.4) 84 (41.8) 56 (27.9) 201 (100.0) Sociologia1 (7.7) 7 (53.8) 5 (38.5) 0 (0.0) 13 (100.0) TOTALE173 (17.8) 265 (27.3) 365 (37.6) 168 (17.3) 971 (100.0)

30 Evidenza statistica Gli articoli in riviste con IF tendono a ricevere le valutazioni più alte, mentre i capitoli di libro quelle più basse. Per gli articoli publicati in riviste con IF, la probabilità di ricevere un giudizio di Eccellente o Buono cresce con lIF della rivista. Gran parte delle differenze nella distribuzione dei giudizi tra i Panelist scompare una volta che si controlla per le differenze nella tipologia e nella lingua dei prodotti ricevuti. Queste relazioni sono statisticamente fortemente significative. La loro interpretazione non però affatto ovvia. Per esempio: È la reputazione della rivista dove un prodotto è stato pubblicato che aiuta a creare il giudizio dato a un prodotto, oppure è il giudizio dato a un prodotto che conferma la reputazione della rivista?

31 Regressioni per categoria ISI (variabile dipendente: punteggio CIVR = 1*E +.8*B +.6*A +.2*L) *** livello di significatività osservato (p-value) <.01 ** 0.1 p-value <.05 * 0.5 p-value <.10 cnstno_IFchapterbookno_IF_itchapter_itbook_itnR-squareRMSE Economia.788 ***-.144 ***-.305 ***-.145 ***-.286 ***-.135 **-.200 *** Managem..800 ***-.095 *-.169 ** ***-.206 *-.348 *** Matem..824 ***-.211 ***-.384 ***.176 ***-.800 *** TOTALE.798 ***-.153 ***-.296 ***-.109 ***-.294 ***-.124 ***-.261 ***

32 Conclusioni Il CIVR è stato un grande successo, riuscendo a processare in breve tempo (circa 10 mesi) un gran numero di prodotti (quasi ). Il sistema informatico che rappresenta la spina dorsale del CIVR ha funzionato in modo molto efficiente e senza intoppi. Lesercizio potrebbe essere svolto ogni anno e la graduatoria delle strutture potrebbe basarsi su una media mobile triennale. In questo modo, una nuova valutazione sarebbe necessaria solo per circa un terzo dei prodotti valutati dal VTR Le strutture potrebbero aggiustare la loro politica e i loro incentivi con maggiore gradualità.