1 Evoluzione della valutazione della ricerca in Italia: dalla rilevazione 2001-2003 alle prossime attività Mario Bressan Ancona, 28 maggio.

Presentazione sul tema: "1 Evoluzione della valutazione della ricerca in Italia: dalla rilevazione 2001-2003 alle prossime attività Mario Bressan Ancona, 28 maggio."— Transcript della presentazione:

1 1 Evoluzione della valutazione della ricerca in Italia: dalla rilevazione 2001-2003 alle prossime attività Mario Bressan bressan@unich.it Ancona, 28 maggio 2009 Comitato di Indirizzo per la Valutazione della Ricerca (CIVR)

2 2 20 maggio 2003Pubblicazione Linee Guida 16 dicembre 2003: Decreto Ministeriale n°2206 31 marzo 2003 registrazione della Corte dei Conti 1 aprile 2004: Bando 10 febbraio 2005:Insediamento dei Panel 26 gennaio 2006: Risultati dei Panel 8 febbraio 2007: Relazione finale VTR 2001-2003 Strutture partecipanti102 (77 Atenei, 12 Enti pubblici, 13 Istituzioni private) Ricercatori coinvolti64.028 Panelist151Esperti esterni6.661 Prodotti valutati 17.329Valutazioni 35.440

3 3 http://vtr2006.cineca.it

4 4 Il VTR ha generato una classifica delle istituzioni partecipanti, attribuendo a ciascuna un peso percentuale. Sulla base di: Performance dei parametri valutati; Peso di ogni singolo parametro; Peso dellArea scientifica di riferimento VTR

5 5 VTR - Determinazione degli indicatori di performance e del loro peso peso A - Qualità dei prodotti (rating medio moltiplicato per numero dei prodotti selezionati ) 4 B - Proprietà dei prodotti eccellenti (grado medio di proprietà dei prodotti eccellenti moltiplicato per il loro numero) 2 Valutazione della produzione scientifica6 C - Ricercatori in mobilità internazionale (numero degli anni. persona dei ricercatori in uscita e in entrata, per soggiorni > 3 mesi) 1 D - Ricercatori in formazione (numero di dottorandi, assegnisti & borsisti post- doc) 0,5 E - Finanziamenti da risorse esterne (da MIUR, organismi internazionali e altri soggetti) 1 F - Finanziamenti da risorse proprie (autofinanziamento) 0,5 Valutazione dei dati di contesto3 Totale9

6 6 VTR - Determinazione della quota delle risorse da destinare a ogni Area Peso costo unitario della ricerca (*) 01 - Scienze matematiche e informatiche1,35 02 - Scienze fisiche1,96 03 - Scienze chimiche2,33 04 - Scienze della terra1,79 05 - Scienze biologiche1,97 06 - Scienze mediche1,43 07 - Scienze agrarie e veterinarie2,12 08 - Ingegneria civile ed architettura1,92 09 - Ingegneria industriale e dell'informazione2,31 10 - Scienze dell'antichità, filologico-letterarie e storico-artistiche1,19 11 - Scienze storiche, filosofiche, pedagogiche e psicologiche1,16 12 - Scienze giuridiche1 13 - Scienze economiche e statistiche1,53 14 - Scienze politiche e sociali1,85 (*) calcolato sulla base dellentità del cofinanziamento, su fondi propri non vincolati, di progetti di ricerca da parte delle Strutture

7 7 VTR - Quota delle risorse (destinate alle Aree) attribuita alla singola Struttura

8 8 VTR - Concorrenza delle Strutture alle risorse destinate alle Aree

9 9 VTR - Concorrenza delle Strutture alle risorse destinate alle valorizzazioni applicative

10 10 Il VQR (Valutazione Quinquennale della Ricerca) si riferisce al periodo compreso tra il 1° gennaio 2004 e il 31 dicembre 2008 SOGGETTI COINVOLTI Universita statali; Enti di ricerca vigilati dal MIUR; Altri soggetti pubblici e privati, che svolgano attività di ricerca, su richiesta. AREE DI VALUTAZIONE esclusivamente le 14 Aree disciplinari CUN, per ognuna delle quali viene costituito presso il CIVR un Comitato (Panel) i cui componenti sono nominati dal Ministro su indicazione del CIVR. VQR 2004-2008 DPCM 7 settembre 2007: il CIVR è stato ricostituito per condurre un nuovo esercizio di valutazione della ricerca 6 aprile 2009, il CIVR ha presentato al Ministro il progetto dellesercizio VQR 2004-2008

11 11 ADEMPIMENTI DELLE STRUTTURE dati e informazioni, relativi a: Ricercatori (a tempo determinato, indeterminato e in formazione - dottorandi, assegnisti, borsisti post-doc e specializzandi) Personale tecnico e amministrativo Brevetti & spin-off Mobilità internazionale Entrate per finanziamenti di progetti di ricerca Impegno di risorse proprie in progetti di ricerca PUBBLICAZIONI articoli su riviste, limitatamente a quelle dotate di ISSN ; libri e loro capitoli, inclusi atti di congressi, limitatamente a quelli dotati di ISBN ; brevetti depositati; composizioni, disegni, design, performance, mostre ed esposizioni organizzate, manufatti, prototipi e opere d'arte e loro progetti, banche dati e software: esclusivamente se corredati da pubblicazioni atte a consentirne adeguata valutazione. Ogni ricercatore affiliato ai vari Dipartimenti, seleziona DUE pubblicazioni del quinquennio che lo vedano presente come autore o coautore. La Struttura seleziona UNA delle due pubblicazioni, per la valutazione dei Panel. rapporto del Nucleo (o Comitato) Interno di Valutazione. Articolazione del Piano Operativo (1)

12 12 Ricercatori (2008) AREEUniv stat. & enti ricerca miur Univ non stat. & ENEA 1Scienze matematiche e informatiche355050 2Scienze fisiche4650250 3Scienze chimiche4100100 4Scienze della terra2050150 5Scienze biologiche6150150 6Scienze mediche11600750 7Scienze agrarie e veterinarie3650100 8Ingegneria civile ed architettura3150100 9Ingegneria industriale e dellinformazione5900400 10Scienze dellantichità, filologico-letterarie e storico-artistiche6300150 11Scienze storiche, filosofiche, psicologiche e pedagogiche550050 12Scienze giuridiche5200200 13Scienze economiche e statistiche4850450 14Scienze politiche e sociali1900100 685503000

13 13 Ambedue le procedure (peer review e citation analysis) consentono un ranking di qualità (pur con diversi significati e limiti) di strutture, dipartimenti, gruppi di ricerca singoli ricercatori Peer review oppure analisi delle citazioni?

14 14 LIMITI DELLA PEER REVIEW Autoreferenzialità (chi nomina I revisori?) Non consente il confronto internazionale Alti costi Tempi lunghi VANTAGGI DELLA PEER REVIEW Elimina I bias connessi con citazioni incongrue Consente la valutazione di pubblicazioni in settori con caratteristiche di lenta maturazione della visibilità, mettendo alla pari discipline sperimentali e teoretiche Consente la valutazione di pubblicazioni non catalogate nei database (libri, monografie) Limiti e vantaggi della peer review

15 15 VTR - Consistenza delle valutazioni peer-review Giudizi dei due refereeGiudizio finale del Panel N°% EccellenteBuonoAccettabileLimitato Giudizi identici7.53143% Eccellente-Eccellente: 291617%2804 96% 10264 Buono-Buono: 337019%293250 96% 865 Accettabile-Accettabile 9195%35856 93% 28 Limitato-Limitato 3262%110315 97% Giudizi convergenti7.58044% Eccellente-Buono 430825%2212 51% 2062 48% 294 Buono-Accettabile 264215%91437 54% 1179 45% 17 Accettabile-Limitato 6304%7316 50% 307 49% Giudizi divergenti2.21914% Eccellente-Accettabile 11647%102880 76% 1802 Buono-Limitato 7855%1160450 57% 174 Eccellente- Limitato 2702%19123 46% 100 37% 28 TOTALE17330100%517680573212884

16 16 LIMITI DELLANALISI DELLE CITAZIONI Le citazioni possono essere un riempitivo dellintroduzione Le citazioni possono essere fatte in un contesto negativo Il cosidetto Mattew effect: «...a chi ha, verrà dato, in modo che abbia ancor più in abbondanza; ma a chi non ha, verrà tolto anche quello che sembra avere. » bias associati agli articoli di review Non considera il numero degli autori, favorendo così le discipline sperimentali su quelle teoretiche Ha bisogno di database controllati (omonimie, duplicazioni, afferenze, ….) VANTAGGI DELLANALISI DELLE CITAZIONI Oggettività Consente il confronto internazionale Bassi costi Tempi corti Limiti e vantaggi della analisi delle citazioni

17 17 E possibile un uso alternato / integrazione delle due procedure, per arrivare al giudizio finale di merito. In conclusione, per le pubblicazioni sostenute da database affidabile, sono possibili due alternative in termini di valutazione: - solamente lanalisi delle citazioni - una procedura peer review, che comunque non può esimersi dal valutare anche le citazioni. E fondamentale che il panel: scelga preliminarmente la procedura che verrà adottata, settore per settore, sottosettore per sottosettore, giustifichi leventuale adozione della procedura mista Peer review e analisi delle citazioni (1)

18 18 Il giudizio finale sulla singola pubblicazione, sia che proceda dalla sola peer review (nel caso di prodotti non sostenuti da banche dati), dalla sola citation analysis o dalla procedura mista, sarà espresso in termini di consensus report dal panel, su una scala numerica (monotonica o a fasce, preliminarmente definita per tutti i panel) Lo score di qualità complessiva fluirà nelle varie aggregazioni previste (area, struttura, dipartimento) e possibili (gruppi di ricerca, singoli ricercatori). Il processo dà ai panel maggiori responsabilità, rispetto al VTR. Peer review e analisi delle citazioni (2)

19 19 totale mondiale 2004-2007DI CUI ITALITAL nel top 1% delle più citate (misurato) AGRIBIO 486,49615,512 148 ARTS 170,452456 28 BIOCHEM 892,32039,448 420 BUSI 172,1481,092 28 CHEM 492,40817,744 164 CHEM.ENG 312,2326,456 120 COMPUTER 484,00015,620 136 DECISION 44,1721,612 12 DENT 37,2001,156 32 EARTH 311,27614,932 400 ECON 86,8962,140 11 ENERGY 132,0002,660 32 ENG 1,320,00034,340 300 ENVI 264,0008,472 104 HEALTH 108,0003,112 68 IMMU 228,0008,972 128 MATE 536,00012,472 140 MATH 334,86816,032 168 MED 1,904,44073,656 616 MULT 64,0001,020 20 NEUR 200,00010,860 100 NURS 108,0001,212 68 PHAR 244,0009,700 168 PHYS 775,44436,820 488 PSYC 177,8563,268 100 SOCI 460,0004,460 64 VETE 72,0002,148 52 TOTALE10,418,208345,3724,115

20 20 analisi delle citazioni (2) 2,006GLOBALUSAGERMANYUKFRANCEITALY N° Lavori PHYS193,86134,27518%18,3199%12,0586%12,9987%9,2055% n° lavori PHYS nel top 1% 1,93967435%29115%23912%1729%1226% N° Lavori CHEM123,10219,26616%9,0187%6,4025%6,4845%4,4364% n° lavori CHEM nel top 1% 1,23145237%14412%12410%867%524% N° Lavori MATH83,71714,08317%5,9367%5,0856%5,4497%4,0085% n° lavori MATH nel top 1% 83728935%799%9011%668%425% N° Lavori ECON21,7244,85422%9965%2,0489%5993%5352% n° lavori ECON nel top 1% 2177635%84%3818%42%31%

21 21 analisi delle citazioni relative a tutte gli articoli pubblicati nel 2004-2008 sulle riviste contenute in database. determinazione dei pesi e delle quote di Area analisi dei dati e delle informazioni, con sviluppo dei relativi indicatori di performance relazione finale dellesercizio 2004-2008 del VQR: una valutazione di merito complessivo del sistema nazionale della ricerca; una valutazione di merito di ogni singola Struttura; una valutazione della capacità di trasferimento tecnologico e di valorizzazione applicativa della ricerca di ogni singola Struttura una valutazione del posizionamento internazionale di tutte le pubblicazioni soggette ad analisi delle citazioni una valutazione di merito di ogni singolo Dipartimento. Adempimenti del CIVR

22 22 CIVR Strutture di ricerca Panel di Area Governo Strutture di ricerca Comunità scientifica Giudizi Dati & informazioni Relazione NUV/CIV Pubblicazioni selezionate Il processo VQR 2004-2008 Analisi delle citazioni database

23 23 L'allocazione del finanziamento da destinare alle singole Strutture in relazione all'esito del VQR 2004-2008 si fonda sulla misurazione di tre indicatori, a ciascuno dei quali è attribuita una specifica quota del finanziamento complessivo : performance di Area (80-85%) ; trasferimento tecnologico e valorizzazione applicativa della ricerca (1-5%) ; posizionamento internazionale della produzione scientifica (10-15%). Allocazione delle risorse

24 24 Registrazione del D.M. e pubblicazione del bando di partecipazione al VQR e dellinvito per le candidature a panelist …… Termine per la trasmissione telematica da parte delle Strutture dei dati relativi al personale Entro 1 mese Termine per la trasmissione telematica delle pubblicazioni selezionate dalle Strutture Entro 3 mesi Termine per la trasmissione telematica delle candidature per i panelistEntro 2 mesi Insediamento dei Panel di AreaEntro 4 mesi Termine per la trasmissione telematica da parte delle Strutture degli altri dati e informazioni e dei Rapporti dei NUV/CIV Entro 6 mesi Pubblicazione telematica dei Rapporti dei PanelEntro 12 mesi Pubblicazione telematica della Relazione finale del CIVREntro 18 mesi Calendario delle scadenze

25 25

26 26 Costi del VQR panel4.570.000 referee esterni3.030.000 staff civr540.000 ricerca bibliometrica200.000 totale8.340.000 di cui per univ. stat. & enti miur7.110.000