“LA VALUTAZIONE DELLA RICERCA … tra scienza e improvvisazione” Giovanni Abramo CNR e Laboratorio di Studi sulla Ricerca e il Trasferimento Tecnologico Università degli Studi di Roma “Tor Vergata” Dipartimento di Ingegneria dell’Impresa

Articolazione La valutazione della ricerca: stato dell’arte La valutazione nazionale La valutazione delle singole istituzioni Il sistema di supporto alla valutazione SSV-ORP

Perché valutare la ricerca? Stimolare una maggiore produttività di ricerca Allocare le risorse in maniera efficiente Demonstrating that investment in research is effective and delivers public benefits Reducing information asymmetry between supply and demand

La misura della produttività di ricerca q = F (K,L)

Come valutare la ricerca? Metodo peer review Metodo bibliometrico (scienze dure) Metodo informed peer review (scienze dure) Metodo SSV-ORP (scienze dure)

Peer Review vs Bibliometria È migliore la valutazione di qualità di due esperti o dell’intera comunità scientifica mondiale? (Precisione) È corretto valutare tutto l’output di ricerca o una quota soltanto? Le classifiche di performance sono sensibili alla dimensione della quota? (Robustezza) Le università sottomettono a valutazione i prodotti migliori? (Affidabilità) Che informazioni fornisce alle università la valutazione nazionale peer-review? (Funzionalità) Quante risorse consuma? (Costi e tempi)

Robustezza: sensibilità alla quota FONTE: Abramo G., D’Angelo C.A., Caprasecca A., 2009. Allocative efficiency in public research funding: can bibliometrics help? Research Policy, Vol. 38, n. 1, 206-215

Sensibilità delle classifiche alla quota Mediana e intervallo di variazione (max – min) del ranking di Fisica, al variare della quota (4,6% - 60%)

Affidabilità: efficacia della selezione dei prodotti per il VTR Percentuale di articoli selezionati dalle università con IQ inferiore alla mediana della distribuzione: Scienze agrarie e veterinarie 29,6% Ingegneria industriale e dell’inform. 26,5% Matematica e informatica 24,8%

Efficacia della selezione dei prodotti di Unialpha per il VTR Confronto pubblicazioni in portafoglio – pubblicazioni presentate al CIVR

VTR: una valutazione lontana dalla realtà Classifica reale VTR se la selezione dei prodotti fosse stata efficiente Atenei al primo posto Scienze matematiche e informatiche 46 su 54 Scienze fisiche 51 su 55 Scienze chimiche 51 su 53 Scienze della terra 30 su 43 Scienze biologiche 52 su 56 Scienze mediche 38 su 48 Scienze agrarie e veterinarie 17 su 34 Ingegneria industriale e dell'informazione 48 su 52

Peer Review Impossibile misurare la produttività; Classifiche fortemente sensibili alla quota dei prodotti valutati Valutazione comparata di qualità non basata sui prodotti migliori Nessuna informazione alle università per allocare a loro volta le risorse in base al merito Costi (diretti e indiretti) e tempi enormi

Peer Review Poco Preciso Poco Robusto Poco Affidabile Poco Funzionale Molto Costoso

Il sistema “SSV-ORP” E’ un Decision Support System (DSS)!!!!! Struttura di raccolta-catalogazione-elaborazione dati per: il censimento del personale di ricerca e dell’output scientifico (pubblicazioni e proceedings) e tecnologico (brevetti) del sistema di ricerca pubblico nazionale; la classificazione dei prodotti di ricerca per autore, subject category ISI, settore scientifico disciplinare (SSD), area disciplinare (ADU), università/EPR; il posizionamento delle singole università/EPR in funzione della loro produzione, della qualità della stessa e della produttività a vari livelli di aggregazione (scientist, gruppi di ricerca, dipartimento, SSD, ADU, ateneo/EPR). E’ un Decision Support System (DSS)!!!!!

Il campo d’osservazione Fonti: Science Citation Index expanded®, Social Science Citation Index®, Art&Humanities Citation Index®, Conference Proceedings® (WoS -Thomson Reuters), circa 9.000 riviste; Espacenet. Tutte le Università (95), tutti gli Epr (76), 196 enti ospedalieri. 272.000 pubblicazioni, 100.000 proceeding, 1.600 brevetti. 310.000 (65.000 universitari) autori. Tutte le 246 categorie ISI, tutti i 370 settori universitari (scientifico-tecnologici, economico-sociali e artistico-umanistici); 14 aree disciplinari. Intervallo di osservazione 2001-2008, aggiornato annualmente (2001/2007 per i brevetti).

ORP: un’innovazione research-based “la post-codifica dei dati” Affiliation unification Authors’ name disambiguation

Il valore di ORP In riferimento a un dataset di pubblicazioni WoS (18,000), di ricercatori di chimica (700) in 10 università olandesi, Van Raan (2008) afferma: “This material is quite unique. To our knowledge, no such compilations of very accurately verified publication sets on a large scale are used for statistical analysis of the characteristics of the indicators at the research group level”.

ORP per la valutazione Misura la qualità standardizzata di ciascun output scientifico (citazioni e IF normalizzati) Associa ciascun prodotto di ricerca al suo autore (errore 5%) Misura la produttività del singolo (quantitativa, qualitativa, contributiva), gruppo di ricerca, dipartimento, SSD, ADU, ateneo/EPR. Stila classifiche di performance comparata di ciascun ricercatore, gruppo di ricerca, … Stila classifiche di performance per livello d’inquadramento Individua gli improduttivi e stila classifiche per tasso di concentrazione di improduttivi Stila classifiche relative ai soli produttivi Individua i top-performer e stila classifiche per tasso di concentrazione di top-performer (eccellenza)

ORP per la valutazione Stila classifiche per intensità di collaborazione comparata extra-muros: con organizzazioni estere, con imprese, con altre università e istituzioni pubbliche di ricerca; Stila classifiche per intensità di collaborazione comparata intra-muros: intra-settoriale, intra-area, inter-area; Analizza l’impatto della mobilità sul potenziale di performance di Ateneo; Conduce analisi intertemporali; Supporta le università nel processo di selezione CIVR.

Gli indicatori (1/2) Output (O), somma delle pubblicazioni riferibili all’entità (autore, istituzione) in un dato settore; Output contributivo (Oc), somma dei contributi delle singole “entità” a ciascuna pubblicazione in ciascun settore; Intensità di contribuzione (IC), rapporto tra Output contributivo e Output; Indice di qualità (IQ), qualità* media normalizzata delle pubblicazioni riferibili all’entità; Forza scientifica (FS), prodotto dell’output per l’indice di qualità; Forza scientifica contributiva (FSc), analoga all’output contributivo ma riferita alla forza scientifica; Indice di Hirsch, (h-index). Numero massimo “h” di pubblicazioni con almeno h citazioni ciascuna. Indice di Egghe, (g-index). Numero massimo “g” di pubblicazioni che ricevono cumulativamente almeno g2 citazioni. * Citazioni (o Impact Factor della rivista) ricevute dalle pubblicazioni, normalizzate rispetto all’intensità di citazioni (Impact Factor) degli articoli del settore scientifico di riferimento.

Gli indicatori 2/2 Produttività (P) rapporto tra output e numero di addetti nel settore; Produttività Qualitativa (PQ), rapporto Forza scientifica e numero di addetti nel settore; Produttività contributiva (Pc) e Produttività Qualitativa contributiva (PQc), rapporto tra output contributivo (Forza scientifica contributiva) e numero di addetti nel settore. Indice di eccellenza (IE), numero di addetti al top 10% sul totale degli addetti in un SSD Tasso di improduttività (TI), numero di addetti non produttivi sul totale degli addetti in un SSD …

La valutazione dei singoli ricercatori Il ranking percentile nazionale dei ricercatori in forza al Dipartimento di “Biopatologia” di UNIalpha (2004-2007)

La valutazione dei dipartimenti Il rating medio e il rank dei dipartimenti dell’area medica di UNIalpha

La valutazione dei settori (SSD) I settori di “Scienze matematiche e informatiche” di UNIalpha * Replicabile per Pc e PQc

La produttività di area (ADU) a partire dai dati di settore (SSD) = global productivity score for university k in area j; = productivity in university k, in sector i (of area j), normalized to the average of the values of all universities; = number of researchers operating in sector i (of area j) of university k; = number of sectors within area j

La valutazione delle aree (ADU) Le ADU di UNIalpha

ORP a supporto degli atenei nel processo di selezione VQR Le migliori pubblicazioni del ricercatore Tizio di Scienze Biologiche di UNIalpha

ORP a supporto degli atenei nel processo di selezione VQR Le migliori pubblicazioni del ricercatore Tizio di Scienze Biologiche di UNIalpha

ORP a supporto degli atenei nel processo di selezione VQR Le migliori pubblicazioni del ricercatore Tizio di Scienze Biologiche di UNIalpha

SSV-ORP Precisione Robustezza Affidabilità Funzionalità Costi e tempi

SSV-ORP per gli Atenei Supporto all’allocazione interna delle risorse Stimolo al miglioramento continuo Supporto alle policy di sviluppo e recruitment Comunicazione esterna Ottimizzazione del processo di selezione CIVR

Giovanni Abramo CNR e Università degli Studi di Roma “Tor Vergata” Dipartimento di Ingegneria dell’Impresa Laboratorio di Studi sulla Ricerca e il Trasferimento Tecnologico Via del Politecnico 1, 00133 Roma Tel. 06 72597362 - Fax 06 72597305 abramo@disp.uniroma2.it www.disp.uniroma2.it/laboratorioRTT