L’analisi CRUI delle citazioni delle pubblicazioni recensite dall’ISI Elena Breno, Giovanni A. Fava, Vincenzo Guardabasso e Mario Stefanelli Roma, 8 ottobre 2003 Piazza Rondanini, 48 00186 Roma Tel. +39.06.684411 fax +39.06.68441399 e-mail: segreteria@crui.it

Sommario Premessa e finalità dell’analisi Metodologia dell’analisi Analisi dell’impatto della ricerca scientifica nazionale in ambito internazionale Analisi della produzione scientifica degli Atenei Conclusioni e prospettive future

Premessa (1) (Prof. Luciano Modica) E‘ largamente condivisa l’opinione che si debba valutare la ricerca degli Atenei. E‘ molto difficile definire metodologie di valutazione “oggettiva” della “qualità” della ricerca. Gli appartenenti ad una comunità scientifica spesso condividono lo stesso giudizio circa la qualità dei “colleghi” e dei risultati della loro ricerca. Ma questi “valori” soggettivi spesso sfuggono ad analisi puramente “oggettive”.

Premessa (2) Un indicatore quantitativo, sia pur molto rozzo, spesso usato per valutare l’attività di ricerca di gruppi o enti è rappresentato dal numero di pubblicazioni prodotte. Un correttivo a questo indicatore è possibile analizzando le informazioni gestite dell’Istitute of Scientific Information (ISI) che fornisce, oltre alla rivista (più di 9.000), anche il numero di citazioni ricevute da ogni pubblicazione inserita nella banca dati.

Classi di indicatori per la valutazione della ricerca Acquisizione e gestione delle risorse Produzione scientifica Visibilità o presenza nazionale e internazionale Impatto sul sistema socio economico

Finalità dell’analisi Contributo alla definizione di una metodologia condivisa di valutazione della ricerca utilizzando le informazioni contenute nella banca dati dell’ISI. Analisi della produzione scientifica di gruppi di ricerca (università, settori scientifici, dipartimenti): produttività (numero di pubblicazioni/ numero di ricercatori) visibilità (numero di citazioni/numero di ricercatori) impatto (numero di citazioni/numero di pubblicazioni). Tali indicatori di performance scientifica sono stati stimati per settori scientifici il più possibile omogenei.

ISI National Science Indicators Il NSI mette a disposizione un insieme di indicatori per la valutazione comparativa della produzione scientifica italiana nel periodo 1981-1999 rispetto a circa cento nazioni. Il NSI fornisce il numero di pubblicazioni (P) e il numero di citazioni (C) ricevute da ciascuna pubblicazione. Il rapporto C/P permette di calcolare l’impatto internazione della ricerca di una nazione.

Paesi dell’UE classificati per Impatto Scientifico (1981-1999) Nazione Citazioni (C) Pubblicazioni (P) Sweden 13,63 2.733.844 200.519 Denmark 12,80 1.277.433 99.836 Netherlands 12,36 3.029.184 245.055 UK 12,08 12.035.155 995.997 Belgium 10,43 1.273.803 122.106 Finland 10,31 875.172 84.881 France 9,73 6.200.504 637.357 Germany 9,61 8.391.278 873.536 Italy 8,76 3.070.391 350.433 Austria 8,51 666.197 78.266 Ireland 7,20 213.072 29.575 Spain 6,10 1.255.011 205.742 Portugal 5,59 111.770 19.979 Greece 5,20 231.153 44.466 Impatto (C/P)

Andamento nel tempo dell’Impatto (Italia rispetto a Danimarca e Svezia)

Categorie ISI La banca dati ISI permette di analizzare il livello di competitività del sistema della ricerca italiana in circa 100 settori di ricerca (categorie ISI) . Non è possibile distinguere il contributo della ricerca universitaria da quella di altri enti di ricerca pubblici e privati. Non è facile tener conto delle risorse, umane e materiali, impegnate nei vari settori. Si possono, comunque, produrre studi di settore e, soprattutto, analizzare evoluzioni nel tempo del livello di impatto.

Differenza % Impatto italiano rispetto al globale Categorie ISI in cui l’Italia presenta un Impatto superiore al valore medio mondiale (1981-1999)   N Categorie ISI Impatto Italia (I) Impatto globale (W) Differenza % Impatto italiano rispetto al globale (I-W)/W x 100 1 Inorganic & Nuclear Chemistry 11,03 7,97 +38 2 Chemical Engineering 7,34 5,39 +36 3 General & Internal Medicine 14,32 11,78 +22 4 Metallurgy 4,72 3,96 +19 5 Geology/Petrology/Mining Engineering 1,4 1,25 +12 6 Instrumentation/Measurement 5,06 4,56 +11 7 Chemistry 10,36 10,1 +3 8 Organic Chemistry/Polymer Sciences 9,33 9,14 +2  

ISI Italian Citation Report 1981-1999 Numero di pubblicazioni: 459.740 Numero di citazioni: 3.209.760 Numero di autori: 2.423.201 Numero di affiliazioni: 1.089.252 Numero di riviste: 9.335

Modello concettuale dei dati Addresses 9 Authors Articles Area CUN Journals Categories Fields 106 24

Aree scientifiche CUN considerate nello studio Area CUN Denominazione 01 Scienze matematiche e informatiche 02 Scienze fisiche 03 Scienze chimiche 04 Scienze della terra 05 Scienze biologiche 06 Scienze mediche 07 Scienze agrarie e veterinarie 08 Ingegneria civile e architettura 09 Ingegneria industriale e dell’informazione

Descrittori Risorse umane: numero di docenti e ricercatori di ruolo alla data del 31 Dicembre 2000 (fonte MIUR) . Volume della produzione scientifica: numero di pubblicazioni scientifiche relative al quinquennio 1995-1999 (fonte ISI) . Citazioni della produzione scientifica: numero di citazioni ricevute nello stesso periodo da ciascuna pubblicazione (fonte ISI) .

Indicatori Produttività scientifica: rapporto tra il numero di pubblicazioni nel quinquennio e il numero di professori e ricercatori. Visibilità scientifica: rapporto tra il numero di citazioni ricevute dalle pubblicazioni del periodo e il numero di professori e ricercatori. Impatto scientifico: rapporto tra il numero di citazioni e il numero di pubblicazioni del periodo.

Analisi da diversi punti di vista Sistema nazionale universitario Aree scientifiche CUN Dipartimenti di un Ateneo Gruppi di ricerca

La valutazione della performance scientifica degli Atenei

Possibili viste della performance degli Atenei Valutazione della performance: a livello complessivo a livello di macro aree: Scienze della vita, Scienze cliniche e Scienze tecniche a livello di aree più specifiche: le aree scientifico-disciplinari definite dal CUN

Il posizionamento dell’Ateneo in una specifica Area CUN

La valutazione della performance delle strutture di ricerca di un Ateneo

Il posizionamento dei Dipartimenti di un Ateneo Utile per valutare la performance scientifica dei Dipartimenti di un Ateneo comparandola con quella di strutture di ricerca nazionali “omogenee”. Opportunità di utilizzare i risultati dello studio CRUI per una valutazione di Ateneo sfruttando le informazioni disponibili solo a livello locale. Necessità di tener conto del mix di produzione dei singoli Dipartimenti nelle diverse Aree CUN. Stima della performance media nazionale tenendo conto del mix di produzione dello Dipartimento.

Produttività scientifica dei Dipartimenti dell’Ateneo

La distribuzione nelle aree CUN della produzione scientifica dei Dipartimenti di un Ateneo

Il posizionamento dei Dipartimenti di un Ateneo

Conclusioni Incentivare la politica della “qualità” e del “merito”. Individuare aree e strutture di “eccellenza”. Pianificare attività e interventi. Assicurare trasparenza al processo di allocazione delle risorse. Valorizzare, confrontare e motivare, sia a livello centrale che periferico.

Futuro Verifica del grado di “interesse reale” per questa ricerca da parte degli Organi di Governo e Valutazione del sistema universitario. In caso affermativo, occorre: acquisire gli aggiornamenti dell’Italian Citation Report; realizzare un sistema di monitoraggio della produzione scientifica degli Atenei basato su indicatori bibliometrici condivisi a livello internazionale; offrire un servizio a tutti gli Atenei per favorire studi locali di valutazione della ricerca.

Il posizionamento relativo di un Ateneo in un’area CUN

Il posizionamento dei Dipartimenti di un Ateneo