L’analisi CRUI delle citazioni delle pubblicazioni recensite dall’ISI

Presentazione sul tema: "L’analisi CRUI delle citazioni delle pubblicazioni recensite dall’ISI"— Transcript della presentazione:

1 L’analisi CRUI delle citazioni delle pubblicazioni recensite dall’ISI
Elena Breno, Giovanni A. Fava, Vincenzo Guardabasso e Mario Stefanelli Roma, 8 ottobre 2003 Piazza Rondanini, Roma Tel fax

2 Sommario Premessa e finalità dell’analisi Metodologia dell’analisi
Analisi dell’impatto della ricerca scientifica nazionale in ambito internazionale Analisi della produzione scientifica degli Atenei Conclusioni e prospettive future

3 Premessa (1) (Prof. Luciano Modica)
E‘ largamente condivisa l’opinione che si debba valutare la ricerca degli Atenei. E‘ molto difficile definire metodologie di valutazione “oggettiva” della “qualità” della ricerca. Gli appartenenti ad una comunità scientifica spesso condividono lo stesso giudizio circa la qualità dei “colleghi” e dei risultati della loro ricerca. Ma questi “valori” soggettivi spesso sfuggono ad analisi puramente “oggettive”.

4 Premessa (2) Un indicatore quantitativo, sia pur molto rozzo, spesso usato per valutare l’attività di ricerca di gruppi o enti è rappresentato dal numero di pubblicazioni prodotte. Un correttivo a questo indicatore è possibile analizzando le informazioni gestite dell’Istitute of Scientific Information (ISI) che fornisce, oltre alla rivista (più di 9.000), anche il numero di citazioni ricevute da ogni pubblicazione inserita nella banca dati.

5 Classi di indicatori per la valutazione della ricerca
Acquisizione e gestione delle risorse Produzione scientifica Visibilità o presenza nazionale e internazionale Impatto sul sistema socio economico

6 Finalità dell’analisi
Contributo alla definizione di una metodologia condivisa di valutazione della ricerca utilizzando le informazioni contenute nella banca dati dell’ISI. Analisi della produzione scientifica di gruppi di ricerca (università, settori scientifici, dipartimenti): produttività (numero di pubblicazioni/ numero di ricercatori) visibilità (numero di citazioni/numero di ricercatori) impatto (numero di citazioni/numero di pubblicazioni). Tali indicatori di performance scientifica sono stati stimati per settori scientifici il più possibile omogenei.

7 ISI National Science Indicators
Il NSI mette a disposizione un insieme di indicatori per la valutazione comparativa della produzione scientifica italiana nel periodo rispetto a circa cento nazioni. Il NSI fornisce il numero di pubblicazioni (P) e il numero di citazioni (C) ricevute da ciascuna pubblicazione. Il rapporto C/P permette di calcolare l’impatto internazione della ricerca di una nazione.

8 Paesi dell’UE classificati per Impatto Scientifico (1981-1999)
Nazione Citazioni (C) Pubblicazioni (P) Sweden 13,63 Denmark 12,80 99.836 Netherlands 12,36 UK 12,08 Belgium 10,43 Finland 10,31 84.881 France 9,73 Germany 9,61 Italy 8,76 Austria 8,51 78.266 Ireland 7,20 29.575 Spain 6,10 Portugal 5,59 19.979 Greece 5,20 44.466 Impatto (C/P)

9 Andamento nel tempo dell’Impatto (Italia rispetto a Danimarca e Svezia)

10 Categorie ISI La banca dati ISI permette di analizzare il livello di competitività del sistema della ricerca italiana in circa 100 settori di ricerca (categorie ISI) . Non è possibile distinguere il contributo della ricerca universitaria da quella di altri enti di ricerca pubblici e privati. Non è facile tener conto delle risorse, umane e materiali, impegnate nei vari settori. Si possono, comunque, produrre studi di settore e, soprattutto, analizzare evoluzioni nel tempo del livello di impatto.

11 Differenza % Impatto italiano rispetto al globale
Categorie ISI in cui l’Italia presenta un Impatto superiore al valore medio mondiale ( ) N Categorie ISI Impatto Italia (I) Impatto globale (W) Differenza % Impatto italiano rispetto al globale (I-W)/W x 100 1 Inorganic & Nuclear Chemistry 11,03 7,97 +38 2 Chemical Engineering 7,34 5,39 +36 3 General & Internal Medicine 14,32 11,78 +22 4 Metallurgy 4,72 3,96 +19 5 Geology/Petrology/Mining Engineering 1,4 1,25 +12 6 Instrumentation/Measurement 5,06 4,56 +11 7 Chemistry 10,36 10,1 +3 8 Organic Chemistry/Polymer Sciences 9,33 9,14 +2

12 ISI Italian Citation Report 1981-1999
Numero di pubblicazioni: Numero di citazioni: Numero di autori: Numero di affiliazioni: Numero di riviste: 9.335

13 Modello concettuale dei dati
Addresses 9 Authors Articles Area CUN Journals Categories Fields 106 24

14 Aree scientifiche CUN considerate nello studio
Area CUN Denominazione 01 Scienze matematiche e informatiche 02 Scienze fisiche 03 Scienze chimiche 04 Scienze della terra 05 Scienze biologiche 06 Scienze mediche 07 Scienze agrarie e veterinarie 08 Ingegneria civile e architettura 09 Ingegneria industriale e dell’informazione

15 Descrittori Risorse umane: numero di docenti e ricercatori di ruolo alla data del 31 Dicembre 2000 (fonte MIUR) . Volume della produzione scientifica: numero di pubblicazioni scientifiche relative al quinquennio (fonte ISI) . Citazioni della produzione scientifica: numero di citazioni ricevute nello stesso periodo da ciascuna pubblicazione (fonte ISI) .

16 Indicatori Produttività scientifica: rapporto tra il numero di pubblicazioni nel quinquennio e il numero di professori e ricercatori. Visibilità scientifica: rapporto tra il numero di citazioni ricevute dalle pubblicazioni del periodo e il numero di professori e ricercatori. Impatto scientifico: rapporto tra il numero di citazioni e il numero di pubblicazioni del periodo.

17 Analisi da diversi punti di vista
Sistema nazionale universitario Aree scientifiche CUN Dipartimenti di un Ateneo Gruppi di ricerca

18 La valutazione della performance scientifica degli Atenei

19 Possibili viste della performance degli Atenei
Valutazione della performance: a livello complessivo a livello di macro aree: Scienze della vita, Scienze cliniche e Scienze tecniche a livello di aree più specifiche: le aree scientifico-disciplinari definite dal CUN

20 Il posizionamento dell’Ateneo in una specifica Area CUN

21 La valutazione della performance delle strutture di ricerca di un Ateneo

22 Il posizionamento dei Dipartimenti di un Ateneo
Utile per valutare la performance scientifica dei Dipartimenti di un Ateneo comparandola con quella di strutture di ricerca nazionali “omogenee”. Opportunità di utilizzare i risultati dello studio CRUI per una valutazione di Ateneo sfruttando le informazioni disponibili solo a livello locale. Necessità di tener conto del mix di produzione dei singoli Dipartimenti nelle diverse Aree CUN. Stima della performance media nazionale tenendo conto del mix di produzione dello Dipartimento.

23 Produttività scientifica dei Dipartimenti dell’Ateneo

24 La distribuzione nelle aree CUN della produzione scientifica dei Dipartimenti di un Ateneo

25 Il posizionamento dei Dipartimenti di un Ateneo

26 Conclusioni Incentivare la politica della “qualità” e del “merito”.
Individuare aree e strutture di “eccellenza”. Pianificare attività e interventi. Assicurare trasparenza al processo di allocazione delle risorse. Valorizzare, confrontare e motivare, sia a livello centrale che periferico.

27 Futuro Verifica del grado di “interesse reale” per questa ricerca da parte degli Organi di Governo e Valutazione del sistema universitario. In caso affermativo, occorre: acquisire gli aggiornamenti dell’Italian Citation Report; realizzare un sistema di monitoraggio della produzione scientifica degli Atenei basato su indicatori bibliometrici condivisi a livello internazionale; offrire un servizio a tutti gli Atenei per favorire studi locali di valutazione della ricerca.

28 Il posizionamento relativo di un Ateneo in un’area CUN

29 Il posizionamento dei Dipartimenti di un Ateneo