H-Index: definizione e calcolo Carla Barbieri Elena Bernardini

La valutazione della Ricerca La valutazione della produzione scientifica si impone sempre più come processo necessario all’interno delle comunità scientifiche sia a livello nazionale che internazionale ed è motivato da: • minore disponibilità di risorse finanziarie • aumento dei costi della ricerca Fornisce indicazioni per: • valutare il curriculum di un ricercatore e l’attività scientifica delle strutture di ricerca • ripartire quote di finanziamenti • approvare progetti di ricerca • migliorare l’attività di ricerca in prospettiva

La valutazione del sistema Universitario. L’ ANVUR L. 24 novembre 2006, n. 286: viene costituita l’ Agenzia Nazionale di Valutazione del Sistema Universitario e della Ricerca, che sostituisce il CIVR e il CNVSU http://www.anvur.org/. D.P.R. 1 Febbraio 2010, n. 76: viene pubblicato il Regolamento concernente la struttura ed il funzionamento dell'ANVUR. Tale Agenzia diventa operativa con l’insediamento, il 2 maggio 2011, del proprio Consiglio direttivo. 7 novembre 2011 viene pubblicato il bando VQR 2004-2010 Valutazione della qualità della ricerca

Altri riferimenti normativi Decreto Ministeriale 28 luglio 2009 n. 89 Valutazione dei titoli e delle pubblicazioni scientifiche stabilisce i parametri per la valutazione dei titoli e delle pubblicazioni dei candidati nelle procedure di valutazione comparativa per il reclutamento dei ricercatori D.M. 25 maggio 2011, n. 243/2011 Criteri e parametri riconosciuti, anche in ambito internazionale, per la valutazione preliminare dei candidati destinatari dei contratti di cui all'articolo 24, della legge n.240/2010 Decreto Ministeriale 4 agosto 2011 n. 344 Criteri per la disciplina, da parte degli Atenei, della valutazione dei ricercatori a tempo determinato, in possesso dell’abilitazione scientifica nazionale, ai fini della chiamata nel ruolo di professore associato

La valutazione della ricerca: metodologie Valutazione qualitativa peer review, expert panel evaluation frutto di competenze specifiche processo lungo e costoso interna alla comunità scientifica ancora poco diffusa nelle scienze umane Valutazione quantitativa basata sugli indicatori bibliometrici utilizza come punto di partenza le pubblicazioni scientifiche e le relative citazioni esterna alla comunità scientifica

Impact Factor (IF) Indice sintetico commerciale che misura il numero medio di citazioni ricevute in un particolare anno da articoli pubblicati in una rivista scientifica nei due anni precedenti. E’ stato elaborato nel 1955 da Eugene Garfield, un chimico americano, è attualmente di proprietà di Thomson Reuters ed è pubblicato con cadenza annuale nel Journal Citation Reports (JCR).

Impact Factor: uso e abuso E’ nato con lo scopo di stabilire il valore delle riviste scientifiche ed è stato utilizzato dai bibliotecari per scegliere quali riviste acquistare. Si è affermato poi per quantificare la qualità delle singole pubblicazioni, soprattutto in area biomedica e scientifica in generale. L’IF è legato ad una rivista e non ad un singolo articolo Resta comunque fondamentale per definire standard disciplinari: le differenze, spesso notevoli, nei valori dell’IF dipendono infatti dal differente comportamento citazionale tra le discipline.

Valutare gli autori attraverso le citazioni Formulare un giudizio di merito sulla qualità della ricerca svolta è un esercizio complesso, sia dal punto di vista pratico che dal punto di vista etico. Non esistono criteri di giudizio assoluti per classificare l’importanza dei risultati scientifici. Gli indici bibliometrici, cioè dell’impatto, costruiti con modelli matematico-statistici a partire dalle citazioni bibliografiche, sono il tentativo per una valutazione il più possibile oggettiva. Recentemente l’ indice H ha ricevuto attenzione da parte della comunità scientifica per la presunta facilità di calcolo e l'equilibrio tra quantità di pubblicazioni e il loro impatto.

L’indice H / indice di Hirsch Nel 2005 viene proposto dal fisico Jorge E. Hirsch, dapprima sul repository disciplinare ArXiv e poi su PNAS (2005) vol. 102 no. 46 16569–16572: An index to quantify an individual’s scientific research output “I propose the index h, defined as the number of papers with citation number ≥ h, as a useful index to characterize the scientific output of a researcher.” “A scientist has index h if h of his or her Np papers have at least h citations each and the other (Np-h) papers have fewer than h citations each”

In parole più semplici … Uno scienziato ha un n indice H se n. degli articoli di cui è autore (o co-autore) hanno ricevuto almeno n. citazioni ciascuno e gli altri articoli hanno ricevuto non più di n. citazioni. Es. H-Index = 20 Un autore ha pubblicato 20 articoli che hanno ricevuto ciascuno almeno 20 citazioni.

Cos’è l’H-Index? È un parametro che tenta di misurare sia la produttività scientifica che l’impatto scientifico di un ricercatore. Da solo fornisce due tipi di informazioni immediatamente comprensibili: quante pubblicazioni hanno ricevuto un certo numero di citazioni.

L’impatto di Hirsch (!) Il giorno 17/11/2011 l’articolo di Hirsch J.E. risulta così citato: WoS 904 volte + 33 volte (errata o incompleta citazione) Google Scholar 1940 volte Scopus 980 volte + 15 volte (errata o incompleta citazione)

H index: vantaggi E’ riferito al singolo ricercatore Combina la quantità con la qualità Dimostra la correlazione tra indice e giudizio dei pari Corregge l’impatto negativo di articoli non citati e quello positivo di articoli molto citati

H index: punti critici (1) Alcune aree disciplinari di nicchia hanno bassi valori di H-index, così come riviste molto specializzate hanno bassi valori di IF Non tiene conto del numero totale di citazioni di ciascun lavoro Non considera il contesto delle citazioni (rivista su cui è pubblicato l’articolo; citazioni negative) Non esclude le autocitazioni Non considera il numero di coautori e quindi il peso del singolo per quello specifico lavoro È influenzato dall’accuratezza con cui vengono contate le citazioni, e quindi dal database consultato

H index: punti critici (2) Penalizza i giovani ricercatori e le ricerche innovative Spinge il ricercatore ad investire le proprie energie nella ricerca in maniera conservativa (mainstream) Può solo accrescere: le citazioni ricevute possono infatti aumentare anche se il ricercatore ha smesso di essere produttivo La produzione scientifica di scienziati con lo stesso H index non è spesso comparabile (Pensate a due scienziati con indice 10, ma uno autore di 10 articoli ciascuno con 10 citazioni e l’altro con 90 articoli, 10 citati 10 volte, 80 citati 9 volte)

H-index: applicabilità L’analisi delle citazioni è applicabile principalmente nei settori disciplinari che pubblicano in lingua inglese. Per l’area umanistica / storico sociale e per l’area geografico-linguistica, non anglocentriche, non esistono per ora strumenti bibliometrici adeguati.

I nuovi indici Una serie di varianti dell'h-index è stata proposta allo scopo di correggere e superare gli evidenti difetti di tale indice.

Esempi di nuovi indici g index: attribuisce peso ad articoli molto citati a index: calcola la media del n. di citazioni ricevute da articoli facenti parte di h core h index normalizzato: riduce gli effetti del coautoraggio h-b index: si basa sulle ricerche di uno specifico argomento o composto j-index: rimuove gli svantaggi di h index attraverso la comparazione di 18 indici diversi

G-index Indice creato dal matematico Leo Egghe: Egghe, L. 2006 Theory and practise of the g-index. Scientometrics 69(1): 131-152. [Given a set of articles] ranked in decreasing order of the number of citations that they received, the g-index is the (unique) largest number such that the top g articles received (together) at least g2 citations. Ha lo scopo di migliorare l’h-index dando maggior peso agli articoli molto citati oltre il valore dell’indice h di uno scienziato.

A-index Jin Bihui ha elaborato un ulteriore indicatore, detto "a-index“, che è definito come la media del numero di citazioni ricevute dagli articoli facenti parte dell’ “h-core”(set di articoli con le maggiori citazioni). Jin B.H.(2006) H-Index: An evaluation indicator proposed by scientist. Science Focus,  1 1 (2006), pp. 8–9. (In Chinese).

Utilizzo dell’H-index Per quanto criticato sotto vari aspetti, l’H-index sta raccogliendo un certo gradimento da più parti del mondo accademico e della ricerca. Insieme ai nuovi indici viene sempre più utilizzato per valutare l’andamento della ricerca all’interno di dipartimenti e enti di ricerca. Viene richiesto per la partecipazione ai concorsi universitari. Viene richiesto per valutare l’assegnazione di fondi di ricerca.

D.M. 28 luglio 2009 n. 89 Valutazione dei titoli e delle pubblicazioni scientifiche Prende in considerazione sia pubblicazioni cartacee che elettroniche (art. 3, comma 1) Rafforza il ruolo degli indicatori bibliometrici (art. 3, comma 4) “Nell'ambito dei settori scientifico-disciplinari in cui ne è riconosciuto l'uso a livello internazionale le Commissioni nel valutare le pubblicazioni si avvalgono anche dei seguenti indici: numero totale delle citazioni; numero medio di citazioni per pubblicazione; "impact factor" totale; "impact factor" medio per pubblicazione; combinazioni dei precedenti parametri atte a valorizzare l'impatto della produzione scientifica del candidato (indice di Hirsch o simili) “

Bando di concorso per: Programma per la ricerca Sanitaria 2009: Attività di Ricerca finalizzata (Allegato del bando di concorso) http://www.salute.gov.it/bandi/dettaglio.jsp?id=63 … Fino a 5 dei più recenti lavori scientifici del richiedente, indicando impact factor della rivista su cui è stato pubblicato il lavoro nell’anno di pubblicazione, il numero di citazioni dall’anno di pubblicazione fino all’anno di richiesta del finanziamento e l’indice h.

Aspetti critici delle normative e dei bandi di concorso Mancano indicazioni chiare e trasparenti: H-index oppure quale? quali banche dati e/o strumenti citazionali utilizzare per il calcolo? l’impact factor è un indice calcolato sulle citazioni dell’anno precedente: es. una pubblicazione del 2011 non ha ancora un IF 2011.

Dove trovare le citazioni WoS (ricerca tradizionale): dal 1985 WoS (Cited ref search): per primo autore anche prima del 1900 Scopus: dal 1996 Embase: dati presi da Scopus (link diretto con Scopus) Scifinder: si trovano citazioni degli anni ’70, ma non è completo come WOS Google scholar: dati recenti, non nota la completezza Psychinfo: contiene citazioni anche di articoli datati, ma Il DB è molto specifico per l’area disciplinare Siti degli editori

L’evoluzione degli indicatori bibliometrici Gli indicatori bibliometrici, sempre più numerosi e variegati, si basano sul presupposto teorico che il numero di citazioni ricevute da una pubblicazione sia indice di qualità. In realtà la valutazione è un processo complesso, condizionato anche da altre variabili ed è attorno a queste che si sta sviluppando un fitto dibattito sia teorico che empirico. In particolare nel contesto Open Access, si stanno integrando le metriche tradizionali con il numero dei downloads, i commenti e le note della comunità scientifica (social network analysis).

PLoS: Article Level Metrics