H-Index: definizione e calcolo Carla Barbieri Elena Bernardini 18 novembre 2011

Come si calcola H-index Fattori critici per il calcolo sono: Il database usato Anno di pubblicazione degli articoli del proprio CV Limiti del database Correttezza nei nomi degli autori e affiliazioni Completezza delle indicizzazioni per ogni anno Annate indicizzate Tipologia di documenti indicizzati Orphan citations, errors of omission, errors of commission La capacità di usare la banca dati da parte di chi calcola l’H-index

Come si calcola H-index Il calcolo è soggetto ad errori causati dalla mancanza di uno strumento unico di lavoro in cui conteggiare con esattezza tutte le citazioni di un autore Nessun DB è in grado di fornire un dato preciso Tutti presentano difetti e pregi ed è bene conoscerne le caratteristiche principali per evitare stime grossolane e confutabili

Autori: nomi e affiliazioni Nelle banche dati spesso ci sono problemi di riconoscimento dei lavori di un autore Omonimia Caratteri speciali (ä ö ü ecc…), lettere accentate Cognomi doppi Apostrofi (O’Brian, oppure OBrian…) Cambio cognome in seguito a matrimonio… Errata attribuzione di affiliazione

Citazioni per documenti diversi dagli articoli Difficile reperire dati citazionali su pubblicazioni diverse dagli articoli scientifici Capitoli di libri Libri Report tecnici Conference proceedings… Questi sono i documenti che più spesso generano differenze tra le varie banche dati Le citazioni sui brevetti si trovano nelle BD specializzate e solo in parte in Scopus, Scifinder e WOS

Orphan citations Molti autori non tengono conto dell’esistenza delle Orphan citations, ossia citazioni non assegnate ad alcun documento delle banche dati citazionali prevalentemente per: Errori di omissione (colpa di chi cita) Errori di commissione (colpa del DB) Gap di indicizzazione della BD Documenti citati non presenti nella BD

Il calcolo automatico dell’H-index Alcuni forniscono l’H-index già calcolato Queste sono quasi sempre sottostime che dipendono, come prevedibile, da Anno di pubblicazione dei documenti Cognome dell’autore Orphan citations ecc… Le sovrastime sono invece dovute al mancato raffinamento per autore delle pubblicazioni

Cosa sapere delle citazioni nelle banche dati Le citazioni sono disponibili in varie BD, alcune gratuite, altre a pagamento I dati non sono quasi mai coincidenti Anche se i numeri possono essere identici, può essere utile verificare se corrispondono anche i citing articles e se esistono veramente i citing articles dichiarati Esistono casi eclatanti di “Phantom citations”

Calcolo automatico con Web of Science È possibile calcolare un H-index automatico da WOS. Il nostro abbonamento permette di partire dal 1985 Ricercare e selezionare i record di un autore dopo aver eliminato i record che non gli appartengono Cliccare sul pulsante “Create citation report” Visualizzare il valore di H-index

Esempio da WOS

La visibilità di Researcher ID ResearcherID è un archivio di CV accademici multidisciplinari per il mondo della ricerca A ogni autore viene assegnato un ID e l’autore contribuisce a eliminare le misidentificazioni che alterano la propria metrica citazionale L’autore ha la possibilità di ricostruire anche il suo CV relativo alle affiliazioni nel tempo, qualora abbia pubblicato per più di un’istituzione Il CV è visibile a tutti, ma la metrica può essere visualizzata solo da chi ha l’abbonamento a WOS

Un CV online pubblico http://www.researcherid.com/Home.action

Possibilità di ricerca per affiliazione

Calcolo automaticao dell’H-index Citation metrics

Il link personalizzato al proprio CV su Researcher ID

Calcolo automatico con Scopus È possibile calcolare un H-index automatico da Scopus. Tutti i conti partono dal 1996 Ricercare e selezionare l’autore con la funzione Author search Cliccare sul pulsante “View citation overview” Visualizzare il valore di H-index ed eventualmente il grafico corrispondente

Esempio da Scopus

Calcolo “semi-automatico” con Scopus Il sistema di calcolo dell’H-index proposto da Scopus è incompleto La stessa banca dati, con una procedura leggermente più complessa, permette di recuperare dati migliori La ricerca va effettuata per “Document search” nel campo autore, vanno eliminati i documenti non pertinenti, ordinati i rimanenti per numero di citazioni discendente La visualizzazione dell’H-index si fa a video

Scopus: stesso autore, diversi modi di calcolare l’H-index, diversi risultati

Google scholar: gratis ma pieno di difetti Google scholar si basa su un algoritmo proprietario che commette numerosi errori nella ricerca, anche a causa dell’origine dei dati La letteratura specializzata sull’argomento indica tra i vari: errori di attribuzione dell’authorship, duplicati di documenti, citazioni fantasma… Ricordare che Google scholar è ancora in versione Beta e che è un motore di ricerca, con i difetti che questi possono avere

Calcolo automatico con Publish or Perish È possibile calcolare un H-index automatico con il software Publish or Perish (e altri simili) I dati provengono da Google scholar Ricercare e selezionare i record di un autore dopo aver eliminato i record che non gli appartengono La visualizzazione dei vari indici viene ricalcolata in automatico Visualizzare il valore di H-index

Publish or Perish È un software gratuito da installare sul proprio computer che, recuperando i dati da Google Scholar, permette di calcolare in automatico numerosi indici di tipo H I risultati sono visibili a video e copiabili sul proprio pc come file di testo o excel È importante identificare con precisione i record di interesse eliminando quelli di altri autori Permette di calcolare l’H-Index normalizzato, un H-index che pesa il contributo degli autori per pubblicazioni che ne hanno tanti, tenendo conto ei limiti intrinseci di Google scholar http://www.harzing.com/pop.htm

Guida in italiano di PoP La guida in italiano a PoP è stata resa disponibile dall’Università di Padova al link http://www.cab.unipd.it/system/files/publish-or-perish.doc La guida ha qualche anno, ma pur sempre utile

Esempio Publish or Perish Cliccando sul record si aprirà la pagina di Google Scholar con i citing articles

Il calcolo partendo da Google Scholar Esitono altri software che calcolano in automatico l’H-index di un autore partendo dai dati di Google scholar. Non richiedono di installare programmi sul computer, ma possono incontrare problemi nel web Vi segnaliamo a titolo di esempio i seguenti, ma ne esistono altri scHolar index QuadSearch

scHolar index È un motore di ricerca che scandaglia Google Scholar (quindi il numero di citazioni corrisponde) e calcola vari indici. Fare attenzione ai record degli omonimi! Lanciare query su Google in automatico è vietato. Se vengono lanciate ricerche multiple dallo stesso IP i meccanismi di controllo di Google riescono a bloccare la ricerca Scholar index non è una ricerca lanciata in automatico, ma una risposta ad una query dell’utente che cerca i dati dell’H-index Qualche volta Google interpreta la query come ricerca automatica, poiché molte persone ne fanno uso contemporaneamente Riprovare a lanciare la ricerca in caso di problemi

Risultati da scHolar Index Non è possibile escludere a posteriori i paper di altri autori

L’H-Index più completo I valori di H-index calcolati in automatico dovrebbero essere integrati con dati da inserire a mano nei conteggi Questo richiede la conoscenza delle BD per la ricerca delle informazioni integrative Molti autori non sono a conoscenza di queste informazioni e non le ricercano

Il calcolo manuale dell’H-index È consigliabile calcolarlo con una procedura manuale Un calcolo accurato richiede di seguire alcuni passi Il dato andrebbe calcolato dal diretto interessato, che possiede le informazioni sul proprio CV ALL’INIZIO SERVE UN PO’ DI PAZIENZA PER SISTEMARE IL CV Predisporre un file di excel con l’elenco delle proprie pubblicazioni Una colonna va dedicata al numero di citazioni

Il file di Excel per i conti

Cercare le citazioni uniche (?) Cercare le citazioni di ciascun lavoro nelle varie banche dati e nella colonna citazioni inserire il dato trovato, eliminando i doppioni presenti in tutti i database citazionali. Ad esempio se un articolo ha 20 citazioni in WOS e 25 in Scopus, considerare solo le citazioni uniche che potrebbero variare da 25 a 45 Tra 25 e 45 20 25

WOS: Cited reference search Recupero in questa sezione di WOS le citazioni precedenti al 1985 (la ricerca va fatta per primo autore) Recupero le citazioni errate (anche quelle successive al 1985) È necessario avere la bibliografia completa per conoscere il primo autore di tutti i paper

Le citazioni più vecchie in WOS Bisogna cercarli tutti guardando il CV….

Scopus: More tab La funzione “More” disponibile con il tab che prende questo nome permette di ricercare Orphan citations. I dati vanno poi integrati manualmente La ricerca si fa da “Document search” nel campo Author I risultati della ricerca vanno raffinati per ottenere i dati del solo autore desiderato Quindi nella funzione More si selezionano i dati da integrare e si sommano, referenza per referenza, a quelle già trovate I dati citazionali di Scopus partono dal 1996

Orphan citations in Scopus

Altre fonti di citazione Per alcune aree disciplinari può essere utile consultare altre fonti citazionali Esempi particolarmente utili: Scifinder per l’area chimica, Psychinfo per la psicologia/psichiatria, Cinahl per le discipline infermieristiche Talvolta risultano utili i siti stessi degli editori che recuperano citazioni all’interno di piattaforme online condivise (Highwire press)

Dopo aver raccolto i dati Trovate le citazioni di tutti i lavori e averli riportati nel file di excel, ordinare i record in funzione del numero di citazioni

Il ranking delle pubblicazioni H-index di questo set = a 14

Come procedere all’aggiornamento Segnarsi la data dell’ultimo aggiornamento dell’H-index per non perdere tempo successivamente Stabilire la frequenza di verifica delle nuove citazioni ottenute dall’ultima volta che si è fatto il controllo Partendo dal file di excel, aggiornare i dati con le novità, seguendo la stessa procedura adottata la prima volta che si è calcolato l’H-index Creare alert nelle varie banche dati citazionali per essere informati su ogni nuova citazione Dodson MV ha dichiarato che un aggiornamento settimanale fatto con scrupolo richiede 15-45 minuti (forse un po’ esagerato)

Se interessa solo l’H-Index Non si perda tempo a verificare le citazioni o i duplicati di citazioni tra i vari DB per i record con moltissime citazioni o per quelli con pochissime, ma verificare la situazione solo di quei record che hanno un numero di citazioni intorno al valore H o alle pubblicazioni dell’H-core Poiché stanno prendendo sempre più piede anche altri indici, è opportuno considerare di fare il lavoro con precisione su tutti i propri paper

Riassumendo Si può utilizzare il valore di H-index recuperato da BD come WOS o Scopus, oppure da Google Scholar attraverso i calcolatori automatici tipo PoP, scHolar Index… [i prodotti online si stanno moltiplicando] Controllare sempre che le pubblicazioni incluse nei conti siano corrette (Google Scholar è molto impreciso) Il sistema più completo di calcolo dell’H-index consiste nel recuperare tutte le citazioni in un file personale e calcolarselo da soli Indicare sempre da quale fonte provengono i dati perché siano riproducibili i conti da parte di una commissione esterna di valutazione

Aggiornare il proprio CV Tenere aggiornato il proprio CV per recuperare rapidamente le informazioni sugli indici in qualunque momento ci vengano richiesti Abituarsi a calcolare anche i nuovi indici, perché verranno richiesti sempre più spesso Controllare se, al momento della pubblicazione di un nuovo paper, le BD lo hanno correttamente indicizzato (titolo, nome degli autori, affiliazione…) Fare pulizia nelle banche dati nel caso di errori di affiliazione dei propri lavori

Fare attenzione ai bandi La scarsa conoscenza ha indotto molti valutatori a chiedere ai candidati di una valutazione l’H-index partendo da presupposti errati (es. Ministero della Salute, CUN…) Chi si trova a stendere un bando dovrebbe essere più chiaro e consapevole nel definire le informazioni richieste In un concorso da ricercatore, ad esempio, i candidati potrebbero presentare H-index calcolati partendo da varie fonti rendendo vano il confronto Se non si valuta un’intera carriera, non bisognerebbe utilizzare l’espressione H-index, ma si dovrebbe adottare una terminologia ad hoc

Bibliografia di riferimento Anne-Will Harzing. Publish or Perish. http://www.harzing.com/pop.htm (accessibile il 14 dicembre 2009) Anne-Will Harzing. Reflections on the h-index. http://www.harzing.com/pop_hindex.htm (accessibile il 14 dicembre 2009) Barendse W. The strike rate index: a new index for journal quality based on journal size and the h-index of citations. Biomed Digit Libr. 2007 Apr 19;4:3.PMID: 17445275 Bornmann L, Marx W, Schier H. Hirsch-Type Index Values for Organic Chemistry Journals: A Comparison of New Metrics with the Journal Impact Factor. EUROPEAN JOURNAL OF ORGANIC CHEMISTRY. 2009; (10):1471-1476 Bornmann L, Mutz R, Daniel HD. Are there better indices for evaluation purposes than the h index? a comparison of nine different variants of the h index using data from biomedicine. JOURNAL OF THE AMERICAN SOCIETY FOR INFORMATION SCIENCE AND TECHNOLOGY. 2008; 59(5): 830-837 Bornmann L, Mutz R, Daniel HD. Do We Need the h Index and Its Variants in Addition to Standard Bibliometric Measures? JOURNAL OF THE AMERICAN SOCIETY FOR INFORMATION SCIENCE AND TECHNOLOGY. 2009;60(6):1286-1289 Castillo M. Measuring Academic Output: The H-Index. AJNR Am J Neuroradiol. 2009 Nov 19. [Epub ahead of print] Dodson MV. Citation analysis: Maintenance of h-index and use of e-index. Biochem Biophys Res Commun. 2009 Oct 2;387(4):625-6. Epub 2009 Jul 24. Review. PMID: 19632203 Egghe, L.; Rousseau R. An informetric model for the Hirsch-index. Scientometrics. 2006; 69(1):121-129 Hirsch JE. An index to quantify an individual's scientific research output. Proc Natl Acad Sci U S A. 2005 Nov 15;102(46):16569-72. Epub 2005 Nov 7.PMID: 16275915 Hirsch JE. Does the H index have predictive power? Proc Natl Acad Sci U S A. 2007 Dec 4;104(49):19193-8. Epub 2007 Nov 26. PMID: 18040045 Jacso P. Testing the calculation of a realistic h-index in Google Scholar, Scopus, and Web of Science for F. W. Lancaster. LIBRARY TRENDS. 2008;56(4):784-815 Jacso P. The pros and cons of computing the h-index using Scopus. ONLINE INFORMATION REVIEW. 2008;32( 4):524-535

Bibliografia di riferimento Jacso P. The pros and cons of computing the h-index using Google Scholar. ONLINE INFORMATION REVIEW. 2008;32(3): 437-452 Jacso P. The pros and cons of computing the h-index using Web of Science. ONLINE INFORMATION REVIEW. 2008;32(5):673-688 Jungnickel PW. Scholarly Performance and Related Variables: A Comparison of Pharmacy Practice Faculty and Department Chairpersons (Galley). Journal American Journal of Pharmaceutical Education Vol. 61, No. 1 (1997).DOI: aj610134 Kumar V, Upadhyay S, Medhi B. Impact of the impact factor in biomedical research: its use and misuse. Singapore Med J. 2009 Aug;50(8):752-5. Review. PMID: 19710969 Lehmann S, Jackson AD, Lautrup BE. Measures and Mismeasures of Scientific Quality. http://arxiv.org/abs/physics/0512238 Meho LI, Rogers Y. Citation counting, citation ranking, and h-index of human-computer interaction researchers: A comparison of Scopus and Web of Science. JOURNAL OF THE AMERICAN SOCIETY FOR INFORMATION SCIENCE AND TECHNOLOGY. 2008;59(11):1711-1726 Soler JM. A Rational Indicator of Scientific Creativity. http://arxiv.org/abs/physics/0608006 Sypsa V, Hatzakis A.Assessing the impact of biomedical research in academic institutions of disparate sizes.BMC Med Res Methodol. 2009 May 29;9:33.PMID: 19480665 Thompson DF, Callen EC, Nahata MC. New indices in scholarship assessment. Am J Pharm Educ. 2009 Oct 1;73(6):111.PMID: 19885080 Thompson DF, Callen EC, Nahata MC. Publication metrics and record of pharmacy practice chairs. Ann Pharmacother. 2009 Feb;43(2):268-75. Epub 2009 Jan 20.PMID: 19155347 Thompson DF, Callen EC. Publication records among college of pharmacy deans. Ann Pharmacother. 2008 Jan;42(1):142-3. Epub 2007 Nov 27. No abstract available. PMID: 18042809 Williamson JR. My h-index turns 40: my midlife crisis of impact. ACS Chem Biol. 2009 May 15;4(5):311-3. PMID: 19441857 Zhang C-T. Relationship of the h-index, g-index, and e-index. JOURNAL OF THE AMERICAN SOCIETY FOR INFORMATION SCIENCE AND TECHNOLOGY . 2009. e-pub 10.1002/asi.21274 Zhang CT. The e-index, complementing the h-index for excess citations. PLoS One. 2009;4(5):e5429. Epub 2009 May 5.PMID: 19415119

Bibliografia di riferimento Alonso, S., Cabrerizo, F. J., Herrera-Viedma, E. & Herrera, F. h-Index: A review focused in its variants, computation and standardization for different scientific fields. Journal of Informetrics 3, 273-289, doi:10.1016/j.joi.2009.04.001 (2009). Bar-Ilan, J. Which h-index? - A comparison of WoS, Scopus and Google Scholar. Scientometrics 74, 257-271, doi:10.1007/s11192-008-0216-y (2008). Jacso, P. Calculating the h-index and other bibliometric and scientometric indicators from Google Scholar with the Publish or Perish software. Online Information Review 33, 1189-1200, doi:10.1108/14684520911011070 (2009). Jacso, P. The h-index for countries in Web of Science and Scopus. Online Information Review 33, 831-837, doi:10.1108/14684520910985756 (2009). Meho, L. I. & Sugimoto, C. R. Assessing the Scholarly Impact of Information Studies: A Tale of Two Citation Databases-Scopus and Web of Science. Journal of the American Society for Information Science and Technology 60, 2499-2508, doi:10.1002/asi.21165 (2009).

Contatti Carla Barbieri Biblioteca di Farmacologia e Medicina Sperimentale tel 16939 Via Vanvitelli 32 (Città Studi) Carla.barbieri@unimi.it Elena Bernardini Biblioteca centrale di Farmacia tel 18425 Via Balzaretti 9 (Città Studi) Elena.bernardini@unimi.it