H-Index: definizione e calcolo Carla Barbieri Elena Bernardini

Presentazione sul tema: "H-Index: definizione e calcolo Carla Barbieri Elena Bernardini"— Transcript della presentazione:

1 H-Index: definizione e calcolo Carla Barbieri Elena Bernardini
18 novembre 2011

2 Come si calcola H-index
Fattori critici per il calcolo sono: Il database usato Anno di pubblicazione degli articoli del proprio CV Limiti del database Correttezza nei nomi degli autori e affiliazioni Completezza delle indicizzazioni per ogni anno Annate indicizzate Tipologia di documenti indicizzati Orphan citations, errors of omission, errors of commission La capacità di usare la banca dati da parte di chi calcola l’H-index

3 Come si calcola H-index
Il calcolo è soggetto ad errori causati dalla mancanza di uno strumento unico di lavoro in cui conteggiare con esattezza tutte le citazioni di un autore Nessun DB è in grado di fornire un dato preciso Tutti presentano difetti e pregi ed è bene conoscerne le caratteristiche principali per evitare stime grossolane e confutabili

4 Autori: nomi e affiliazioni
Nelle banche dati spesso ci sono problemi di riconoscimento dei lavori di un autore Omonimia Caratteri speciali (ä ö ü ecc…), lettere accentate Cognomi doppi Apostrofi (O’Brian, oppure OBrian…) Cambio cognome in seguito a matrimonio… Errata attribuzione di affiliazione

5 Citazioni per documenti diversi dagli articoli
Difficile reperire dati citazionali su pubblicazioni diverse dagli articoli scientifici Capitoli di libri Libri Report tecnici Conference proceedings… Questi sono i documenti che più spesso generano differenze tra le varie banche dati Le citazioni sui brevetti si trovano nelle BD specializzate e solo in parte in Scopus, Scifinder e WOS

6 Orphan citations Molti autori non tengono conto dell’esistenza delle Orphan citations, ossia citazioni non assegnate ad alcun documento delle banche dati citazionali prevalentemente per: Errori di omissione (colpa di chi cita) Errori di commissione (colpa del DB) Gap di indicizzazione della BD Documenti citati non presenti nella BD

7 Il calcolo automatico dell’H-index
Alcuni forniscono l’H-index già calcolato Queste sono quasi sempre sottostime che dipendono, come prevedibile, da Anno di pubblicazione dei documenti Cognome dell’autore Orphan citations ecc… Le sovrastime sono invece dovute al mancato raffinamento per autore delle pubblicazioni

8 Cosa sapere delle citazioni nelle banche dati
Le citazioni sono disponibili in varie BD, alcune gratuite, altre a pagamento I dati non sono quasi mai coincidenti Anche se i numeri possono essere identici, può essere utile verificare se corrispondono anche i citing articles e se esistono veramente i citing articles dichiarati Esistono casi eclatanti di “Phantom citations”

9 Calcolo automatico con Web of Science
È possibile calcolare un H-index automatico da WOS. Il nostro abbonamento permette di partire dal 1985 Ricercare e selezionare i record di un autore dopo aver eliminato i record che non gli appartengono Cliccare sul pulsante “Create citation report” Visualizzare il valore di H-index

10 Esempio da WOS

11 La visibilità di Researcher ID
ResearcherID è un archivio di CV accademici multidisciplinari per il mondo della ricerca A ogni autore viene assegnato un ID e l’autore contribuisce a eliminare le misidentificazioni che alterano la propria metrica citazionale L’autore ha la possibilità di ricostruire anche il suo CV relativo alle affiliazioni nel tempo, qualora abbia pubblicato per più di un’istituzione Il CV è visibile a tutti, ma la metrica può essere visualizzata solo da chi ha l’abbonamento a WOS

12 Un CV online pubblico

13 Possibilità di ricerca per affiliazione

14 Calcolo automaticao dell’H-index Citation metrics

15 Il link personalizzato al proprio CV su Researcher ID

16 Calcolo automatico con Scopus
È possibile calcolare un H-index automatico da Scopus. Tutti i conti partono dal 1996 Ricercare e selezionare l’autore con la funzione Author search Cliccare sul pulsante “View citation overview” Visualizzare il valore di H-index ed eventualmente il grafico corrispondente

17 Esempio da Scopus

18 Calcolo “semi-automatico” con Scopus
Il sistema di calcolo dell’H-index proposto da Scopus è incompleto La stessa banca dati, con una procedura leggermente più complessa, permette di recuperare dati migliori La ricerca va effettuata per “Document search” nel campo autore, vanno eliminati i documenti non pertinenti, ordinati i rimanenti per numero di citazioni discendente La visualizzazione dell’H-index si fa a video

19 Scopus: stesso autore, diversi modi di calcolare l’H-index, diversi risultati

20 Google scholar: gratis ma pieno di difetti
Google scholar si basa su un algoritmo proprietario che commette numerosi errori nella ricerca, anche a causa dell’origine dei dati La letteratura specializzata sull’argomento indica tra i vari: errori di attribuzione dell’authorship, duplicati di documenti, citazioni fantasma… Ricordare che Google scholar è ancora in versione Beta e che è un motore di ricerca, con i difetti che questi possono avere

21 Calcolo automatico con Publish or Perish
È possibile calcolare un H-index automatico con il software Publish or Perish (e altri simili) I dati provengono da Google scholar Ricercare e selezionare i record di un autore dopo aver eliminato i record che non gli appartengono La visualizzazione dei vari indici viene ricalcolata in automatico Visualizzare il valore di H-index

22 Publish or Perish È un software gratuito da installare sul proprio computer che, recuperando i dati da Google Scholar, permette di calcolare in automatico numerosi indici di tipo H I risultati sono visibili a video e copiabili sul proprio pc come file di testo o excel È importante identificare con precisione i record di interesse eliminando quelli di altri autori Permette di calcolare l’H-Index normalizzato, un H-index che pesa il contributo degli autori per pubblicazioni che ne hanno tanti, tenendo conto ei limiti intrinseci di Google scholar

23 Guida in italiano di PoP
La guida in italiano a PoP è stata resa disponibile dall’Università di Padova al link La guida ha qualche anno, ma pur sempre utile

24 Esempio Publish or Perish
Cliccando sul record si aprirà la pagina di Google Scholar con i citing articles

25 Il calcolo partendo da Google Scholar
Esitono altri software che calcolano in automatico l’H-index di un autore partendo dai dati di Google scholar. Non richiedono di installare programmi sul computer, ma possono incontrare problemi nel web Vi segnaliamo a titolo di esempio i seguenti, ma ne esistono altri scHolar index QuadSearch

26 scHolar index È un motore di ricerca che scandaglia Google Scholar (quindi il numero di citazioni corrisponde) e calcola vari indici. Fare attenzione ai record degli omonimi! Lanciare query su Google in automatico è vietato. Se vengono lanciate ricerche multiple dallo stesso IP i meccanismi di controllo di Google riescono a bloccare la ricerca Scholar index non è una ricerca lanciata in automatico, ma una risposta ad una query dell’utente che cerca i dati dell’H-index Qualche volta Google interpreta la query come ricerca automatica, poiché molte persone ne fanno uso contemporaneamente Riprovare a lanciare la ricerca in caso di problemi

27 Risultati da scHolar Index
Non è possibile escludere a posteriori i paper di altri autori

28 L’H-Index più completo
I valori di H-index calcolati in automatico dovrebbero essere integrati con dati da inserire a mano nei conteggi Questo richiede la conoscenza delle BD per la ricerca delle informazioni integrative Molti autori non sono a conoscenza di queste informazioni e non le ricercano

29 Il calcolo manuale dell’H-index
È consigliabile calcolarlo con una procedura manuale Un calcolo accurato richiede di seguire alcuni passi Il dato andrebbe calcolato dal diretto interessato, che possiede le informazioni sul proprio CV ALL’INIZIO SERVE UN PO’ DI PAZIENZA PER SISTEMARE IL CV Predisporre un file di excel con l’elenco delle proprie pubblicazioni Una colonna va dedicata al numero di citazioni

30 Il file di Excel per i conti

31 Cercare le citazioni uniche (?)
Cercare le citazioni di ciascun lavoro nelle varie banche dati e nella colonna citazioni inserire il dato trovato, eliminando i doppioni presenti in tutti i database citazionali. Ad esempio se un articolo ha 20 citazioni in WOS e 25 in Scopus, considerare solo le citazioni uniche che potrebbero variare da 25 a 45 Tra 25 e 45 20 25

32 WOS: Cited reference search
Recupero in questa sezione di WOS le citazioni precedenti al 1985 (la ricerca va fatta per primo autore) Recupero le citazioni errate (anche quelle successive al 1985) È necessario avere la bibliografia completa per conoscere il primo autore di tutti i paper

33 Le citazioni più vecchie in WOS
Bisogna cercarli tutti guardando il CV….

34 Scopus: More tab La funzione “More” disponibile con il tab che prende questo nome permette di ricercare Orphan citations. I dati vanno poi integrati manualmente La ricerca si fa da “Document search” nel campo Author I risultati della ricerca vanno raffinati per ottenere i dati del solo autore desiderato Quindi nella funzione More si selezionano i dati da integrare e si sommano, referenza per referenza, a quelle già trovate I dati citazionali di Scopus partono dal 1996

35 Orphan citations in Scopus

36 Altre fonti di citazione
Per alcune aree disciplinari può essere utile consultare altre fonti citazionali Esempi particolarmente utili: Scifinder per l’area chimica, Psychinfo per la psicologia/psichiatria, Cinahl per le discipline infermieristiche Talvolta risultano utili i siti stessi degli editori che recuperano citazioni all’interno di piattaforme online condivise (Highwire press)

37 Dopo aver raccolto i dati
Trovate le citazioni di tutti i lavori e averli riportati nel file di excel, ordinare i record in funzione del numero di citazioni

38 Il ranking delle pubblicazioni
H-index di questo set = a 14

39 Come procedere all’aggiornamento
Segnarsi la data dell’ultimo aggiornamento dell’H-index per non perdere tempo successivamente Stabilire la frequenza di verifica delle nuove citazioni ottenute dall’ultima volta che si è fatto il controllo Partendo dal file di excel, aggiornare i dati con le novità, seguendo la stessa procedura adottata la prima volta che si è calcolato l’H-index Creare alert nelle varie banche dati citazionali per essere informati su ogni nuova citazione Dodson MV ha dichiarato che un aggiornamento settimanale fatto con scrupolo richiede minuti (forse un po’ esagerato)

40 Se interessa solo l’H-Index
Non si perda tempo a verificare le citazioni o i duplicati di citazioni tra i vari DB per i record con moltissime citazioni o per quelli con pochissime, ma verificare la situazione solo di quei record che hanno un numero di citazioni intorno al valore H o alle pubblicazioni dell’H-core Poiché stanno prendendo sempre più piede anche altri indici, è opportuno considerare di fare il lavoro con precisione su tutti i propri paper

41 Riassumendo Si può utilizzare il valore di H-index recuperato da BD come WOS o Scopus, oppure da Google Scholar attraverso i calcolatori automatici tipo PoP, scHolar Index… [i prodotti online si stanno moltiplicando] Controllare sempre che le pubblicazioni incluse nei conti siano corrette (Google Scholar è molto impreciso) Il sistema più completo di calcolo dell’H-index consiste nel recuperare tutte le citazioni in un file personale e calcolarselo da soli Indicare sempre da quale fonte provengono i dati perché siano riproducibili i conti da parte di una commissione esterna di valutazione

42 Aggiornare il proprio CV
Tenere aggiornato il proprio CV per recuperare rapidamente le informazioni sugli indici in qualunque momento ci vengano richiesti Abituarsi a calcolare anche i nuovi indici, perché verranno richiesti sempre più spesso Controllare se, al momento della pubblicazione di un nuovo paper, le BD lo hanno correttamente indicizzato (titolo, nome degli autori, affiliazione…) Fare pulizia nelle banche dati nel caso di errori di affiliazione dei propri lavori

43 Fare attenzione ai bandi
La scarsa conoscenza ha indotto molti valutatori a chiedere ai candidati di una valutazione l’H-index partendo da presupposti errati (es. Ministero della Salute, CUN…) Chi si trova a stendere un bando dovrebbe essere più chiaro e consapevole nel definire le informazioni richieste In un concorso da ricercatore, ad esempio, i candidati potrebbero presentare H-index calcolati partendo da varie fonti rendendo vano il confronto Se non si valuta un’intera carriera, non bisognerebbe utilizzare l’espressione H-index, ma si dovrebbe adottare una terminologia ad hoc

44 Bibliografia di riferimento
Anne-Will Harzing. Publish or Perish. (accessibile il 14 dicembre 2009) Anne-Will Harzing. Reflections on the h-index. (accessibile il 14 dicembre 2009) Barendse W. The strike rate index: a new index for journal quality based on journal size and the h-index of citations. Biomed Digit Libr Apr 19;4:3.PMID: Bornmann L, Marx W, Schier H. Hirsch-Type Index Values for Organic Chemistry Journals: A Comparison of New Metrics with the Journal Impact Factor. EUROPEAN JOURNAL OF ORGANIC CHEMISTRY. 2009; (10): Bornmann L, Mutz R, Daniel HD. Are there better indices for evaluation purposes than the h index? a comparison of nine different variants of the h index using data from biomedicine. JOURNAL OF THE AMERICAN SOCIETY FOR INFORMATION SCIENCE AND TECHNOLOGY. 2008; 59(5): Bornmann L, Mutz R, Daniel HD. Do We Need the h Index and Its Variants in Addition to Standard Bibliometric Measures? JOURNAL OF THE AMERICAN SOCIETY FOR INFORMATION SCIENCE AND TECHNOLOGY. 2009;60(6): Castillo M. Measuring Academic Output: The H-Index. AJNR Am J Neuroradiol Nov 19. [Epub ahead of print] Dodson MV. Citation analysis: Maintenance of h-index and use of e-index. Biochem Biophys Res Commun Oct 2;387(4): Epub 2009 Jul 24. Review. PMID: Egghe, L.; Rousseau R. An informetric model for the Hirsch-index. Scientometrics. 2006; 69(1): Hirsch JE. An index to quantify an individual's scientific research output. Proc Natl Acad Sci U S A Nov 15;102(46): Epub 2005 Nov 7.PMID: Hirsch JE. Does the H index have predictive power? Proc Natl Acad Sci U S A Dec 4;104(49): Epub 2007 Nov 26. PMID: Jacso P. Testing the calculation of a realistic h-index in Google Scholar, Scopus, and Web of Science for F. W. Lancaster. LIBRARY TRENDS. 2008;56(4): Jacso P. The pros and cons of computing the h-index using Scopus. ONLINE INFORMATION REVIEW. 2008;32( 4):

45 Bibliografia di riferimento
Jacso P. The pros and cons of computing the h-index using Google Scholar. ONLINE INFORMATION REVIEW. 2008;32(3): Jacso P. The pros and cons of computing the h-index using Web of Science. ONLINE INFORMATION REVIEW. 2008;32(5): Jungnickel PW. Scholarly Performance and Related Variables: A Comparison of Pharmacy Practice Faculty and Department Chairpersons (Galley). Journal American Journal of Pharmaceutical Education Vol. 61, No. 1 (1997).DOI: aj610134 Kumar V, Upadhyay S, Medhi B. Impact of the impact factor in biomedical research: its use and misuse. Singapore Med J Aug;50(8): Review. PMID: Lehmann S, Jackson AD, Lautrup BE. Measures and Mismeasures of Scientific Quality. Meho LI, Rogers Y. Citation counting, citation ranking, and h-index of human-computer interaction researchers: A comparison of Scopus and Web of Science. JOURNAL OF THE AMERICAN SOCIETY FOR INFORMATION SCIENCE AND TECHNOLOGY. 2008;59(11): Soler JM. A Rational Indicator of Scientific Creativity. Sypsa V, Hatzakis A.Assessing the impact of biomedical research in academic institutions of disparate sizes.BMC Med Res Methodol May 29;9:33.PMID: Thompson DF, Callen EC, Nahata MC. New indices in scholarship assessment. Am J Pharm Educ Oct 1;73(6):111.PMID: Thompson DF, Callen EC, Nahata MC. Publication metrics and record of pharmacy practice chairs. Ann Pharmacother Feb;43(2): Epub 2009 Jan 20.PMID: Thompson DF, Callen EC. Publication records among college of pharmacy deans. Ann Pharmacother Jan;42(1): Epub 2007 Nov 27. No abstract available. PMID: Williamson JR. My h-index turns 40: my midlife crisis of impact. ACS Chem Biol May 15;4(5): PMID: Zhang C-T. Relationship of the h-index, g-index, and e-index. JOURNAL OF THE AMERICAN SOCIETY FOR INFORMATION SCIENCE AND TECHNOLOGY e-pub /asi.21274 Zhang CT. The e-index, complementing the h-index for excess citations. PLoS One. 2009;4(5):e5429. Epub 2009 May 5.PMID:

46 Bibliografia di riferimento
Alonso, S., Cabrerizo, F. J., Herrera-Viedma, E. & Herrera, F. h-Index: A review focused in its variants, computation and standardization for different scientific fields. Journal of Informetrics 3, , doi: /j.joi (2009). Bar-Ilan, J. Which h-index? - A comparison of WoS, Scopus and Google Scholar. Scientometrics 74, , doi: /s y (2008). Jacso, P. Calculating the h-index and other bibliometric and scientometric indicators from Google Scholar with the Publish or Perish software. Online Information Review 33, , doi: / (2009). Jacso, P. The h-index for countries in Web of Science and Scopus. Online Information Review 33, , doi: / (2009). Meho, L. I. & Sugimoto, C. R. Assessing the Scholarly Impact of Information Studies: A Tale of Two Citation Databases-Scopus and Web of Science. Journal of the American Society for Information Science and Technology 60, , doi: /asi (2009).

47 Contatti Carla Barbieri
Biblioteca di Farmacologia e Medicina Sperimentale tel 16939 Via Vanvitelli 32 (Città Studi) Elena Bernardini Biblioteca centrale di Farmacia tel 18425 Via Balzaretti 9 (Città Studi)