La ricerca citazionale in Web of Science e Scopus Carla Barbieri Elena Bernardini

Declaration On Research Assessment (DORA) http://am.ascb.org/dora/ Diffusa nel dicembre scorso da un gruppo di editor di riviste, la dichiarazione di San Francisco chiama a raccolta tutta la comunità scientifica perché supporti l’adozione di pratiche di valutazione della ricerca scientificamente corrette. DORA contiene una serie di raccomandazioni per incoraggiare l'uso consapevole e razionale dei dati citazionali come fonte primaria di valutazione della ricerca.

Argomenti del corso: prima parte Introduzione alla valutazione Analisi bibliometrica delle riviste: IF e JCR SNIP, SJR e Scopus Scopus: 3 modi per calcolare l’H-index

La valutazione della ricerca La valutazione è un processo, delicato e complesso, finalizzato ad esprimere un giudizio di merito e rilevanza sulle attività o sui risultati della ricerca scientifica. Il tema è diventato di grande interesse in anni recenti perché motivato da minore disponibilità di risorse finanziarie, dall’aumento dei costi della ricerca, ma anche dall’impatto delle nuove tecnologie. I risultati della valutazione possono determinare lo status di singoli ricercatori o di istituzioni, decidere sull'allocazione di risorse e finanziamenti e sugli avanzamenti di carriera.

Riferimenti normativi L. 24 novembre 2006, n. 286: costituzione dell’ Agenzia Nazionale di Valutazione del Sistema Universitario e della Ricerca D.P.R. 1 Febbraio 2010, n. 76: pubblicato il Regolamento concernente la struttura ed il funzionamento dell'ANVUR L’ Agenzia diventa operativa il 2 maggio 2011 7 novembre 2011 pubblicato il bando VQR 2004-2010 Valutazione della qualità della ricerca

Altri riferimenti normativi D.M. 28 luglio 2009 n. 89 Valutazione dei titoli e delle pubblicazioni scientifiche stabilisce i parametri per la valutazione dei titoli e delle pubblicazioni dei candidati nelle procedure di valutazione comparativa per il reclutamento dei ricercatori D.M. 25 maggio 2011, n. 243/2011 Criteri e parametri riconosciuti, anche in ambito internazionale, per la valutazione preliminare dei candidati destinatari dei contratti di cui all'articolo 24, della legge n.240/2010 D.M. 4 agosto 2011 n. 344 Criteri per la disciplina, da parte degli Atenei, della valutazione dei ricercatori a tempo determinato, in possesso dell’abilitazione scientifica nazionale, ai fini della chiamata nel ruolo di professore associato

Valutazione della ricerca: metodologie Valutazione qualitativa peer review, expert panel evaluation frutto di competenze specifiche processo lungo e costoso Valutazione quantitativa basata sull’analisi bibliometrica delle pubblicazioni scientifiche e delle relative citazioni Informed peer review evoluzione del peer-review: ai valutatori vengono fornite, ove disponibili, informazioni di natura bibliometrica sui prodotti sottomessi a valutazione

I livelli della valutazione MACRO: sistemi nazionali MESO: istituzioni (VQR 2004-2010) MICRO: gruppi di ricerca, singoli ricercatori (ASN) La metodologia è differente in relazione al livello di valutazione e agli obiettivi.

Gli indicatori bibliometrici L’indicatore bibliometrico è un indicatore dell’ impatto, che utilizza tecniche matematiche e statistiche, ed è calcolato a partire dalle citazioni tra autori. Costituisce una fonte di informazioni utili, ma non unica e deve essere integrato con altri strumenti. Dovrebbe essere calcolato da ‘esperti’ o acquisito in modo accurato.

ANVUR e fonti per il calcolo dell’H index Web of Science Scopus Utilizzo sussidiario di: Banche dati settoriali con caratteristiche di ampia copertura e di rigore metodologico Google Scholar attraverso Publish or Perish

Gli indicatori bibliometrici delle riviste IF (Impact Factor): proprietà di Thomson Reuters (ISI), misura il numero medio di citazioni ricevute in un particolare anno da articoli pubblicati in una rivista scientifica nei due anni precedenti SJR (Scimago Journal Rank): misura il prestigio della rivista utilizzando i dati provenienti da Scopus; utilizza la metodologia di Google PageRank per la quale non tutte le citazioni sono uguali e vengono quindi «pesate» SNIP (Source Normalized Impact per Paper): prodotto da Centre for Science and Technology Studies (Leiden) per Scopus; misura l’impatto citazionale nell’area disciplinare della rivista, riducendo le differenze nella frequenza delle citazioni.

Journal Citation Reports (JCR) Impact Factor (IF) E’ il più vecchio e famoso indice, elaborato nel 1955 da Eugene Garfield, chimico americano; è attualmente di proprietà di Thomson Reuters ed è pubblicato con cadenza annuale nel Journal Citation Reports (JCR) In rete di ateneo è disponibile dal 1999, ma può essere esteso fino al 1995. E’ possibile ricercare l’IF di una singola rivista, ma anche vedere quali sono le riviste con il maggiore IF all’interno di un settore disciplinare. Sono incluse informazioni editoriali delle riviste.

Ricerca di una rivista specifica Consigli: tentare in più modi; evitare la ricerca per “Full Journal Title” nel dubbio usare la lista di titoli N.B. La ricerca per ISSN funziona solo con quello dell’edizione cartacea, non con l’eISSN

IF partendo da Web of Science Si visualizza il trend dell’ultimo quinquennio dell’IF

Impact factor trend

SCOPUS Database citazionale prodotto da Elsevier Consente l’accesso ad una vasta collezione interdisciplinare di abstracts e citazioni, nonché la possibilità di effettuare l'analisi citazionale degli autori, delle relative pubblicazioni e ottenere l’H-index. Contiene record che includono citazioni bibliografiche dal 1996 e record che risalgono fino al 1823.

SCOPUS. Journal analyzer Permette di fare la comparazione fino a dieci riviste, mettendo a confronto i seguenti parametri: numero di articoli percentuale di articoli non citati percentuale di reviews numero di citazioni SJR (SCImago journal rank) SNIP (Source Normalized Impact per Paper)

Journal analyzer Processo di valutazione Ricerca della rivista su cui pubblicare

Informazioni sulla rivista Citazioni presenti dal 1996 e aggiornate alla data indicata Processo di valutazione Ricerca della rivista su cui pubblicare Anni di copertura

L’indice H / indice di Hirsch Nel 2005 viene proposto dal fisico Jorge E. Hirsch, dapprima sul repository disciplinare ArXiv e poi su PNAS (2005) vol. 102 no. 46 16569–16572: An index to quantify an individual’s scientific research output “I propose the index h, defined as the number of papers with citation number ≥ h, as a useful index to characterize the scientific output of a researcher.” “A scientist has index h if h of his or her Np papers have at least h citations each and the other (Np-h) papers have fewer than h citations each”

In parole più semplici … Uno scienziato ha un n indice H se ha pubblicato almeno n lavori, ciascuno dei quali è stato citato almeno n volte (e gli altri articoli hanno ricevuto non più di n. citazioni). Es. H-Index = 20 Un autore ha pubblicato 20 articoli che hanno ricevuto ciascuno almeno 20 citazioni.

H index: vantaggi E’ un indice riferito al singolo ricercatore Combina la quantità (numero di articoli) con la qualità (impatto citazionale) Non è possibile avere un indice H. alto se non si pubblica molto e in modo continuo E’ in grado di “correggere” l’impatto negativo di articoli non citati e quello positivo di articoli molto citati

H index: alcuni punti critici Non tiene conto del numero totale di citazioni di ciascun lavoro Non esclude le autocitazioni Non considera il numero di coautori È influenzato dall’accuratezza con cui vengono contate le citazioni e dal database consultato Può solo accrescere La produzione scientifica di scienziati con lo stesso H index non è a volte comparabile (es.: due scienziati con indice 10, ma uno autore di 10 articoli ciascuno con 10 citazioni e l’altro con 90 articoli, 10 citati 10 volte, 80 citati 9 volte)

Esempi di nuovi indici Varianti dell'h-index sono state proposte allo scopo di correggere alcuni evidenti difetti dell'indicatore, quali la scarsa sensibilità al numero di citazioni, alla dimensione temporale ed alle differenze disciplinari: a index: calcola la media del n. di citazioni ricevute da articoli facenti parte di h core h index normalizzato: riduce gli effetti del coautoraggio h-b index: si basa sulle ricerche di uno specifico argomento o composto j-index: rimuove gli svantaggi di h index attraverso la comparazione di 18 indici diversi

H index contemporaneo (Regolamento per l’abilitazione nazionale DM 7 giugno 2012, n. 76) È una variante dell’h-index che misura l’età di ogni singolo articolo scientifico, le cui citazioni vengono normalizzate per: citazioni ricevute dall’articolo anni trascorsi dalla data di pubblicazione

Considerazioni sull’analisi citazionale Le citazioni sono disponibili in varie BD, alcune gratuite, altre a pagamento. Il calcolo dell’ H-index può variare, perché dipende da: Il database utilizzato dimensioni copertura temporale copertura disciplinare tipologia dei documenti indicizzati accuratezza dell’ indicizzazione Nelle BD citazionali spesso non sono compresi libri, capitoli di libri, report tecnici, conference proceedings e non sono considerati i brevetti.

Autori: nomi e affiliazioni Un’altra variabile è costituita dalla difficoltà di riconoscimento dei lavori di un autore per: omonimia caratteri speciali (ä ö ü ecc…), lettere accentate cognomi doppi apostrofi (O’Brian, oppure OBrian…) cambio cognome in seguito a matrimonio errata attribuzione di affiliazione

Orphan citations Molti autori non considerano l’esistenza delle Orphan citations, ossia citazioni non assegnate ad alcun documento delle banche dati citazionali prevalentemente per: Errori di omissione (responsabilità di chi cita) Errori di commissione (responsabilità del DB) Gap di indicizzazione della BD Documenti citati non presenti nella BD

Calcolo automatico con Scopus Ricercare l’autore con la funzione Author search Selezionare il nome dell’autore Visualizzare il valore di H-index ed eventualmente il grafico corrispondente

Scheda autore e dati citazionali The h Index considers Scopus articles published after 1995.

E’ possibile selezionare più autori e integrare le informazioni in un unico insieme temporaneo per calcolare il nuovo h-index

Calcolo “semi-automatico” con Scopus Il sistema di calcolo dell’H-index proposto da Scopus è incompleto: con una procedura leggermente più complessa Scopus permette di recuperare dati ulteriori. La ricerca per autore può essere fatta anche da “Document search” o da “Advanced search”; attenzione perché i risultati non sono raggruppati per singolo autore. Devono quindi essere eliminati i documenti non pertinenti, ordinati i rimanenti per numero discendente di citazioni.

Scopus: View secondary documents La funzione “View secondary documents” permette di ricercare Orphan citations. Si tratta di documenti non disponibili nella banca dati e recuperati dalla bibliografia. Si selezionano i dati da integrare e si sommano, referenza per referenza, a quelle già trovate

Secondary documents

Richiesta correzioni. Contact and support Content correction Author profile ?

ORCID: Open Researcher and Contributor ID ORCID risponde al problema, condiviso da molti ricercatori singoli oltre che dalle istituzioni, di identificare in modo univoco e non ambiguo gli autori e collegare in modo attendibile gli autori alle pubblicazioni. E’ un codice non-proprietario alfanumerico e utilizza il software già in uso da Thomson Reuters per il suo sistema ResearcherID. Il nuovo sistema è gestito da un’organizzazione indipendente che assegnerà gli ORCIDs Lo scopo è quello di creare un registro che sarà adottato ed accolto come standard da tutta la comunità scientifica.

Richiesta correzioni. Scheda autore Request author detail corrections

Scheda autore

Selezionare i lavori dello stesso autore

Assegnare altri articoli a un autore Alla fine dell’elenco …

Solo gli articoli presenti in Scopus possono essere aggiunti all’elenco

Rimuovere articolo erroneamente assegnato

Risposta di Scopus alla richiesta di correzioni

Da Scopus a ORCID La procedura guidata di Scopus permette di importare in ORCID il proprio Author Identifier e la relativa lista di pubblicazioni in Scopus, previa registrazione su: https://orcid.org/oauth/signin

Da Scopus a ORCID

Esportazione della bibliografia in excel e selezione dei campi

Importare i dati in excel

Impostare i delimitatori

Importare i dati nella prima cella del foglio excel

La bibliografia in formato .xls