How important is to publish in the right way and the bibliometric indexes Marco Schaerf Rome February 18th 2013 – Author Workshop.

Presentazione sul tema: "How important is to publish in the right way and the bibliometric indexes Marco Schaerf Rome February 18th 2013 – Author Workshop."— Transcript della presentazione:

1 How important is to publish in the right way and the bibliometric indexes Marco Schaerf Rome February 18th 2013 – Author Workshop

2 Introduzione Pubblicare in CS ha molti aspetti da tenere presenti: Pubblicare Open Access o con Case Editrici Commerciali ? Conferenza o Rivista ? Impatto della pubblicazione: –Uso delle valutazioni sempre crescente –ANVUR, Atenei, Ranking internazionali –Abilitazioni usano criteri bibliometrici 18/02/2013Marco SchaerfPagina 2

3 Valutazioni della Ricerca Basate su bibliometria o peer-review Bibliometria –Semplicità della valutazione –Editoriale Nature su bibliometriaEditoriale Nature –Difficoltà di comparare aree diverse e di dare criteri condivisi Peer-review –Costoso sia in tempo che in denaro –Preciso per aree limitate, MOLTO impreciso in aree disomogenee (esperienza PRIN). Difficoltà confronto tra aree 18/02/2013Marco SchaerfPagina 3

4 Open Access: Pros and Cons Green vs Gold Open Access (Berlin Declaration)Green vs Gold Open Access Berlin Declaration Vardi 2009 http://cacm.acm.org/magazines/2009/7/32075-open- closed-or-clopen-access/fulltext Vardi 2012 http://cacm.acm.org/magazines/2012/7/151235- predatory-scholarly-publishing/fulltext Beall’s Position on Open Access, his listOpen Access http://scholarlyoa.com/publishers/ Editori Commerciali Springer is a Green OA publisher http://www.sherpa.ac.uk/romeo/search.php http://www.sherpa.ac.uk/romeo/search.php 18/02/2013Marco SchaerfPagina 4

5 Computer Science Maggiore importanza delle conferenze rispetto ad altri SSD Minore produttività (articoli su rivista) rispetto ad altri SSD area 09 (vedi mediane) Disomogeneità tra sottoaree Copertura di Web of Science (WoS,ISI) e Scopus limitata per quanto riguarda le conferenze 18/02/2013Marco SchaerfPagina 5

6 Conferenze vs Riviste Ernst 2006 Classical Advice http://homes.cs.washington.edu/~mernst/advice/confe rences-vs-journals.html Vardi’s CACM paper http://cacm.acm.org/magazines/2009/5/24632- conferences-vs-journals-in-computing-research/fulltext Bowyer 2012 recommendations http://www3.nd.edu/~kwb/Mentoring_Conferences_Jo urnals.pdf 18/02/2013Marco SchaerfPagina 6

7 Conferenze vs Riviste: Mie considerazioni Vantaggi Conferenze –Rapida diffusione –Creazione comunità omogenee –Facilità di creare rapporti di ricerca Svantaggi –Comunità chiuse –Rischio di re-inventare la ruota –Scarsa visibilità verso altre aree di ricerca Esempio Fisica Alte Energie –Solo 3 riviste di riferimento –Uso massiccio di arXiv http://arxiv.org/http://arxiv.org/ 18/02/2013Marco SchaerfPagina 7

8 Google Scholar, Web of Science e Scopus Rapido Confronto su Computer Science ed un autore (Maurizio Lenzerini) * Conto del numero di Proceedings, non delle Conferenze ** LNCS (e LNAI) fino al 2006 venivano considerati da WoS Article AND Proceedings *** LNCS (e LNAI) fino al 2004 venivano considerati da Scopus Article 18/02/2013Marco SchaerfPagina 8 DBArticoli CS Riviste CS Conf CS Prodotti ML Article ML Proc ML LNCS ML Cit ML H-index ML WoS1.7M~600>5000*8348**53**18**148519 Scopus2.4M14735389*9533***51***18***264625 Scholar4.7M ????309???1600762 DBLP2M??22541166?

9 Google Scholar, WoS e Scopus: Problemi Copertura conferenze limitata in WoS e Scopus soprattutto prima del 2006 Citazioni che si perdono (Articolo CACM)Articolo CACM –Scarsa qualità del formato delle citazioni Google Scholar non è affidabile (manca liste sorgenti) Liste di Riviste e Conferenze troppo piccole sono penalizzanti, ma troppo grandi sono dispersive e snaturano i risultati –Esempio di Matematica Applicata (Mat/07, Mat/08, Mat/09) che include nella lista delle riviste Physical Review Letters che falsa le soglie VQR 18/02/2013Marco SchaerfPagina 9

10 VQR 2004-2010: Impostazione Valutazione bibliometrica basata su: –Impact Factor o Lista di Riviste –Citazioni –Soglie per 4 fasce –Web of Science e Scopus –3 prodotti per docente –Verifica duplicazioni 18/02/2013Marco SchaerfPagina 10 Area 09 2004-2007 A A A IR A B B IR IR C C D IR IR D D Citazioni WoS/Scopus IF / SJR / Ranking

11 VQR 2004-2010: differenze ING-INF/05 e INF/01 Stessa lista di riviste (oltre 1400 prese da Scopus) –Troppe riviste NON di Informatica (vedi immagine lucido seguente o scarica lista da Scopus, filtra per Computer Science (1700) e poi ordina per SJR2011 decrescente)Scopus Differente uso citazioni –Una matrice per INF/01, due per ING-INF/05 –Maggiore rilevanza alle citazioni per ING-INF/05 –Soglie per Subject Category ING-INF/05 o unica INF/01 Complessivamente, i criteri di ING-INF/05 erano leggermente più favorevoli. –Migrazione prodotti da INF/01 ad ING-INF/05. In Sapienza 3 prodotti da ING-INF/05 a INF/01 oltre 30 prodotti al contrario 18/02/2013Marco SchaerfPagina 11

12 18/02/2013Marco SchaerfPagina 12 Scopus CS Journals sorted by decreasing SJR

13 VQR 2004-2010: Soglie per SC WoS SottoAreaAnnoFascia AFascia BFascia C ARTIFICIAL INTELLIGENCE200426128 CYBERNETICS20041863 HARDWARE & ARCHITECTURE20041574 INFORMATION SYSTEMS20041985 INTERDISCIPLINARY APPLICATIONS20041796 SOFTWARE ENGINEERING20041464 THEORY & METHODS20041465 18/02/2013Marco SchaerfPagina 13

14 VQR 2004-2010: Come affrontare il problema Troppe variabili per essere gestito a mano o dal singolo docente: –Scelta del GEV, scelta della Subject Category, gestione doppie selezioni Sviluppo di un tool VQRselect che: –Stima il punteggio assegnato da un GEV/sottoGEV ad un prodotto –Genera tutte le possibili assegnazioni di un prodotto ai vari GEV/sottoGEV –Permette al docente/Direttore di fare le assegnazioni di ogni articolo –Sceglie i migliori 3 articoli per ogni docente massimizzando il punteggio totale 18/02/2013Marco SchaerfPagina 14

15 Abilitazioni Requisiti minimi e valutazione commissione su 14/20 prodotti Databases utilizzati: WoS e Scopus Requisiti minimi 09/H1: 1.Numero Articoli su Rivista (??)1013 2.Numero Citazioni10.6713.48 3.H-index contemporaneo 66 Per ogni articolo prendere il massimo delle citazioni tra WoS e Scopus per calcolare indicatori 2 e 3. 18/02/2013Marco SchaerfPagina 15

16 Abilitazioni: definizione di articolo su rivista Definizione NON univoca: 1.Articolo su Rivista su Sito Docente 2.Article su WoS 3.Article su Scopus 4.Prodotti su WoS 5.Prodotti su Scopus ANVUR non chiarisce, mia interpretazione: –1 non applicabile. Sito Docente contiene migliaia di «falsi» –2 OR 3: Interpretazione realistica –4 OR 5: Ancora più probabile visti i dati 18/02/2013Marco SchaerfPagina 16

17 Raccomandazioni 1.Pubblicare con Case Editrici/Riviste che permettono il Green OA e salvare sempre il preprint nel proprio catalogo. 2.Crearsi dei profili su: Google Scholar My Citations http://scholar.google.it/citations?user=mZGqTcgAA AAJ&hl=en http://scholar.google.it/citations?user=mZGqTcgAA AAJ&hl=en Orcid http://about.orcid.org/http://about.orcid.org/ –Usate il vostro Orcid ID negli articoli quando possibile 3.Ripulire i vostri dati su Scopus e Web of Science 4.Usare citazioni più leggibili, possibilmente inserendo il DOI 18/02/2013Marco SchaerfPagina 17

18 Conclusioni Valutazione in Informatica ha caratteristiche proprie: –Conferenze importanti –Citazioni spesso sottostimate –Minore produttività (solo riviste) Per questo è diversa da: –Scienze dure (Fisica, chimica, biologia e medicina) –Matematica e Ingegneria Non possiamo ignorare il problema –Dare indicazioni ai giovani –Sviluppare un sistema di valutazione nostro condiviso 18/02/2013Marco SchaerfPagina 18

19 Suggerimenti Creare una nostra lista di Riviste e Conferenze (meglio se condivisa a livello internazionale) che sia ben fondata: –Rappresentativa dei docenti INF/01 e ING-INF/05 –Proprietà di chiusura –Evitare figuraccia aree non bibliometrichefiguraccia Calcolare Impatto riviste e Citazioni in modo più raffinato, ad esempio: –Impatto e citazioni calcolato solo da citazioni all’interno della lista –Eliminazione autocitazioni (come definirle ?) –Controlli comportamenti scorretti 18/02/2013Marco SchaerfPagina 19

20 18/02/2013Marco SchaerfPagina 20 GRAZIE