How important is to publish in the right way and the bibliometric indexes Marco Schaerf Rome February 18th 2013 – Author Workshop

Introduzione Pubblicare in CS ha molti aspetti da tenere presenti: Pubblicare Open Access o con Case Editrici Commerciali ? Conferenza o Rivista ? Impatto della pubblicazione: –Uso delle valutazioni sempre crescente –ANVUR, Atenei, Ranking internazionali –Abilitazioni usano criteri bibliometrici 18/02/2013Marco SchaerfPagina 2

Valutazioni della Ricerca Basate su bibliometria o peer-review Bibliometria –Semplicità della valutazione –Editoriale Nature su bibliometriaEditoriale Nature –Difficoltà di comparare aree diverse e di dare criteri condivisi Peer-review –Costoso sia in tempo che in denaro –Preciso per aree limitate, MOLTO impreciso in aree disomogenee (esperienza PRIN). Difficoltà confronto tra aree 18/02/2013Marco SchaerfPagina 3

Open Access: Pros and Cons Green vs Gold Open Access (Berlin Declaration)Green vs Gold Open Access Berlin Declaration Vardi closed-or-clopen-access/fulltext Vardi predatory-scholarly-publishing/fulltext Beall’s Position on Open Access, his listOpen Access Editori Commerciali Springer is a Green OA publisher /02/2013Marco SchaerfPagina 4

Computer Science Maggiore importanza delle conferenze rispetto ad altri SSD Minore produttività (articoli su rivista) rispetto ad altri SSD area 09 (vedi mediane) Disomogeneità tra sottoaree Copertura di Web of Science (WoS,ISI) e Scopus limitata per quanto riguarda le conferenze 18/02/2013Marco SchaerfPagina 5

Conferenze vs Riviste Ernst 2006 Classical Advice rences-vs-journals.html Vardi’s CACM paper conferences-vs-journals-in-computing-research/fulltext Bowyer 2012 recommendations urnals.pdf 18/02/2013Marco SchaerfPagina 6

Conferenze vs Riviste: Mie considerazioni Vantaggi Conferenze –Rapida diffusione –Creazione comunità omogenee –Facilità di creare rapporti di ricerca Svantaggi –Comunità chiuse –Rischio di re-inventare la ruota –Scarsa visibilità verso altre aree di ricerca Esempio Fisica Alte Energie –Solo 3 riviste di riferimento –Uso massiccio di arXiv 18/02/2013Marco SchaerfPagina 7

Google Scholar, Web of Science e Scopus Rapido Confronto su Computer Science ed un autore (Maurizio Lenzerini) * Conto del numero di Proceedings, non delle Conferenze ** LNCS (e LNAI) fino al 2006 venivano considerati da WoS Article AND Proceedings *** LNCS (e LNAI) fino al 2004 venivano considerati da Scopus Article 18/02/2013Marco SchaerfPagina 8 DBArticoli CS Riviste CS Conf CS Prodotti ML Article ML Proc ML LNCS ML Cit ML H-index ML WoS1.7M~600>5000*8348**53**18** Scopus2.4M *9533***51***18*** Scholar4.7M ????309??? DBLP2M?? ?

Google Scholar, WoS e Scopus: Problemi Copertura conferenze limitata in WoS e Scopus soprattutto prima del 2006 Citazioni che si perdono (Articolo CACM)Articolo CACM –Scarsa qualità del formato delle citazioni Google Scholar non è affidabile (manca liste sorgenti) Liste di Riviste e Conferenze troppo piccole sono penalizzanti, ma troppo grandi sono dispersive e snaturano i risultati –Esempio di Matematica Applicata (Mat/07, Mat/08, Mat/09) che include nella lista delle riviste Physical Review Letters che falsa le soglie VQR 18/02/2013Marco SchaerfPagina 9

VQR : Impostazione Valutazione bibliometrica basata su: –Impact Factor o Lista di Riviste –Citazioni –Soglie per 4 fasce –Web of Science e Scopus –3 prodotti per docente –Verifica duplicazioni 18/02/2013Marco SchaerfPagina 10 Area A A A IR A B B IR IR C C D IR IR D D Citazioni WoS/Scopus IF / SJR / Ranking

VQR : differenze ING-INF/05 e INF/01 Stessa lista di riviste (oltre 1400 prese da Scopus) –Troppe riviste NON di Informatica (vedi immagine lucido seguente o scarica lista da Scopus, filtra per Computer Science (1700) e poi ordina per SJR2011 decrescente)Scopus Differente uso citazioni –Una matrice per INF/01, due per ING-INF/05 –Maggiore rilevanza alle citazioni per ING-INF/05 –Soglie per Subject Category ING-INF/05 o unica INF/01 Complessivamente, i criteri di ING-INF/05 erano leggermente più favorevoli. –Migrazione prodotti da INF/01 ad ING-INF/05. In Sapienza 3 prodotti da ING-INF/05 a INF/01 oltre 30 prodotti al contrario 18/02/2013Marco SchaerfPagina 11

18/02/2013Marco SchaerfPagina 12 Scopus CS Journals sorted by decreasing SJR

VQR : Soglie per SC WoS SottoAreaAnnoFascia AFascia BFascia C ARTIFICIAL INTELLIGENCE CYBERNETICS HARDWARE & ARCHITECTURE INFORMATION SYSTEMS INTERDISCIPLINARY APPLICATIONS SOFTWARE ENGINEERING THEORY & METHODS /02/2013Marco SchaerfPagina 13

VQR : Come affrontare il problema Troppe variabili per essere gestito a mano o dal singolo docente: –Scelta del GEV, scelta della Subject Category, gestione doppie selezioni Sviluppo di un tool VQRselect che: –Stima il punteggio assegnato da un GEV/sottoGEV ad un prodotto –Genera tutte le possibili assegnazioni di un prodotto ai vari GEV/sottoGEV –Permette al docente/Direttore di fare le assegnazioni di ogni articolo –Sceglie i migliori 3 articoli per ogni docente massimizzando il punteggio totale 18/02/2013Marco SchaerfPagina 14

Abilitazioni Requisiti minimi e valutazione commissione su 14/20 prodotti Databases utilizzati: WoS e Scopus Requisiti minimi 09/H1: 1.Numero Articoli su Rivista (??) Numero Citazioni H-index contemporaneo 66 Per ogni articolo prendere il massimo delle citazioni tra WoS e Scopus per calcolare indicatori 2 e 3. 18/02/2013Marco SchaerfPagina 15

Abilitazioni: definizione di articolo su rivista Definizione NON univoca: 1.Articolo su Rivista su Sito Docente 2.Article su WoS 3.Article su Scopus 4.Prodotti su WoS 5.Prodotti su Scopus ANVUR non chiarisce, mia interpretazione: –1 non applicabile. Sito Docente contiene migliaia di «falsi» –2 OR 3: Interpretazione realistica –4 OR 5: Ancora più probabile visti i dati 18/02/2013Marco SchaerfPagina 16

Raccomandazioni 1.Pubblicare con Case Editrici/Riviste che permettono il Green OA e salvare sempre il preprint nel proprio catalogo. 2.Crearsi dei profili su: Google Scholar My Citations AAJ&hl=en AAJ&hl=en Orcid –Usate il vostro Orcid ID negli articoli quando possibile 3.Ripulire i vostri dati su Scopus e Web of Science 4.Usare citazioni più leggibili, possibilmente inserendo il DOI 18/02/2013Marco SchaerfPagina 17

Conclusioni Valutazione in Informatica ha caratteristiche proprie: –Conferenze importanti –Citazioni spesso sottostimate –Minore produttività (solo riviste) Per questo è diversa da: –Scienze dure (Fisica, chimica, biologia e medicina) –Matematica e Ingegneria Non possiamo ignorare il problema –Dare indicazioni ai giovani –Sviluppare un sistema di valutazione nostro condiviso 18/02/2013Marco SchaerfPagina 18

Suggerimenti Creare una nostra lista di Riviste e Conferenze (meglio se condivisa a livello internazionale) che sia ben fondata: –Rappresentativa dei docenti INF/01 e ING-INF/05 –Proprietà di chiusura –Evitare figuraccia aree non bibliometrichefiguraccia Calcolare Impatto riviste e Citazioni in modo più raffinato, ad esempio: –Impatto e citazioni calcolato solo da citazioni all’interno della lista –Eliminazione autocitazioni (come definirle ?) –Controlli comportamenti scorretti 18/02/2013Marco SchaerfPagina 19

18/02/2013Marco SchaerfPagina 20 GRAZIE