La valutazione delle riviste nelle aree umanistiche e sociali Marco Malgarini ANVUR Pratiche di qualità: la valutazione nelle riviste e delle riviste Viterbo, 9 novembre 2018

Sommario Perché classificare le riviste? Cenni al dibattito teorico e all’esperienza internazionale La valutazione delle riviste ai fini dell’Abilitazione Scientifica Nazionale: un po’ di storia I criteri di classificazione La classificazione delle riviste nell’area delle scienze politiche e sociali Le prospettive: evoluzione e problemi aperti

La classificazione delle riviste: cenni teorici e esperienze internazionali Classificazioni o classifiche (rating o ranking) di riviste sono spesso usate nei processi di valutazione L’idea è che l’informazione ottenuta classificando la rivista possa essere di aiuto anche nella valutazione dei singoli articoli in essa contenuti e, per estensione, in quella dei ricercatori Nelle scienze tecnologiche, ingegneristiche e matematiche (STEM) le riviste possono essere classificate ed ordinate sulla base di indicatori di tipo quantitativo basati sulle citazioni (Impact Factor, Article Inference Score, e altri) L’uso di tali indicatori è però notevolmente avversato in letteratura, principalmente perché si può dimostrare che la distribuzione delle citazioni tra gli articoli di una stessa rivista è in genere asimmetrica e non normale Di conseguenza, un indicatore citazionale medio non è in grado di rappresentare adeguatamente la qualità dei singoli articoli

La classificazione delle riviste: cenni teorici e esperienze internazionali Nelle aree umanistiche e sociali (HSS) tali problemi sono ancora più gravi, dato che le citazioni tendono ad accumularsi più lentamente che nei settori STEM e le stesse banche dati citazionali internazionali sono meno affidabili In questi settori, quindi, l’eventuale classificazione delle riviste è in genere basata sul giudizio esperto e non su indicatori citazionali Secondo la letteratura (Bonaccorsi e Ferrara, 2015), è opportuno che: I criteri alla base della selezione degli esperti siano trasparenti La composizione del panel di esperti sia pubblica La classificazione sia aggiornata regolarmente La classificazione sia effettuata consultando anche le società scientifiche di settore

La classificazione delle riviste: cenni teorici e esperienze internazionali A livello internazionale, una delle prime esperienze di questo tipo è stata quella lanciata dalla European Science Foundation nel 2001 L’European Reference Index for Humanities (ERIH) è stato pubblicato per la prima volta nel 2007-08, ed è attualmente gestito dal Norwegian Center for Research Data (NSD): https://dbh.nsd.uib.no/publiseringskanaler/erihplus/index Per essere inclusi nella lista, le riviste devono essere attive da almeno due anni e rispondere ai seguenti criteri: Il sito internet della rivista deve contenere una descrizione del processo di revisione adottato, assicurando che i revisori siano indipendenti dagli autori Il sito deve contenere la lista di tutti i membri dell’Editorial Board La rivista deve avere un codice ISSN valido, confermato da ISSN International Tutti gli articoli scientifici devono essere accompagnati da un abstract in inglese Le riviste devono fornire la lista dell’affiliazione degli autori degli ultimi 2 anni Non più di due terzi degli autori devono provenire dalla stessa istituzione

La classificazione delle riviste: cenni teorici e esperienze internazionali L’NSD amministra anche la Nordic List, costruita come unione delle liste dei singoli paesi del nord europea (Norvegia, Svezia, Islanda, Danimarca e Finlandia) La lista comprende attualmente 33,638 riviste di tutte le aree scientifiche, classificate in due classi (level 1 e level 2) Per essere ammessa nella lista una rivista deve avere: 1. Procedure di revisione tra pari certificate 2. Un editorial board di tipo accademico 3. Autori internazionali o nazionali (esclusi i journal con più di 2/3 di autori da una stessa istituzione) 4. Codice ISSN certificato Altre liste sono state negli anni pubblicati e poi ritirate in Francia e Australia In Spagna, esiste una lista, aggiornata piuttosto raramente, di riviste spagnole operanti nei settori delle scienze sociali e umanistiche, divisa per settori disciplinari (http://epuc.cchs.csic.es/resh/)

La valutazione delle riviste ai fini della ASN In Italia, la classificazione delle riviste si rende necessaria alla luce del dettato della L. 240/2010, che prevede il conseguimento di una Abilitazione Scientifica Nazionale per l’accesso al ruolo di Professore Universitario di I e II Fascia L’Abilitazione Scientifica è decisa da Commissioni Nazionali, organizzate su base disciplinare per Settore Concorsuale Per accedere al giudizio delle Commissioni (e anche per farne parte) occorre preliminarmente soddisfare almeno 2 di 3 indicatori di produzione scientifica, calcolati separatamente per le area cosiddette bibliometriche e non bibliometriche Per le aree non bibiliometriche, i 3 indicatori sono il numero di articoli su riviste scientifiche e capitoli di libro; il numero di articoli su riviste di Fascia A; il numero di monografie. Al momento dell’avvio della prima tornata dell’ASN, nel 2012, è stato quindi necessario per prima cosa definire cosa si intenda per rivista scientifica e di fascia A, e classificare le riviste sulla base di tale definizione

La valutazione delle riviste ai fini della ASN Il DM 76/2012 di avvio della ASN fornisce la definizione di rivista scientifica e di rivista di Fascia A Tale definizione è stata confermata successivamente anche dal DM 120/2016: Sono scientifiche le riviste dotate di ISSN che godono di buona reputazione presso la comunità scientifica di riferimento e hanno diffusione almeno nazionale Sono di Fascia A le riviste, dotate di ISSN, riconosciute come eccellenti a livello internazionale per il rigore delle procedure di revisione e per la diffusione, stima e impatto nelle comunità degli studiosi del settore, indicati anche dalla presenza delle riviste stesse nelle maggiori banche dati nazionali e internazionali Il compito di classificare le riviste è affidato all’ANVUR, che si avvale di un Gruppo di lavoro appositamente selezionato Il Gruppo di Lavoro Riviste e Libri scientifici è attualmente articolato in 6 sotto-gruppi disciplinari (per le aree 8a, 10, 11a, 12, 13 e 14), e composto da 42 esperti Gli esperti sono scelti dal Consiglio Direttivo dell’ANVUR tra quanti rispondono ad una manifestazione di interesse pubblicata sul sito dell’Agenzia

La valutazione delle riviste ai fini della ASN Il compito è reso particolarmente difficoltoso dalla mancanza, nell’ordinamento italiano, di una vera e propria anagrafe della ricerca La produzione scientifica di docenti e ricercatori è archiviata nel sito Loginmiur o nei CRIS delle singole università Loginmiur non può però essere considerato alla stregua di una vera e propria anagrafe delle ricerca: Può contenere anche pubblicazioni di carattere non propriamente scientifico ma divulgativo o professionale (working papers, articoli divulgativi, articoli su periodici professionali, etc) Al momento del varo della ASN 2012, quindi, ad ANVUR fu affidato il compito di classificare * TUTTE * le sedi di pubblicazione che comparivano allora nella banca dati Loginmiur in cui i ricercatori italiani avevano pubblicato almeno un articolo nel periodo 2002-2012 In occasione della prima classificazione, il numero totale di riviste considerate era superiore a 60mila

La valutazione delle riviste ai fini della ASN La classificazione è quindi aggiornata periodicamente: Ogni anno, le riviste possono fare domanda di classificazione (tra le riviste scientifiche o di Fascia A) utilizzando una apposita interfaccia predisposta dal CINECA La domanda può essere presentata dal Direttore Responsabile della rivista o dall’editore Per le sole riviste straniere, studiosi e ricercatori possono presentare domanda di classificazione utilizzando un indirizzo mail dedicato (riviste@anvur.it) Ogni cinque anni, le riviste di Classe A sono controllate al fine di verificare la permanenza dei requisiti di classificazione. Se la revisione ha esito negativo, le riviste sono sottoposte a procedura di declassamento ANVUR effettua controlli d’ufficio riguardanti i codici ISSN (inserimento di nuovi codici, versione elettronica di nuove riviste già classificate, etc) che possono dar luogo ad integrazioni delle liste Riviste indicizzate WOS/Scopus sono classificate tra le scientifiche, previa verifica da parte del GdL della pertinenza all’area di riferimento (art. 7)

Riviste scientifiche e di Classe A Area Riviste scientifiche Classe A 8 – Architettura 2115 305 10 – Scienze dell’antichità, filologico-letterarie e storico artistiche 6488 1992 11 – Scienze storiche, filosofiche e pedagogiche 6873 1420 12 – Scienze giuridiche 2330 422 13 – Scienze economiche e statistiche 7150 1031 14 – Scienze politiche e sociali 3988 1059 Totale 20016 5477

Riviste di Classe A – Area 14 SC Classe A 14/A1 49 14/A2 485 14/B1 26 14/B2 245 14/C1 509 14/C2 513 14/C3 507 14/D1 506

I criteri di classificazione: requisiti minimi per la scientificità I criteri di valutazione sono fissati in primo luogo dal DM criteri e parametri della ASN, e quindi ulteriormente articolati in un Regolamento dell’ANVUR La valutazione si articola in tre fasi distinte: Valutazione dei pre-requisiti (art. 2 del Regolamento) Valutazione dei requisiti minimi (art. 5 e 6) Valutazione dei requisiti di processo e di prodotto (art. 10-16) I pre-requisiti definiscono l’ambito di applicazione del regolamento e sono: Possesso di un codice ISSN Per le riviste elettroniche, soddisfacimento dei requisiti fissati dal CNR nel 2014 Non rientrare nelle seguenti categorie: Giornali quotidiani, riviste settimanali Periodici di cultura varia, politica, attualità, costume Periodici di mere segnalazioni, schede e note bibliografiche House organ aziendali Bollettini e newsletter Siti, portali e blog Atti di accademie non registrati come riviste

I criteri di classificazione: requisiti minimi per la scientificità Working paper Pubblicazioni con sottomissione dei manoscritti non aperta Riviste professionali e di istituzioni pubbliche non scientifiche Riviste politiche o sindacali Requisiti minimi per la scientificità sono (art. 5): Esistenza di un processo di revisione almeno a singolo cieco Numero di lavori sottoposti a revisione proporzionato rispetto agli altri prodotti pubblicati Non possono inoltre essere considerate scientifiche le riviste (art. 6): Di mera divulgazione scientifica Di taglio professionale e aggiornamento

I criteri di classificazione: requisiti minimi per la classe A Requisiti minimi per la Fascia A sono (art. 5): Esistenza di un processo di revisione in genere a doppio cieco, che garantisca trasparenza, autonomia rispetto agli organi e assenza di conflitti di interesse Sottoporre a revisione tutti i contributi scientifici (escluse recensioni, schede bibliografiche, introduzioni o postfazioni di carattere informativo, etc) Inoltre (art. 6), ai fini della inclusione in fascia A deve essere rispettato almeno uno dei due seguenti requisiti: Valutazione positiva nelle ultime due VQR (ove applicabile): Presentazione di almeno un contributo nelle ultime due VQR; Nell’ultima VQR, valutazione media superiore di almeno il 20% rispetto a quella media delle riviste scientifiche dei settori di riferimento Adeguato livello di prestigio e impatto: Per l’area 13, sono ammesse solo le riviste che sono indicizzate WOS/Scopus (art. 6, comma 7) Per le altre aree, i Gdl verificano il livello di impatto attestato o potenziale, attraverso un’influenza teorica e/o applicativa, che la rivista ha esercitato, o è suscettibile di esercitare in futuro, sulla comunità scientifica di riferimento (Delibera ANVUR n. 201/2018);

I criteri di classificazione: i requisiti di processo e di prodotto I requisiti di processo e di prodotto sono verificati in misura diversa per la scientificità e la Classe A: Regolarità delle pubblicazioni (art. 11): Scientificità: periodicità regolare e corrispondenza tra periodicità dichiarata ed effettiva Classe A: esatta corrispondenza tra uscite programmate ed effettive e assenza di accorpamenti Composizione degli organi (art. 12): Scientificità: i membri strutturati in Università o Enti italiani o stranieri devono essere in numero almeno pari agli altri componenti Classe A: i membri strutturati in Università o Enti italiani o stranieri devono essere in larga maggioranza Diffusione nella comunità scientifica (art. 13): Scientificità: gli autori che pubblicano sulla rivista devono essere in misura apprezzabile strutturati presso Università o Enti italiani o stranieri Classe A: gli autori che pubblicano sulla rivista devono essere in maggioranza strutturati presso Università o Enti italiani o stranieri

I criteri di classificazione: i requisiti di processo e di prodotto Accessibilità dei contenuti (art. 14): Scientificità e Classe A: essere presenti in almeno 6 biblioteche e consentire sul web l’accesso aperto ad almeno gli indici Classe A per l’Area 13: indicizzazione nelle banche dati WOS o SCOPUS Carattere scientifico dei contributi (art. 15): Scientificità: taglio critico e sufficiente informazione bibliografica riscontrati in un numero di lavori proporzionato rispetto agli altri prodotti pubblicati in ciascun fascicolo Classe A: una larga maggioranza dei prodotti considerati scientifici secondo le caratteristiche di ciascuna area scientifica si segnala per l’ampiezza dell’articolazione e dell’analisi critica, oltre che per la completezza delle fonti e dell’informazione bibliografica. Apertura internazionale (art. 16): Classe A: deve essere verificata almeno una delle seguenti caratteristiche: Indicizzazione in WOS/Scopus Presenza continua e significativa di autori stranieri Presenza continua e significativa di contributi in lingua estera

I criteri di classificazione: i requisiti di processo e di prodotto Apertura internazionale (art. 16): Alternativamente, sempre per la Classe A, devono essere verificati congiuntamente i seguenti indicatori secondari: a presenza di un sito internet con indici, abstract e materiali anche in lingua estera; la presenza di un comitato scientifico internazionale ovvero di studiosi stranieri nella direzione e/o nella redazione; la presenza di abstract in una delle principali lingue veicolari diversa dall'italiano; la presenza nelle biblioteche scientifiche di un numero cospicuo di Paesi esteri.

La classificazione delle riviste: i prossimi passi ANVUR ha iniziato una riflessione per una parziale revisione dell’attuale regolamento di classificazione, soprattutto per quanto riguarda i criteri per la Classe A Alcune criticità sono state in effetti riscontrate nell’applicazione del criterio VQR, che può avere una debole rilevanza statistica nel caso in cui siano stati sottomessi a valutazione solo pochi prodotti (soprattutto per le riviste di più recente istituzione) Sembra inoltre opportuna una più generale riflessione sui criteri di processo e di prodotto, nella direzione di definire ove possibile criteri e indicatori oggettivi e verificabili a cui legare la classificazione Possibili indicatori di qualità delle riviste possono riguardare: la qualità del processo editoriale e di revisione Gli standard editoriali in termini di tempistica di pubblicazione La trasparenza e l’accessibilità

Esempi di possibili indicatori Indicatori di processo editoriale: Velocità del processo editoriale (tempo medio tra prima sottomissione e accettazione) Processo editoriale (numero medio di revisioni per articolo; numero medio di revisori per articolo; informazioni su provenienza dei revisori) Composizione dell’editorial board e dei referee (provenienza accademica; genere; qualità della ricerca) Indicatori di selettività: Tasso di rifiuto da parte dell’editor (Desk rejection) Tasso di accettazione (dopo il processo di peer review) Numero totale di articoli annui Indicatori geografici: Paesi di origine degli autori Composizione geografica dell’editorial board e dei revisori Lingue di pubblicazione Indicatori di trasparenza e accessibilità: Pubblicazione degli abstract Pubblicazione di articoli open access Indicatori di diffusione (indicizzazione; presenza in database nazionali; presenza in biblioteche)

Grazie