Incontro Nuclei di valutazione di facoltà 18 novembre 2008 MANUTENZIONE DEI DATA BASE BIBLIOMETRICI PER LA VALUTAZIONE DELLA RICERCA Estratto dalla Presentazione di C.Violani al Collegio dei Direttori di Dipartimento 30 ottobre 2009

I nuovi meccanismi di finanziamento statale dellUniversità richiedono l accountability delle attività di ricerca. Per raggiungerla e per promuovere la Valutazione Interna è necessario: Allineare i dati personali e dAteneo con quelli esterni nazionali (Anagrafe della Ricerca) e internazionali (Data Base Bibliometrici) mediante: –Laggiornamento individuale dei Data Base (DB) sui prodotti della ricerca (pubblicazioni etc.), che permetterà unadeguata partecipazione alle valutazioni esterne, nazionali (Esercizio VR) e internazionale (Ranking QS Times, ARWU etc.) che fanno ricorso ai DB e a indici bibliometrici. –Lestrazione diretta dai sistemi gestionali e da rilevazioni certificate dei dati sulle risorse disponibili per la ricerca; ciò semplificherà la definizione dei dati e ne garantirà lattendibilità. Utilizzare i dati su prodotti e risorse per valutazioni interne finalizzate a: –Individuare le criticità e riconoscere i meriti –Definire iniziative di sostegno allimpegno nelle attività di ricerca e per laccesso ai canali di finanziamento nazionali e internazionali. Presentazione NVA ai Direttori dei Dipartimenti

Luso dei Data Base Bibliometrici ISI WoS e Scopus a fini di valutazione non è esente da limiti e critiche: Ma occorre prender atto che i DB in titolo sono utilizzati in modo crescente, non solo per misure grossolane ma ad alto impatto comunicativo e politico quali sono i ranking delle migliori università del mondo. Questa presentazione ha due obbiettivi: - mostrare come sia previsto un ruolo importante dei dati bibliometrici in un prossimo esercizio di Valutazione poliennale della ricerca CIVR, e cogliere loccasione per riassumerne limpostazione così come descritta dal presidente del CIVR; - illustrare come sia urgente operare (entro il 31/12/2009) una manutenzione dei data base bibliometrici, a partire da un controllo sui Data Base ISI WoS e SCOPUS operato da ciascun addetto alla ricerca della Sapienza. Presentazione NVA ai Direttori dei Dipartimenti

Rappresentano infatti il fattore principale dellindice dell investimento in ricerca di ciascuna istituzione. Questo indice è determinato in base al numero dei suoi addetti alla ricerca, alla mobilità internazionale, allinvestimento in formazione di ricercatori, ai finanziamenti per la ricerca attratti dallesterno, e ai propri fondi dedicati alla ricerca. Gli indicatori CIVR, nonostante considerassero ricerche pubblicate nel e dati ormai lontani nel tempo, hanno determinato da soli un terzo della quota del 7% del FFO Analisi del NVA sullandamento e sulle criticità negli indicatori relativi alla partecipazione ai PRIN e ai risultati nel VI PQ nonché alle Attività formative sono state presentate in altre sedi. Qui interessa sottolineare che è necessario aumentare rapidamente la rappresentazione e laccuratezza dei prodotti della ricerca della Sapienza nelle banche dati bibliometriche. Nel modello VR CIVR le valutazioni dei prodotti della ricerca hanno avuto un ruolo preminente Presentazione NVA ai Direttori dei Dipartimenti

Ad avviso del NVA non è verosimile che i risultati di una VR (CIVR o ANVUR) perdano di rilevanza nelle prossime ripartizioni delle risorse statali fra le Università. Al contrario, aumenta lesigenza di un nuovo esercizio di valutazione nazionale della ricerca, da realizzare in tempi più brevi e, per necessità, con costi minori della VTR Date queste esigenze limpostazione proposta dal CIVR per un nuovo esercizio V R compensa laumento degli addetti e delle istituzioni da valutare con: a)la non considerazione delle 6 aree speciali della VTR ; b)il ricorso a valutazioni bibliometriche in tutte le aree cui lindice di impatto (IF) ha unapprezzabile rilevanza, come risulta nella prossima slide. Nelle aree in cui lIF è basso o assente i prodotti saranno probabilmente valutati mediante peer review. La VR Nazionale continuerà a contare molto e comprenderà degli indici bibliometrici Presentazione NVA ai Direttori dei Dipartimenti

Impact Factor dei prodotti Media ( media ) e intervallo di variazione ( ) Da F. Cuccurullo 2009 Presentazione NVA ai Direttori dei Dipartimenti

VQR – Adempimenti delle Strutture DATI E INFORMAZIONI Ricercatori (a tempo determinato, indeterminato e in formazione - dottorandi, assegnisti, borsisti post-doc e specializzandi) Personale tecnico e amministrativo Brevetti & spin-off Mobilità internazionale Entrate per finanziamenti di progetti di ricerca Impegno di risorse proprie in progetti di ricerca PUBBLICAZIONI Articoli su riviste (solo se dotate di ISSN); Libri e loro capitoli, inclusi atti di congressi (solo se dotati di ISBN); Brevetti depositati; Composizioni, disegni, design, performance, mostre ed esposizioni organizzate, manufatti, prototipi e opere d'arte e loro progetti, banche dati e software: solo se corredati da pubblicazioni atte a consentirne la valutazione. Ogni ricercatore presenta almeno DUE pubblicazioni riferite al quinquennio che lo vedano in posizione di autore o coautore. La Struttura seleziona UNA pubblicazione per la valutazione dei Panel. RAPPORTO DEL NUCLEO DI VALUTAZIONE. Da F. Cuccurullo 2009 Presentazione NVA ai Direttori dei Dipartimenti

Peer review e/o Analisi delle citazioni (IF) La scelta metodologica delluna o dellaltra compete ai Panel, che devono motivarla; Vengono valutati: strutture (Istitutions) dipartimenti singoli ricercatori singoli ricercatori Il NVA della Sapienza ha rilevato che i dati bibliometrici (Scopus o Isi WoS) che potrebbero essere usati dai Panel sono spesso imprecisi e, in particolare, molte pubblicazioni internazionali di nostri ricercatori sono mancanti. Da F. Cuccurullo 2009 Presentazione NVA ai Direttori dei Dipartimenti

Viste la rilevanza dei dati bibliometrici nella V R e lesigenza di un DB per selezionare i prodotti da proporre per la valutazione nazionale Il NVA ha adottato il DB Cineca SAPERI a cui hanno accesso i responsabili dei processi (Direttori) e della valutazione I Direttori hanno accesso ai dati SAPERI relativi al proprio dipartimento, e hanno gravose responsabilità nellapprovare le schede conferitevi dagli addetti alla ricerca Le schede conferite al sistema SAPERI mediante i siti personali Cineca docente o loginmiur contengono spesso errori Gli errori sarebbero ridotti se le schede fossero copiate o downloaded dai principali DB bibliometrici internazionali Il NVA ha fatto attivare da Cineca le procedure per effettuare lupload nel sito personale di un file.txt delle pubblicazioni che è downloadable da ISI WoS. Sul sito del NVA (Attività -> Ricerca -> Documenti) è pubblicato un PPP che le illustra Presentazione NVA ai Direttori dei Dipartimenti

RELAZIONI FRA I DATA BASE SUI PRODOTTI DELLA RICERCA ISI WoS Funzione download verso Cineca attiva Scopus Funzione download verso Cineca in preparazione DB disciplinari Econlit, Pubmed, Etc.. CINECA: Tipologie di pubblicazioni: Articolo su rivista Articolo su libro Monografia Proceedings (atti dei congressi) Brevetti Curatele Altro download.txt download.Txt in preparazione Cut&Paste Catalogo dAteneo SAPERI Rettore – NVA Direttori Dipartimenti - NVF ????? Anagrafe Nazionale della Ricerca DL 180/2008 In via di definizione Cut&Paste?Download

CARATTERISTICHE DEI DATA BASE SUI PRODOTTI DELLA RICERCA I DB internazionali (ISI, Scopus e altri disciplinari) contengono info estratte dagli indici di riviste selezionate, in base a criteri predefiniti (continuità, abstract inglese, etc.), da propri comitati che valutano periodicamente le segnalazioni e le richieste di inserimento ricevute. I dati contenutivi, così come i Citation Index, provengono solo dall'analisi dei dati bibliografici delle pubblicazioni e dei riferimenti citativi. I DB personali CINECA docente (riservato a professori e ricercatori universitari) e loginmiur (destinato a tutti gli addetti alla ricerca) sono linterfaccia per partecipare a bandi nazionali e dateneo per il finanziamento della ricerca, ed è solo in quei contesti che alcune informazioni contenutevi –selezionate dal ricercatore- sono visibili da terzi. Registrano, oltre ai dati personali, i dati sulle proprie pubblicazioni inseritivi solo dal titolare, normalmente mediante digitazioni in campi predefiniti. Consentono al titolare di estrarre file bibliografici. È stata recentemente attivata la possibilità di trasferirvi dati da ISI WoS. Ogni titolare può caricarvi anche i testi elettronici delle proprie pubblicazioni. Il Catalogo dAteneo Cineca SAPERI deriva dallo strumento mediante cui le Università conferirono i prodotti per la VTR Contiene i dati selezionati dai titolari dei siti personali Cineca e conferibili periodicamente solo mediante quei siti. LAnagrafe della Ricerca è in via di definizione, ma è ragionevole che anche essa tenga conto delle informazioni contenute nei DB CINECA. Presentazione NVA ai Direttori dei Dipartimenti

Attenzione! È urgente provvedere a un controllo delle informazioni nei DB ISI e SCOPUS per due motivi. 1) Quando i Panel di un prossimo VR useranno Scopus e/o ISI WoS per la valutazione della ricerca questi DB dovrebbero contenere tutte le pubblicazioni dei ricercatori della Sapienza qualificate per comparirvi. 2) E impossibile conferire in SAPERI le schede bibliografiche downloaded dai DB bibliometrici se incomplete o con errori Per garantire laffidabilità dei dati bibliografici i siti loginmiur.cineca.it e docente.cineca.it non consentono al ricercatore di modificare i dati, salvo che in campi marginali. I vincoli dAteneo per il conferimento a SAPERI impediscono laccettazione di schede carenti di dati, come il volume o le pagine. Quindi, se le notizie bibliografiche ISI sono incomplete, il ricercatore, dopo averle caricate sul proprio sito personale, non riuscirà a conferirle a SAPERI. È necessario che, prima di creare il file.txt per luploading, il ricercatore abbia effettuato una verifica collegandosi da un terminale della rete uniroma1.it al sito secondo le indicazioni pubblicate il 2/10/2009 nel sito web del NVA Presentazione NVA ai Direttori dei Dipartimenti

Lesigenza di un controllo dei DB bibliometrici è stata discussa dal NVA e dai Nuclei delle Facoltà il 1 ottobre. A fronte delle difficoltà riscontrate… Essendo importante che i Nuclei di valutazione di Facoltà e i responsabili delle strutture di ricerca raccomandino a tutti i colleghi di verificare se compaiano in ISI e in Scopus i propri prodotti di ricerca … Poiché la scheda che riassume le principali informazioni per accedere e verificare i dati nei due sistemi è risultata poco efficace … Su richiesta del NVA, il dott. Ezio Tarantino, InfoSapienza BIDS, ha organizzato per le prime settimane di novembre degli incontri di Formazione sullutilizzazione e laggiornamento dei dati in ISI-Web of Science e Scopus Elsevier destinati a un referente SAPERI e DB Bibliometrici da individuare in ciascun Dipartimento Presentazione NVA ai Direttori dei Dipartimenti

Formazione sullutilizzazione e laggiornamento dei dati in ISI-Web of Science e Scopus Elsevier destinati a un responsabile SAPERI e DBB per ciascun Dipartimento ciascun direttore di DIPARTIMENTO POTRÀ SEGNALARE AL NVA E AL DOTT. EZIO TARANTINO IL NOME E I RECAPITI ( e Telefono) DI UN RESPONSABILE DEL DIPARTIMENTO PER SAPERI E I DB I responsabili saranno invitati a frequentare un incontro di formazione presso InfoSapienza (ex sede Citicord). Poi, presso i propri dipartimenti, i responsabili SAPERI e DBB potranno assistere gli addetti alla ricerca che lo richiedano a svolgere autonomamente - e in prima persona - le operazioni di verifica e aggiornamento dei database bibliometrici. Grazie dellattenzione e della collaborazione Presentazione NVA ai Direttori dei Dipartimenti