CIVR e SURplus: unesperienza di analisi dei dati per la valutazione della ricerca Paola Galimberti

Premessa Parlando di valutazione della ricerca ci si concentra spesso sui criteri, o sulle metodiche, o sugli indicatori, dimenticando che essi sono una conseguenza di scelte legate agli obiettivi e alle motivazioni: perché si valuta e per chi (committente), chi trae vantaggio dalla valutazione Un secondo elemento da tenere in conto è la scala di lettura: le diverse dimensioni (Ateneo, Dipartimenti, Aree/gruppi di SSD, SSD, individui) non sono direttamente scalabili o cumulabili in quanto rispondono a criteri e metodi diversi Un terzo punto sono i tempi: i fenomeni che si osservano sono dinamici e non sempre la rilevazione viene fatta nel momento giusto Di conseguenza le classifiche che ne derivano sono sempre relative e tendono alla semplificazione di fenomeni complessi

Scopo dellanalisi Tracciare un quadro chiaro della produzione e della produttività dei Dipartimenti della Facoltà di Lettere (cosa, quanto, dove e come si pubblica) Lavorare attraverso il modulo di business intelligence sui dati contenuti nellarchivio istituzionale per sperimentare nuovi indicatori e nuove metriche che permettano di superare alcune debolezze tipiche della valutazione nelle scienze umane (in particolare la molteplicità degli output e i tempi di produzione) rendendole più oggettive e dunque misurabili.

Indicatori quantitativi e indicatori qualitativi Gli strumenti che abbiamo ora a disposizione (indici bibliometrici e peer review) non sono in grado di cogliere completamente la qualità dei lavori scientifici ma solo una proxy Ciò è ancora più vero per le discipline umanistiche. I dati, soprattutto quelli quantitativi, vanno interpretati e in molti casi le analisi automatiche servono a rendere conto solo di una piccola parte della produzione scientifica

Conseguenze: problemi aperti Di cosa cè bisogno? In primo luogo di dati: Raccolti in maniera standardizzata in un unico punto avendo in mente il fine (valutare per conoscere, valutare per correggere…?) che potrebbe dunque non essere chiaro o non essere unico o variare di volta in volta Affidabilità e completezza

Quali dati per la valutazione? I dati raccolti a fini valutativi devono avere caratteristiche specifiche e richiedono dunque una archiviazione specifica (scelta dei metadati, inserimento, organizzazione, validazione) Spesso queste caratteristiche non coincidono con quelle necessarie per larchiviazione Le procedure di organizzazione e soprattutto di validazione dei dati sono costose ed implicano linterazione di professionalità specifiche

I dati sulla ricerca in Italia Manca in Italia una anagrafe della ricerca nazionale Il sito docente del MIUR contiene solo una parte molto parziale di quanto prodotto dai ricercatori italiani inoltre i dati sono sporchi perché non validati. Risultano dunque inutilizzabili per la maggior parte delle analisi valutative I dati caricati sul sito docente sono accessibili ai singoli ricercatori ma non in maniera cumulativa ai loro enti che per averli devono concordare estrazioni specifiche eventualmente a pagamento. La creazione di anagrafi della ricerca locali interoperabili con lanagrafe della ricerca nazionale è raccomandata dal documento della CRUI LOpen Access e la valutazione dei prodotti della ricerca scientifica La presenza di unanagrafe locale rende più facile la validazione dei dati contenuti

I dati e la loro elaborazione : UNIMI Si è scelto di raccogliere i dati relativi alle pubblicazioni e agli incarichi scientifici dellAteneo attraverso un archivio istituzionale, strumento predisposto secondo standard internazionali e per lo scambio dei dati. Larchivio è integrato con una serie di strumenti amministrativi e gestionali, in particolare il modulo di Business intelligence effettua le estrazioni e le elaborazioni necessarie per rispondere alle diverse domande valutative.

Larchivio istituzionale della ricerca Frutto della collaborazione di professionalità diverse (area ricerca, biblioteche, divisione sistemi informativi) Attivo dal 2005 Oltre registrazioni Buona copertura a partire dal 2005 (fra le 10 e le 11mila registrazioni ogni anno) Alimentato costantemente. Dal 2008 i dati inseriti in AIR passano ogni giorno al sito docente del MIUR evitando ai docenti inutili duplicazioni IMPORTANTE 2009 delibera SA individua in AIR la fonte privilegiata per gli esercizi di valutazione interni ed esterni

Workflow Docenti, ricercatori, assegnisti, borsisti e dottorandi inseriscono i metadati delle pubblicazioni entro un mese dalluscita. Laddove possibile aggiungono il full-text Un gruppo di 80 bibliotecari valida i dati inseriti, correggendo quanto verificabile o respingendo le registrazioni non corrette e pubblicando i record validati.

La valutazione della ricerca in ambito umanistico Di cosa cè bisogno Indicatori che tengano conto della specificità delle discipline umanistiche: Frammentazione Discipline a lenta maturazione della visibilità (diverso concetto di impatto) Modalità di comunicazione dei risultati e tipologie degli output

La Facoltà di Lettere: lesercizio pilota Una prima sollecitazione è venuta dalla valutazione delle scuole di dottorato, ma con già in mente il prossimo esercizio di valutazione nazionale. Situazione di partenza: scarsa chiarezza su quanto cosa e dove pubblicano i ricercatori della facoltà Necessità di una indagine conoscitiva che desse informazioni sulla produzione e sulla produttività della facoltà a partire da Dipartimenti che avevano una assoluta diffidenza nei confronti delle analisi quantitative. Le analisi quantitative opportunamente utilizzate possono dare indicazioni molto utili rispetto alla produzione di ricercatori e dipartimenti

La Facoltà di Lettere: lesercizio pilota Arco temporale: (associati e ordinari) 106 ricercatori Dal Dipartimenti Dati rilevanti per lo studio: Numero pubblicazioni per docente e per ricercatore nelle tipologie rilevanti (saggio, articolo, libro, inter. a conv.) al fine di individuare la produttività Utilizzo delle lingue diverse dallinglese per una definizione di internazionalizzazione Pubblicazione in riviste con IF al fine di capire quanto questo tipo di scelta sia rilevante per i diversi SSD Produttività per ricercatore allinterno dei dipartimenti per effettuare una comparazione interna Editori a cui ci si rivolge

Alcuni dati

Numero pubblicazioni docenti e ricercatori ( ) Il saggio risulta la tipologia di prodotto della ricerca più diffusa fra ricercatori e docenti

Utilizzo di lingue diverse dallitaliano DocentiRicercatori Solo il 10/20% dei lavori di ricerca sono in lingue diverse dallitaliano (non necessariamente in inglese) ad indicare la scarsa rilevanza delluso dellinglese come criterio di internazionalizzazione

Media pubblicazioni per docente allinterno dei dipartimenti ( )

Grado di collaborazione Media autori per tipologia e per anno Articolo1,1821,2331,152 Saggio1,5421,1941,688 Int. a convegno1,21,61,2 libro3,7229,4827,716 Gli umanisti lavorano per lo più da soli o con colleghi della Facoltà

Scelta delle sedi editoriali Estremamente variegata: Prestigiose university press straniere (Cambridge, Oxford) Editori internazionali di rilievo (Blackwell, Brill, Springer ACM) University press italiane (FUP, Pisa, Bari) Editori Universitari (Il Mulino, Angeli, Carocci) Editori di varia (Mondadori, Einaudi, Bompiani, Laterza ecc.) Editori a cui la Facoltà è legata da contratti

Prossimi passi Dopo aver preso coscienza di cosa quanto e dove scrivono i ricercatori afferenti alla Facoltà è stata creata una griglia che tiene conto oltre che delle pubblicazioni anche delle cariche e degli incarichi. Il prossimo passo sarà quello di assegnare un peso alle diverse voci

Larchivio e i full-text Gli archivi istituzionali sono predisposti anche per accogliere i full-text dei lavori archiviati. Ciò ha una rilevanza particolare per ambiti disciplinari in cui manca uno Citation index e a cui possono essere applicati i nuovi strumenti di misurazione del web (Web Impact factor, Usage factor) e della social scholarship (rating, inserimento negli strumenti di social tagging ecc.) che sono liberamente accessibili ed indipendenti da operatori commerciali

Larchivio e i full-text Dopo una iniziale diffidenza (e reticenza) rispetto alla archiviazione dei full-text si è cominciato a capire limportanza della visibilità data da uno strumento come larchivio istituzionale In vista del VQR larchivio è in grado di ospitare in una sorta di dark archive (accessibile solo ai valutatori) tutti i PDF editoriali delle pubblicazioni che verranno presentate (come già stato fatto per gli esercizi di valutazione australiano e britannico)

VQR e SURplus Lesercizio pilota ha fornito una serie di indicazioni per limminente VQR, a partire dallindividuazione dei ricercatori inattivi o parzialmente attivi e dal conteggio di pubblicazioni per docente nelle tipologie rilevanti. Larchivio istituzionale contiene la maggior parte dei dati necessari ad una prevalutazione interna. Si sta pensando di raccogliere i dati mancanti (abstract, parole chiave e full-text) attraverso un modulo di BI che permetta allateneo di effettuare una scelta prima che i dati vengano inviati Resta lincognita della possibilità di trasferire i dati raccolti da BI al sito Cineca

Conclusioni Lesercizio pilota si è rivelato unesperienza positiva e ha soprattutto fornito una serie di indicazioni di cui fino ad ora si aveva una percezione solo indistinta. Se il dato meramente quantitativo può di fatto essere facilmente confutato ad una analisi più raffinata (e ciò vale sia per le scienze dure che per le scienze umane) esso si rivela certamente, nella media, più solido ed atto a rendere conto di una buona parte dei lavori prodotti. Il fine a cui tendere è quello di costruire metodi condivisi nella produzione di dati robusti che pur nella loro confutabilità permettano la comparazione. Luso generalizzato degli archivi istituzionali come anagrafi della ricerca che colloquiano con lanagrafe centrale può portare a livello locale ad una maggiore e trasparente disponibilità di informazioni, a livello nazionale alla creazione di un quadro completo della produzione scientifica, affidabile e comparabile con altri sistemi di ricerca.