Valutazione della ricerca: le opportunità offerte dallOpen Access Alberto Silvani Torino 18 ottobre 2010 Questo/a opera è pubblicato sotto una Licenza Creative Commons.Licenza Creative Commons

La crescente importanza della valutazione e le fonti per lanalisi Cresce limportanza della prassi della valutazione anche in Italia e aumenta, in proporzione, la domanda di dati ed informazioni Ma per lanalisi e lelaborazione dei dati, in quanto processo lungo e costoso, si è generato un mercato peculiare basato su disponibilità di data base, con una limitata concorrenza e pochi operatori commerciali Come conseguenza, anche dove disponibili, i dati non consentono elaborazioni dirette, richiedono verifiche e validazioni, dipendono dalla volontà di chi li produce e li detiene e necessitano di licenze per lutilizzo

Archivi istituzionali e loro funzione: qual era e come cambia Strumenti per la disseminazione dei lavori di ricerca Open source Interoperabili Già in gran parte in rete (DRIVER) Punto di raccolta di informazioni da diverse banche dati dellistituzione Punto di raccolta di dati strutturati sulla ricerca e quindi potenzialmente utilizzabili per la valutazione

Approccio e strumenti Open Access… Forniscono dati e informazioni strutturati utili alla valutazione tradizionale (anche loro) per poter essere usati in maniera sistematica necessitano di validazione (rispetto alla scelta, correttezza, completezza) Ma aprono terreni nuovi per un uso semplificato della valutazione Tuttavia ad oggi non rappresentano un nuovo paradigma a se stante e non possono rappresentare una alternativa direttamente praticabile

Le raccomandazioni della CRUI Le raccomandazioni della CRUI per la creazione di una rete di archivi istituzionali liberamente accessibili, che colloqui con le anagrafi locali della ricerca e con quella centrale secondo standard che rendano i dati confrontabili a livello nazionale e internazionale, pur se utili in generale, si inseriscono male in questo contesto, in quanto non rispondono alle esigenze esplicite di valutazione sopra esposte (in particolare rispetto ai percorsi di validazione e alle modalità di utilizzo specifico)

Però… Si delineano ipotesi di percorsi possibili. Tra questi: –Interventi sugli oggetti utilizzabili per lanalisi in termini di universo coperto, elaborazioni sui contenuti testuali, aggiornamento e tracciabilità –Maggior confrontabilità tra aree scientifiche e sperimentazione di nuovi indicatori –Esplorazione più sistematica dei contesti web-based –Definizione nel tempo e nello spazio delle relazioni a rete –Riaggregabilità rispetto a nuove esigenze –……..

Quale percorso possibile? (1/5) ProblemaObiettivo/ intervento Cosa cèCosa si dovrebbe/ potrebbe fare Strumenti Disponibilità di info complete e armonizzate Confrontabilità copertura della popolazione Archivi istituzionali (poco diffusi, poco completi, poco armonizzati) Aumentare la diffusione, la completezza e larmonizzazio ne dei dati Incentivi e vincoli procedurali

Quale percorso possibile? (2/5) ProblemaObiettivo/ intervento Cosa cèCosa si dovrebbe/ potrebbe fare Strumenti Utilizzo dei dati degli archivi per fini valutativi Aumentare qualità e quantità delle fonti promuovendo nuovi input Alcuni strumenti a livello settoriale (es. PLoS) Sperimentazio ne e condivisione di nuove procedure Coordinament o tra i progetti esistenti e nuovi progetti

Quale percorso possibile? (3/5) ProblemaObiettivo/ intervento Cosa cèCosa si dovrebbe/ potrebbe fare Strumenti Strumenti singoli (non a livello di sistema) Affrontare problemi difficili per la valutazione tradizionale (diversità degli output/limiti degli indicatori in uso/mancanza di DB bibliometrici in alcune discipline) Strumenti legati alle discipline Sperimentazio ne e condivisione di nuove procedure Coordinamento tra progetti esistenti e nuovi progetti

Quale percorso possibile? (4/5) ProblemaObiettivo/ intervento Cosa cèCosa si dovrebbe/ potrebbe fare Strumenti Competenze dei valutatori Stimolare lapertura dorizzonti per la valutazione Poca conoscenza poca consapevolezza Ricerca e formazione Risorse e concept dellinterve nto

Quale percorso possibile? (5/5) ProblemaObiettivo/ intervento Cosa cèCosa si dovrebbe/ potrebbe fare Strumenti Competenze dei committenti Capire la rilevanza, ipotizzare le potenzialità e gli sviluppi Poca conoscenza, scarsa consapevolezza Sensibilizzazi one Casi di successo ????

Larchivio come anagrafe e come contenitore di testi pieni Lutilizzo dellarchivio istituzionale come anagrafe della ricerca ma anche come database bibliometrico minimizza le differenze tra le diverse aree e le diverse tipologie di lavori di ricerca, consentendo elaborazioni non possibili in altri casi e con gli strumenti tradizionali.

Esperienze in atto Alcuni atenei: Milano, Milano Bicocca, hanno già cominciato ad utilizzare i dati degli archivi istituzionali ai fini della valutazione. I primi risultati sono buoni ma certamente migliorabili e una attenzione ancora maggiore deve essere posta sulla scelta e forma dei metadati.

Conclusioni (1/2) Siamo solo agli inizi, tuttavia una maggiore attenzione da parte degli atenei verso un uso generalizzato degli archivi (come del resto già viene fatto in Olanda, Inghilterra o Scandinavia) e una armonizzazione nelle modalità e nella forma della raccolta dei dati potrebbe rappresentare in prospettiva una reale alternativa al monopolio degli operatori commerciali, riportando il controllo sui dati della ricerca nelle mani di chi la produce e permettendo un confronto in ambito nazionale e internazionale anche per quelle aree per cui attualmente la comparabilità non è garantita

Conclusioni (2/2) Stimolare il mondo della valutazione (committenti ed esecutori) sulle potenzialità dellapproccio via archivi potrebbe costituire un importante funzione di bench- mark per la diffusione e larmonizzazione degli archivi istituzionali. Evidenziare, e rendere palese con pratiche concrete, come la valutazione via web meno si presti alla progettazione di comportamenti adattativi e opportunistici costituisce un indubbio vantaggio competitivo rispetto ad altri approcci