1 1 1 Il Sistema Universitario Campano: la cooperazione tra gli Atenei per rispondere alle sfide della società su formazione, innovazione, lavoro Università degli Studi di Napoli “L’Orientale” Napoli, giugno 2015 La valutazione della ricerca oggi in Italia: sfide e prospettive Giorgio Sirilli IRCrES-CNR Redazione ROARS Convegno

2 2 2 ROARS Inizio: 2011 Redazione: 14 membri Collaboratori: 250 Contatti: 10,6 million (Novembre 2011 – Maggio 2015) Contatti giornalieri: 500 Novembre 2011; 8,000 in 2014) Articoli pubblicati: 2,000 Commenti dei lettori: 30,000 ROARS è all’ 8° posto tra i blog culturali in Italia ROARS, un’espressione di democrazia e di partecipazione, è diventato un attore nel panorama del dibattito pubblico e nella formazione delle decisioni politiche.

3 3 3 Una breve storia della valutazione della ricerca Research Assessment Exercise (RAE) Research Excellence Framework (REF) (impact) Unificazione delle Germania Italia, un paese in ritardo Valutazione in Italia: sì o no? Sì, ma … una buona valutazione Obiettivo: adiuvante (“Valutare per promuovere”)/assegnazione delle risorse

4 4 4 Indirizzo, valutazione e controllo 1.Limitati interventi ordinamentali; fiducia ai meccanismi di autoregolazione e controllo orizzontale dei pari – enfasi sul carattere di bene pubblico della conoscenza scientifica e dell’istruzione 2.Regolazione diretta attraverso norme e direttive attuate da agenzie – rendimenti privati della ricerca e interesse privato individuale ad «investire» in capitale umano L’Italia ha scelto, con decenni di ritardo la seconda via Ha costruito un sistema istituzionale sbilanciato

5 5 5 Valutare è difficile Il ministro inglese delle finanze, William Gladstone, chiese a Michael Faraday quale fosse il valore pratico dell’elettricità. Il commento di Gladstone’s fu semplicemente “Ma in fondo, quale sarà l’utilità della sua scoperta?” “Perché, signore, vi è ogni probabilità che molto presto lei potrà tassarla.” Michael Faraday William Gladstone

6 6 6 Bruno Maksimovič Pontekorvo Fermi e Pontecorvo

7 7 7 “La fisica è una sola ma disgraziatamente oggi i fisici sono divisi in due categorie: i teorici e gli sperimentatori. Se un teorico non possiede straordinarie capacità il suo lavoro non ha senso… Per quanto riguarda la sperimentazione invece anche una persona di medie capacità ha la possibilità di svolgere un lavoro utile.” (Enrico Fermi, 1931)

8 8 8 L’indice h-index (Jorge Eduardo Hirsch) L’impatto del lavoro del singolo ricercatore Se un ricercatore ha un h-index di 20, ha pubblicato 20 articoli che hanno ricevuto 20 citazioni ciascuno.

9 9 9 Impact factor (Eugene Fardfield) L’impact factor di una rivista è una misura che riflette il numero medio di citazioni, nei due anni precedenti, degli articoli (articoli, review, proceedings, note) pubblicati in quella rivista Per esempio, se una rivista ha un impact factor di 3 nel 2008, i suoi articoli del 2006 e 2007 hanno ricevuto 3 citazioni ciascuno nel 2008

10 Il caso del grafene Andre Geim and Konstantin Novoselov dell’University of Manchester hanno vinto il Premio Nobel nella fisica nel 2010 Il loro articolo è stato pubblicato nel 2004 e nel 2007 era ampiamente citato

Il caso de grafene

12 Il Nobel e il bosone (2013) Peter Ware Higgs 13 works, mostly in “minor” journal, h-index = 6 Francois Englert 89 works, both in prestigious and minor journals, h-index = 10 W. S. Boyle h-index = 7 G. E. Smith h-index = 5 C. K. Kao h-index = 1 T. Maskawa h-index = 1 Y. Namby h-index = 17

13 L’ondata neo-liberale degli anni 1980

14 Le nuove parole chiave New public management Value for money Accountability Rilevanza Eccellenza

15 Letizia Moratti Ministro del MIUR Prima dovete dimostrare che usate in maniera efficiente ed efficace i soldi pubblici, poi apriremo i cordoni della borsa. Non è successo! L’ondata neo-liberale in Italia

16 ANVUR

17 “ Contro l’ideologia della valutazione. L’ANVUR e l’arte della rottamazione dell’università” “L’ANVUR è molto più che un organismo amministrativo fra gli altri. E’ frutto di un progetto culturale e politico di riduzione del possibile e del disboscamento del molteplice.”

18 L’ANVUR non è un accidente della storia, ma il portato coerente di un disegno di potere e di una ideologia che già di per sé è foriera di gravi conseguenze politiche e sociali a livello mondiale, ma che è del tutto inadeguata ad affrontare il problemi del mondo del sapere, della serendipity, della creatività, del molteplice, introducendo forzosamente il metro dei rapporti di mercato, cercando la “soddisfazione del cliente”, l’eccellenza a scapito della collaborazione. “Contro l’ideologia della valutazione. L’ANVUR e l’arte della rottamazione dell’università”

19 Al fondo di quello che oggi viene definito lo evaluative state c’è il governo minimo, ovvero una forma di governabilità che tende ad abdicare al ruolo e alle responsabilità della politica e a sottrarsi a ogni discussione democratica e quindi alla ricerca del consenso, per affidarsi invece alla guida di ‘piloti automatici’ ed a istanze di controllo tecnico e amministrativo. “Contro l’ideologia della valutazione. L’ANVUR e l’arte della rottamazione dell’università”

20 Il fascio della conoscenza

21 Le attività dell’università Università insegnamento ricerca “terza missione”

22 Collaborazione tra imprese innovatrici e enti pubblici

23 Cambiamenti nella vita universitaria L’università ormai dipende da: - Progressiva rilevanza della misurazione bibliometrica - Standard di qualità - Referaggi “ciechi” (qualcuno vede te, e ti giudica, ma tu non vedi lui) - Mediane bibliometriche - Classificazione delle riviste (A, B, C, …) - Citazioni opportunistiche - Turismo accademico - Onere amministrativo - …….

24 Principali risultati Un cambiamento radicale nel comportamento dei ricercatori dovuto all’introduzione della valutazione basata sulla bibliometria La valutazione basata sulla bibliometria ha una fondamentale funzione normativa rispetto alle pratiche scientifiche, che producono un profondo impatto sullo statuto epistemico delle discipline Le conseguenze epistemiche della valutazione basata sulla bibliometria (T. Castellani, E. Pontecorvo, A. Valente, Epistemological consequences of bibliometrics: Insights from the scientific community, Social Epistemology Review and Reply Collective vol. 3 no. 11, 2014).

25 1. La valutazione basata sulla bibliometria ha cambiato il modo in cui gli scienziati scelgono l’oggetto della loro ricerca: - scegliendo temi “di moda” - posizionando l’articolo nella coda di una scoperta importante (bandwagon effect) - scegliendo brevi articoli empirici 2. La fretta 3. I temi interdisciplnari sono sacrificati. I sistemi di valutazione basati sulla bibliometria scoraggiano i ricercatori a cambiare oggetto della ricerca durante la propria carriera 4. La ripetizione degli esperimenti è scoraggiata. Sono di interesse soltanto i nuovi risultati (T. Castellani, E. Pontecorvo, A. Valente, Epistemological consequences of bibliometrics: Insights from the scientific community, Social Epistemology Review and Reply Collective vol. 3 no. 11, 2014). Le conseguenze epistemiche della valutazione basata sulla bibliometria

26 Eccellenza Statuto del CNR 2011 Statuto del CNR 2015

27 San Francisco Declaration on Research Assessment Raccomandazione generale Non usare le metriche basate sulle riviste, come l’impact factor, come una misura surrogata della qualità degli articoli dei singoli ricercatori, per valutare il contributo scientifico di uno scienziato, o per decidere su reclutamento, promozioni o finanziamenti San Francisco Declaration on Research Assessment

28 La resipiscenza

29 Il Manifesto di Leida

30 “I dati sono sempre più usati per governare la scienza. Le valutazioni della ricerca che in passato erano svolte ad hoc ed eseguite dai pari sono ora routine e si basano su metriche. Il problema è che ora la valutazione è guidata dai dati invece che dal giudizio. Le metriche sono proliferate: spesso con buone intenzioni, non sempre ben informate, spesso male applicate. Corriamo il rischio di danneggiare il sistema con strumenti nati per migliorarlo, giacché la valutazione è sempre più spesso eseguita da organizzazioni sprovviste delle competenze, o delle consulenze, delle buone pratiche.” Il Manifesto di Leida

31 Il Manifesto di Leida – Dieci principi 1.La valutazione quantitativa deve supportare il giudizio ricerca qualitativo 2.Misurare le prestazioni in relazione alla missione di ricerca dell’istituzione, del gruppo o del ricercatore 3.Salvaguardare l’eccellenza nella specifica locale 4.Mantenere aperto, trasparente e semplice il processo di acquisizione dei dati e quello di analisi 5.Consentire ai valutati di verificare i dati e l’analisi 6.Tenere conto delle differenze tra aree disciplinari nelle pratiche di pubblicazione e citazione 7.Basare la valutazione dei singoli ricercatori su un giudizio qualitativo del loro portafoglio scientifico 8.Evitare finta concretezza e falsa precisione 9.Riconoscere gli effetti sistemici della valutazione e degli indicatori 10.Verificare regolarmente la qualità degli indicatori ed aggiornarli

32 Le classifiche delle università Le principali fonti delle classifiche ARWU Shangai (Shangai, Jiao Tong University) QS World University Ranking THE University Ranking (Times Higher Education) US News e World Reports (Best Global Universities)

Criteri Ricerca Insegnamento Impiegabilità Internazionalizzazione Strutture Responsibilità sociale Innovazione Arte e cultura Inclusità Criteri specialistici Top UNIVERSITIES Worldwide university rankings, guides & events

34 Le classifiche globali coprono circa il 3-5% delle università

35 ARWU Shangai (Shangai, Jiao Tong University) QS World University Ranking THE University Ranking (Times Higher Education) US News e World Reports (Best Global Universities) ARWU Shangai: Bologna 173,, Milano 186, Padova 188, Pisa 190, Sapienza 191 QS World University Ranking: Bologna 182,, Sapienza 202, Politecnico Milano 229 World University Ranking SA: Sapienza 95, Bologna 99, Pisa 184, Milano 193 US News e World Report: Sapienza 139, Bologna 146, Padova 146, Milano 155 Le classifiche delle università: il caso dell’Italia

36 Valutazione della Qualità della RIcerca (VQR) 300 milioni di Euro (ROARS) 182 milioni di Euro (Geuna) Research Assessment Exercise (RAE) 540 milioni di Euro Research Excellence Framework (REF) 1 milione di Sterline (500 milioni) La valutazione è costosa

37 La valutazione è costosa

38 La valutazione è costosa Abilitazione Scientifica Nazionale: 126 million Euro - Costo per domanda: euro - Costo per assunzione: euro

39 Prospettive Non si torna indietro Il sistema è stato misurato ed è cambiato Coscienza delle limitazioni delle metriche La sfida: evitare che la valutazione produca più problemi che soluzioni Principali problemi: Classifiche Competizione/collaborazione degli scienziati Peer review/bibliometria Scienze “naturali” e “umane e sociali” Comportamento opportunistico La spaccatura della comunità accademica L’equilibrio tra insegnamento, ricerca e terza missione Burocratizzazione L’uso della valutazione nelle decisioni politiche

40 Prospettive ANVUR (Consiglio direttivo) VQR.2 (in fase di inizio) ASN.2 (mediane) AVA (visite in corso) Terza missione (studio)

41 Valutazione della ricerca Grazie dell’attenzione