Francesco Sylos Labini Centro Enrico Fermi & Istituto dei Sistemi Complessi, CNR, Roma & …. Valutazione e bibliometria

2 Contro la valutazione ?

3

4

5 Contro la bibliometria?

7 Contro la valutazione ? Contro la bibliometria?

F: Il feticcio bibliometrico VQR: gli indicatori bibliometrici In particolare verranno considerati: lImpact Factor di Journal Citation Reports di Thomson Reuters (IF) della rivista nellanno di pubblicazione; il numero di citazioni ricevute dal prodotto fino al 31 dicembre VQR: gli indicatori bibliometrici In particolare verranno considerati: lImpact Factor di Journal Citation Reports di Thomson Reuters (IF) della rivista nellanno di pubblicazione; il numero di citazioni ricevute dal prodotto fino al 31 dicembre

Report on the pilot exercise to develop bibliometric indicators for the REF Bibliometrics are not sufficiently robust at this stage to be used formulaically or to replace expert review in the REF

Solo gli apprendisti stregoni credono nelle ricette magiche Competenza scientifica Studio delle esperienze internazionali Unagenzia di valutazione tecnicamente ed eticamente adeguata

Valutazione: strumenti bibliometrici

Rapporto dell'accademia delle scienze francese esprime con chiarezza tutti i limiti di questo tipo di analisi E' uno strumento utile che però deve essere affiancata alla valutazione analitica e di merito dei lavori scientifici. Può servire, quando ci sono molti candidati, a fare una rapida panoramica senza che essa costituisca un elemento decisivo della valutazione. Non si applica a ricercatori giovani Non può prescindere da una valutazione di merito sul contributo del singolo autore nei lavori a più autori. Non può essere usata per confrontare ricercatori di discipline diverse. Bisogna capire la dinamica (storica) 14 Valutazione: strumenti bibliometrici

15

16

17

18

19 Ike Atkare

20 Valutazione: strumenti bibliometrici Before we develop a pseudoscience of citation analysis, we should remind ourselves that what matters absolutely is the scientific content of a paper and that nothing will substitute for either knowing it or reading it. We should also recognize that citation often tells us more about the sociology of than about the science itself Sydney Brenner Citation Science Science 3 July 1998: Vol. 281 no p. 53

21 Problema chiave Se una ipotetica commissione che avesse dovuto decidere del finanziamento di un progetto al tempo T 0 che poi ha portato al Nobel al tempo T 1 >T 0, ed avesse applicato un dato criterio (ad esempio metrico) avrebbe preso la decisione giusta?

22 Prevedere il futuro ….. Problema chiave

23 Analisi dei criteri di valutazione da un punto di vista storico Problema chiave

24 Top 5% Spazio alle fluttuazioni (30-60%) Finanziamento a pioggia (100%) Strategie per la divisione della torta La competizione è il motore della ricerca ?

27 Strategie per la divisione della torta La competizione è il motore della ricerca ?

Ideologia realtà

…. Nella ricerca conta solo l' eccellenza: ciò che non è eccellente non lascia traccia nella Storia. (Francesco Giavazzi, , Corriere della Sera)

30 The two papers in Science 2004 and Nature 2005 are the most cited papers on graphene … The Science paper has also been acknowledged as one of the most cited recent papers in the field of Physics Davvero?

E in Italia … FIRB numero di domande presentate è , probabilità di successo del 2% per ogni progetto (nel ,8%). Per superare la pre-selezione nel 2010 è stato necessario avere 60/60 Quanto costa il tempo per preparare progetti che al 98% non verranno finanziati European Research Council (Erc) : nel ,4% dei progetti presentati: 3 volte maggiore rispetto a quella italiana

32

33

34

35

Mentre la domanda della regina è stata la cartina di tornasole per mostrare che ci fosse un problema fondamentale nellattuale ricerca economica, nello stesso periodo i cui questa domanda è stata posta è stato reso pubblico il risultato della valutazione per le discipline economiche in Inghilterra. Il risultato è stato sorprendente: leconomia come disciplina non ha ottenuto solo un buon piazzamento, ma ha avuto la migliore valutazione accademica di tutte le discipline in Inghilterra

E chiaro infatti che ci sia un problema fondamentale con lattuale corso della disciplina economica se la più grande crisi globale mai avvenuta dal 1929 è esplosa lasciando la maggior parte degli economisti sorpresi. Comè possibile che una valutazione così errata sia potuta accadere?

In the natural sciences, outside revolutionary periods, all the scientists accept the same paradigm. Valutazione In the social sciences, however, social scientists are divided into competing schools. Each school has its own paradigm, but these paradigms are often very different from each other. The contrast is between a single paradigm and a multi-paradigm situation.

42

43

Distretto 13: un GEV da Oscar

Distretto 13: un GEV da Oscar Giannino 6 primi firmatari + 2 firmatari del manifesto di Fermare il declino

Siamo noi la libertà, siamo noi la California

48

49

Supponiamo di avere un sistema di separazione dai diamanti ordinari dei diamanti rosa che hanno un valore, diciamo, mille volte superiore ai primi. Supponiamo che questo sistema funzioni in modo molto efficiente nelleliminare diamanti difettosi senza valore, ma abbia anche un difetto fondamentale: ogni tanto invece di eliminare il diamante imperfetto, elimina i diamanti rosa. Si può ben suppore che una volta scoperto questo difetto i produttori di diamanti smetterebbero subito di usarlo. Unorganizzazione sbagliata della ricerca può avere lo stesso difetto: buttare via il diamante rosa, i ricercatori che si ostinano a lavorare su ricerche di minoranza, magari impopolari per il momento, ma che sono destinati a produrre brillanti risultati in futuro.

Campi con diversi paradigmi Campi in cui i soggetti non sono universali (o globali) Campi interdisciplinari Campi applicativi Aspetti critici (ed irrisolti)