Scaricare la presentazione
La presentazione è in caricamento. Aspetta per favore
1
Francesco Sylos Labini Centro Enrico Fermi & Istituto dei Sistemi Complessi, CNR, Roma & …. Valutazione e bibliometria
2
2 Contro la valutazione ?
3
3
4
4
5
5 Contro la bibliometria?
7
7 Contro la valutazione ? Contro la bibliometria?
8
F: Il feticcio bibliometrico VQR: gli indicatori bibliometrici In particolare verranno considerati: lImpact Factor di Journal Citation Reports di Thomson Reuters (IF) della rivista nellanno di pubblicazione; il numero di citazioni ricevute dal prodotto fino al 31 dicembre 2011 http://www.anvur.org/sites/anvur-miur/files/gev_documenti/gev02_criteri_21_05.pdf VQR: gli indicatori bibliometrici In particolare verranno considerati: lImpact Factor di Journal Citation Reports di Thomson Reuters (IF) della rivista nellanno di pubblicazione; il numero di citazioni ricevute dal prodotto fino al 31 dicembre 2011 http://www.anvur.org/sites/anvur-miur/files/gev_documenti/gev02_criteri_21_05.pdf
9
Report on the pilot exercise to develop bibliometric indicators for the REF Bibliometrics are not sufficiently robust at this stage to be used formulaically or to replace expert review in the REF http://www.hefce.ac.uk/pubs/year/2009/200939/
12
Solo gli apprendisti stregoni credono nelle ricette magiche Competenza scientifica Studio delle esperienze internazionali Unagenzia di valutazione tecnicamente ed eticamente adeguata
13
http://ricercatorialberi.blogspot.com13 Valutazione: strumenti bibliometrici
14
Rapporto dell'accademia delle scienze francese esprime con chiarezza tutti i limiti di questo tipo di analisi E' uno strumento utile che però deve essere affiancata alla valutazione analitica e di merito dei lavori scientifici. Può servire, quando ci sono molti candidati, a fare una rapida panoramica senza che essa costituisca un elemento decisivo della valutazione. Non si applica a ricercatori giovani Non può prescindere da una valutazione di merito sul contributo del singolo autore nei lavori a più autori. Non può essere usata per confrontare ricercatori di discipline diverse. Bisogna capire la dinamica (storica) 14 Valutazione: strumenti bibliometrici
15
15
16
16
17
17
18
18
19
19 Ike Atkare
20
20 Valutazione: strumenti bibliometrici Before we develop a pseudoscience of citation analysis, we should remind ourselves that what matters absolutely is the scientific content of a paper and that nothing will substitute for either knowing it or reading it. We should also recognize that citation often tells us more about the sociology of than about the science itself Sydney Brenner Citation Science Science 3 July 1998: Vol. 281 no. 5373 p. 53
21
21 Problema chiave Se una ipotetica commissione che avesse dovuto decidere del finanziamento di un progetto al tempo T 0 che poi ha portato al Nobel al tempo T 1 >T 0, ed avesse applicato un dato criterio (ad esempio metrico) avrebbe preso la decisione giusta?
22
22 Prevedere il futuro ….. Problema chiave
23
23 Analisi dei criteri di valutazione da un punto di vista storico Problema chiave
24
24 Top 5% Spazio alle fluttuazioni (30-60%) Finanziamento a pioggia (100%) Strategie per la divisione della torta La competizione è il motore della ricerca ?
27
27 Strategie per la divisione della torta La competizione è il motore della ricerca ?
28
Ideologia realtà
29
…. Nella ricerca conta solo l' eccellenza: ciò che non è eccellente non lascia traccia nella Storia. (Francesco Giavazzi, 22.11.2004, Corriere della Sera)
30
30 The two papers in Science 2004 and Nature 2005 are the most cited papers on graphene … The Science paper has also been acknowledged as one of the most cited recent papers in the field of Physics. 2010 Davvero?
31
E in Italia … FIRB numero di domande presentate è 3.000-4.000, probabilità di successo del 2% per ogni progetto (nel 2008 2,8%). Per superare la pre-selezione nel 2010 è stato necessario avere 60/60 Quanto costa il tempo per preparare progetti che al 98% non verranno finanziati European Research Council (Erc) : nel 2009 9,4% dei progetti presentati: 3 volte maggiore rispetto a quella italiana
32
32 http://lanl.arxiv.org/abs/1008.1586
33
33 http://lanl.arxiv.org/abs/1008.1586
34
34
35
35
38
Mentre la domanda della regina è stata la cartina di tornasole per mostrare che ci fosse un problema fondamentale nellattuale ricerca economica, nello stesso periodo i cui questa domanda è stata posta è stato reso pubblico il risultato della valutazione per le discipline economiche in Inghilterra. Il risultato è stato sorprendente: leconomia come disciplina non ha ottenuto solo un buon piazzamento, ma ha avuto la migliore valutazione accademica di tutte le discipline in Inghilterra
39
E chiaro infatti che ci sia un problema fondamentale con lattuale corso della disciplina economica se la più grande crisi globale mai avvenuta dal 1929 è esplosa lasciando la maggior parte degli economisti sorpresi. Comè possibile che una valutazione così errata sia potuta accadere?
40
In the natural sciences, outside revolutionary periods, all the scientists accept the same paradigm. Valutazione In the social sciences, however, social scientists are divided into competing schools. Each school has its own paradigm, but these paradigms are often very different from each other. The contrast is between a single paradigm and a multi-paradigm situation.
41
41 2002
42
42
43
43
45
Distretto 13: un GEV da Oscar
46
Distretto 13: un GEV da Oscar Giannino 6 primi firmatari + 2 firmatari del manifesto di Fermare il declino
47
Siamo noi la libertà, siamo noi la California
48
48
49
49
50
Supponiamo di avere un sistema di separazione dai diamanti ordinari dei diamanti rosa che hanno un valore, diciamo, mille volte superiore ai primi. Supponiamo che questo sistema funzioni in modo molto efficiente nelleliminare diamanti difettosi senza valore, ma abbia anche un difetto fondamentale: ogni tanto invece di eliminare il diamante imperfetto, elimina i diamanti rosa. Si può ben suppore che una volta scoperto questo difetto i produttori di diamanti smetterebbero subito di usarlo. Unorganizzazione sbagliata della ricerca può avere lo stesso difetto: buttare via il diamante rosa, i ricercatori che si ostinano a lavorare su ricerche di minoranza, magari impopolari per il momento, ma che sono destinati a produrre brillanti risultati in futuro.
51
Campi con diversi paradigmi Campi in cui i soggetti non sono universali (o globali) Campi interdisciplinari Campi applicativi Aspetti critici (ed irrisolti)
Presentazioni simili
