Gruppo di Lavoro per la Valutazione: GLV1 G. Chiefari, M. Diemoz, V. Vercesi.

Presentazione sul tema: "Gruppo di Lavoro per la Valutazione: GLV1 G. Chiefari, M. Diemoz, V. Vercesi."— Transcript della presentazione:

1 Gruppo di Lavoro per la Valutazione: GLV1 G. Chiefari, M. Diemoz, V. Vercesi

2 VTR CSN1 Febbraio 2005 Chiefari, Diemoz, Vercesi 2 CIVR  Comitato di Indirizzo per la Valutazione della Ricerca  Componenti del CIVR (DPCM 2. 5. 2003)  Franco Cuccurullo, Ordinario di Medicina Interna e Rettore dell'Università “G. D'Annunzio” di Chieti-Pescara (Presidente)  Mario Bressan, Ordinario di Chimica Generale presso l' Università di Chieti  Michele Coccia, Ordinario di Letteratura Latina presso l'Università di Roma “La Sapienza”  Enrico Garaci, Ordinario di Microbiologia presso l'Università di Roma “Tor Vergata“  Fiorella Kostoris Padoa Schioppa, Ordinario di Economia Politica presso l’Università di Roma “La Sapienza”  Carlo Rizzuto, Ordinario di Ingegneria presso l’Università di Genova  Renato Ugo, Ordinario di Chimica Inorganica presso l'Università di Milano

3 VTR CSN1 Febbraio 2005 Chiefari, Diemoz, Vercesi 3 Il Percorso di Gioco

4 VTR CSN1 Febbraio 2005 Chiefari, Diemoz, Vercesi 4CIV  Comitato Interno di Valutazione  Dr. H. E. Montgomery, FNAL (USA). Chair  Prof. C. Castellano, ESAOTE spa, Genova (Italy)  Dr. U. Bassler, LNPHE-U, Paris VI/VII (France)  Prof. J. Engelen, Nikhef (Netherlands)  Prof. W. F. Henning, GSI Darmstadt (Germany)  Prof. R. Paladini, University Rome “La Sapienza” (Italy)  Prof. G. Veneziano, CERN Geneva (Switzerland)  Il CIV è responsabile di  Validare i prodotti presentati dalla struttura  Stabilire la coerenza dei dati inviati al CIVR con i criteri di valutazione  Qualità, rilevanza, innovazione, internazionalizzazione, mobilità, produttività, impatto socio-economico  Elaborare un rapporto triennale (+interim annuali) con  Validazione, valutazione performance scientifica con analisi retrospettiva, impatto, responsabilità, congruità

5 VTR CSN1 Febbraio 2005 Chiefari, Diemoz, Vercesi 5 Come è il gioco  Pubblicazione delle “Linee Guida per la Valutazione della Ricerca” da parte del CIVR  La valutazione della ricerca è un processo fondato sull’analisi critica di dati e informazioni, che conduce ad un giudizio di merito  Fine ultimo: una appropriata assegnazione delle risorse  L’obiettività del processo presuppone  Criteri e metodologie predefiniti  Valutatori esterni alla struttura e non coinvolti nel processo da valutare  Valutazione della Ricerca non come processo burocratico, ma preziosa opportunità per mettere a fuoco aspetti nevralgici della performance delle strutture  L’esercizio completo si tiene con cadenza triennale  Il Ministero stabilisce l’organizzazione generale e la destinazione di adeguate strutture di supporto  Pubblicazione del “Bando di partecipazione all' esercizio 2001-2003 per la VTR, Valutazione Triennale della Ricerca”  Pubblicazione del “Bando per la segnalazione di Esperti per la Costituzione dei Comitati di Area (PANEL) per l' esercizio VTR 2001-2003"  Il CIVR si avvale di procedure informatizzate, la cui gestione è affidata al consorzio interuniversitario CINECA

6 VTR CSN1 Febbraio 2005 Chiefari, Diemoz, Vercesi 6 Le regole del gioco  Sono in gara 77 Atenei, 12 EPR, 13 Enti convenzionati  Ogni Struttura deve presentare un numero di Prodotti Selezionati della Ricerca pari al 50% della media degli FTE nel triennio 2001-2003  Ogni prodotto deve essere accompagnato da una scheda illustrativa  Al fine di calcolare gli FTE afferenti alla Struttura, gli universitari contano il 50% (didattica)  Per le pubblicazioni il riferimento CIVR è il database ISI (Institute for Scientific Information), mirrored al CILEA  http://wok.cilea.it/portal.cgi?DestApp=WOS&Func=Frame  Tipologie del CIVR per i prodotti da proporre per la selezione  Articolo su rivista  Capitolo di libro  Libro  Brevetto  Risultato di valorizzazione applicativa  Progetto, composizione, disegno e design  Performance, mostra ed esposizione  Manufatto ed opera d’arte

7 VTR CSN1 Febbraio 2005 Chiefari, Diemoz, Vercesi 7 1° giro: pubblicazioni  Il GLV1 ha selezionato le pubblicazioni da presentare con la seguente metodologia  Dai rappresentanti nazionali di esperimento sono state raccolte le pubblicazioni nel triennio in esame  Attraverso una ricerca su ISI la lista è stata verificata ed integrata  Gli assenti erano una percentuale rilevante !!!  I rappresentanti nazionali hanno ordinato ogni lista in modo congruo ai parametri della valutazione  “quality and scientific importance of the product, international level of the journals and bibliometric indexes”  Le liste sono state incrociate dal GLV per ottenere un campione rappresentativo ed esauriente delle attività della CSN1 nel triennio  Lo scopo è presentare la Fisica Subnucleare con Acceleratori  L’ottimizzazione globale è stata possibile solo dopo aver visto collegialmente tutti i prodotti INFN  Lo scopo è presentare l’INFN

8 VTR CSN1 Febbraio 2005 Chiefari, Diemoz, Vercesi 8 2° giro: manufatti e progetti  Una parte rilevante dell’attività della CSN1 risiede nella realizzazione dei suoi apparati sperimentali  Dare importanza a questi manufatti (o opere d’arte…) è fondamentale per  Sottolinearne l’alto connotato tecnologico  Evidenziarne le dimensioni (“Big Science”)  Mostrare le connessioni con il mondo industriale  Giustificare anche i finanziamenti ricevuti…  I progetti costituiscono l’elemento di continuità verso il futuro  I progetti NON possono essere strettamente “Progetti di Ricerca”  Elementi strategici per i settori multi-disciplinari  Supporto ricevuto in particolare da LNF  Importante contributo dell’INFN per fornire attrezzature, soluzioni tecnologiche o infrastrutture di calcolo da utilizzare in altri campi  Dimostrazione della vivacità intellettuale della nostra linea di ricerca

9 VTR CSN1 Febbraio 2005 Chiefari, Diemoz, Vercesi 9 Punti a favore e contro  Molto buono il valor medio degli IF anche per i non- selezionati  Il grado di proprietà (rapporto del numero di autori) è indizio di forte internazionalizzazione e quindi non è molto alto

10 VTR CSN1 Febbraio 2005 Chiefari, Diemoz, Vercesi 10 Carte e numeri Overall Scientific Productivity Subnuclear Physics 2001-2003 Papers Total FTEPapers Selected IF/paper Total IF/paper Selected Authors % Selected IF/paper/ author S 6307702063.464.750.271.28  Il numero totale di prodotti presentati dall’INFN è di 660  623 Pubblicazioni  31 Manufatti  6 Progetti  Per la CSN1: 206 Pubblicazioni, 13 Manufatti e 6 Progetti  I 13 Manufatti sono stati selezionati partendo da un campione fornito dai Rappresentanti Nazionali e sono stati discussi in riunioni plenarie dei GLV con i Presidenti Iarocci e Petronzio  I 6 Progetti sono stati scelti in modo analogo, premiando l’impatto interdisciplinare  GRID, SPARC, SPARX, PLASMON-X, CTF3, TTF

11 VTR CSN1 Febbraio 2005 Chiefari, Diemoz, Vercesi 11 Il gioco continua  Oltre ai 660 Prodotti Selezionati della Ricerca corredati da relative schede, sono state chieste due relazioni da inviare al CVI per la validazione  Produttività scientifica globale dell’Ente  Impatto Socio-Economico-Interdisciplinare  Per la prima relazione sono stati presi in esame, tra l’altro  Qualità della produzione scientifica  Confronto internazionale  Occasione per dare elementi di valutazione critica per l’IF  Grado di soddisfazione delle milestone  Contributi alle conferenze  Qualche sorpresa negativa per la scarsa presenza di italiani nei plenary talk  Per la seconda relazione volevamo abbandonare il tavolo  Highlights sulle innovazioni teconologiche  Per la CSN1: Reti, GRID, Acceleratori e + e - (SPARC/X)  Studio delle ricadute industriali ad alta tecnologia, e frazione nazionale  Il famoso questionario che molti hanno amato  Un modello macro-economico dell’impatto dell’INFN: Leontief  Il rapporto INFN-CERN: R&D e ritorno all’industria italiana

12 VTR CSN1 Febbraio 2005 Chiefari, Diemoz, Vercesi 12 Probabilità e Imprevisti  Rendere omogenee, nelle forme e nei contenuti, 225 schede non è stata impresa facile  Ancora dopo la sottomissione finale al MIUR sono stati riscontrati piccoli errori o inesattezze  La probabilità che questo venga notato può essere ritenuta bassa  Per il futuro serve ancora maggiore attenzione  Secondo il database ISI mancano comunque all’appello circa il 10% delle pubblicazioni con affiliazione INFN  Le Linee Guida stabiliscono una regola capestro per il calcolo della “proprietà” di un prodotto  La proprietà viene calcolata tenendo conto delle affiliazioni multiple  Il risultato netto è che, poiché quasi tutti i ricercatori dipendenti e incaricati firmano con doppia affiliazione (INFN and University), TUTTI i gradi di proprietà sono dimezzati  A quali imprevisti questo possa condurre non è dato sapere  Certo è che qualunque calcolo automatico che il CIVR metterà in opera (e.g. rapporto tra finanziamenti e proprietà intellettuale) ci penalizzerà  Abbiamo cercato di ottenere un intervento del Management INFN verso il CIVR, ma senza risultato

13 VTR CSN1 Febbraio 2005 Chiefari, Diemoz, Vercesi 13 I nostri giocatori  Sono stati molti, impossibile citarli tutti  Certamente degni di menzione per l’alto grado di sportività dimostrato  I coordinatori della CSN1 di questi anni  I Presidenti della CSN1: Calvetti, Dosselli, Ferroni  I responsabili nazionali di esperimento  ALEPH, ATLAS, BABAR, BTEV, CDF, CMS, COMPASS, DELPHI, FOCUS, HERA-B, JFNAL, KLOE, L3, LHCB, NA48, OPAL, ZEUS  I link del GLV1 verso gli esperimenti della CSN1  R. Tenchini, M. Curatolo, M. Morandin, D. Pedrini, M. Dell'Orso, F. Palla, A. Martin, A. Perrotta, D. Pedrini, A. Zoccoli, M. Negrini, F. Bossi, A. Cartacci, U. Marconi, E. Iacopini, F. Fabbri, D. Boscherini

14 VTR CSN1 Febbraio 2005 Chiefari, Diemoz, Vercesi 14 Primi Premi  Il CVI ha elaborato la sua relazione di accompagnamento che ha sottomesso al CIVR  Duplice incontro: 30/6-2/7 per i Prodotti e la Relazioni delle CSN, 22-23/11 per le Relazioni Scientifiche e Socio-Economiche e i dati addizionali su personale, finanze, etc  La CSN1 ha ottenuto nel report apprezzamenti di altissimo livello  Sia per la qualità generale dei prodotti selezionati  “In summary the years 2001-3 have seen a very high level of production of results based both on mature programs which have now finished and on young programs just establishing operation ”  “Over all the quantitative measures applied, the scientific productivity in his sub-field is outstanding”  Sia per i contributi specifici agli apparati sperimentali  “The pieces of equipment included a number of major contributions to the world investment in this physics”  E tutto l’INFN realizza uno score elevato  “The primary measure of productivity, publications, compare favourably with those of institutes in other countries. It is a relatively straightforward conclusion that INFN places Italy in the top 5-7 countries worldwide in the relevant fields”

15 VTR CSN1 Febbraio 2005 Chiefari, Diemoz, Vercesi 15 L’importante è partecipare

16 VTR CSN1 Febbraio 2005 Chiefari, Diemoz, Vercesi 16 Come finisce il gioco  I prodotti sono stati inseriti nel database CINECA  Un database INFN è stato messo a punto a LNF grazie al supporto del gruppo DataWeb  Il CIVR nomina i membri dei Panel (“Panelist”)  I Panelist affidano ciascun prodotto ad almeno due Esperti di Settore, selezionati per competenze  Gli Esperti valutano i prodotti, attribuendoli allo specifico livello di merito  Eccellente: il prodotto si colloca nel 20% superiore della scala di valore condivisa dalla comunità scientifica internazionale  Buono: il prodotto si colloca nel segmento 60-80%  Accettabile: il prodotto si colloca nel segmento 40-60%  Limitato: il prodotto si colloca nel 40% inferiore  I Panelist ricevono i giudizi, elaborano relazioni di consenso e la relazione di Settore  Il Panel elabora la ranking list e la comunica al CIVR: responso nel Settembre 2005 AAlmeno il 50% dei prodotti è giudicato eccellente e i rimanenti buoni BAlmeno il 30% dei prodotti è giudicato eccellente e i rimanenti buoni CAlmeno il 50% dei prodotti è giudicato eccellente o buono e i rimanenti di valore accettabile DAlmeno il 30% dei prodotti è giudicato eccellente o buono e meno del 50% di valore limitato EAlmeno il 20% dei prodotti è giudicato eccellente o buono e meno del 50% di valore limitato FMeno del 20% dei prodotti è giudicato eccellente o buono e meno del 50% di valore limitato NVOltre il 50% dei prodotti è di valore limitato

17 VTR CSN1 Febbraio 2005 Chiefari, Diemoz, Vercesi 17 I Panelist Area 02  Livio BALDI - ST Microelectronics  Gianpaolo BELLINI - Università degli Studi di Milano  Nicola CABIBBO - Università degli Studi di Roma "La Sapienza"  Antonino CATTANEO – Scuola Internazionale Superiore di Studi Avanzati  Francesco DE MARCO - Ente per le Nuove tecnologie, l’Energia e l’Ambiente  Carlo FERDEGHINI – Istituto Nazionale per la Fisica della Materia (INFM)  Ingolf LINDAU - Stanford University; Lunds Universitet  Ferdinando MACCHETTO – European Space Agency (ESA)  Giorgio PARISI - Università degli Studi di Roma “La Sapienza”  Alvio RENZINI – European Southern Observatory (ESO)  Emanuele RIMINI - Università degli Studi di Catania  Giacinto SCOLES – Scuola Internazionale Superiore di Studi Avanzati (SISSA)  Maria Beatrice VITTORELLI - Professore Emerito, Università di Palermo

18 VTR CSN1 Febbraio 2005 Chiefari, Diemoz, Vercesi 18 Game over  Voglio ringraziare Marcella e Gianni  Che mi hanno sempre aiutato, sostenuto, incoraggiato  Vogliamo ringraziare Umberto  Che ci ha spronato continuamente a fare meglio e ha contribuito non poco al lavoro quotidiano  Il Gruppo di Lavoro per la Valutazione rimette il proprio mandato nelle mani del Presidente della CSN1  Con la speranza di avere contribuito positivamente al processo di Valutazione, all’immagine della CSN1 e a quella dell’Ente  Con la certezza che momenti mistici di tale levatura non si riproporranno tanto facilmente