Gruppo di Lavoro per la Valutazione della Ricerca Chiefari, Diemoz, Dosselli, Vercesi

CSN1 - 05/04/2004Chiefari,Diemoz,Dosselli,Vercesi2 Definizioni e presupposti Pubblicazione delle Linee Guida per la Valutazione della Ricerca da parte del CIVR (MIUR) La valutazione della ricerca è un processo fondato sullanalisi critica di dati e informazioni, che conduce ad un giudizio di merito. Lobiettività del processo presuppone Criteri e metodologie predefiniti Valutatori esterni alla struttura e non coinvolti nel processo da valutare Lesercizio completo si tiene con cadenza triennale Il Ministero stabilisce lorganizzazione generale e la destinazione di adeguate strutture di supporto Valutazione della Ricerca non come processo burocratico, ma preziosa opportunità per mettere a fuoco aspetti nevralgici della performance delle strutture Qualità e rilevanza della produzione scientifica, nuove frontiere Originalità, innovazione, internazionalizzazione Capacità di gestire risorse, dare risposte a grandi temi sociali Indicazioni per pianificazione strategica degli interventi per la ricerca

CSN1 - 05/04/2004Chiefari,Diemoz,Dosselli,Vercesi3 Valutazione Triennale della Ricerca Decreto del MIUR n. 2206, registrato alla Corte dei Conti il 12 marzo 2004 Disciplina il processo di valutazione dei risultati della ricerca, che riguarda le seguenti strutture Università (statali, non statali legalmente riconosciute) Enti di ricerca, ENEA e ASI altri soggetti pubblici e privati che svolgono attività di ricerca, su esplicita richiesta… L'attuazione e la gestione del processo sono affidate al Comitato di Indirizzo per la Valutazione della Ricerca (CIVR) Lesercizio di valutazione coinvolge il personale di ricerca delle Strutture (a tempo indeterminato e a tempo determinato), che ha come esito principale della propria attività la pubblicazione di prodotti di ricerca Ai fini del presente decreto per personale di ricerca si intende professori e ricercatori delle Università (con peso 0,5 ETP) ricercatori degli Enti di ricerca (con peso 1 ETP) personale di ricerca dipendente dagli altri soggetti pubblici e privati (con peso variabile, rapportato allimpegno contrattuale finalizzato alla ricerca)

CSN1 - 05/04/2004Chiefari,Diemoz,Dosselli,Vercesi4 Bando di partecipazione Primo esercizio di Valutazione Triennale della Ricerca (VTR) Lesercizio è rivolto alla valutazione della performance scientifica delle Strutture di ricerca di cui al decreto Lesercizio verrà articolato sulle 14 Aree disciplinari indicate dal Comitato Universitario Nazionale (CUN) e su 6 Aree speciali Per ogni Area viene costituito presso il CIVR un unico Comitato (Panel) di Area, con esperti di alto livello, anche stranieri, scelti sulla base della specializzazione, capacità ed esperienza La valutazione viene effettuata sulla base di elementi conoscitivi forniti dalle Strutture interessate alla valutazione, che sono di tre tipi prodotti scientifici selezionati dalle Strutture stesse tra quelli ritenuti i migliori e più significativi, atti a dimostrarne la qualità e consistenza scientifica dati sulle dimensioni complessive della Struttura, in termini di risorse disponibili e acquisite e sul loro impiego nella ricerca un rapporto triennale da parte del proprio Nucleo o Comitato di Valutazione (NUV/CIV) o, in sua assenza, da parte dei responsabili della Struttura stessa

CSN1 - 05/04/2004Chiefari,Diemoz,Dosselli,Vercesi5 Scaletta temporale Lelenco dei prodotti selezionati da parte delle Strutture (punto 1), pari al 50% del numero medio di ETP nel triennio e validati dai NUV/CIV dovranno essere trasmessi per via telematica (CINECA) ai Panel entro il 30 giugno 2004 Per la CSN1 corrispondono a circa 200 prodotti I dati e le informazioni di cui al punto 2), nonchè i rapporti dei NUV/CIV, di cui al punto 3), dovranno essere trasmessi al CIVR entro il 31 dicembre 2004 Varie informazioni riguardanti la performance della ricerca, elementi di valutazione dellimpatto socio-economico, mobilità,… Il Rapporto dei Panel, che deve pervenire al CIVR entro il 30 giugno 2005, è un rapporto collegiale articolato in tre parti distinte Valutazione dei singoli prodotti (consensus report) Riesame critico dei giudizi di merito degli esperti esterni, ricondotti ad un momento di sintesi, articolato in quattro livelli (eccellente; buono; accettabile; limitato). Ranking list delle Strutture Attribuisce le Strutture a fasce di merito predefinite dal CIVR Relazione finale Punti di forza e di debolezza dellArea a livello complessivo in relazione ai vari aspetti presi in esame (merito scientifico, produttività, impatto del settore scientifico nel confronto internazionale), suggerendo, ove possibile, specifici interventi, che permettano di migliorare le opportunità e gli aspetti ritenuti critici Al CIVR compete la stesura della relazione finale dellesercizio del VTR, da consegnare al Ministro entro il 31 marzo 2006, che comprende: il giudizio di merito per ogni singola Struttura la valutazione di merito complessivo del sistema nazionale della ricerca, sia per Area che globale, che emerge dalla integrazione degli elementi di analisi a disposizione del CIVR

CSN1 - 05/04/2004Chiefari,Diemoz,Dosselli,Vercesi6 Criteri di Valutazione

CSN1 - 05/04/2004Chiefari,Diemoz,Dosselli,Vercesi7 Numerologia Selezionati a partire dalle priorità date dai Responsabili Nazionali. Utilizzati criteri legati allIF, notorietà, etc

CSN1 - 05/04/2004Chiefari,Diemoz,Dosselli,Vercesi8 Statistiche

CSN1 - 05/04/2004Chiefari,Diemoz,Dosselli,Vercesi9 Prodotti selezionati della Ricerca Due tipologie di prodotti Pubblicazioni: caratteristici della nostra produttività scientifica Progetti: rappresentativi delle grandi realizzazioni sperimentali e dei contatti con il mondo industriale Ogni prodotto sarà presentato solamente tramite una scheda, contenuta in un massimo di 3500 caratteri, che deve riportare riferimenti bibliografici area e disciplina di riferimento un riassunto (abstract) Comprensibile ad un fisico quadratico medio (non cè Panel dedicato allINFN) laffiliazione degli autori ogni notizia utile a definire il collocamento internazionale leventuale carattere interdisciplinare e la notorietà del prodotto, nonché l'autorevolezza della rivista / editore / manifestazione / ecc., con cui è stato reso pubblico, inclusi, se applicabili e rilevanti, gli indici bibliometrici (ad esempio, impact factor, citation analysis e recensioni 5 parole chiave scelte dallapposito menu della procedura informatizzata del CINECA

CSN1 - 05/04/2004Chiefari,Diemoz,Dosselli,Vercesi10 Confronto con altri Enti Dati da relazione CIVR e database ISI, anno 2000 CIVR: numero risultante dalla relazione annuale ISI: numero ottenuto dal database con ricerca per Ente Tot: numero totale di lavori dichiarato dagli Enti (anche non su rivista) ISI All: numero totale (non solo article) di lavori risultanti su ISI

CSN1 - 05/04/2004Chiefari,Diemoz,Dosselli,Vercesi11 Next steps Ogni esperimento ha fornito al GLV un rappresentante che seguirà il lavoro di preparazione dei prodotti Assegnazione delle schede ai responsabili della stesura Monitor della compilazione secondo le regole che ci siamo dati Entro il 5 maggio dobbiamo avere il 20% delle schede pronte Riunione del GLV per risolvere ultime ambiguità e definire la numerologia finale Inclusione dei prodotti dei Laboratori Nazionali Massima attenzione a non includere prodotti di valore limitato che possono far scivolare la valutazione del CIVR 1 Luglio: riunione con il CIV (Montgomery et al.) che prenderà in esame la validazione dei prodotti e la preparazione del rapporto finale Massima collaborazione necessaria per garantire la perfetta riuscita dellesercizio