18 febbraio 2004 UNIVERSITÀ DELLA CALABRIA Franco Cuccurullo VALUTAZIONE DELLA RICERCA

Scopi e specificità Suggerire regole e procedure di riferimento per la valutazione del Sistema Nazionale della Ricerca. Migliorare il collegamento istituzionale tra risultati della valutazione, selezione dei programmi e allocazione delle risorse. Avviare procedure sistematiche di raffronto tra organismi di ricerca nazionali ed internazionali. Favorire la diffusione dei risultati della ricerca.

Assegnazione delle risorse In sede di assegnazione delle risorse pubbliche finalizzate alle attività di ricerca, il MIUR considererà in via prioritaria le Strutture che hanno partecipato allesercizio di valutazione.

Sistema di Valutazione L'esercizio è triennale e valuta la performance scientifica di strutture e progetti speciali, finanziati dal MIUR nel triennio precedente. Organismi di Valutazione –CIVR –Panel di Area e di Progetto –Comitati/Nuclei di Valutazione (CNV) Oggetti di Valutazione –Strutture di ricerca –Progetti speciali

CIVR Strutture di ricercaProgetti speciali Panel di Area e di Progetto Governo Strutture di ricerca Comunità scientifica Giudizi Dati Prodotti

CIVR È composto da 7 esperti nominati dal Governo; organizza lintero processo di valutazione; definisce i criteri per la composizione dei Panel e ne sceglie i componenti; produce la Relazione finale per singola struttura o progetto speciale; propone modalità di collegamento tra risultati della valutazione e attribuzione delle risorse.

Procedura informatizzata La trasmissione di tutti i dati è interamente informatizzata e gestita dal CINECA. La procedura informatizzata permette un costante monitoraggio top-down da parte del CIVR.

Panel di Area e di Progetto Sono composti da 5-9 esperti appartenenti alla comunità scientifica. Si avvalgono di esperti esterni, anche stranieri, con il compito di esprimere giudizio di merito: –sui Prodotti selezionati dalle Strutture; –sui Progetti speciali. Integrati da eventuali sub-Panel, redigono il rapporto finale e la ranking list: –di area, a cura dei Panel di area; –di progetto, a cura dei Panel di progetto.

Aree di valutazione Corrispondono alle 14 aree scientifico-disciplinari del CUN, integrate da aree speciali, indicate dal CIVR all'inizio di ogni esercizio triennale. Le aree speciali sono scelte in considerazione del prioritario valore aggiunto per il Paese e della loro coerenza con gli obiettivi previsti dal PNR e dai programmi comunitari.

1. Scienze matematiche e informatiche 2. Scienze fisiche 3. Scienze chimiche 4. Scienze della Terra 5. Scienze biologiche 6. Scienze mediche 7. Scienze agrarie e veterinarie 8. Ingegneria civile ed Architettura 9. Ingegneria industriale e informatica 10. Scienze dellAntichità, filologico-letterarie e storico-artistiche 11. Scienze storiche, filosofiche, psicologiche e pedagogiche 12. Scienze giuridiche 13. Scienze economiche e statistiche 14. Scienze politiche e sociali

Aree speciali del CIVR Scienze e tecnologie per una società dell'informazione e della comunicazione Scienze e tecnologie per la qualità e la sicurezza degli alimenti Scienze e tecnologie dei nano/microsistemi Scienze e tecnologie aerospaziali Scienze e tecnologie per lo sviluppo e la governance sostenibili: aspetti economici, sociali ed ambientali Scienze e tecnologie per la valutazione e la valorizzazione dei beni culturali

Strutture Università Enti di ricerca controllati dal MIUR Industrie (D. Lgs. 297/99)

Adempimenti delle strutture Trasmettono al CIVR i dati conoscitivi validati dai CNV. Trasmettono ai Panel di Area i prodotti selezionati validati dai CNV. Trasmettono al CIVR i Rapporti dei CNV.

Dati e informazioni Quadro sinottico delle risorse umane, con la media nel triennio dei ricercatori (in ETP) presenti nella struttura e in ciascuna Area. Dati sulle risorse finanziarie e sulla gestione. Documentazione su brevetti, spin off e partnership, anche in termini di risorse impegnate e impatto occupazionale.

ETP Professori e ricercatori delle Università, con peso 0,5 ETP; ricercatori degli Enti pubblici di ricerca, con peso 1 ETP; personale di ricerca dipendente da altri soggetti pubblici e privati, con peso variabile, rapportato allimpegno contrattuale finalizzato alla ricerca

Risorse umane 01 - Ricercatori (ETP) 02 - Ricercatori (ETP) in mobilità allestero 03 - Ricercatori (ETP) stranieri a contratto 04 - Personale tecnico-amministrativo complessivo 05 - Dottorandi e assegnisti 06 - Autori complessivi dei prodotti selezionati 07 - Autori appartenenti alla struttura

Risorse finanziarie 08 - Entrate complessive 09 - Trasferimento statale ordinario 10 - Finanziamento e cofinanziamento dei progetti

Brevetti 11 - Brevetti depositati 12 - Brevetti attivi 13 - Entrate derivanti da brevetti 14 - Spese di gestione dei brevetti

Prodotti selezionati della ricerca Le strutture trasmettono ai Panel di area lelenco dei prodotti selezionati. Il numero dei prodotti è il 50% del numero medio dei ricercatori (ETP) della struttura. Larea di elezione dipende dalla collocazione del prodotto e non da quella degli autori. Per ciascun prodotto viene trasmessa una scheda illustrativa. Non è obbligatorio presentare prodotti in ogni area. Le aree prive di prodotti sono giudicate inattive.

Tipologie dei prodotti Libri e loro capitoli Articoli su riviste Brevetti Progetti, composizioni, disegni e design Performance, mostre ed esposizioni Manufatti e opere d'arte

Prodotti non selezionabili Attività puramente editoriali Testi o software di esclusivo interesse didattico Abstract di conferenze Prove e analisi di routine Rapporti tecnici interni

Attivazione CAR Attivazione CAT CAR seleziona prodotti CAT satura potenziale di Ateneo NUV input prodotti per i Panel Fase IFase IIFase IIIFase IVFase V Selezione dei prodotti DIP input prodotti per i CAR

Giudizio di merito sui prodotti (1/2) Ogni prodotto è valutato da almeno due esperti, per i seguenti criteri: –qualità –rilevanza –originalità/innovazione –internazionalizzazione e/o potenziale competitivo internazionale. Per ciascun criterio gli esperti formulano un giudizio descrittivo.

Giudizio di merito sui prodotti (2/2) Il giudizio su ciascun prodotto è unico e complessivo, con attribuzione a quattro livelli di merito: –eccellente –buono –accettabile –limitato

Livelli di merito dei prodotti Eccellente: il prodotto si colloca nel 20% superiore della scala di valore condivisa dalla comunità scientifica internazionale. Buono:il prodotto si colloca nel segmento %. Accettabile: il prodotto si colloca nel segmento 40-60%. Limitato: il prodotto si colloca nel 40% inferiore.

Rapporto dei Panel di Area Consensus Report: riconduce i giudizi singoli degli esperti ad un momento di sintesi (eccellente, buono, accettabile, limitato). Ranking list di Area: attribuisce le strutture alle fasce di merito predefinite dal CIVR. Relazione finale: –individua punti di forza e di debolezza dellarea; –prevede unapposita sezione per i brevetti.

Fasce di merito A -Almeno il 50% è eccellente e i rimanenti buoni. B -Almeno il 30% è eccellente e i rimanenti buoni. C -Almeno il 50% è eccellente o buono e i rimanenti accettabili. D -Almeno il 30% è eccellente o buono e meno del 50% è di valore limitato. del 50% è di valore limitato. E -Almeno il 20% è eccellente o buono e meno del 50% è di valore limitato. F -Meno del 20% è eccellente o buono e meno del 50% è di valore limitato. NV-Oltre il 50% dei prodotti è di valore limitato.

Rapporto dei CNV Valutazione della performance scientifica Impatto socio economico Congruità e competenza delle risorse umane Mobilità internazionale Adeguatezza di dotazioni strumentali e servizi Capacità di attrarre e gestire risorse Principali punti di forza e di debolezza Collegamento tra valutazione e processi decisionali Raccomandazioni e conclusioni

CriteriIndicatori Qualità; rilevanza; originalità/innovazione; internazionalizzazione e/o potenziale competitivo internazionale Giudizi di merito dei Panel sui prodotti selezionati Criteri e indicatori adottati dal CIVR (1/4)

CriteriIndicatori Criteri e indicatori adottati dal CIVR (2/4) Mobilità internazionale Ricercatori in mobilità all'estero + Ricercatori stranieri a contratto / Ricercatori totali Produttività Autori dei prodotti selezionati appartenenti alla struttura / Autori complessivi dei prodotti selezionati

CriteriIndicatori Criteri e indicatori adottati dal CIVR (3/4) Impatto socio- economico: 1. Imprenditorialità 2. Formazione 1 a) Giudizi di merito su brevetti 1 b) Giudizi di merito su spin off e partnership 2) Borsisti, dottorandi, assegnisti / Ricercatori totali

CriteriIndicatori Criteri e indicatori adottati dal CIVR (4/4) Attrazione delle risorse Entrate complessive - Trasferimento statale ordinario / Entrate complessive Gestione delle risorse Ricercatori / Personale complessivo Finanziamento e cofinanziamento di progetti / Ricercatori totali

Relazione finale del CIVR Si fonda sullanalisi dei: –Rapporti dei CIV / NUV; –Rapporti dei Panel di Area; –dati e informazioni trasmessi direttamente dalle Strutture Si conclude con un giudizio articolato per singola Struttura.

Date di riferimento Inizio Esercizio /1/04 Inizio Esercizio /1/04 Trasmissione dati Strutture 30/6/04 Trasmissione dati Strutture 30/6/04 Consegna al CIVR Rapporti Panel 30/6/05 Consegna al CIVR Rapporti Panel 30/6/05 Consegna al Ministro Relazione CIVR 31/12/06 Consegna al Ministro Relazione CIVR 31/12/06 Inizio Esercizio /1/07 Inizio Esercizio /1/07