Comitato di Indirizzo per la Valutazione della Ricerca Valutazione Triennale della Ricerca VTR Franco Cuccurullo

Scopi e specificità Suggerire regole e procedure di riferimento per la valutazione del Sistema Nazionale della Ricerca. Migliorare il collegamento istituzionale tra risultati della valutazione e allocazione delle risorse. Avviare procedure sistematiche di raffronto. Favorire la diffusione dei risultati della ricerca.

Assegnazione delle risorse In sede di assegnazione delle risorse pubbliche finalizzate alle attività di ricerca, il MIUR considererà in via prioritaria le Strutture che hanno partecipato al VTR.

5

6 CIVR Strutture di ricerca Panel di Area Panel di Area Governo Strutture di ricerca Comunità scientifica Giudizi Dati & informazioni Prodotti

Procedura informatizzata La trasmissione di tutti i dati è interamente informatizzata, in collaborazione con il CINECA. La procedura informatizzata consente un costante monitoraggio top-down da parte del CIVR.

Panel di Area Sono composti da 5-9 esperti appartenenti alla comunità scientifica, scelti dal CIVR e nominati dal Ministro; si avvalgono di esperti esterni, anche stranieri, con il compito di esprimere giudizio di merito sui Prodotti selezionati dalle Strutture; redigono il rapporto finale e la ranking list di area.

Aree CUN 1. Scienze matematiche e informatiche 2. Scienze fisiche 3. Scienze chimiche 4. Scienze della terra 5. Scienze biologiche 6. Scienze mediche 7. Scienze agrarie e veterinarie 8. Ingegneria civile ed architettura 9. Ingegneria industriale e informatica 10. Scienze dell’antichità, filologico-letterarie e storico-artistiche 11. Scienze storiche, filosofiche, psicologiche e pedagogiche 12. Scienze giuridiche 13. Scienze economiche e statistiche 14. Scienze politiche e sociali

Aree speciali del CIVR Scienze e tecnologie per una società dell'informazione e della comunicazione Scienze e tecnologie per la qualità e la sicurezza degli alimenti Scienze e tecnologie dei nano/microsistemi Scienze e tecnologie aerospaziali Scienze e tecnologie per lo sviluppo e la governance sostenibili: aspetti economici, sociali ed ambientali Scienze e tecnologie per la valutazione e la valorizzazione dei beni culturali

Attivazione delle aree speciali Prerequisito indispensabile: adeguata attribuzione di ricercatori a ciascuna area speciale attivata, nel rispetto del numero globale dei ricercatori della struttura, che deve rimanere inalterato.

Adempimenti delle strutture Trasmettono ai Panel di Area un elenco di prodotti selezionati, validati dai CNV. Trasmettono al CIVR una serie di Dati e informazioni, validati dai CNV. Trasmettono al CIVR i Rapporti dei CNV.

Rapporto dei CNV 1.Valutazione dell’attività scientifica, con specifico riferimento alla metodologia di selezione dei prodotti e alle ragioni dell’eventuale carenza o assenza in specifiche aree); 2.elementi di valutazione dell’impatto socio-economico; 3.elementi conoscitivi sul management della struttura (con esclusivo riferimento al settore della ricerca); 4.congruità e competenza delle risorse umane; 5.mobilità e collaborazioni internazionali; 6.adeguatezza delle dotazioni strumentali e dei servizi, con specifico riferimento all’uso di tecnologie avanzate; 7.capacità di accedere/attrarre risorse finanziarie e strumentali; 8.punti di forza e di debolezza, raccomandazioni e conclusioni.

Dati e informazioni Quadro sinottico delle risorse umane, con la media nel triennio dei ricercatori (in ETP) presenti nella struttura e in ciascuna Area. Dati sulle risorse finanziarie e sulla gestione. Sintesi descrittiva e finanziaria sulle attività di trasferimento di conoscenza verso l’esterno, anche in termini di risorse impegnate e impatto occupazionale.

Ricercatori equivalenti a tempo pieno (ETP) Professori e ricercatori delle Università, con peso 0.5 ETP Ricercatori degli Enti pubblici di ricerca, con peso 1 ETP Ricercatori di altri soggetti pubblici e privati, con peso ETP rapportato all’impegno contrattuale finalizzato alla ricerca (i.e. 1 oppure 0.5 ETP)

Risorse umane 01 - Ricercatori 02 - Ricercatori in mobilità all’estero 03 - Ricercatori stranieri a contratto 04 - Personale tecnico e amministrativo 05 - Dottorandi 06 - Assegnisti e borsisti post doc

Risorse finanziarie 07 - Entrate complessive 08 - Trasferimento statale ordinario 09 - Trasferimenti da enti pubblici, fondazioni, imprese 10 - Investimenti in grandi strumentazioni 11 - Finanziamento e cofinanziamento di progetti

Attività di trasferimento di conoscenze verso l’esterno 12 - Brevetti depositati 13 - Brevetti attivi 14 - Entrate derivanti da brevetti e licenze 15 - Costi di deposito e gestione dei brevetti 16 - Sintesi descrittiva e finanziaria su altre attività di trasferimento di conoscenza (spin off, partnership, accordi di confidenzialità, ecc.)

Prodotti selezionati della ricerca Le strutture selezionano in autonomia e trasmettono ai Panel di competenza l’elenco dei prodotti selezionati. È obbligatorio trasmettere un numero complessivo di prodotti selezionati pari al 50% del numero medio annuo dei ricercatori (calcolato sul triennio), espressi in ETP. Non è obbligatorio presentare prodotti in ogni area. Le aree prive di prodotti sono giudicate inattive. L’area selezionata dipende dalla collocazione del prodotto e non da quella degli autori. Per ciascun prodotto viene trasmessa una scheda illustrativa (opzionale l’upload del prodotto)

Tipologie dei prodotti Libri Capitoli di libri Articoli su riviste Brevetti Progetti, composizioni, disegni e design Performance, mostre ed esposizioni Manufatti e opere d'arte

Prodotti non selezionabili Attività puramente editoriali Testi o software di esclusivo interesse didattico Abstract di conferenze Prove e analisi di routine Rapporti tecnici interni

Procedura di selezione dei prodotti suggerita agli Atenei 1. Costituzione dei Comitati di Area (CAR) ed elezione dei Presidenti. 2.I Presidenti dei CAR costituiscono il Comitato di Ateneo (CAT), che elegge il proprio Presidente. 3. I Dipartimenti operano una prima selezione dei prodotti più rilevanti, che trasmettono ai CAR di pertinenza. 4.I CAR operano una seconda selezione, anche in eccesso rispetto al potenziale di Ateneo. 5.Il Comitato di Ateneo opera la selezione finale, colmando il potenziale di Ateneo. 6.I NUV certificano e trasmettono ai Panel di Area competenti i prodotti selezionati.

Giudizio di merito sui prodotti (1/2) Ogni prodotto è valutato da almeno due esperti esterni (referee), per i seguenti criteri: –qualità –rilevanza –originalità/innovazione –internazionalizzazione –impatto economico-occupazionale, anche potenziale (per i risultati di valorizzazione applicativa) Per ciascun criterio gli esperti formulano un giudizio descrittivo.

Giudizio di merito sui prodotti (2/2) Ciascun referee esprime su ogni prodotto un giudizio unico e complessivo, con attribuzione a quattro livelli di merito: –eccellente –buono –accettabile –limitato

Livelli di merito dei prodotti Eccellente: il prodotto si colloca nel 20% superiore della scala di valore condivisa dalla comunità scientifica internazionale. Buono: il prodotto si colloca nel segmento 60-80%. Accettabile: il prodotto si colloca nel segmento 40-60%. Limitato: il prodotto si colloca nel 40% inferiore.

Rapporto dei Panel di Area Consensus Report: riconduce ad un momento di sintesi i giudizi singoli degli esperti (eccellente, buono, accettabile, limitato). Ranking list di Area: attribuisce le strutture alle fasce di merito predefinite dal CIVR. Relazione finale: –individua punti di forza e di debolezza dell’area; –prevede un’apposita sezione per i risultati di valorizzazione applicativa inclusi tra i prodotti selezionati.

Fasce di merito A - Almeno il 50% dei prodotti è eccellente e i rimanenti buoni. B - Almeno il 30% è eccellente e i rimanenti buoni. C - Almeno il 50% è eccellente o buono e i rimanenti accettabili. D - Almeno il 30% è eccellente o buono e meno del 50% è di valore limitato. del 50% è di valore limitato. E - Almeno il 20% è eccellente o buono e meno del 50% è di valore limitato. del 50% è di valore limitato. F - Meno del 20% è eccellente o buono e meno del 50% è di valore limitato. del 50% è di valore limitato. NV- Oltre il 50% dei prodotti è di valore limitato.

Relazione finale del CIVR La relazione finale sulle strutture si fonda –sui rapporti dei Panel di area –sull’analisi dei dati e le informazioni trasmessi direttamente dalle Strutture –sui Rapporti dei CNV La relazione si conclude con un giudizio articolato per singola Struttura

Criterio n°1Indicatori Qualità; rilevanza; originalità/innovazione; internazionalizzazione della produzione scientifica selezionata (peso: 40%) Giudizi di merito (GM) dei Panel (dettaglio di Area) Criteri e indicatori adottati dal CIVR (1/6)

Criterio n°2Indicatori Criteri e indicatori adottati dal CIVR (2/6) Produttività (limitatamente ai prodotti selezionati) (peso: 20%) N° prodotti selezionati x GP / N° ricercatori (dettaglio di Area) Grado di proprietà (GP) dei prodotti selezionati (dettaglio di Area)

Criterio n°3Indicatori Criteri e indicatori adottati dal CIVR (3/6) Mobilità internazionale (peso: 10%) Ric. in mobilità all'estero + Ric. stranieri a contratto / Ric. (dettaglio di Area)

Criterio n°4Indicatori Criteri e indicatori adottati dal CIVR (4/6) Impatto socio- economico Imprenditorialità Formazione (peso: 10%) GM del CIVR su brevetti e altri aspetti di valorizzazione della ricerca (dettaglio di Struttura) Dottorandi + assegnisti + borsisti post doc / Ricercatori (dettaglio di Area)

Criterio n°5Indicatori Criteri e indicatori adottati dal CIVR (5/6) Attrazione delle risorse (peso: 10%) Entrate complessive - Trasferimento statale ordinario / Entrate complessive (dettaglio di struttura)

Criterio n°6Indicatori Criteri e indicatori adottati dal CIVR (6/6) Gestione delle risorse (peso: 10%) Pers. tecnico / Pers. complessivo (dettaglio di struttura) Finanziamento e cofinanziamento di progetti di ricerca / Ric. (dettaglio di area) Ric. / Pers. complessivo (dettaglio di struttura)

Date di riferimento Trasmissione dati ricercatori30/6/’04 Trasmissione prodotti selezionati30/9/’04 Trasmissione dati ed informazioni31/12/’04 Trasmissione relazioni dei NUV31/12/’04 Consegna al CIVR Rapporti Panel30/6/’05 Consegna al Ministro Relazione CIVR31/3/’06