CIVR Comitato di Indirizzo per la Valutazione della Ricerca ________________________________ Incontro CRUI del 30 marzo 2006, ore 11 Panel 01 Scienze matematiche.

Presentazione sul tema: "CIVR Comitato di Indirizzo per la Valutazione della Ricerca ________________________________ Incontro CRUI del 30 marzo 2006, ore 11 Panel 01 Scienze matematiche."— Transcript della presentazione:

1 CIVR Comitato di Indirizzo per la Valutazione della Ricerca ________________________________ Incontro CRUI del 30 marzo 2006, ore 11 Panel 01 Scienze matematiche e informatiche Prof. Alfio Quarteroni VTR 2001- 2003

2 Suggerire regole e procedure di riferimento per la valutazione del Sistema Nazionale della Ricerca. Migliorare il collegamento istituzionale tra risultati della valutazione e allocazione delle risorse. Avviare procedure sistematiche di raffronto. Favorire la diffusione dei risultati della ricerca. Assicurare trasparenza al processo. Scopi e specificità del VTR

3 CIVR Strutture di ricerca Panel di Area Governo Strutture di ricerca Comunità scientifica Giudizi Dati & informazioni Relazione NUV/CIV Prodotti Il processo

4 Strutture partecipanti Area 01 Atenei53 Enti pubblici di Ricerca (CNR,INDAM) 2 Istituzioni private di Ricerca--

5 1. 1. Scienze matematiche e informatiche 2. Scienze fisiche 3. Scienze chimiche 4. Scienze della terra 5. Scienze biologiche 6. Scienze mediche 7. Scienze agrarie e veterinarie 8. Ingegneria civile ed architettura 9. Ingegneria industriale e dellinformazione 10. Scienze dellantichità, filologico-letterarie e storico-artistiche 11. Scienze storiche, filosofiche, psicologiche e pedagogiche 12. Scienze giuridiche 13. Scienze economiche e statistiche 14. Scienze politiche e sociali Aree 15 a Scienze e tecnologie per una società dell'informazione e della comunicazione 15 b Scienze e tecnologie per la qualità e la sicurezza degli alimenti 15 c Scienze e tecnologie dei nano/microsistemi 15 d Scienze e tecnologie aerospaziali 15 e Scienze e tecnologie per lo sviluppo e la governance sostenibili 15 f Scienze e tecnologie per la valutazione e la valorizzazione dei beni culturali

6 Libri Capitoli di libri Articoli su riviste Brevetti e risultati di valorizzazione applicativa Progetti, composizioni, disegni e design Performance, mostre ed esposizioni Manufatti e opere d'arte Prodotti selezionabili

7 Attività puramente editoriali Testi o software di esclusivo interesse didattico Abstract di conferenze Prove e analisi di routine Rapporti tecnici interni Prodotti non selezionabili

8 Selezione dei prodotti (1) Le strutture (Universita, etc.) hanno selezionato in autonomia i prodotti da trasmettere ai Panel. Il numero complessivo di prodotti selezionati è stato fissato nel 50% del numero medio annuo dei ricercatori della Struttura (calcolato sul triennio), espressi in ETP. Non era obbligatorio presentare prodotti in ogni area o settore disciplinare della stessa. Le aree prive di prodotti sono state giudicate inattive. Larea selezionata dipendeva dalla collocazione del prodotto e non da quella degli autori. Per ciascun prodotto è stata trasmessa una scheda illustrativa, con lallegato in pdf della pubblicazione. (In assenza di allegato, è stata richiesta alle Strutture copia cartacea)

9 Selezione dei prodotti (2) La singola Struttura poteva presentare ciascun prodotto selezionato in una sola Area; Strutture diverse potevano selezionare prodotti identici e presentarli anche in Aree diverse; Ciascun prodotto selezionato, anche se presentato in Aree diverse, è stato sottoposto ad un unico iter valutativo, che ha coinvolto tutti i Panel interessati.

10 Giudizio di merito sui prodotti Ogni prodotto è stato valutato da almeno due esperti esterni, per i seguenti criteri: –qualità –rilevanza –originalità/innovazione –internazionalizzazione –impatto economico-occupazionale, anche potenziale (per i risultati di valorizzazione applicativa) Per ciascun criterio gli esperti hanno formulato un giudizio di merito descrittivo.

11 Qualità: posizionamento del prodotto rispetto alleccellenza scientifica nella scala di valore condivisa dalla comunità scientifica internazionale. Il giudizio di merito è affidato ad esperti esterni indipendenti, che operano nel settore o in settori affini a quello di appartenenza del prodotto (peer review). Rilevanza: valore aggiunto per lavanzamento della conoscenza nel settore e per la scienza in generale, nonché per i benefici sociali derivati, anche in termini di appropriatezza, efficacia, tempestività e durata delle ricadute. Integra il giudizio di qualità. Originalità/innovazione: contributo a nuove acquisizioni o allavanzamento di conoscenze, nel settore di riferimento. Integra il giudizio di qualità. Criteri (1)

12 Internazionalizzazione: posizionamento nello scenario internazionale, in termini di rilevanza, competitività, diffusione editoriale e apprezzamento della comunità scientifica, inclusa la collaborazione esplicita con ricercatori e gruppi di ricerca di altre nazioni. Integra il giudizio di qualità. Impatto: effetti sociali, economici e culturali, diretti e indiretti del prodotto. Criteri (2)

13 Esperti esterni Nel processo di valutazione, i Panel si sono avvalsi di esperti esterni, anche stranieri, scelti collegialmente dai Panel stessi; agli esperti esterni è stato affidato il compito di esprimere giudizi di merito sui prodotti selezionati dalle Strutture; agli esperti è stato garantito lanonimato dei giudizi.

14 Ciascun esperto ha espresso su ogni prodotto un giudizio unico e complessivo, con attribuzione a quattro livelli di merito (in coerenza con il giudizio descrittivo): –eccellente –buono –accettabile –limitato Livelli di merito dei prodotti (1)

15 Eccellente: la qualità del prodotto si colloca nel 20% superiore della scala di valore condivisa dalla comunità scientifica internazionale. Buono: il prodotto si colloca nel segmento 60-80%. Accettabile: il prodotto si colloca nel segmento 40-60%. Limitato: il prodotto si colloca nel 40% inferiore. Livelli di merito dei prodotti (2)

16 Grado di proprietà dei prodotti È espresso dal rapporto tra: N. autori affiliati alla Struttura/N. complessivo autori Sono state considerate anche le affiliazioni multiple. È stato determinato sia sul numero totale dei prodotti presentati dalla Struttura, sia sui soli prodotti giudicati eccellenti.

17 Componenti del Panel 01 ALBEVERIO SERGIO (Bonn) CANNONE MARCO (CNRS-Paris) NIVAT MAURICE (Paris) PICCOLI BENEDETTO (CNR-Roma) PROCESI CLAUDIO (Roma-La Sapienza) QUARTERONI ALFIO (Presidente) (Politecnico di Milano e EPFL, Lausanne) VANNESCHI MARCO (Pisa)

18 Distribuzione dei prodotti I prodotti sono stati distribuiti fra i panelist in base alle specifiche competenze: PanelistProdotti assegnati Sergio Albeverio 124 Marco Cannone 126 Maurice Nivat 71 Benedetto Piccoli 147 Claudio Procesi 139 Alfio Quarteroni 130 Marco Vanneschi 50 Totale 787

19 Sottogruppi del Panel 01 CONSENSUS GROUP N.1: NIVAT MAURICE PICCOLI BENEDETTO QUARTERONI ALFIO MARIA VANNESCHI MARCO (Mat. Appl. e Informatica) CONSENSUS GROUP N.2: ALBEVERIO SERGIO CANNONE MARCO PROCESI CLAUDIO (Mat.Pura)

20 Prodotti valutati nellarea Area 01 Prodotti presentati dalle Strutture840 di cui: 96presentati da 2 Strutture-48 6presentati da 3 Strutture-4 2presentati 2 volte dalla stessa Struttura Prodotti valutati dal Panel787

21 Numero di prodotti presentati Grandi strutture (25 prodotti)

22 Numero di prodotti presentati Medie strutture (10-24 prodotti)

23 Numero di prodotti presentati Piccole strutture (9 prodotti)

24 Esperti esterni coinvolti Area 01 NazionalitàProvenienza Numero esperti Numero Valut. Valut/esperto ItalianaAccademica1137226.4 Italiana Non- accademica 20854.3 StranieraMista1197676.4 Totali2521.5746.2

25 Prodotti valutati (1)

26 Distribuzione per tipologia nelle diverse Aree Prodotti valutati (2)

27 Area 01 TipologiaNumero% Articolo su rivista74694.79 Brevetto20.25 Capitolo di libro70.89 Libro260.30 Performance, mostra ed esposizione10.13 Progetto, composizione, disegno e design20.25 Risultato di valorizzazione applicativa30.38 Totale787100 Tipologia dei prodotti (1)

28 Area 01 Tipologia prodotto numerovalutati eccellente ISI721256 (35.5%) Altri (non-ISI, libri, etc.) 6628 (42.4%) Totale787284 (36.0%) Tipologia dei prodotti (2)

29 Riviste ricorrenti

30 Tipologia e qualità dei prodotti

31 Tutte le Aree Distribuzione per Lingua

32 Nelle diverse Aree Distribuzione per Lingua

33 15f. Beni Culturali 15e. Sviluppo 15d. Sc Aerospaziali 15c. Nano e Micro Tec 15b. Qualità Alimenti 15a ICT 14. Sc Politiche - Sociali 13. Economia - 12. Sc Giuridiche 11. Sc Stor Filos Psic 10. Sc Filol-Lett Stor-Art 9. Ing Industriale - 8. Ing Civile - Arch 7. Sc Agrarie - 6. Medicina 5. Biologia 4. Geologia 3. Chimica 2. Fisica 1. Matematica Grado medio di Proprietà

34 Grado di proprietà dei prodotti Media ( ) e intervallo di variazione ( )

35 Prodotti presentati da:Una sola strutturaPiù strutture Distribuzione dei giudizi (1) 17.329 prodotti di tutte le Aree

36 Andamento complessivo per area Distribuzione dei giudizi (2)

37 Distribuzione dei giudizi (3)

38 Distribuzione dei giudizi (4) Brevetti Area 01 EccellenteBuonoAccettabileLimitatoTotale 112

39 Analisi divergenze giudizi

40 Impact Factor dei prodotti (1) Media ( ) e intervallo di variazione ( )

41 Impact Factor dei prodotti (2)

42 Peso dei giudizi GiudizioSignificatoPeso Eccellente Il prodotto si colloca nel 20% superiore della scala di valore condivisa dalla comunit à scientifica internazionale 1 BuonoIl prodotto si colloca nel segmento 60%-80%0.8 AccettabileIl prodotto si colloca nel segmento 40%-60%0.6 LimitatoIl prodotto si colloca nel 40% inferiore0.2 La Valutazione delle Aree (1)

43 Esprime il giudizio medio sui prodotti presentati da ogni singola Struttura nelle diverse Aree. Si ottiene dividendo la somma dei giudizi pesati attribuiti ai singoli prodotti (prodotti pesati) per il numero totale di prodotti presentati. Il rating La Valutazione delle Aree (2)

44 Sul sito http://vtr2006.cineca.it sono riportati per ogni singola Area:http://vtr2006.cineca.it La Valutazione delle Aree (3)

45 La Valutazione delle Aree (4)

46 La Valutazione delle Aree (5)

47 La Valutazione delle Aree (6) Analisi dei dati: Il panel ha classificato i prodotti secondo i seguenti settori scientifico-disciplinari del MIUR, Area 01-Scienze matematiche e informatiche: MAT 01 Logica matematica MAT 02 Algebra MAT 03 Geometria MAT 04 Matematiche complementari MAT 05 Analisi matematica MAT 06 Probabilità e statistica matematica MAT 07 Fisica matematica MAT 08 Analisi numerica MAT 09 Ricerca operativa e in più Informatica teorica Software Algoritmica non numerica

48 La Valutazione delle Aree (7)

49 Suggerimenti (1) Possibilità di un terzo giudizio: per i prodotti che hanno ricevuto giudizi molto discordanti (ad es. E-L), si potrebbe sempre chiedere un terzo giudizio ad un esperto indipendente. Un grado di giudizio in più (o in meno): la distinzione buono/eccellente risulta forse troppo sfumata. Può essere utile sia introdurre una nuova fascia very good, sia ridurre i gradi di giudizio a tre. Inoltre si potrebbe indicare una stima di massima del numero di prodotti da ritenere eccellenti, da cui non discostarsi eccessivamente.

50 Suggerimenti (2) Correttivi nel ranking? E' chiaro che per strutture medie/grandi la legge dei grandi numeri gioca a favore del processo di valutazione e produce un risultato ragionevole. Per piccole strutture, invece, accade il contrario, e le fluttuazioni statistiche sono significative. Sembra opportuno mettere un limite inferiore al numero dei prodotti oppure introdurre più criteri per strutture piccole. Correttivi locali: si potrebbe considerare la customizzazione per area di alcuni (se non tutti) fra i criteri di valutazione, direttamente da parte del CIVR con la collaborazione del Panel di area.

51 Suggerimenti (3) Più comunicazione sullanalisi dei risultati CIVR: una dettagliata comunicazione da parte del CIVR alle strutture sui criteri che verranno addottati nellelaborazione dei risultati eviterebbe scelte di prodotti non ottimali.