CIVR Comitato di Indirizzo per la Valutazione della Ricerca ________________________________ Panel 15a Scienze e tecnologie per una società dell'informazione.

Presentazione sul tema: "CIVR Comitato di Indirizzo per la Valutazione della Ricerca ________________________________ Panel 15a Scienze e tecnologie per una società dell'informazione."— Transcript della presentazione:

1 CIVR Comitato di Indirizzo per la Valutazione della Ricerca ________________________________ Panel 15a Scienze e tecnologie per una società dell'informazione e della comunicazione Bianca Falcidieno - CNR CRUI 6 aprile 2006 VTR 2001- 2003

2 Introduzione Metodologia e Organizzazione del lavoro Analisi dettagliata –distribuzione e tipologia dei prodotti –strutture –giudizi e valutazioni Sintesi e Osservazioni Sommario

3 CIVR Strutture di ricerca Panel di Area Governo Strutture di ricerca Comunità scientifica Giudizi Dati & informazioni Relazione NUV/CIV Prodotti Il processo

4 CIVR Strutture di ricerca Panel di Area Governo Strutture di ricerca Comunità scientifica Giudizi Dati & informazioni Relazione NUV/CIV Prodotti Il processo

5 1. 1. Scienze matematiche e informatiche 2. Scienze fisiche 3. Scienze chimiche 4. Scienze della terra 5. Scienze biologiche 6. Scienze mediche 7. Scienze agrarie e veterinarie 8. Ingegneria civile ed architettura 9. Ingegneria industriale e dellinformazione 10. Scienze dellantichità, filologico-letterarie e storico-artistiche 11. Scienze storiche, filosofiche, psicologiche e pedagogiche 12. Scienze giuridiche 13. Scienze economiche e statistiche 14. Scienze politiche e sociali Aree 15 a Scienze e tecnologie per una società dell'informazione e della comunicazione 15 b Scienze e tecnologie per la qualità e la sicurezza degli alimenti 15 c Scienze e tecnologie dei nano/microsistemi 15 d Scienze e tecnologie aerospaziali 15 e Scienze e tecnologie per lo sviluppo e la governance sostenibili 15 f Scienze e tecnologie per la valutazione e la valorizzazione dei beni culturali

6 Area 15a Scienze e tecnologie per una società dell'informazione e della comunicazione Le nuove tecnologie ICT correlate allo sviluppo dell'ubiquitous computing prospettano scenari di incisive novità nei metodi scientifici e di profondi cambiamenti delle piattaforme tecniche, per garantire un accesso semplificato, interattivo e naturale ai servizi e alle applicazioni, superando i vincoli spaziali, temporali, culturali e di età, e strutturare la tecnologia in funzione delle necessità dell'utente. Il raggiungimento di tali obiettivi richiede sia lo sviluppo di metodi e modelli formalizzati e verificabili, sia tecnologie abilitanti (di comunicazione, calcolo e software, componenti e microsistemi), sia applicazioni innovative di supporto alla società e all'economia.

7 1. 1. Scienze matematiche e informatiche 2. Scienze fisiche 3. Scienze chimiche 4. Scienze della terra 5. Scienze biologiche 6. Scienze mediche 7. Scienze agrarie e veterinarie 8. Ingegneria civile ed architettura 9. Ingegneria industriale e dellinformazione 10. Scienze dellantichità, filologico-letterarie e storico-artistiche 11. Scienze storiche, filosofiche, psicologiche e pedagogiche 12. Scienze giuridiche 13. Scienze economiche e statistiche 14. Scienze politiche e sociali Aree 15 a Scienze e tecnologie per una società dell'informazione e della comunicazione 15 b Scienze e tecnologie per la qualità e la sicurezza degli alimenti 15 c Scienze e tecnologie dei nano/microsistemi 15 d Scienze e tecnologie aerospaziali 15 e Scienze e tecnologie per lo sviluppo e la governance sostenibili 15 f Scienze e tecnologie per la valutazione e la valorizzazione dei beni culturali

8 Prodotti valutati nellarea Area 15a Prodotti presentati dalle Strutture313 di cui: 12presentati da 2 Strutture-6 Prodotti valutati dai Panel307

9 Componenti del Panel 15a FALCIDIENO BIANCA (Presidente) GRANELLI ANDREA BRUNO GUERRINI ANNA MARIA MORICONI CLAUDIO RIDOLFI PIER LUIGI ROVERI ALDO

10 Distribuzione dei Prodotti FALCIDIENO BIANCA 20% GRANELLI ANDREA BRUNO 19% GUERRINI ANNA MARIA 0% MORICONI CLAUDIO 22% RIDOLFI PIER LUIGI 13% ROVERI ALDO 26%

11 Giudizio di merito sui prodotti Ogni prodotto è stato valutato da almeno due esperti esterni, per i criteri di: –qualità –rilevanza –originalità/innovazione –internazionalizzazione –impatto economico-occupazionale, anche potenziale (per i risultati di valorizzazione applicativa) Per ciascun criterio gli esperti hanno formulato un giudizio di merito descrittivo Ciascun esperto ha espresso su ogni prodotto un giudizio unico e complessivo (eccellente,buono, accettabile, limitato)

12 Esperti esterni coinvolti Area 15a Falcidieno116 Granelli 72 Moriconi182 Ridolfi 56 Roveri242

13 Esperti esterni coinvolti Area 15a NazionalitàProvenienzaNum. espertiNum. valutazioni ItalianaAccademica170448 ItalianaNon-accademica44128 StranieraMista1937 Totali233613

14 Area 15a Categoria Numero prodotti ISI 311 (IT & CS)110 ISI 249 (CS & Eng)100 ISI 306 (AI, R & AC)34 ISI 307 (E & EI)17 Altre 18 Categorie46 Totale307 Categorie ISI dei prodotti

15 Tipologia dei prodotti Suddivisione totale dei prodotti per tipologia

16 Distribuzione per tipologia nelle diverse Aree Prodotti valutati

17 Nelle diverse Aree Distribuzione per Lingua

18 Area 15a TipologiaNumero% Articolo su rivista24278.83 Brevetto82.61 Capitolo di libro41.30 Libro92.93 Manufatto ed opera d'arte206.51 Performance, mostra ed esposizione20.65 Progetto, composizione, disegno e design82.61 Risultato di valorizzazione applicativa144.56 Totale307100 Tipologia dei prodotti (1)

19 Area 15a Tipologia prodotto numerovalutati eccellente ISI22967 (29.3%) Altri (non-ISI, libri, etc.) 7814 (17.9%) Totale30781 (26.4%) Tipologia dei prodotti (2)

20 15f. Beni Culturali 15e. Sviluppo 15d. Sc Aerospaziali 15c. Nano e Micro Tec 15b. Qualità Alimenti 15a ICT 14. Sc Politiche - Sociali 13. Economia - 12. Sc Giuridiche 11. Sc Stor Filos Psic 10. Sc Filol-Lett Stor-Art 9. Ing Industriale - 8. Ing Civile - Arch 7. Sc Agrarie - 6. Medicina 5. Biologia 4. Geologia 3. Chimica 2. Fisica 1. Matematica Grado medio di Proprietà

21 Valutazione Area 15a Risultato della valutazione degli esperti

22 Valutazione Area 15a Risultato della valutazione dei Panelist (288 unanimità, 13 a maggioranza, 6 interpanel)

23 Distribuzione dei giudizi (3)

24 Tipologia e qualità dei prodotti

25 Andamento complessivo per area Distribuzione dei giudizi

26 Distribuzione dei giudizi (4) Brevetti Area 15a EccellenteBuonoAccettabileLimitatoTotale 628

27 Strutture partecipanti Area 15a Atenei40 Enti pubblici di Ricerca2 Istituzioni private di Ricerca1

28 Area 15a TipologiaNumero Mega strutture (oltre 75 prodotti)1 Medie strutture (10-24 prodotti)7 piccole strutture (meno di 9 prodotti)35 Totale43 La dimensione delle strutture

29 La Valutazione delle Aree

30

31 Sul sito http://vtr2006.cineca.it sono riportati per ogni singola Area:http://vtr2006.cineca.it La Valutazione delle Aree (

32 qualità molto buona: giudizi E/B nell 81% dei casi; con una larga prevalenza di articoli : quasi il 79%; concentrazione di prodotti in 2 categorie ISI: 249 e 311; grado di proprietà dei prodotti pari a 0,71; distribuita in modo non omogeneo tra 43 Università ed Enti: una sola grande struttura, il CNR, che presenta più del 27% del totale dei prodotti, 7 medie strutture e 35 micro strutture, di cui 18 con meno di 4 lavori presentati. Area 15a : caratteristiche globali

33 Assegnazione dei prodotti al panel Qualità della documentazione allegata e delle schede Scelta dei prodotti da parte delle strutture Scelta dei panelist e degli esperti Sistema informatico Area 15a : osservazioni conclusive

34 Area 15a DOMANDE???

35 Suggerire regole e procedure di riferimento per la valutazione del Sistema Nazionale della Ricerca. Migliorare il collegamento istituzionale tra risultati della valutazione e allocazione delle risorse. Avviare procedure sistematiche di raffronto. Favorire la diffusione dei risultati della ricerca. Assicurare trasparenza al processo. Scopi e specificità del VTR

36 Libri Capitoli di libri Articoli su riviste Brevetti e risultati di valorizzazione applicativa Progetti, composizioni, disegni e design Performance, mostre ed esposizioni Manufatti e opere d'arte Prodotti selezionabili

37 Attività puramente editoriali Testi o software di esclusivo interesse didattico Abstract di conferenze Prove e analisi di routine Rapporti tecnici interni Prodotti non selezionabili

38 Selezione dei prodotti (1) Le strutture hanno selezionato in autonomia i prodotti da trasmettere ai Panel. Il numero complessivo di prodotti selezionati è stato fissato nel 50% del numero medio annuo dei ricercatori della Struttura (calcolato sul triennio), espressi in ETP. Non era obbligatorio presentare prodotti in ogni area o settore disciplinare della stessa. Le aree prive di prodotti sono state giudicate inattive. Larea selezionata dipendeva dalla collocazione del prodotto e non da quella degli autori. Per ciascun prodotto è stata trasmessa una scheda illustrativa, con lallegato in pdf della pubblicazione. In assenza di allegato, è stata richiesta alle Strutture copia cartacea.

39 Selezione dei prodotti (2) La singola Struttura poteva presentare ciascun prodotto selezionato in una sola Area; strutture diverse potevano selezionare prodotti identici e presentarli anche in Aree diverse; ciascun prodotto selezionato, anche se presentato in Aree diverse, è stato sottoposto ad un unico iter valutativo, che ha coinvolto tutti i Panel interessati.

40 Qualità: posizionamento del prodotto rispetto alleccellenza scientifica nella scala di valore condivisa dalla comunità scientifica internazionale. Il giudizio di merito è affidato ad esperti esterni indipendenti, che operano nel settore o in settori affini a quello di appartenenza del prodotto (peer review). Rilevanza: valore aggiunto per lavanzamento della conoscenza nel settore e per la scienza in generale, nonché per i benefici sociali derivati, anche in termini di appropriatezza, efficacia, tempestività e durata delle ricadute. Integra il giudizio di qualità. Originalità/innovazione: contributo a nuove acquisizioni o allavanzamento di conoscenze, nel settore di riferimento. Integra il giudizio di qualità. Criteri (1)

41 Internazionalizzazione: posizionamento nello scenario internazionale, in termini di rilevanza, competitività, diffusione editoriale e apprezzamento della comunità scientifica, inclusa la collaborazione esplicita con ricercatori e gruppi di ricerca di altre nazioni. Integra il giudizio di qualità. Impatto: effetti sociali, economici e culturali, diretti e indiretti del prodotto. Criteri (2)

42 Esperti esterni Nel processo di valutazione, i Panel si sono avvalsi di esperti esterni, anche stranieri, scelti collegialmente dai Panel stessi; agli esperti esterni è stato affidato il compito di esprimere giudizi di merito sui prodotti selezionati dalle Strutture; agli esperti è stato garantito lanonimato dei giudizi.

43 Ciascun esperto ha espresso su ogni prodotto un giudizio unico e complessivo, con attribuzione a quattro livelli di merito : –eccellente –buono –accettabile –limitato Livelli di merito dei prodotti (1)

44 Eccellente: la qualità del prodotto si colloca nel 20% superiore della scala di valore condivisa dalla comunità scientifica internazionale. Buono: il prodotto si colloca nel segmento 60-80%. Accettabile: il prodotto si colloca nel segmento 40-60%. Limitato: il prodotto si colloca nel 40% inferiore. Livelli di merito dei prodotti (2)

45 Grado di proprietà dei prodotti È espresso dal rapporto tra: N. autori affiliati alla Struttura/N. complessivo autori Sono state considerate anche le affiliazioni multiple. È stato determinato sia sul numero totale dei prodotti presentati dalla Struttura, sia sui soli prodotti giudicati eccellenti.

46 Sottogruppi del Panel 15a Un unico sottogruppo, coincidente con lintero Panel.

47 Prodotti valutati (1)

48 Riviste ricorrenti

49 Tutte le Aree Distribuzione per Lingua

50 Grado di proprietà dei prodotti Media ( ) e intervallo di variazione ( )

51 Prodotti presentati da:Una sola strutturaPiù strutture Distribuzione dei giudizi (1) 17.329 prodotti di tutte le Aree

52 Analisi divergenze giudizi

53 Impact Factor dei prodotti (1) Media ( ) e intervallo di variazione ( )

54 Impact Factor dei prodotti (2)

55 Peso dei giudizi GiudizioSignificatoPeso Eccellente Il prodotto si colloca nel 20% superiore della scala di valore condivisa dalla comunit à scientifica internazionale 1 BuonoIl prodotto si colloca nel segmento 60%-80%0.8 AccettabileIl prodotto si colloca nel segmento 40%-60%0.6 LimitatoIl prodotto si colloca nel 40% inferiore0.2 La Valutazione delle Aree (1)

56 Esprime il giudizio medio sui prodotti presentati da ogni singola Struttura nelle diverse Aree. Si ottiene dividendo la somma dei giudizi pesati attribuiti ai singoli prodotti (prodotti pesati) per il numero totale di prodotti presentati. Il rating La Valutazione delle Aree (2)