CIVR Comitato di Indirizzo per la Valutazione della Ricerca ________________________________ Incontro CRUI - 11 aprile 2006, ore Panel 15e Scienze e tecnologie per lo sviluppo e la governance sostenibili: aspetti economici, sociali, energetici ed ambientali Paolo Clemente VTR

analisi della procedura di selezione dei prodotti scientifici presentati analisi della procedura di calibrazione dei giudizi degli esperti analisi delle ricadute dei risultati CIVR sulle strutture di ricerca dellateneo suggerimenti per una più efficace attività di valutazione Ordine del giorno

Suggerire regole e procedure di riferimento per la valutazione del Sistema Nazionale della Ricerca. Migliorare il collegamento istituzionale tra risultati della valutazione e allocazione delle risorse. Avviare procedure sistematiche di raffronto. Favorire la diffusione dei risultati della ricerca. Assicurare trasparenza al processo. Scopi e specificità del VTR

CIVR Strutture di ricerca Panel di Area Governo Strutture di ricerca Comunità scientifica Giudizi Dati & informazioni Relazione NUV/CIV Prodotti Il processo

Strutture partecipanti Area 15e Atenei20 Enti pubblici di Ricerca2 Istituzioni private di Ricerca1

Aree 15 a Scienze e tecnologie per una società dell'informazione e della comunicazione 15 b Scienze e tecnologie per la qualità e la sicurezza degli alimenti 15 c Scienze e tecnologie dei nano/microsistemi 15 d Scienze e tecnologie aerospaziali 15 e Scienze e tecnologie per lo sviluppo e la governance sostenibili 15 f Scienze e tecnologie per la valutazione e la valorizzazione dei beni culturali 1 Scienze matematiche e informatiche 2 Scienze fisiche 3 Scienze chimiche 4 Scienze della terra 5 Scienze biologiche 6 Scienze mediche 7 Scienze agrarie e veterinarie 8 Ingegneria civile ed architettura 9 Ingegneria industriale e dellinformazione 10 Scienze dellantichità, filologico-letterarie e storico-artistiche 11 Scienze storiche, filosofiche, psicologiche e pedagogiche 12 Scienze giuridiche 13 Scienze economiche e statistiche 14 Scienze politiche e sociali

Libri Capitoli di libri Articoli su riviste Brevetti e risultati di valorizzazione applicativa Progetti, composizioni, disegni e design Performance, mostre ed esposizioni Manufatti e opere d'arte Prodotti selezionabili

Attività puramente editoriali Testi o software di esclusivo interesse didattico Abstract di conferenze Prove e analisi di routine Rapporti tecnici interni Prodotti non selezionabili

Selezione dei prodotti (1) Le strutture hanno selezionato in autonomia i prodotti da trasmettere ai Panel Il numero complessivo di prodotti selezionati è stato fissato nel 50% del numero medio annuo dei ricercatori della Struttura (calcolato sul triennio), espressi in ETP Non era obbligatorio presentare prodotti in ogni area o settore disciplinare della stessa Le aree prive di prodotti sono state giudicate inattive. Larea selezionata dipendeva dalla collocazione del prodotto e non da quella degli autori Per ciascun prodotto è stata trasmessa una scheda illustrativa, con lallegato in pdf della pubblicazione In assenza di allegato, è stata richiesta alle Strutture copia cartacea

Selezione dei prodotti (2) La singola Struttura poteva presentare ciascun prodotto selezionato in una sola Area Strutture diverse potevano selezionare prodotti identici e presentarli anche in Aree diverse Ciascun prodotto selezionato, anche se presentato in Aree diverse, è stato sottoposto ad un unico iter valutativo, che ha coinvolto tutti i Panel interessati

Giudizio di merito sui prodotti Ogni prodotto è stato valutato da almeno due esperti esterni, per i seguenti criteri: –qualità –rilevanza –originalità/innovazione –internazionalizzazione –impatto economico-occupazionale, anche potenziale (per i risultati di valorizzazione applicativa) Per ciascun criterio gli esperti hanno formulato un giudizio di merito descrittivo

Qualità: posizionamento del prodotto rispetto alleccellenza scientifica nella scala di valore condivisa dalla comunità scientifica internazionale. Il giudizio di merito è affidato ad esperti esterni indipendenti, che operano nel settore o in settori affini a quello di appartenenza del prodotto (peer review) Rilevanza: valore aggiunto per lavanzamento della conoscenza nel settore e per la scienza in generale, nonché per i benefici sociali derivati, anche in termini di appropriatezza, efficacia, tempestività e durata delle ricadute. Integra il giudizio di qualità Originalità/innovazione: contributo a nuove acquisizioni o allavanzamento di conoscenze, nel settore di riferimento. Integra il giudizio di qualità Criteri (1)

Internazionalizzazione: posizionamento nello scenario internazionale, in termini di rilevanza, competitività, diffusione editoriale e apprezzamento della comunità scientifica, inclusa la collaborazione esplicita con ricercatori e gruppi di ricerca di altre nazioni. Integra il giudizio di qualità Impatto economico-occupazionale: effetti sociali, economici e culturali, diretti e indiretti del prodotto. Criteri (2)

Esperti esterni Nel processo di valutazione, i Panel si sono avvalsi di esperti esterni, anche stranieri, scelti collegialmente dai Panel stessi agli esperti esterni è stato affidato il compito di esprimere giudizi di merito sui prodotti selezionati dalle Strutture agli esperti è stato garantito lanonimato dei giudizi

Ciascun esperto ha espresso su ogni prodotto un giudizio unico e complessivo, con attribuzione a quattro livelli di merito (in coerenza con il giudizio descrittivo): –Eccellente –Buono –Accettabile –Limitato Livelli di merito dei prodotti (1)

Eccellente: la qualità del prodotto si colloca nel 20% superiore della scala di valore condivisa dalla comunità scientifica internazionale. Buono: il prodotto si colloca nel segmento %. Accettabile: il prodotto si colloca nel segmento 40-60%. Limitato: il prodotto si colloca nel 40% inferiore. Livelli di merito dei prodotti (2)

Grado di proprietà dei prodotti È espresso dal rapporto tra: N. autori affiliati alla Struttura / N. complessivo autori Sono state considerate anche le affiliazioni multiple. È stato determinato sia sul numero totale dei prodotti presentati dalla Struttura, sia sui soli prodotti giudicati eccellenti.

Componenti del Panel 15e CLEMENTE Paolo (Presidente) CONVERSI Alessandra D'ARGENIO Bruno DEHEZ Pierre KING Russell PERLINI Alice STEDUTO Pasquale

Sottogruppi del Panel 15e Un unico sottogruppo, coincidente con lintero Panel.

Prodotti valutati nellarea Area 15e Prodotti presentati dalle Strutture229 di cui: 6presentati da 2 Strutture-3 Prodotti valutati dal Panel226

Prodotti valutati nellarea categoryN.categoryN. 1Agricultural Chemistry318Engineering Management/General1 2Agriculture/Agronomy219Environment/Ecology45 3Animal Sciences120Environmental Engineering & Energy34 4Applied Physics/ … /Materials Science121Environ. Medicine & Public Health1 5Aquatic Sciences422Environ. Studies, Geogr. & Develop.25 6Art & Architecture923Instrumentation & Measurement1 7Biochemistry & Biophysics224Law2 8Biotechnology & Applied Microbiology125Materials Science & Engineering1 9Chemical Engineering726Mathematics2 10Chemistry527Mechanical Engineering4 11Chemistry & Analysis328Nuclear Engineering1 12Civil Engineering929Philosophy1 13Communication230Physics2 14Computer Science & Engineering131Plant Sciences1 15Earth Sciences1832Political Science & Public Admnistr.2 16Economics2833Sociology & Anthropology5 17Electrical & Electronics Engineering2total 226

Esperti esterni coinvolti Area 15e NazionalitàProvenienzaNum. espertiNum. valutazioni ItalianaAccademica ItalianaNon-accademica1425 StranieraMista32115 Totali180452

Prodotti valutati (1)

Distribuzione per tipologia nelle diverse Aree Prodotti valutati (2)

Area 15e TipologiaNumero% Articolo su rivista Brevetto31.33 Capitolo di libro Libro Manufatto ed opera d'arte31.33 Performance, mostra ed esposizione31.33 Progetto, composizione, disegno e design31.33 Risultato di valorizzazione applicativa Totale Tipologia dei prodotti (1)

Area 15e Tipologia prodotto numerovalutati eccellente ISI11418 (15.8%) Altri (non-ISI, libri, etc.) (8.9%) Totale22628 (12.4%) Tipologia dei prodotti (2)

Riviste ricorrenti

Tipologia e qualità dei prodotti

Tutte le Aree Distribuzione per Lingua

Nelle diverse Aree Distribuzione per Lingua

Grado medio di Proprietà 15f. Beni Culturali 15e. Sviluppo 15d. Sc Aerospaziali 15c. Nano e Micro Tec 15b. Qualità Alimenti 15a ICT 14. Sc Politiche - Sociali 13. Economia Sc Giuridiche 11. Sc Stor Filos Psic 10. Sc Filol-Lett Stor-Art 9. Ing Industriale - 8. Ing Civile - Arch 7. Sc Agrarie - 6. Medicina 5. Biologia 4. Geologia 3. Chimica 2. Fisica 1. Matematica

Grado di proprietà dei prodotti Media ( ) e intervallo di variazione ( )

Prodotti presentati da:Una sola strutturaPiù strutture Distribuzione dei giudizi (1) prodotti di tutte le Aree

Andamento complessivo per area Distribuzione dei giudizi (2)

Distribuzione dei giudizi (3)

Brevetti Area 15e EccellenteBuonoAccettabileLimitatoTotale Distribuzione dei giudizi (4)

Analisi divergenze giudizi

Impact Factor dei prodotti Media ( ) e intervallo di variazione ( )

Impact Factor dei prodotti (2)

Peso dei giudizi GiudizioSignificatoPeso Eccellente Il prodotto si colloca nel 20% superiore della scala di valore condivisa dalla comunit à scientifica internazionale 1 BuonoIl prodotto si colloca nel segmento 60%-80%0.8 AccettabileIl prodotto si colloca nel segmento 40%-60%0.6 LimitatoIl prodotto si colloca nel 40% inferiore0.2 La Valutazione delle Aree (1)

Esprime il giudizio medio sui prodotti presentati da ogni singola Struttura nelle diverse Aree. Si ottiene dividendo la somma dei giudizi pesati attribuiti ai singoli prodotti (prodotti pesati) per il numero totale di prodotti presentati. RATING La Valutazione delle Aree (2)

Sul sito sono riportati per ogni singola Area: La Valutazione delle Aree (3)

La Valutazione delle Aree (4)

Rating

La Valutazione delle Aree (4)

La Valutazione delle Aree (5)

Aquatic sciences 3 paper su rivista e un libro sono i prodotti di questa categoria, tutti giudicati di buon livello, con contributi originali e unottima collocazione editoriale.

La Valutazione delle Aree (5) Art & Architecture I prodotti di questa categoria sono quasi tutti libri o capitoli di libri scritti in italiano. La qualità è complessivamente accettabile. Alcuni prodotti si sono distinti per rilevanza delle tematiche affrontate e per il buon grado di diffusione, peraltro limitato dalla lingua.

La Valutazione delle Aree (5) Chemical engineering La maggior parte dei prodotti di ingegneria chimica sono articoli su rivista, tutti in inglese. La qualità è generalmente buona. Le tematiche affrontate sono di interesse internazionale e i risultati contribuiscono in maniera rilevante allavanzamento delle conoscenze nel campo. Buono il grado di originalità e innovazione.

La Valutazione delle Aree (5) Chemistry I prodotti di questa categoria sono tutti articoli di buona qualità, con punte di eccellenza, pubblicati su riviste internazionali. I temi trattati sono di interesse e linternazionalizzazione è elevata.

La Valutazione delle Aree (5) Civil engineering Gli articoli di ingegneria civile, tutti in inglese e pubblicati su accreditate riviste internazionali, sono tutti di ottima qualità, con rare eccezioni, e trattano di importanti temi di ricerca. La presenza di autorevoli collaborazioni internazionali rappresenta un ulteriore aspetto che testimonia lelevato valore scientifico dei prodotti

La Valutazione delle Aree (5) Earth sciences Molti dei prodotti della categoria scienze della terra sono paper pubblicati su riviste internazionali con impact factor medio elevato, di buona qualità, anche se non tutti di elevata diffusione internazionale. I temi trattati sono di grande rilevanza e i risultati di interesse

La Valutazione delle Aree (5) Economics La maggior parte dei prodotti di economia ha ottenuto un buon giudizio. Non ci sono prodotti con giudizio eccellente, ma diversi sono stati giudicati limitati. Questi sono spesso report che, pur utili per chi si avvicina alle tematiche trattate, non sono dei veri prodotti di ricerca

La Valutazione delle Aree (5) Environment/ecology Gran parte dei prodotti di questa categoria è costituita da articoli pubblicati su riviste con diffusione internazionale. La qualità dei prodotti è risultata in media accettabile ma una percentuale non trascurabile è stata giudicata di valore limitato. Infatti, a volte i risultati ottenuti non sono soddisfacenti

La Valutazione delle Aree (5) Environmental engineering & energy Gran parte dei prodotti di questa categoria è costituita articoli pubblicati su riviste di ampia diffusione. I temi, di interesse, sono trattati con rigore scientifico. I lavori forniscono un significativo contributo allo sviluppo delle conoscenze nel campo, con ampia rilevanza internazionale

La Valutazione delle Aree (5) Environmental studies, geography & development La maggior parte dei prodotti è concentrata nei due livelli intermedi (B e A). Molti lavori rappresentano unimportante esempio di ricerca applicata interdisciplinare; in alcuni casi, però, limportanza del lavoro è compromessa da un carattere locale, con scarsi riferimenti alla letteratura internazionale. Pur contenendo aspetti originali ed innovativi, i prodotti denotano una ricerca convenzionale, caratterizzata da metodologie descrittive e spesso focalizzata su una regione specifica. Molti prodotti, scritti in italiano e pubblicati da case editrici nazionali non hanno una diffusione internazionale; soltanto pochi prodotti hanno un interesse internazionale, mentre altri, potenzialmente di interesse internazionale, sono limitati dalla diffusione soltanto locale. È auspicabile, al riguardo, una migliore pubblicazione e diffusione dei prodotti.

La Valutazione delle Aree (5) Brevetti Sono stati presentati 3 brevetti Dei 3 brevetti, 2 sono in mechanical engineering e 1 in environmental engineering & energy: per i primi due, giudicati B e A rispettivamente, gli esperti prevedono buone possibilità di ricadute industriali, anche se non immediate; il terzo è stato giudicato L. Va osservato che il campione non può essere considerato rappresentativo per un giudizio complessivo. lunico commento è proprio che nel panel sono stati presentati pochi brevetti

La Valutazione delle Aree (5) Prodotti di Valorizzazione Applicativa Sono stati presentati 23 prodotti di valorizzazione applicativa. I 23 prodotti di valorizzazione applicativa si inseriscono nella fascia medio-alta della scala dei valori, con rare punte di eccellenza e limitatezza. Quasi tutti sono presentati da enti di ricerca. Si tratta spesso di software di un certo interesse per le pubbliche amministrazioni locali e nazionali deputate alla salvaguardia dellambiente e della salute delluomo