La presentazione è in caricamento. Aspetta per favore

La presentazione è in caricamento. Aspetta per favore

Giovanni Abramo CNR e Laboratorio di Studi sulla Ricerca e il Trasferimento Tecnologico Università degli Studi di Roma Tor Vergata Dipartimento di Ingegneria.

Presentazioni simili


Presentazione sul tema: "Giovanni Abramo CNR e Laboratorio di Studi sulla Ricerca e il Trasferimento Tecnologico Università degli Studi di Roma Tor Vergata Dipartimento di Ingegneria."— Transcript della presentazione:

1 Giovanni Abramo CNR e Laboratorio di Studi sulla Ricerca e il Trasferimento Tecnologico Università degli Studi di Roma Tor Vergata Dipartimento di Ingegneria dellImpresa LA VALUTAZIONE DELLA RICERCA … tra scienza e improvvisazione

2 2 ArticolazioneArticolazione La valutazione della ricerca: stato dellarte La valutazione della ricerca: stato dellarte La valutazione nazionale La valutazione nazionale La valutazione delle singole istituzioni La valutazione delle singole istituzioni Il sistema di supporto alla valutazione SSV-ORP Il sistema di supporto alla valutazione SSV-ORP

3 3 Perché valutare la ricerca? Stimolare una maggiore produttività di ricerca Stimolare una maggiore produttività di ricerca Allocare le risorse in maniera efficiente Allocare le risorse in maniera efficiente Demonstrating that investment in research is effective and delivers public benefits Demonstrating that investment in research is effective and delivers public benefits Reducing information asymmetry between supply and demand Reducing information asymmetry between supply and demand

4 4 La misura della produttività di ricerca q = F (K,L)

5 Come valutare la ricerca? Metodo peer review Metodo peer review Metodo bibliometrico (scienze dure) Metodo bibliometrico (scienze dure) Metodo informed peer review (scienze dure) Metodo informed peer review (scienze dure) Metodo SSV-ORP (scienze dure) Metodo SSV-ORP (scienze dure) 5

6 Peer Review vs Bibliometria È migliore la valutazione di qualità di due esperti o dellintera comunità scientifica mondiale? (Precisione) È migliore la valutazione di qualità di due esperti o dellintera comunità scientifica mondiale? (Precisione) È corretto valutare tutto loutput di ricerca o una quota soltanto? Le classifiche di performance sono sensibili alla dimensione della quota? (Robustezza) È corretto valutare tutto loutput di ricerca o una quota soltanto? Le classifiche di performance sono sensibili alla dimensione della quota? (Robustezza) Le università sottomettono a valutazione i prodotti migliori? (Affidabilità) Le università sottomettono a valutazione i prodotti migliori? (Affidabilità) Che informazioni fornisce alle università la valutazione nazionale peer-review? (Funzionalità) Che informazioni fornisce alle università la valutazione nazionale peer-review? (Funzionalità) Quante risorse consuma? (Costi e tempi) Quante risorse consuma? (Costi e tempi) 6

7 Robustezza: sensibilità alla quota 7 FONTE: Abramo G., DAngelo C.A., Caprasecca A., Allocative efficiency in public research funding: can bibliometrics help? Research Policy, Vol. 38, n. 1,

8 Sensibilità delle classifiche alla quota 8 Mediana e intervallo di variazione (max – min) del ranking di Fisica, al variare della quota (4,6% - 60%)

9 Affidabilità: efficacia della selezione dei prodotti per il VTR 9 Percentuale di articoli selezionati dalle università con IQ inferiore alla mediana della distribuzione: Scienze agrarie e veterinarie 29,6% Ingegneria industriale e dellinform. 26,5% Matematica e informatica 24,8%

10 10 Efficacia della selezione dei prodotti di Unialpha per il VTR Confronto pubblicazioni in portafoglio – pubblicazioni presentate al CIVR

11 11 VTR: una valutazione lontana dalla realtà Classifica reale VTR se la selezione dei prodotti fosse stata efficiente Atenei al primo posto Scienze matematiche e informatiche46 su 54 Scienze fisiche51 su 55 Scienze chimiche51 su 53 Scienze della terra30 su 43 Scienze biologiche52 su 56 Scienze mediche38 su 48 Scienze agrarie e veterinarie17 su 34 Ingegneria industriale e dell'informazione48 su 52

12 Peer Review Impossibile misurare la produttività; Impossibile misurare la produttività; Classifiche fortemente sensibili alla quota dei prodotti valutati Classifiche fortemente sensibili alla quota dei prodotti valutati Valutazione comparata di qualità non basata sui prodotti migliori Valutazione comparata di qualità non basata sui prodotti migliori Nessuna informazione alle università per allocare a loro volta le risorse in base al merito Nessuna informazione alle università per allocare a loro volta le risorse in base al merito Costi (diretti e indiretti) e tempi enormi Costi (diretti e indiretti) e tempi enormi 12

13 Peer Review Poco Preciso Poco Preciso Poco Robusto Poco Robusto Poco Affidabile Poco Affidabile Poco Funzionale Poco Funzionale Molto Costoso Molto Costoso 13

14 14 Il sistema SSV-ORP Struttura di raccolta-catalogazione-elaborazione dati per: il censimento del personale di ricerca e delloutput scientifico (pubblicazioni e proceedings) e tecnologico (brevetti) del sistema di ricerca pubblico nazionale; il censimento del personale di ricerca e delloutput scientifico (pubblicazioni e proceedings) e tecnologico (brevetti) del sistema di ricerca pubblico nazionale; la classificazione dei prodotti di ricerca per autore, subject category ISI, settore scientifico disciplinare (SSD), area disciplinare (ADU), università/EPR; la classificazione dei prodotti di ricerca per autore, subject category ISI, settore scientifico disciplinare (SSD), area disciplinare (ADU), università/EPR; il posizionamento delle singole università/EPR in funzione della loro produzione, della qualità della stessa e della produttività a vari livelli di aggregazione (scientist, gruppi di ricerca, dipartimento, SSD, ADU, ateneo/EPR). il posizionamento delle singole università/EPR in funzione della loro produzione, della qualità della stessa e della produttività a vari livelli di aggregazione (scientist, gruppi di ricerca, dipartimento, SSD, ADU, ateneo/EPR). E un Decision Support System (DSS)!!!!!

15 15 Il campo dosservazione Fonti: Science Citation Index expanded®, Social Science Citation Index®, Art&Humanities Citation Index®, Conference Proceedings® (WoS -Thomson Reuters), circa riviste; Espacenet. Fonti: Science Citation Index expanded®, Social Science Citation Index®, Art&Humanities Citation Index®, Conference Proceedings® (WoS -Thomson Reuters), circa riviste; Espacenet. Tutte le Università (95), tutti gli Epr (76), 196 enti ospedalieri. Tutte le Università (95), tutti gli Epr (76), 196 enti ospedalieri pubblicazioni, proceeding, brevetti pubblicazioni, proceeding, brevetti ( universitari) autori ( universitari) autori. Tutte le 246 categorie ISI, tutti i 370 settori universitari (scientifico-tecnologici, economico-sociali e artistico- umanistici); 14 aree disciplinari. Tutte le 246 categorie ISI, tutti i 370 settori universitari (scientifico-tecnologici, economico-sociali e artistico- umanistici); 14 aree disciplinari. Intervallo di osservazione , aggiornato annualmente (2001/2007 per i brevetti). Intervallo di osservazione , aggiornato annualmente (2001/2007 per i brevetti).

16 16 ORP: uninnovazione research-based la post-codifica dei dati Affiliation unification Affiliation unification Authors name disambiguation Authors name disambiguation

17 Il valore di ORP In riferimento a un dataset di pubblicazioni WoS (18,000), di ricercatori di chimica (700) in 10 università olandesi, Van Raan (2008) afferma:This material is quite unique. To our knowledge, no such compilations of very accurately verified publication sets on a large scale are used for statistical analysis of the characteristics of the indicators at the research group level. 17

18 18 ORP per la valutazione Misura la qualità standardizzata di ciascun output scientifico (citazioni e IF normalizzati) Misura la qualità standardizzata di ciascun output scientifico (citazioni e IF normalizzati) Associa ciascun prodotto di ricerca al suo autore (errore 5%) Associa ciascun prodotto di ricerca al suo autore (errore 5%) Misura la produttività del singolo (quantitativa, qualitativa, contributiva), gruppo di ricerca, dipartimento, SSD, ADU, ateneo/EPR. Misura la produttività del singolo (quantitativa, qualitativa, contributiva), gruppo di ricerca, dipartimento, SSD, ADU, ateneo/EPR. Stila classifiche di performance comparata di ciascun ricercatore, gruppo di ricerca, … Stila classifiche di performance comparata di ciascun ricercatore, gruppo di ricerca, … Stila classifiche di performance per livello dinquadramento Stila classifiche di performance per livello dinquadramento Individua gli improduttivi e stila classifiche per tasso di concentrazione di improduttivi Individua gli improduttivi e stila classifiche per tasso di concentrazione di improduttivi Stila classifiche relative ai soli produttivi Stila classifiche relative ai soli produttivi Individua i top-performer e stila classifiche per tasso di concentrazione di top-performer (eccellenza) Individua i top-performer e stila classifiche per tasso di concentrazione di top-performer (eccellenza)

19 19 ORP per la valutazione Stila classifiche per intensità di collaborazione comparata extra-muros: con organizzazioni estere, con imprese, con altre università e istituzioni pubbliche di ricerca; Stila classifiche per intensità di collaborazione comparata extra-muros: con organizzazioni estere, con imprese, con altre università e istituzioni pubbliche di ricerca; Stila classifiche per intensità di collaborazione comparata intra-muros: intra-settoriale, intra-area, inter-area; Stila classifiche per intensità di collaborazione comparata intra-muros: intra-settoriale, intra-area, inter-area; Analizza limpatto della mobilità sul potenziale di performance di Ateneo; Analizza limpatto della mobilità sul potenziale di performance di Ateneo; Conduce analisi intertemporali; Conduce analisi intertemporali; Supporta le università nel processo di selezione CIVR. Supporta le università nel processo di selezione CIVR.

20 20 Gli indicatori (1/2) Output (O), somma delle pubblicazioni riferibili allentità (autore, istituzione) in un dato settore; Output contributivo (Oc), somma dei contributi delle singole entità a ciascuna pubblicazione in ciascun settore; Intensità di contribuzione (IC), rapporto tra Output contributivo e Output; Indice di qualità (IQ), qualità* media normalizzata delle pubblicazioni riferibili allentità; Forza scientifica (FS), prodotto delloutput per lindice di qualità; Forza scientifica contributiva (FSc), analoga alloutput contributivo ma riferita alla forza scientifica; Indice di Hirsch, (h-index). Numero massimo h di pubblicazioni con almeno h citazioni ciascuna., (g-index). Numero massimo g di pubblicazioni che ricevono cumulativamente almeno g 2 citazioni. Indice di Egghe, (g-index). Numero massimo g di pubblicazioni che ricevono cumulativamente almeno g 2 citazioni. * Citazioni (o Impact Factor della rivista) ricevute dalle pubblicazioni, normalizzate rispetto allintensità di citazioni (Impact Factor) degli articoli del settore scientifico di riferimento.

21 21 Gli indicatori 2/2 Produttività (P) rapporto tra output e numero di addetti nel settore; Produttività Qualitativa (PQ), rapporto Forza scientifica e numero di addetti nel settore; Produttività contributiva (Pc) e Produttività Qualitativa contributiva (PQc), rapporto tra output contributivo (Forza scientifica contributiva) e numero di addetti nel settore. Indice di eccellenza (IE), numero di addetti al top 10% sul totale degli addetti in un SSD Tasso di improduttività (TI), numero di addetti non produttivi sul totale degli addetti in un SSD …

22 22 La valutazione dei singoli ricercatori Il ranking percentile nazionale dei ricercatori in forza al Dipartimento di Biopatologia di UNIalpha ( )

23 23 La valutazione dei dipartimenti Il rating medio e il rank dei dipartimenti dellarea medica di UNIalpha

24 24 La valutazione dei settori (SSD) I settori di Scienze matematiche e informatiche di UNIalpha * Replicabile per Pc e PQc

25 25 La produttività di area (ADU) a partire dai dati di settore (SSD) = number of researchers operating in sector i (of area j) of university k; = number of sectors within area j = global productivity score for university k in area j; = productivity in university k, in sector i (of area j), normalized to the average of the values of all universities;

26 26 La valutazione delle aree (ADU) Le ADU di UNIalpha

27 27 ORP a supporto degli atenei nel processo di selezione VQR Le migliori pubblicazioni del ricercatore Tizio di Scienze Biologiche di UNIalpha

28 28 ORP a supporto degli atenei nel processo di selezione VQR Le migliori pubblicazioni del ricercatore Tizio di Scienze Biologiche di UNIalpha

29 29 ORP a supporto degli atenei nel processo di selezione VQR Le migliori pubblicazioni del ricercatore Tizio di Scienze Biologiche di UNIalpha

30 SSV-ORP Precisione Precisione Robustezza Robustezza Affidabilità Affidabilità Funzionalità Funzionalità Costi e tempi Costi e tempi 30

31 SSV-ORP per gli Atenei Supporto allallocazione interna delle risorse Supporto allallocazione interna delle risorse Stimolo al miglioramento continuo Stimolo al miglioramento continuo Supporto alle policy di sviluppo e recruitment Supporto alle policy di sviluppo e recruitment Comunicazione esterna Comunicazione esterna Ottimizzazione del processo di selezione CIVR Ottimizzazione del processo di selezione CIVR 31

32 32 Giovanni Abramo CNR e Università degli Studi di Roma Tor Vergata Dipartimento di Ingegneria dellImpresa Laboratorio di Studi sulla Ricerca e il Trasferimento Tecnologico Via del Politecnico 1, Roma Tel Fax


Scaricare ppt "Giovanni Abramo CNR e Laboratorio di Studi sulla Ricerca e il Trasferimento Tecnologico Università degli Studi di Roma Tor Vergata Dipartimento di Ingegneria."

Presentazioni simili


Annunci Google