introduzione alle metodologie ed esperienze

Slides:



Advertisements
Presentazioni simili
presentazione a cura del Servizio Progetti di Ateneo
Advertisements

1 t Mobilità internazionale e conversione dei voti Maria Sticchi Damiani Università della Calabria 8 febbraio 2013.
ECTS: la conversione dei voti Maria Sticchi Damiani Parte IV Conservatorio di Musica “N. Paganini” Genova, 2 maggio
Rendicontazione 2014 (Pubblicazioni 2013)
Procedura proposta prodotti per VQR
1 MINISTERO DELLA PUBBLICA ISTRUZIONE UFFICIO SCOLASTICO REGIONALE DELLA SARDEGNA DIREZIONE GENERALE Ufficio Ispettivo ESAME DI STATO 2008 – LE PROVE.
Scuola della Società Italiana di Statistica Una breve presentazione: passato e prospettive Monica Pratesi | Università di Pisa Direttore della Scuola della.
WEB OF SCIENCE ISI Web of Knowledge
La ricerca guidata in Internet
L. De Benedetti: Contributo operativo alla redazione del manuale 1 Dibattito guidato sulle problematiche nella redazione del Manuale Qualità nei laboratori.
Tecnologia dell’architettura
Introduzione al corso Ignazio Zangara Anno Accademico 2005/2006 Università degli Studi di Palermo Facoltà di Giurisprudenza Corso di laurea in Scienze.
Valutazione della Qualità della Ricerca ( VQR ) - DM 12 luglio Bozza di Bando resa disponibile dallAnvur Claudia Damiani - Ufficio.
SBBL E LINTERROGAZIONE DI CINAHL CORSO DI INTRODUZIONE ALLA RICERCA BIBLIOGRAFICA PER STUDENTI DEL CORSO DI LAUREA IN SCIENZE INFERMIERISTICHE Università
SBBL E LINTERROGAZIONE DI CINAHL I servizi online della biblioteca e SBBL Enrica Veronesi Brescia, 30 maggio 2005.
Valutazione della ricerca nelle recenti proposte CUN Vincenzo Russo Seminario SIDEA – Roma
La nuova newsletter della statistica ufficiale Decima Conferenza nazionale di statistica Roma, 16 dicembre 2010.
CIVR Comitato di Indirizzo per la Valutazione della Ricerca ________________________________ Incontro CRUI del 12 aprile 2006, ore 15 Panel 11 Scienze.
Banche dati : qualche avvertenza La prima ricerca serve per tarare i termini da utilizzare ; spesso ci sono indici o liste dei termini da usare La struttura.
Bando PII Efficienza Energetica Ministero delle Sviluppo Economico Roma, 18/03/2008.
Agenzia per lInnovazione A I Ezio Andreta - Commissario Bergamo – 19 Febbraio 2008.
La ricerca citazionale in Web of Science e Scopus
RIPENSARE LE PUBBLICAZIONI SCIENTIFICHE: MODELLI ECONOMICI, SERVIZI EDITORIALI, GESTIONE DEI DIRITTI Per una gestione equilibrata dei diritti dautore 1.
Progetto EDUCAMBIENTE
Incontro Nuclei di valutazione di facoltà 18 novembre 2008 MANUTENZIONE DEI DATA BASE BIBLIOMETRICI PER LA VALUTAZIONE DELLA RICERCA Estratto dalla Presentazione.
“Percorsi CLIL in collaborazione con l'Università di Cambridge”
Riconoscimento delle qualifiche professionali PROFESSIONE DOCENTE
Il marketing: costruire una relazione profittevole con il cliente
18 febbraio 2004 UNIVERSITÀ DELLA CALABRIA Franco Cuccurullo VALUTAZIONE DELLA RICERCA.
Bologna Francesca Pruneti Alessandro Lodi Dipartimento MIUR - Cineca
Integrazione dei dati e reportistica avanzata in SURplus: un esempio
Scelta dei lavori di ricerca da inviare per la VQR P. Galimberti.
Repository Istituzionale Pubblicazioni Ricerca CILEA - 13 giugno 2011 Università Cattolica del Sacro Cuore.
LE INFORMAZIONI SCIENTIFICHE Il flusso delle informazioni scientifiche A cura di Carlo Siino.
Scienze umane e Open Access: l’esperienza di riviste UNIMI
Problemi e osservazioni sulla redazione delle procedure
“Abilitazioni: realtà e leggende” Settori bibliometrici
ESAME DI STATO Informazioni generali e normativa Istituto S.Carlo.
La procedura di valutazione e selezione delle proposte si svolge in due fasi: la prima (preselezione, sulla base di sintetiche proposte) è curata dalle.
1 Utilizzo degli archivi istituzionali per la valutazione della ricerca esempi e opportunità Maddalena Morando Politecnico di Torino AIB Piemonte Torino,
Piano del corso Francesco Marino Telecomunicazioni Articolazione
Fondo di Ateneo per la Ricerca FAR 2010 La Valutazione Tempistica: Dal 1 ottobre 2010 sarà possibile iniziare le operazioni di valutazione Entro il 29.
Gruppo di Lavoro per la Valutazione della Ricerca Chiefari, Diemoz, Dosselli, Vercesi.
Collegio Nazionale dei Professori Ordinari di Fisiologia ASSEMBLEA DEL COLLEGIO NAZIONALE DEI PROFESSORI ORDINARI DI FISIOLOGIA Portonovo (AN), sabato.
ANAGRAFE NAZIONALE DELLE RICERCHE Dott.ssa Eleonora GiacomelliRoma, 24 gennaio 2006 Uff. II - DGCSR.
Per giovani ricercatori (coordinatori scientifici o responsabili locali) che non siano già presenti, a tempo indeterminato, nei ruoli delle università
Sintesi e nodi del Disegno di legge di riforma dellUniversità Nota di lavoro per lInterconferenza 28 novembre 2009.
Parere in merito alla congruità del curriculum scientifico o professionale dei titolari di contratti di insegnamento da parte del Nucleo di Valutazione.
H-Index: definizione e calcolo Carla Barbieri Elena Bernardini
Ornella Cilona, Presidente Commissione Tecnica Uni sulla responsabilità sociale 15/09/2009Ornella Cilona - Incontro soci Anima.
…gemellaggio elettronico delle scuole in Europa e promozione della formazione dei docenti : le azioni in questo campo sosterranno e svilupperanno ulteriormente.
| 1 FIRB 2012 Futuro in ricerca Prof. Marzio Galeotti Prof. Franco Donzelli Consiglio di Dipartimento, 12 gennaio 2012.
Le regole per la stesura di un articolo di tipo scientifico
Scheda Unica della Ricerca Dipartimentale (SUA-RD) fase sperimentale
La ricerca scientifica in Economia Aziendale - Primi risultati del progetto di classificazione delle riviste scientifiche Angelo Riccaboni
La gestione della valutazione interna è affidata al Dirigente scolastico in collaborazione con un Nucleo di autovalutazione. La composizione del Nucleo.
SUA-RD Scheda Unica Annuale della Ricerca del Dipartimento di Scienze Mediche e Chirurgiche Prof. Ciro Indolfi 24 Febbraio 2015.
Corso Formazione neo assunti
Fondo di Ateneo per la Ricerca FAR 2014 La Valutazione Tempistica:  L’Ufficio Ricerca Nazionale comunicherà la data di avvio delle operazioni di valutazione.
Master in comunicazione e giornalismo scientifico
Ricercare e pubblicare Giovanni Solimine Dottorato di ricerca in Scienze documentarie, linguistiche e letterarie.
Conferenza di Ateneo 30 settembre 2010 COORDINAMENTO RICERCATORI POLITECNICO DI MILANO Domenico Chizzoniti.
Rilevazione on-line della Produzione Scientifica dei Dipartimenti dell’Università della Calabria.
Corso NECOBELAC T1. - Roma ottobre 2010 RISULTATI DELLA RICERCA IN SANITÀ PUBBLICA: processo editoriale e open access Roma,
Università degli Studi di Roma «Tor Vergata»
Il Comitato di valutazione del docente
How important is to publish in the right way and the bibliometric indexes Marco Schaerf Rome February 18th 2013 – Author Workshop.
Comitato di Indirizzo per la Valutazione della Ricerca Valutazione Triennale della Ricerca VTR Franco Cuccurullo.
ARPI. INTERFACCIA AUTORE E AMMINISTRATORE. IL LAVORO DI VALIDAZIONE Raffaella Sprugnoli Università di Pisa 24 giugno 2016.
Transcript della presentazione:

introduzione alle metodologie ed esperienze Francesco Priolo Valutare la Ricerca: introduzione alle metodologie ed esperienze

Premessa Ricerca di Base vs Ricerca Applicata “Buona” Ricerca vs “Cattiva” Ricerca

Outline Metodi di Valutazione: Peer Review vs Bibliometrica Valutazione Ricerca di Ateneo Agenzia Nazionale Valutazione: ANVUR Valutazione Qualità Ricerca (VQR) Abilitazione Scientifica Nazionale (ASN)

Pubblicare un lavoro di ricerca Il meccanismo della peer review Editor numero di articoli pubblicati su riviste indicizzate”. Pubblicare un lavoro di ricerca Il meccanismo della peer review Editor È noto pubblicamente, prende le decisioni e se ne assume le responsabilità Referees Sono degli esperti “segreti” che giudicano il lavoro e ne propongono (o meno) la pubblicazione Vantaggi: Filtro e Suggerimenti Svantaggi: i) A volte entro in gioco meccanismi diversi dal puro valore scientifico, ii) non sempre i referee sono dei veri esperti e il giudizio finale deve esser dato dalla comunità dell’indicatore “numero di citazioni della 5. Nella colonna 4 si riportano i valori della mediana produzione scientifica complessiva” dell’indicatore “indice h”. Nella colonna 5 si riportano i valori della mediana 6.

Albert Einstein e la Peer Review

numero di articoli pubblicati su riviste indicizzate”. La peer review è una valutazione su un lavoro scientifico da parte di pochi esperti “segreti”. Le citazioni sono per un lavoro scientifico una valutazione ex post da parte dell’INTERA comunità scientifica. dell’indicatore “numero di citazioni della 5. Nella colonna 4 si riportano i valori della mediana produzione scientifica complessiva” dell’indicatore “indice h”. Nella colonna 5 si riportano i valori della mediana 6.

Valutazione Bibliometrica Citazioni Impact Factor Indice di Hirsch

(Pubblicazioni ISI-JCR – Journal of Citation Reports) numero di articoli pubblicati su riviste indicizzate”. Il fattore di impatto (impact factor o IF) è un indice sintetico, di proprietà di Thomson Reuters, che misura il numero medio di citazioni ricevute in un particolare anno da articoli pubblicati in una rivista scientifica nei due anni precedenti. Per un lavoro si tratta di una valutazione sul valore prima di essere giudicato dall’INTERA comunità scientifica (Pubblicazioni ISI-JCR – Journal of Citation Reports) Esempi Nature IF 38 Science IF 31 Nature Nanotechnology IF 31 Physical Review B (American Physical Society) IF 3.7 Physica E: Nanostructures (Elsevier) IF 1.5 dell’indicatore “numero di citazioni della 5. Nella colonna 4 si riportano i valori della mediana produzione scientifica complessiva” dell’indicatore “indice h”. Nella colonna 5 si riportano i valori della mediana 6.

J. E. Hirsch, An index to quantify an individual’s scientific numero di articoli pubblicati su riviste indicizzate”. J. E. Hirsch, An index to quantify an individual’s scientific Research output, PNAS 2005 Con indice H o indice di Hirsch, si intende un indice proposto nel 2005 da Jorge E. Hirsch dell'Università della California a San Diego per quantificare la prolificità e l'impatto del lavoro degli scienziati, basandosi sia sul numero delle loro pubblicazioni che sul numero di citazioni ricevute. Secondo la definizione, uno scienziato è di indice n se ha pubblicato almeno n lavori, ciascuno dei quali è stato citato almeno n volte. dell’indicatore “numero di citazioni della 5. Nella colonna 4 si riportano i valori della mediana “Based on typical h values found, I suggest (with large error bars) that for faculty at major research universities, h 12 might be a typical value for advancement to tenure (associate professor) and that h 18 might be a typical value for advancement to full professor.” produzione scientifica complessiva” dell’indicatore “indice h”. Nella colonna 5 si riportano i valori della mediana 6.

Lista dei Top Italian Scientists h-index>30 numero di articoli pubblicati su riviste indicizzate”. Lista dei Top Italian Scientists h-index>30 http://www.via-academy.org Pregi e Limiti dell’h-index Peter Higgs – Premio Nobel per la fisica 2013 – ha un h-index di 10 ROARS – Return on Academic ReSearch www.roars.it dell’indicatore “numero di citazioni della 5. Nella colonna 4 si riportano i valori della mediana produzione scientifica complessiva” dell’indicatore “indice h”. Nella colonna 5 si riportano i valori della mediana 6.

Banche Dati Citazionali (sul sito del CBD http://www.sida.unict.it/) ISI Web of Science Scopus Google Scholar

Attenzione alle omonimie… numero di articoli pubblicati su riviste indicizzate”. dell’indicatore “numero di citazioni della 5. Nella colonna 4 si riportano i valori della mediana Attenzione alle omonimie… produzione scientifica complessiva” dell’indicatore “indice h”. Nella colonna 5 si riportano i valori della mediana 6.

numero di articoli pubblicati su riviste indicizzate”. dell’indicatore “numero di citazioni della 5. Nella colonna 4 si riportano i valori della mediana produzione scientifica complessiva” dell’indicatore “indice h”. Nella colonna 5 si riportano i valori della mediana 6.

Il Re è Nudo

Valutazione della Ricerca presso l’Università di Catania Catalogo di Ateneo: Valutazione della Ricerca presso l’Università di Catania

L’Università di Catania negli anni passati ha intrapreso un processo di Valutazione della Ricerca dei propri Docenti in grado di mettere in evidenza le eccellenze e i punti di debolezza. L’ultima Valutazione ha riguardato la produzione scientifica del quinquennio 2006-2010. Tutti i Prodotti della Ricerca (Pubblicazioni, Brevetti, etc.) sono stati inseriti dai singoli docenti nel Catalogo di Ateneo ove sono stati classificati in base alla loro tipologia. Ad ogni prodotto è stato assegnato un punteggio dipendente dalla “tipologia”.

METODOLOGIA Divisione delle tipologie in 2 distinte classi di merito (in linea con i parametri riconosciuti a livello nazionale dal Decreto Ministeriale sulla Valutazione della Ricerca) : tipologie di maggior valore che contribuiscono in pieno alla valutazione. B) tipologie “minori” che entrano in valutazione ma con un punteggio massimo ammissibile per docente (saturazione a 10 punti) che, negli ultimi anni è stato ridotto a zero

Volumi di ricerca originale Articoli su riviste ISI. Tipologie in “Classe A” Volumi di ricerca originale Articoli su riviste ISI. Articoli su riviste con comitato scientifico, comitato di redazione e processo di selezione. Articoli per esteso su volumi o atti di manifestazioni internazionali Articoli per esteso su volumi o atti di manifestazioni nazionali Carte tematiche Brevetti

Tipologie in “Classe B” Volumi didattici di alta divulgazione Cura di volumi scientifici collettanei o di atti di congressi Voci in enciclopedie, dizionari, ecc.; traduzione di testi inediti nella lingua della versione Articoli su altre riviste scientifiche Note e recensioni pubblicate su riviste scientifiche; traduzione di testi già editi nella lingua della versione. Abstracts di comunicazioni o posters presentati a congressi internazionali. Abstracts di comunicazioni o posters presentati a congressi nazionali. Prodotti multimediali a contenuto scientifico Altri documenti: rapporti di ricerca, preprints, rapporti di lavoro in corso.

Sono stati distribuiti 40 punti. 32 punti tra le 7 categorie in classe A 8 punti fra le 9 categorie in classe B (poi portati a zero) Ogni Docente ha totalizzato un punteggio in base alla somma dei punteggi dei singoli prodotti introdotti nel Catalogo di Ateneo Docenti operativi se hanno totalizzato almeno 10 punti Docenti NON operativi se hanno totalizzato meno di 10 punti

Sono state infine generate 4 classi di merito I punteggi sono stati corretti tenendo in considerazione il numero di autori di ogni prodotto. Per ogni Area Scientifica-Disciplinare è stata poi elaborata una classifica dei docenti dando punteggio 1 al docente “mediano” (che si trova a centro classifica) e riscalando di conseguenza tutti gli altri punteggi. Sono state infine generate 4 classi di merito NON è possibile una classifica generale di Ateneo perchè aree disciplinari diverse sono troppo disomogenee. Sono possibili delle classifiche dei docenti per ciascuna delle 14 aree scientifico-disciplinari

Ateneo – (2005-2009) Docenti NON operativi: 14%, il 10% non hanno inserito nulla in Catalogo e il 4% sono sotto soglia 25

PREGI E DIFETTI Metodo rapido e poco costoso In grado di instaurare una sensibilità alla valutazione in una classe tipicamente non avvezza ad essere valutata In grado di dare, per grandi linee, un quadro abbastanza realistico Metodologia solo quantitativa e non qualitativa Metodologia facilmente esposta ad errori

www.anvur.org

Valutazione della Qualità della Ricerca VQR

Aspetti generali SOGGETTI INTERESSATI (Strutture) Università statali; Università non statali, autorizzate a rilasciare titoli accademici; Enti di ricerca pubblici vigilati dal MIUR; Altri soggetti pubblici e privati che svolgono attività di ricerca, su esplicita richiesta. AREE DI VALUTAZIONE Le 14 aree disciplinari CUN, per ognuna delle quali viene costituito un Panel di esperti (GEV) Il sistema di informatizzazione è affidato al CINECA.

Valutazione dei Docenti (1) NON vengono valutati i docenti ma le Università sono valutate in base alla sommatoria della produttività dei singoli Ciascun ricercatore delle Università presenta, inserendole nella banca dati predisposta dal CINECA almeno 3 pubblicazioni di cui è autore o coautore, riferite al quinquennio e 3 ulteriori se è affiliato anche ad un Ente; i ricercatori degli Enti ne presentano almeno 6

Valutazione dei Docenti (2) I ricercatori che non presentano alcuna pubblicazione sono considerati non attivi; I ricercatori che presentano un numero di pubblicazioni inferiore a quello previsto sono considerati parzialmente attivi;

Pubblicazioni in Valutazione Selezione delle pubblicazioni: Sono valutabili dai Panel: Articoli su riviste con ISSN; Libri e loro capitoli, inclusi atti di congressi, con ISBN, edizioni critiche e commenti scientifici; Brevetti depositati; Composizioni, disegni, mostre ed esposizioni se corredati da pubblicazioni. Non sono valutabili dai Panel: Attività editoriali e di curatela; Lettere, correzioni e abstract di conferenze, anche se su riviste; Testi e software di esclusivo interesse didattico o divulgativo; Prove e analisi di routine; Rapporti tecnici interni.

Adempimenti dei Panel (1) I Panel valutano la qualità delle pubblicazioni. Ai fini del giudizio, rigorosamente descrittivo, i Panel adottano, singolarmente o in combinazione, le seguenti metodologie: analisi delle citazioni (ove applicabile), condotta direttamente dal Panel, utilizzando a tal fine la banca dati; peer-review, affidata ad esperti esterni scelti collegialmente dal Panel (di norma non più di due), con il compito di esprimersi, in modo anonimo, sulla qualità delle pubblicazioni selezionate.

Adempimenti dei Panel (2) L’analisi dei seguenti aspetti è parte integrante del giudizio di qualità: rilevanza: valore aggiunto per l’avanzamento della conoscenza, congruità, efficacia, tempestività e durata delle ricadute; originalità/innovazione: contributo a nuove acquisizioni nel settore di riferimento; internazionalizzazione e/o potenziale competitivo internazionale: posizionamento nello scenario internazionale, competitività, diffusione editoriale, collaborazione esplicita con ricercatori di altre nazioni; relativamente ai brevetti, i giudizi devono contenere anche riferimenti al trasferimento, allo sviluppo tecnologico e alle ricadute socio-economiche; per le pubblicazioni in collaborazione i Panel potranno pesare i contributi sulla base del ruolo avuto dai partecipanti, secondo le prassi delle diverse comunità scientifiche.

Adempimenti dei Panel (3) Il giudizio su ciascuna pubblicazione deve essere descrittivo: Eccellente (punteggio: 1) Buono (0.8) Accettabile (0.5) Limitato (0) Non valutabile (-1) Frode (-2) Per ciascuna pubblicazione mancante rispetto al numero atteso è assegnato un peso negativo (peso -0.5).

IR IR IR IR IR IR IR IR IR A A A IR IR IR IR IR IR A A A B B B IR IR numero di articoli pubblicati su riviste indicizzate”. iali di IF, citazioni e classe finale VQR 2004-2010 iali di IF, citazioni e classe finale VQR 2004-2010 iali di IF, citazioni e classe finale VQR 2004-2010 Figura 1. Matrice di corrispondenza tra classi iniz Figura 1. Matrice di corrispondenza tra classi iniz Figura 1. Matrice di corrispondenza tra classi iniz N. di citazioni N. di citazioni N. di citazioni 2 3 4 1 1 4 3 3 4 2 2 1 Indicatore bibliometrico Indicatore bibliometrico Indicatore bibliometrico IR IR IR IR IR IR IR IR IR A A A 1 2 3 4 1 2 3 4 1 2 3 4 IR IR IR IR IR IR A A A B B B IR IR IR IR IR IR C C C B B B IR IR IR IR IR IR IR IR IR D D D dell’indicatore “numero di citazioni della 5. Nella colonna 4 si riportano i valori della mediana Classe D: il 50% con i valori più bassi sono considerate di valore limitato; Classe C: il successivo 10% sono considerate accettabili; Classe B: il successivo 20% sono buone: Classe A: l’ultimo 20% con i punteggi più alti sono eccellenti. produzione scientifica complessiva” dell’indicatore “indice h”. Nella colonna 5 si riportano i valori della mediana 6.

Indicando rispettivamente con Ei, Bi, Ai, Li, Mi, NVi e PLi numero di articoli pubblicati su riviste indicizzate”. Indicando rispettivamente con Ei, Bi, Ai, Li, Mi, NVi e PLi il numero di prodotti Eccellenti, Buoni, Accettabili, Limitati, Mancanti, Non Valutabili e Plagio della struttura i-esima, si ottiene la valutazione complessiva Vi della struttura i-esima come: 1.0xEi + 0.8xBi + 0.5xAi + 0.0xLi -0.5xMi - 1.0xNVi – 2.0xPLi Il primo indicatore, con valore max 1, è dato da Ii= Vi/Ni dell’indicatore “numero di citazioni della 5. Nella colonna 4 si riportano i valori della mediana produzione scientifica complessiva” dell’indicatore “indice h”. Nella colonna 5 si riportano i valori della mediana 6.

PREGI E DIFETTI Si mettono in particolare evidenza le carenze Non vengono considerate a sufficienza le eccellenze Le scelte degli Enti di Ricerca possono influenzare i risultati delle diverse Università Differenze rispetto alla precedente valutazione ministeriale CIVR

Mediane ….Ma tu ce l’hai la mediana? Data una distribuzione e riordinata in base ai valori crescenti si definisce la mediana (o valore mediano) come il valore assunto dalla unità che si trova nel mezzo della distribuzione stessa. 12 14 14 14 15 16 16 17 17 18 19 20 20 21 25 25 30 50 55 60 70 ….Ma tu ce l’hai la mediana?

Mediane Per i Commissari e per i candidati Esempio per i settori bibliometrici: Numero di articoli indicizzati Numero complessivo di citazioni Indice h Esempio per i settori non bibliometrici: Numero di libri dotati di ISBN Numero di capitoli su libri dotati di ISBN Numero di articoli su riviste di classe A

Valutare la ricerca è complesso numero di articoli pubblicati su riviste indicizzate”. Valutare la ricerca è complesso Ogni sistema di valutazione è imperfetto e ha diversi punti deboli Riconoscerne i difetti non deve equivalere a screditare la valutazione ma a conoscerne i limiti e usarla quindi solo entro tali limiti Una valutazione completa dovrebbe contenere un “blend” completo di diversi aspetti complementari dell’indicatore “numero di citazioni della 5. Nella colonna 4 si riportano i valori della mediana produzione scientifica complessiva” dell’indicatore “indice h”. Nella colonna 5 si riportano i valori della mediana 6.