Marco Malgarini Area Valutazione della Ricerca ANVUR Gli indicatori per l’accreditamento e la valutazione dei Corsi di Dottorato Marco Malgarini Area Valutazione della Ricerca ANVUR Padova, 15 giugno 2016

Sommario Quadro normativo e obiettivi dell’accreditamento I requisiti per l’accreditamento Gli indicatori per l’accreditamento L’assegnazione dei fondi post-laurea Obiettivi e riferimenti normativi della valutazione I criteri/indicatori per la valutazione

Il quadro normativo I corsi per il conseguimento del dottorato di ricerca rappresentano un elemento fondamentale della formazione universitaria La legge 240 individua i soggetti istituzionali che possono istituire i corsi di dottorato, previo accreditamento da parte del MIUR, su conforme parere dell’ANVUR. Il DM 45, 2013 disciplina le modalità di accreditamento, nonché i criteri da usare per i tre processi di valutazione, individuati nella (i) autorizzazione iniziale ad attivare i corsi, (ii) verifica periodica della permanenza dei requisiti richiesti per l’accreditamento o la revoca dei corsi di dottorato, (iii) valutazione annuale dei corsi di dottorato ai fini della ripartizione annuale dei finanziamenti ministeriali, L’ANVUR ha approvato le proprie Linee guida per l’accreditamento e la verifica periodica nel maggio 2013, poi riviste nel febbraio 2014 e ancora aggiornate nel febbraio 2016 Le Linee guida relative alla valutazione sono state approvate dall’ANVUR nel marzo 2015 e diverranno operative a partire dalla fine del 2016

Obiettivi accreditamento e verifica periodica Accreditare corsi di dottorato che garantiscano ai dottorandi: un ambiente di ricerca aperto al confronto e alla collaborazione internazionale collegamenti con scuole e enti di ricerca che li ospitino per periodi medio-lunghi un tutoraggio efficace e costante un’offerta coordinata di corsi che ne allarghi e approfondisca la preparazione ottenuta nei corsi precedenti una disponibilità di fondi oltre alla borsa di dottorato che ne consenta la mobilità: partecipazione a congressi, soggiorni in altri atenei o centri di ricerca In presenza di curricula, una coerenza interna del corso e l’attitudine alla collaborazione riscontrabile dalla produzione scientifica dei membri del collegio

I requisiti per l’accreditamento e la verifica periodica Requisito A1, Art. 2, comma 1, DM 45: I corsi di Dottorato sono attivati da soggetti che sviluppano una specifica, ampia, originale, qualificata e continuativa attività, sia didattica che di ricerca, adeguatamente riconosciuta a livello internazionale nei settori di interesse per il dottorato Requisito A2, Art. 6, comma 2: Le tematiche del Dottorato si riferiscono ad ambiti disciplinari ampi, organici e chiaramente definiti Requisito A3, Art. 4, comma 1: la presenza di un collegio del dottorato composto da almeno sedici docenti, di cui non più di un quarto ricercatori, appartenenti ai macrosettori coerenti con gli obiettivi formativi del corso. Per i consorzi, il collegio può essere formato fino a un quarto da soggetti appartenenti ai ruoli degli enti di ricerca Ciascun soggetto può essere conteggiato una sola volta su base nazionale;

I requisiti per l’accreditamento e la verifica periodica Requisito A4: il possesso, da parte dei membri del collegio, di documentati risultati di ricerca di livello internazionale negli ambiti disciplinari del corso negli ultimi cinque anni; Requisito A5: per ciascun ciclo di dottorato da attivare, la disponibilità di un numero medio di almeno sei borse di studio per corso di dottorato attivato per il singolo ciclo di dottorato tale disponibilità non può essere inferiore a quattro. si possono computare altre forme di finanziamento di importo almeno equivalente comunque destinate a borse di studio. Per i dottorati attivati dai consorzi, ciascuna istituzione consorziata deve assicurare la partecipazione di almeno tre borse di studio

I requisiti per l’accreditamento e la verifica periodica Requisito A6: la disponibilità di congrui e stabili finanziamenti per la sostenibilità del corso; Requisito A7: la disponibilità di specifiche e qualificate strutture operative e scientifiche per l’attività di studio e di ricerca dei dottorandi; Requisito A8: la previsione di attività, anche in comune tra più dottorati, di formazione disciplinare e interdisciplinare e di perfezionamento linguistico e informatico, nonché, nel campo della gestione della ricerca e della conoscenza dei sistemi di ricerca europei ed internazionali, della valorizzazione dei risultati della ricerca e della proprietà intellettuale. Requisito A9: Nel caso di corsi di dottorato che siano la prosecuzione di corsi già attivati per almeno 3 cicli precedenti la proposta del corso, si verifica la presenza di attività scientifica dei dottorandi nei tre anni del dottorato e dei neo-dottori nei tre anni che seguono il conseguimento del titolo.

Gli indicatori di accreditamento e verifica periodica Requisito A1: Qualificazione scientifica della sede di Dottorato: - In genere, il requisito A1 è verificato congiuntamente con il requisito A4 - Nel caso di dottorato in collaborazione con sedi estere, si valuta: I. Presenza dottorati affini attivati con eventuale accreditamento di Agenzie nazionali; II. Produzione scientifica di livello internazionale dei membri del collegio affiliati a istituzioni estere e posizione in ranking nazionali e internazionali - Nel caso di collaborazione con imprese si valuta: III. Partecipazione con esito positivo a progetti di ricerca nazionali e internazionali; IV.a Presenza di sezioni aziendali dedicate alla R&S; IV.b Risultati in termini di brevetti depositati negli ultimi 5 anni (2011-2015) Requisito A2: Tematiche del dottorato ed eventuali curricula Coerenza e affinità di tematiche e metodologie Adeguata numerosità docenti in relazione ai curricula Analisi dei syllabi (a partire dal XXXIII Ciclo) Requisito A3: Composizione del collegio Numero minimo = 16 Composizione equilibrata Professori/ricercatori/Ricercatori enti pubblici Minimo 50% componenti appartenenti a soggetti promotori Coordinatore appartenente a soggetti promotori Grado di copertura SSD (minimo 80%)

Gli indicatori di accreditamento e verifica periodica Requisito A4: Qualificazione scientifica del collegio di dottorato Indicatori R e X della VQR applicati al collegio completo Indicatore I funzione degli indicatori ASN dell’abilitazione scientifica nazionale applicato al collegio completo Indicatore di attività scientifica del Collegio (5 pubblicazioni) Qualificazione scientifica del coordinatore: Superamento delle mediane ASN Analisi delle pubblicazioni Coordinamento progetti di ricerca Incarichi di società scientifiche Direzione di riviste o di Enti di Ricerca Fellowship o contratti di insegnamento esteri Premi ricevuti A partire dal XXXIII Ciclo, se la pubblicazione dei risultati della VQR risale a tre o più anni addietro, l’indicatore I potrà essere affiancato dai dati relativi all’H index (settori bibliometrici) e da quelli relativi alla tipologia qualitativa delle pubblicazioni dei membri del Collegio

Gli indicatori di accreditamento e verifica periodica Requisito A5: La verifica del requisito sul numero minimo di borse si basa sull’autocertificazione del soggetto proponente. Requisito A6: Oltre alla disponibilità dei fondi per il numero di borse minimo previsto, si richiede per ciascuna borsa un aumento minimo del 10% a partire dal secondo anno per sostenere la mobilità del dottorando (partecipazione a congressi, visite brevi ad altri atenei/laboratori) e del 50% in caso di soggiorno all’estero. Ad evitare discriminazioni tra dottorandi con e senza borsa, gli aumenti devono valere per tutti gli studenti ammessi al corso di dottorato.

Gli indicatori di accreditamento e verifica periodica Requisito A7: Autocertificazione per la disponibilità di spazi adeguati per i dottorandi e di risorse per il calcolo elettronico. Il modulo di proposta riporta inoltre alcune informazioni su attrezzature e/o laboratori, patrimonio librario, banche dati e strumenti software Requisito A8: L’esistenza di un progetto integrato di formazione specifico per il dottorato è accertata sulla base della descrizione contenuta nel modulo di proposta. Sarà in particolare verificata nel progetto l’esistenza di attività formative specifiche per il dottorato, eventualmente corredate di accertamento finale, sia di contenuto specialistico che interdisciplinare, o di perfezionamento statistico, linguistico e informatico e della valorizzazione dei risultati della ricerca e della proprietà intellettuale.

Gli indicatori di accreditamento e verifica periodica Requisito A9 (a partire dal XXXIII Ciclo): Il numero medio di pubblicazioni per dottorando e poi neodottore nel sessennio. Particolare attenzione verrà prestata: Alle pubblicazioni a congressi internazionali con peer review; Alle pubblicazioni su riviste ISI e Scopus nel caso delle aree bibliometriche; Alle pubblicazioni su riviste indicizzate e di fascia A e alle monografie e loro recensioni nel caso nelle aree non bibliometriche.

Criteri per la ripartizione del fondo borse post-lauream Il finanziamento ministeriale è ripartito annualmente con decreto del Ministro, sentita l’ANVUR, tenuto conto dei seguenti criteri: qualità della ricerca svolta dai membri del collegio dei docenti (peso 40%); grado di internazionalizzazione del dottorato (10%); grado di collaborazione con il sistema delle imprese e ricadute del dottorato sul sistema socio-economico (10%); attrattività del dottorato (20%); dotazione di servizi, risorse infrastrutturali e risorse finanziarie a disposizione del dottorato e dei dottorandi, anche a seguito di processi di fusione o di federazione tra atenei (20)

Qualità della ricerca: peso 40% Per ciascun corso di dottorato è preso in considerazione l’indicatore A=R+X, somma degli indicatori R e X della VQR 2004-2010, calcolato sul collegio del corso di dottorato. L’indicatore A è calcolato separatamente per ciascuna delle 16 aree definite nella VQR. Per il calcolo degli indicatori R e X la normalizzazione viene fatta utilizzando la media nazionale a livello di area di appartenenza dei membri del collegio. Ciascun corso di dottorato è assegnato a una delle 16 aree CUN-VQR sulla base dell’area principale di riferimento del corso di dottorato. L’indicatore finale utilizzato è ottenuto come somma pesata, con i pesi di area, del rapporto tra gli indicatori A calcolati per ciascun corso dell’Ateneo e la somma degli indicatori A di tutti i dottorati della medesima area. I pesi d’area sono proporzionali all’incidenza dei posti con borsa in ciascuna area.

Grado di internazionalizzazione del dottorato: peso 10% Numero di iscritti ai corsi di dottorato attivati nel 2014 che hanno conseguito il titolo di accesso al dottorato in Università straniere Grado di collaborazione con il sistema delle imprese: peso 10% Numero di borse di dottorato acquisite da enti esterni nel 2014

Attrattività del dottorato: peso 20% Numero di iscritti ai corsi di dottorato attivati nel 2014 che hanno conseguito il titolo di accesso al dottorato in Università italiane diverse da quella sede del corso di dottorato Dotazione di servizi, risorse infrastrutturali e risorse finanziarie a disposizione del dottorato e dei dottorandi: peso 20% Numero di iscritti ai corsi di dottorato attivati nel 2014 con borsa di dottorato o forma di finanziamento equivalente moltiplicato per il rapporto tra iscritti con borsa e iscritti totali nel 2014

La valutazione dei Corsi di Dottorato Requisiti, criteri e indicatori sin qui descritti sono relativi all’accreditamento e alla verifica periodica dei requisiti dei Corsi A partire dalla fine del 2016, una volta completato il XXIX Ciclo, ossia il primo con la nuova normativa, partirà anche l’attività di valutazione ex post dei corsi. Gli obiettivi della valutazione sono analoghi a quelli già fissati in sede di accreditamento Simili anche i criteri e gli indicatori utilizzati

La valutazione dei Corsi di Dottorato Criterio V1: qualità della ricerca svolta dai membri del collegio dei docenti Indicatori R e X della VQR 2011-14 applicati ai 16 membri del collegio Indicatore di attività scientifica calcolato sulle migliori 5 pubblicazioni degli ultimi 5 anni. Aree bibliometriche: indicatore di impatto delle riviste sede di pubblicazione. L’indicatore si calcola sommando i rapporti tra il valore dell’indicatore di ciascuna pubblicazione e il suo valore mediato sulla Science Category di appartenenza della rivista e dividendo la somma per cinque volte il numero di membri del collegio. Nel caso di riviste appartenenti a più Subject Category si sceglierà la soluzione più favorevole. Per le aree non bibliometriche l’indicatore è rappresentato da una valutazione delle pubblicazioni presentate da ogni membro del collegio. Verrà data preferenza, nell’ordine a: monografie di ricerca e prodotti equivalenti recensiti su riviste di fascia A (ASN) rispetto a quelli non recensiti; saggi, o prodotto equivalente, e in subordine agli altri contributi pubblicati in volumi recensiti su riviste di fascia A (ASN) articoli e in subordine agli altri contributi in rivista di fascia A (ASN) rispetto ai prodotti equivalenti apparsi sulle riviste classificate come scientifiche (ASN) altri tipi di pubblicazione recensiti o discussi in riviste di fascia A (ASN) rispetto a quelli né recensiti né discussi.

La valutazione dei Corsi di Dottorato I membri del collegio indicheranno gli estremi delle recensioni alle loro pubblicazioni, escludendo quelle apparse su riviste dei cui organi di direzione fanno a vario titolo parte. Non verranno considerate riedizioni e/o traduzioni di opere proprie già pubblicate in passato. L’indicatore si calcola come rapporto tra la somma pesata delle pubblicazioni dei membri del Collegio, divisa per cinque volte il numero di membri del Collegio, e la somma pesata delle pubblicazioni presentate da tutti i membri dei Collegi di Dottorato di quel Settore Concorsuale (o in subordine di quell'Area), divisa per cinque volte il numero di membri dei Collegi nel medesimo Settore Concorsuale (o in subordine di quell'Area)

La valutazione dei corsi di Dottorato Criterio V2: Grado di internazionalizzazione del dottorato Il rapporto tra numero medio di prodotti dei membri del Collegio con coautore “straniero” con valutazione eccellente o buono della VQR 2011-2014 e il numero medio di prodotti con coautore straniero con valutazione eccellente o buono di tutti i dottorati della stessa area. Il rapporto tra la percentuale di dottorandi che hanno trascorso un periodo documentato di almeno un mese presso università o laboratorio o archivio o biblioteca esteri e la percentuale media di dottorandi che hanno trascorso un periodo documentato di almeno un mese presso università o laboratorio o archivio o biblioteca esteri nei dottorati della stessa area. Il rapporto IST-VP tra: la somma del numero dei periodi di durata superiore ai 15 giorni trascorsi in forma ufficiale e documentata come Visiting Professor/Visiting Scholar o Visiting Scientist presso università o centri di ricerca stranieri esteri dai membri del Collegio e del numero dei periodi di durata superiore ai 15 giorni trascorsi in forma ufficiale e documentata nell’ateneo sede del corso di dottorato (o in uno degli atenei consorziati) dai membri stranieri del Collegio negli ultimi 5 anni, e il numero medio degli stessi periodi riferiti ai collegi dei corsi di dottorato della stessa area negli ultimi 5 anni.

La valutazione dei corsi di Dottorato Per le aree non bibliometriche il primo indicatore è sostituito dal più favorevole dei due seguenti indicatori: Il rapporto tra numero medio di monografie con recensioni pubblicate su riviste di fascia A (ASN)-ISI-Scopus da un editore con sede all’estero dai membri del Collegio nei cinque anni precedenti la valutazione del corso di dottorato e il numero medio di monografie con recensioni pubblicate su riviste A (ASN)-ISI-Scopus non pubblicate in Italia pubblicate da membri di Collegio nazionali nella stessa area negli stessi cinque anni; Il rapporto tra il numero medio di articoli scientifici indicati nel modulo di proposta del dottorato pubblicati dai membri del Collegio nei cinque anni precedenti la valutazione del corso di dottorato su riviste di fascia A (ASN)-ISI-Scopus non pubblicate da editori italiani e il numero medio di articoli scientifici pubblicati da membri di Collegio nazionali nella stessa area negli stessi cinque anni su riviste A (ASN)-ISI-Scopus non pubblicate da editori italiani e dei cui organi di direzione gli autori degli articoli non fanno a vario titolo parte.

La valutazione dei Corsi di Dottorato Criterio 3V: Grado di collaborazione con il sistema delle imprese e ricadute del dottorato sul sistema socio-economico Un indicatore sintetico dato da una combinazione dei seguenti indicatori: Il rapporto tra la quota delle borse di dottorato finanziate da enti esterni pubblici e privati e la quota media dei dottorati di area. Nel caso di enti pubblici, sono da escludere le borse finanziate da enti che non operino su tutto il territorio nazionale (quali, ad esempio, comuni, province o regioni). Il rapporto tra il numero di brevetti con coautori dottorandi, normalizzato rispetto al numero complessivo di dottorandi, e lo stesso numero mediato su tutti i dottorati dell’area.

La valutazione dei Corsi di Dottorato Criterio 4V: Attrattività del dottorato Per costruire l’indicatore finale IV4 di area, struttura e dottorato si utilizzano i seguenti indicatori di base: Il rapporto tra la percentuale dei candidati italiani “esterni”, cioè laureati al di fuori dell’ateneo (degli atenei, in caso di consorzio) e la percentuale media dei candidati italiani esterni nei dottorati dell’area. Il rapporto tra la percentuale di candidati “stranieri”, cioè laureati in università estere, e la percentuale media dei candidati italiani esterni nei dottorati dell’area Criterio 5V: dotazione di servizi, risorse infrastrutturali e risorse finanziarie a disposizione del dottorato e dei dottorandi Il criterio V5 fa riferimento a dati di contesto che sono già stati presi in considerazione in fase di accreditamento del dottorato. Pertanto, non si attribuiscono indicatori a tale criterio. L’ANVUR valuterà tuttavia positivamente la capacità, opportunamente segnalata, dei dottorati di ottenere o comunque fornire a posteriori una borsa di studio ai dottorandi ammessi senza borsa.

La valutazione dei Corsi di Dottorato Criterio V6: Sbocchi professionali dei dottori di ricerca Per costruire l’indicatore finale IV6 di area si utilizzano i seguenti indicatori di base, dedotti dall’analisi condotta da ISTAT sugli sbocchi occupazionali dei dottori di ricerca: Percentuale con impiego a 2 (ISB2) e 5 (ISB5) anni dalla data di conseguimento del titolo di dottore (dati ISTAT). Nella costruzione dell’indicatore si terrà conto di fattori di contesto, quali ad esempio il tasso di occupazione dei laureati nella regione dell’ateneo sede del dottorato. Criterio V7: Produzione scientifica di dottorandi e neo dottori, aree bibliometriche l’indicatore misura l’impatto delle riviste sede di pubblicazione degli articoli degli studenti di dottorato e neo-dottori. L’indicatore si calcola sommando i rapporti tra il valore dell’indicatore di ciascuna pubblicazione e il suo valore mediato sulla Science Category (o analogo insieme per Scopus) di appartenenza della rivista e dividendo la somma per il numero di dottorandi e neodottori dei cicli considerati (tre nel 2017 e sei a regime) moltiplicato per tre. Nel caso di riviste appartenenti a più Subject Category si sceglierà la soluzione più favorevole. –

La valutazione dei Corsi di Dottorato Criterio V7: Produzione scientifica di dottorandi e neo dottori, aree non bibliometriche Per le aree non bibliometriche l’indicatore è rappresentato da una valutazione delle pubblicazioni presentate da ogni dottorando-neodottore, opportunamente pesate in modo da tener conto delle specificità di ogni area. Verrà data preferenza, nell’ordine, a: monografie di ricerca e prodotti equivalenti; saggi, o prodotto equivalente, e in subordine agli altri contributi pubblicati in volumi; articoli e in subordine agli altri contributi in rivista di fascia A (ASN) rispetto ai prodotti equivalenti apparsi sulle riviste classificate come scientifiche (ASN); altri tipi di pubblicazione recensiti o discussi in riviste di fascia A (ASN) rispetto a quelli né recensiti né discussi. L’indicatore si calcola come rapporto tra: somma pesata delle pubblicazioni dei dottorandi-neodottori divisa per il numero di dottorandi e neodottori dei cicli considerati (tre nel 2017 e sei a regime) moltiplicato per tre somma pesata delle pubblicazioni presentate da tutti i dottorandi-neodottori di quell’area divisa per il numero di dottorandi e neo-dottori dell’area dei cicli considerati (tre nel 2017 e sei a regime) moltiplicato per tre.