Valutazione della qualità nell’Università: la valutazione dei Corsi di Dottorato Nucleo di Valutazione dell’Università di Pisa I Salerno 12 novembre1999 A P C D C D V I N V I N IL DOTTORATO DI RICERCA A PISA Analisi della qualità e strategie per il futuro

Dottorato2 Indice Obiettivi del nucleo di valutazione dell’Università di Pisa Le aree di valutazione nell ’università La valutazione dei Corsi di Dottorato Un possibile metodologia per la valutazione

Dottorato3 Verificare la corretta gestione delle risorse pubbliche, la produttività della ricerca e della didattica, nonché l’imparzialità e il buon andamento dell’azione amministrativa Verificare la corretta gestione delle risorse pubbliche, la produttività della ricerca e della didattica, nonché l’imparzialità e il buon andamento dell’azione amministrativa Determinare i parametri di riferimento per il controllo Determinare i parametri di riferimento per il controllo Attuazione delle azioni di controllo Attuazione delle azioni di controllo Funzioni del Nucleo di Valutazione (Legge 29/93 e ss) Opinioni Studenti Parere vincolante su nuovi Corsi di Studio di Laurea Validazione dati statistici annuali Verifica presenza requisiti di idoneità CdD Approvazione relazioni triennali CdD

Dottorato4 LA POLITICA DEL NUCLEO DI VALUTAZIONE DELL’UNIVERSITÀ DI PISA svolgere i compiti assegnati dalla legge tramite il coinvolgimento e la responsabilizzazione di tutte le strutture dell’ateneo privilegiare lo sviluppo di modelli di valutazione finalizzati all’autocontrollo ed al miglioramento continuo

Dottorato5 Indice Obiettivi del nucleo di valutazione dell’Università di Pisa Le aree di valutazione nell ’università La valutazione dei Corsi di Dottorato Un possibile metodologia per la valutazione

Dottorato6 PIANIFICAZIONE STRATEGICA – OBIETTIIVI E STRATEGIE – VALUTAZIONE CRE AMMINISTRAZIONE E GESTIONE – CONTROLLO DI GESTIONE – EFFICIENZA ED EFFICACIA DEI PROCESSI – PROGETTO ASIGEA (CRUI) RICERCA – VALUTAZIONE INDIVIDUALE (INDICATORI CRUI, DATA BASE PUBBLICAZIONI) – VALUTAZIONE DELLE STRUTTURE DIDATTICA – AUTOVALUTAZIONE RICORRENTE E VALUTAZONE ESTERNA PERIODICA (PEER REVIEW) – MIGLIORAMENTO CONTINUO – TRASPARENZA ED IMMAGINE (SINTESI DEI RISULTATI DELL’AUTOVALUTAZIONI MESSI A DISPOSIZIONE DI TUTTE LE PARTI INTERESSATE SU SITO WEB DELLA CRUI)

Dottorato7 Indice Obiettivi del nucleo di valutazione dell’Università di Pisa Le aree di valutazione nell ’università La valutazione dei Corsi di Dottorato Un possibile metodologia per la valutazione

Dottorato8 Dottorato di ricerca: Dpr 382/1980 …art 68 comma 4: secondo la sua lettera i corsi di Dottorato (già si usava il termine “corso”) “consistono essenzialmente nello svolgimento di programmi di ricerca individuali o eccezionalmente, per la natura specifica della ricerca, in collaborazione eventualmente anche interdisciplinare, su tematiche prescelte dagli stessi interessati con l'assenso e la guida dei docenti nel settore della facoltà o dipartimento abilitati e in cicli di seminari specialistici”

Dottorato9 La riforma: legge 210/98 e DM 224/99 Art. 4 L 210/98 - Dottorato di ricerca Obiettivo generale: i corsi per il conseguimento del dottorato di ricerca forniscono le competenze necessarie per esercitare, presso università, enti pubblici o soggetti privati, attività di ricerca di alta qualificazione

Dottorato10 La riforma: legge 210/98 e DM 224/99 Art. 4 L 210/98 - Dottorato di ricerca Le università, con proprio regolamento, disciplinano l'istituzione dei corsi di dottorato, le modalità di accesso e di conseguimento del titolo, gli obiettivi formativi ed il relativo programma di studi, la durata, il contributo per l'accesso e la frequenza Il tutto in conformità ai criteri generali e ai requisiti di idoneità delle sedi determinati con decreto del Ministro, sentiti il CUN e l’Osservatorio per la Valutazione (ora CNVSU) Estremamente interessante è che, anche a differenza delle disposizioni del Dm 509, nel Dm 224 non si limita in alcun modo la libertà degli Atenei di autodeterminare gli obiettivi formativi dei vari Dottorati, inserendo invece – art. 2 e 3 - clausole di garanzia “di sistema”

Dottorato11 La riforma: legge 210/98 e DM 224/99 Le clausole di garanzia operano a due livelli, uno ex ante - art 2 comma 3 dm 224 -, l’altro in itinere – art 3 dm cit. -, attraverso la definizione di una serie di “requisiti di idoneità delle sedi” Quindi, sia al momento dell’istituzione, che con “periodicità costante fissata dagli organi di governo di Ateneo” (di fatto annualmente) il NVI è tenuto a valutare la presenza di tali caratteristiche delle sedi di Dottorato

Dottorato12 La riforma: legge 210/98 e DM 224/99 a) la presenza nel collegio dei docenti di un congruo numero di professori e ricercatori dell'area scientifica di riferimento del corso b) la disponibilità di adeguate risorse finanziarie e di specifiche strutture operative e scientifiche per il corso e per l’attività di studio e di ricerca dei dottorandi c) la previsione di un coordinatore responsabile dell’organizzazione del corso, di un collegio di docenti e di tutori in numero proporzionato ai dottorandi e con documentata produzione scientifica nell’ultimo quinquennio nell’area di riferimento del corso d) la possibilità di collaborazione con soggetti pubblici o privati, italiani o stranieri, che consenta ai dottorandi lo svolgimento di esperienze in un contesto di attività lavorative e) la previsione di percorsi formativi orientati all'esercizio di attività di ricerca di alta qualificazione presso università, enti pubblici o soggetti privati

Dottorato13 La riforma: legge 210/98 e DM 224/99 f) l’attivazione di sistemi di valutazione relativi alla permanenza dei requisiti di cui al presente comma, alla rispondenza del corso agli obiettivi formativi di cui all’articolo 4, anche in relazione agli sbocchi professionali, al livello di formazione dei dottorandi. Il meccanismo dei “requisiti minimi” e la loro certificata (dal NVI) presenza è elemento considerato anche ai fini della emanazione annuale da parte del Ministero del decreto di ripartizione dei fondi per le borse …questo passaggio è una assoluta novità rispetto alle previsioni del 1980, in quanto, ove non ci si voglia fermare ad un’interpretazione veramente minimale, esso introduce un pressante stimolo alla pianificazione di processi di riesame interno per i corsi di dottorato, riguardo la capacità di raggiungere gli obiettivi dichiarati al momento dell’istituzione

Dottorato14 Le successive indicazioni ministeriali: nota 2192/ Incoraggiare iniziative di accorpamento di più corsi che sbocchino nella costituzione di scuole di dottorato dotate di adeguate risorse e con capacità di programmazione plurisettoriale. 2- Nel caso di dottorati istituiti tra più sedi consorziate le attività didattiche siano concentrate su una sola sede nella quale far affluire le risorse destinate al funzionamento dei corsi stessi. 3- Promuovere la ricerca di fonti esterne di finanziamento, in modo particolare per quelle attività scientifiche che possono avere ricadute applicative, infatti l’interesse di enti esterni può contribuire all’affermazione dei corsi di dottorato sul piano professionale con la conseguente creazione di sbocchi professionali per i dottori di ricerca

Dottorato15 Le successive indicazioni ministeriali: nota 2192/2002 4) Incentivare la mobilità dei dottorandi consentendo un incremento della borsa per studenti che provengano da altra sede, al fine di evitare che le scuole di dottorato si trasformino in un prolungamento del corso di laurea e/o laurea specialistica. 5) Prevedere una valutazione periodica della produzione scientifica dei dottorandi da effettuarsi secondo modalità specifiche per ciascuna area scientifico disciplinare. 6) Incentivare la internazionalizzazione dei dottorati sia mediante l’istituzione di borse riservate a studenti stranieri sia incoraggiando appropriate e valide iniziative di collaborazione con qualificati atenei stranieri.

Dottorato16 Regolamento Università di Pisa D.R. 30 agosto 1999 ÷ 5 marzo 2002 Articolo 1 – Finalità Articolo 2 – Istituzione Articolo 3 – Convenzioni Articolo 4 – Organi del corso Articolo 5 – Regolamento interno del corso Articolo 6 – Relazione triennale Articolo 7 – Posti a concorso Articolo 8 – Finanziamenti a dottorati di altri Atenei Articolo 9 – Borse di studio Articolo 10 – Concorso di ammissione Articolo 11 – Diritti e obblighi degli iscritti ai corsi di dottorato Articolo 11 bis Articolo 12 – Esame finale Articolo 13 – Ammissioni in soprannumero Articolo 14 – Norma transitoria

Dottorato17 Relazione triennale (art. 6 Regolamento Università di Pisa Il consiglio di dottorato di ogni corso di dottorato di ricerca predispone ogni tre anni una relazione sull’attività didattica e scientifica svolta. La relazione deve essere approvata dai dipartimenti concorrenti e sottoposta al senato accademico, il quale provvede alla verifica della rispondenza dei corsi agli obiettivi scientifici e formativi previsti e del permanere delle condizioni di idoneità. A tal fine il nucleo di valutazione interna, sentito il collegio dei direttori di dipartimento, provvederà ad individuare gli elementi informativi indispensabili per tale verifica. Sulla base delle relazioni triennali, sentito il nucleo di valutazione interna, il senato accademico può deliberare la soppressione di un corso di dottorato di ricerca.

Dottorato18 Indice Obiettivi del nucleo di valutazione dell’Università di Pisa Le aree di valutazione nell ’università La valutazione dei Corsi di Dottorato Un possibile metodologia per la valutazione

Dottorato19 VALUTARE A COSA CI SI PUO’ RIFERIRE Insieme di proprietà e caratteristiche che conferiscono ad un prodotto, un servizio, un processo, un’organizzazione, una persona la capacità di soddisfare esigenze esplicite od implicite di una parte interessata

Dottorato20 RISULTATO DI UN PROCESSO O DI UNA SERIE DI PROCESSI COSA PREME ALLA PARTE INTERESSATA LA DIDATTICA E LA RICERCA Equazioni di Maxwell

Dottorato21 Un insieme di elementi e relazioni interagenti tra loro al fine di svolgere una o più funzioni. SISTEMA (COME RISPONDERE AL MEGLIO ALLE ESIGENZE DELLE PARTI INTERESSATE CON LE “RISORSE” DISPONIBILI) Gli elementi e le relazioni del sistema che consentono di svolgere le funzioni previste sono collegati tra loro in una catena di processi IL SISTEMA DI GESTIONE L’ORGANIZZAZIONE (Ateneo, Dipartimento, Corso di Studio, Corso di Dottorato)

Dottorato22 COSA É STATO FATTO SCHEDA OPINIONE DOTTORANDI …… COSA POTREBBE ESSERE FATTO Valutare la Qualità del Prodotto (ricerca ed alta formazione) e del Sistema Autovalutazione Valutazione Trasparenza ….

Dottorato23 CRITERI DI VALUTAZIONE VALORE DEGLI OBIETTIVI – formativi di alta qualificazione e specifici della ricerca VALORE DEI RISULTATI – Capacità di attrazione (numero domande dottorandi, borse di studio e finanziamenti esterni, partnership nazionali ed internazionali) – Efficacia interna – Opinioni dei Dottorandi – Efficacia esterna (soddisfazione e“carriera” dottori, richiesta ed apprezzamento dei dottori dalle parti interessate, valore della ricerca prodotta …) VALORE DELL’ORGANIZZAZIONE E DEI PROCESSI – (punti a÷e del DM 229/99) (punti a÷e del DM 229/99)

Dottorato24 ASPETTI CHIAVE PER LA VALUTAZIONE ORGANIZZAZIONE ESIGENZE ED OBIETTIVI RISORSE PROCESSI RISULTATI

Dottorato25 3 Rapporto alle strutture (Senato, NVI, Murst) 4 Valutazione delle strutture 5 Feedback 6 Presentazione dei risultati (Sito web aperto alla comunità scientifica 1 Autovalutazione periodica 2 Peer-review “a distanza” Il processo di valutazione Prevalentemente sugli aspetti relativi alla ricerca sia come obiettivi che come risultati