Il lavoro dell’Agenzia sul primo ciclo sperimentale Sandro Momigliano Direttore Generale ANVUR L’Università italiana tra strategie, performance e adempimenti Firenze, 22 settembre 2016

Il percorso fino alle Linee Guida Passaggio competenze da CIVIT ad ANVUR (agosto 2013) Avvio Gruppo di Lavoro in Agenzia (aprile 2014) Visite in loco negli EPR (giugno-luglio 2014) Convegno CODAU (settembre 2014) Workshop Teaching and Research Evaluation in Europe (dicembre 2014) Assemblea CONVUI (febbraio 2015) Bozza in consultazione delle Linee Guida (maggio 2015) Workshop La Buona Amministrazione (giugno 2015) Linee Guida definitive (agosto 2015) Approvazione Piano di Lavoro per la valutazione della performance (ottobre 2015) Avvio prima fase Piano di Lavoro (settembre-novembre 2015) L’Università italiana tra strategie, performance e adempimenti Firenze, 22 settembre 2016

Approccio, metodi, strumenti e risorse Confronto diretto con gli atenei Ruolo attivo dei Nuclei e delle Strutture di Supporto Metodi misti quali-quantitativi Il Portale della Performance (in collaborazione con CNR e DFP) Software per l’analisi testuale Team di lavoro: 1 funzionario; 2 collaboratori full-time e 2 part-time L’Università italiana tra strategie, performance e adempimenti Firenze, 22 settembre 2016

La programmazione ANVUR Piano di lavoro 2015-17 (approvato dal CD il 7 ottobre 2015): Attività preliminari Impostazione degli strumenti di analisi valutativa Prima fase di valutazione (annualità 2016) Seconda fase di valutazione (annualità 2017) Chiusura del primo ciclo e pianificazione fasi successive OUTPUT attesi Documenti di feedback individuali Rapporto Stato della Valutazione della Performance nelle Università Statali Italiane e negli EPR vigilati MIUR Aggiornamento leggero delle Linee Guida ANVUR L’Università italiana tra strategie, performance e adempimenti Firenze, 22 settembre 2016

Attività preliminari Monitoraggio adempimenti Analisi delle Relazioni sul funzionamento complessivo del ciclo di gestione della performance del 2014 (gennaio 2016) Incontri con i Nuclei (gennaio 2016) Survey «Approfondimenti sulla Valutazione della Performance» (febbraio-aprile 2016) Approfondimento sugli Uffici di supporto ai Nuclei (settembre 2016) Analisi statistica (attività trasversale): Raccolta dati quantitativi da una pluralità di fonti Accesso banca dati DALIA sul personale tecnico-amministrativo Estrazione dati quantitativi dai Piani Integrati L’Università italiana tra strategie, performance e adempimenti Firenze, 22 settembre 2016

Impostazione degli strumenti di analisi valutativa Impostazione di una griglia di analisi, sulla base: della letteratura scientifica dei criteri presenti nelle Linee Guida dell’ANVUR delle evidenze emerse dall’analisi preliminare, in particolare dagli scambi con i Nuclei di Valutazione In una fase preliminare la griglia è stata sviluppata in formato Excel L’Università italiana tra strategie, performance e adempimenti Firenze, 22 settembre 2016

Estratto della Griglia in Excel Ambito Argomento Descrizione Note Evidenze PI.1 Processo di definizione del Piano PI.1.1 Commitment Rilevare se ci sono riferimenti al coinvolgimento della parte accademica alla definizione del documento programmatico.   PI.1.2 Strategie Rilevare se sono esplicitate le strategie in forma discorsiva, se ci sono riferimenti specifici ed espliciti ad altri documenti come la programmazione triennale, il piano strategico, il programma del Rettore ecc ovvero a obiettivi legati a indicatori utilizzati dal MIUR per la distribuzione dell'FFO (costo standard). PI.1.4 LG ANVUR Rilevare se il Piano Integrato è sviluppato nelle 5 sezioni indicate nelle LG e se ci sono riferimenti espliciti alle LG ANVUR. PI.2 Integrazione PI.2.1 Ricerca Istituzionale Rilevare se sono presenti riferimenti espliciti ai risultati della VQR 2004-10, al lavoro di predisposizione di quella 11-14, alle compilazioni delle SUA_RD da parte dei dipartimenti o altro e se sono declinati formalmente in obiettivi strategici. PI.2.2 Didattica Rilevare se sono presenti riferimenti espliciti al processo di AQ interno, se è stata ricevuta o è in programma la visita di accreditamento periodico da parte delle CEV, se ci sono riferimenti a un coordinamento o a servizi trasversali inter o infradipartimentali per la compilazione delle SUA_CdS, alle attività a supporto dei Nuclei (da integrare e linkare al relativo nodes), del PdQ, delle CPDS o di altre strutture preposte all'AQ. Rilevare altresì se tali riferimenti sono declinati formalmente in obiettivi strategici. PI.2.3 Terza Missione Rilevare se sono presenti riferimenti espliciti ai risultati della VQR 2004-10, al lavoro di predisposizione di quella 11-14, alle compilazioni delle SUA_RD-TM da parte dei dipartimenti o altro. Va rilevata altresì la presenza di riferimenti ad attività legate de facto ai temi della TM (valorizzazione economica e sociale), anche se non esplicitamente indicati in quanto tali. Rilevare altresì se tali riferimenti sono declinati formalmente in obiettivi strategici. PI.2.4 Bilancio Rilevare se c'è riferimento esplicito all'integrazione con il Ciclo di Bilancio e se sono declinati degli obiettivi strategici. PI.2.5 Controlli interni Rilevare se c'è riferimento esplicito all'integrazione con i controlli interni. PI.2.6 Anticorruzione e Trasparenza Rilevare la presenza di una sezione dedicata agli adempimenti ex 190/2012 e se esiste una declinazione in obiettivi strategici. Annotare se c'è riferimento esplicito alle 4 aree di rischio indicate nelle LG (Approvvigionamenti e gare d’appalto; Personale e contratti di lavoro; Gestione finanziaria e bilancio; Servizi agli studenti), ad eventuali altre aree di rischio, se i rischi sono stati graduati in termini di priorità e se tali analisi hanno riscontri operativi nelle altre sezioni del Piano (obiettivi, soggetti responsabili e azioni). L’Università italiana tra strategie, performance e adempimenti Firenze, 22 settembre 2016

Dettaglio della Griglia in Excel Ambito Argomento Descrizione Note Evidenze PI.2 Integrazione PI.2.1 Ricerca Rilevare se sono presenti riferimenti espliciti ai risultati della VQR 2004-10, al lavoro di predisposizione di quella 2011-14, alle compilazioni delle SUA-RD da parte dei dipartimenti o altro e se sono declinati formalmente in obiettivi strategici.   PI.2.2 Didattica Rilevare se sono presenti riferimenti espliciti al processo di AQ interno, se è stata ricevuta o è in programma la visita di accreditamento periodico da parte delle CEV, se ci sono riferimenti a un coordinamento o a servizi trasversali inter o infradipartimentali per la compilazione delle SUA-CdS, alle attività a supporto dei Nuclei (da integrare e linkare al relativo nodo), del PdQ, delle CPDS o di altre strutture preposte all'AQ. Rilevare altresì se tali riferimenti sono declinati formalmente in obiettivi strategici. L’Università italiana tra strategie, performance e adempimenti Firenze, 22 settembre 2016

La complessità della valutazione di un sistema di gestione della performance testi da leggere dati da elaborare informazioni da considerare L’Università italiana tra strategie, performance e adempimenti Firenze, 22 settembre 2016 pluralità di documenti metodi misti ottica longitudinale

L’oggetto di studio della prima fase Analisi dei Piani Integrati delle singole Università del Sistema Universitario L’Università italiana tra strategie, performance e adempimenti Firenze, 22 settembre 2016

L’analisi dei piani integrati 1) Prospettiva verticale Lettura e analisi del Piano Integrato della singola università 3)Valorizzazione dell’analisi testuale con l’integrazione di dati quantitativi (DALIA, Anagrafe studenti, Conto annuale, Banca dati SUA-CdS, ecc.) L’Università italiana tra strategie, performance e adempimenti Firenze, 22 settembre 2016 2) Prospettiva orizzontale Lettura trasversale degli ambiti e degli argomenti analizzati nei diversi Piani Integrati

Alcune riflessioni L’importanza di un approccio sistemico alla valutazione da parte dell’ANVUR Un’opportunità da cogliere per un settore piccolo e strategico, in una fase di riforma della PA Una sfida per rendere sostanziale la gestione della performance degli atenei L’Università italiana tra strategie, performance e adempimenti Firenze, 22 settembre 2016

Grazie dell’attenzione L’Università italiana tra strategie, performance e adempimenti Firenze, 22 settembre 2016 Grazie dell’attenzione sandro.momigliano@anvur.it performance@anvur.it

Monitoraggio degli adempimenti Adempimento (al 20/09/2016) Scadenza Atenei % Sistemi di misurazione e valutazione — 58 87,9 Piano della Performance (2016-2018) Gennaio 2016 59 89,4 Relazione sulla Performance 2015 30 giugno 2016 38 57,6 Relazione OIV 2015 Pror. 15 luglio 2016 29 43,9 Validazione della Relazione sulla performance 2015 15 settembre 2016 25 37,9 L’Università italiana tra strategie, performance e adempimenti Firenze, 22 settembre 2016 Fonte: Portale della performance (già Portale della trasparenza)