La ricerca scientifica in Economia Aziendale: problemi-opportunità emergenti e primi risultati del progetto di classificazione delle riviste scientifiche Ruolo e funzionamento dellANVUR Francesco Favotto ACCADEMIA ITALIANA DI ECONOMIA AZIENDALE (AIDEA) Gruppo di Studio e Attenzione (GSA) su Valutazione e misurazione delle performance in ambito universitario Università degli Studi di Bologna, Facoltà di Economia, 28 giugno 2007

2 Una storia recente …. Proposta di legge Tocci Modica e al., 7 febbraio 2006, Istituzione dellAutorità per la valutazione del sistema delle università e della ricerca; tre macro- motivazioni: controllo continuo e severo della produttività degli investimenti pubblici linformazione e la comunicazione pubblica a beneficio di scelte ponderate di tutti i portatori di interesse lincentivazione della capacità degli atenei e degli enti di ricerca di darsi autonomamente i propri obiettivi e di saperne misurare il tasso di raggiungimento in un processo di miglioramento continuo

3 …. che viene da lontano Legge n. 537 del 1993 (Finanziaria per 1994), istituisce lOsservatorio Nazionale per la Valutazione e, in ciascun Ateneo, i Nuclei di Valutazione Legge n. 370 del 1999; trasformazione dellOsservatorio in Comitato Nazionale di Valutazione del Sistema Universitario (CNVSU) con riconfigurazione degli obiettivi della valutazione e avvio del Comitato di Indirizzo per la Valutazione della Ricerca (CIVR) (VTR ) e dellapproccio-metodo PRIN (valutazione anonima esterna nazionale e internazionale) Anche esperienze di miglioramento della performance formativa con CAMPUS e CampusOne

4 Diagnosi severa, la valutazione è: strutturalmente subalterna ai poteri di governo: centrale e di ateneo più misura della produttività che promozione della qualità sia sostantiva sui risultati sia procedurale sulle modalità con conseguente impropria e indebita incidenza sugli ambiti dellautonomia universitaria orientata a individuare-proporre standard formativi omogenei limitando spazi di autonomia e di emulazione competitiva fra atenei inoltre manca lindipendenza da MIUR e Atenei mentre centrale è la terzietà (vs autoreferenzialità)

5 La proposta (cosa e perché) UnAutorità, garante del compito della valutazione, indipendente dal finanziatore pubblico e dagli stessi atenei ed enti valutati, e diversa da caso francese, sistema dove la valutazione viene condotta in forme indipendenti dal potere politico ad opera di istituzioni prive di potere sanzionatorio caso britannico, dove la valutazione determina lattribuzione di risorse secondo un meccanismo di premio/punizione caso tedesco, dove la situazione varia a livello regionale e dove le resistenze del mondo accademico sono tuttora rilevanti

6 Legge istituzione ANVUR DL n. 262, (conv. da L n. 286 del , comma 140); il Ministro può emanare un regolamento che disciplini: struttura e funzionamento dellANVUR secondo principi di imparzialità, professionalità, trasparenza e pubblicità degli atti e di autonomia organizzativa, amministrativa e contabile nomina e durata in carica dei componenti dellorgano direttivo, scelti anche tra qualificati esperti stranieri, e le relative indennità

7 Linee Guida per Regolamento gennaio 2007 [Struttura, organi, attività, organizzazione, finanziamento, collegamenti con CIVR e CNVSU] Attività: valutazione esterna della qualità delle attività; intese sia come qualità-efficacia-efficienza della ricerca e della didattica sia come valutazione dei corsi di studio e delle strutture di ricerca sia come valutazione istituzionale e degli accordi di programma sia infine come accreditamento iniziale o periodico indirizzo, coordinamento e vigilanza delle attività di valutazione demandate ai nuclei di valutazione interna valutazione dellefficienza e dellefficacia dei programmi statali di finanziamento e di incentivazione delle attività di ricerca e di innovazione, anche mediante attività collaterali come banche dati, formazione e promozione, indirizzo e consulenza e vigilanza

8 Prima bozza di Regolamento Raccolta pareri Accademia Lincei Management MIUR Consiglio Nazionale Universitario (CUN) Conferenza Rettori Università Italiane (CRUI) Coordinamento Nuclei di Valutazione Management MEF altri comitati, gruppi spontanei, ecc. 5 aprile 2007, lancio nel Consiglio dei Ministri Ora al Consiglio di Stato e alle Commiss. Parlamentari

9 Cosa e Perché ovvero CHI e Come 2.1 LAgenzia ha personalità giuridica di diritto pubblico ed ha sede in Roma. E dotata di autonomia organizzativa, amministrativa e contabile LAgenzia ha il compito di promuovere la qualità del sistema italiano delle università e della ricerca. … sovrintende al sistema pubblico nazionale di valutazione della qualità, … delle attività istituzionali delle università e degli enti di ricerca, nonché dellefficienza, efficacia, ed economicità dei programmi volti al finanziamento e allincentivazione delle attività di ricerca e di innovazione di esclusiva competenza del Ministero, …

10 Cosa e Perché ovvero chi e COME 2.3 LAgenzia opera in base ai principi di imparzialità, professionalità, trasparenza e pubblicità degli atti, ed è indipendente nella scelta dei criteri, dei metodi e degli strumenti di valutazione, nonché nella formulazione dei rapporti di valutazione. 2.4 LAgenzia tiene conto dei criteri e dei metodi di valutazione riconosciuti a livello internazionale, … 2.5 Le attività dellAgenzia sono svolte, ferma la vigilanza del Ministero, con piena autonomia operativa, sulla base di programmi annuali approvati dal Ministro. 2.6 LAgenzia svolge le funzioni di agenzia nazionale sullassicurazione della qualità, così come previste dagli accordi europei in materia. In particolare, essa collabora e scambia …

11 Attivita complessive ( ) LAgenzia svolge attività di valutazione, rendicontazione e raccolta e analisi di dati consulenza, formazione e promozione culturale, … proposta al Ministro di criteri per la ripartizione quote FFO elaborazione e calcolo (costo standard degli studenti universitari) monitoraggio e segnalazione (upgrading e rientro) pubblicazione-diffusione (… in forma analitica, motivando) (relativamente alle attività didattiche) promozione del coinvolgimento attivo degli studenti e dei loro organismi rappresentativi nella valutazione della qualità

12 … e, in particolare, valuta ( ) la qualità, lefficacia, lefficienza e leconomicità delle attività istituzionali delle università e degli enti di ricerca lintegrazione ed il mutuo sostegno tra attività didattiche e di ricerca delle università. utilizza - per i corsi di studio, … anche aggregati tra loro per affinità disciplinare - i criteri, i metodi e gli indicatori più appropriati per ogni ambito disciplinare, tenendo conto delle esperienze sviluppate e condivise a livello nazionale e internazionale dalle relative comunità disciplinari

13 utilizza in particolare lanalisi e il confronto di indicatori qualitativi e quantitativi, dei risultati delle procedure di auto-valutazione, nonché dei rapporti di valutazione esterna preparati da esperti valutatori confrontandosi con i rapporti di auto- valutazione (peer-review) e tenendo anche conto dei risultati di verifiche in loco. considera anche i fattori contestuali, …. (problematico) … valuta ( )

14 … valuta ( ) per listituzione di nuove università o di nuove sedi distaccate di università esistenti, nonché per lattivazione di tutti i corsi di studio universitari, ivi compresi i dottorati di ricerca e i master universitari, … determina i requisiti quantitativi e qualitativi, in termini di risorse umane, infrastrutturali e finanziarie stabili, adeguatezza dei programmi di insegnamento e di capacità di ricerca, che sono vincolanti definisce altresì i criteri e i parametri per laccreditamento periodico delle strutture didattiche universitarie e delle strutture di ricerca delle università e degli enti di ricerca, prevedendo comunque il contributo dellauto-valutazione e la verifica, anche con visite ispettive, della sussistenza e permanenza nel tempo dei requisiti di cui al comma 4.

15 … valuta ( ) Valutazione complessiva di ciascuna università e delle sedi decentrate delle medesime e di ciascun ente di ricerca, relativamente a: capacità di governare i processi e di darsi obiettivi strategici grado di raggiungimento di tali obiettivi livello raggiunto negli scambi internazionali capacità di sostegno alla crescita del Paese e del proprio territorio di riferimento ivi comprese: le attività di formazione permanente il rapporto tra risorse e risultati il grado di realizzazione dei principi della Carta europea dei ricercatori e del Codice di condotta per il loro reclutamento di cui alla raccomandazione della Commissione europea dell11 marzo 2005, n. 2005/251/CE.

16 … valuta ( ) Valuta la completezza e correttezza della comunicazione pubblica, soprattutto in materia di offerta formativa e di ricerche, nonché di servizi e strutture per gli studenti Le attività di cui ai commi da 2 a 6 sono svolte anche nei confronti dei centri e consorzi interuniversitari e dei consorzi per la ricerca universitaria e con partecipazione, di enti di ricerca

17 … valuta ( ) Nuclei di Valutazione Interna LAgenzia svolge altresì funzioni di indirizzo, coordinamento e vigilanza delle attività di valutazione demandate ai Nuclei di Valutazione Interna degli Atenei e degli enti di ricerca. Essa fornisce, in particolare, ai Nuclei: con cadenza quinquennale, criteri, metodi e parametri inerenti alla valutazione periodica della qualità delle attività di ricerca condotte dal personale docente e ricercatore, anche non strutturato, degli atenei e degli enti di ricerca in relazione agli standard europei ed internazionali, con particolare riguardo alla qualità, all'intensità e alla continuità della produzione scientifica e della sua diffusione a livello nazionale e internazionale. LAgenzia può altresì essere chiamata a svolgere funzioni di valutazione ex post della qualità del reclutamento del personale docente e di ricerca delle università e degli enti di ricerca; criteri e metodi inerenti la valutazione periodica della qualità dei corsi di studio e dei servizi universitari da parte degli studenti, anche mediante lacquisizione periodica, garantendone lanonimato, delle opinioni degli studenti sulle attività didattiche.

18 … valuta ( ) valuta lefficienza e lefficacia degli accordi di programma e dei programmi di esclusiva competenza del Ministero, di finanziamento e di incentivazione delle attività di ricerca e di innovazione, ricorrendo ad analisi, anche a campione, dei singoli accordi o programmi e delluso dei relativi finanziamenti. informa il Ministro dei risultati della propria attività di valutazione, con particolare riferimento ad eventuali gravi inadempienze o situazioni di impossibilità ad adempiere alle finalità istituzionali. promuove e diffonde la cultura della qualità e della valutazione nellambito della didattica universitaria e della ricerca, nonché la ricerca sulla valutazione e la formazione di specifiche competenze professionali, anche mediante la predisposizione di appositi progetti di ricerca e protocolli formativi, con particolare riferimento alle metodologie di auto-valutazione, di valutazione esterna in peer review e di miglioramento continuo.

19 Organi et al. Il Consiglio Direttivo, di 7 (+2 Press CNVSU e CIVR per primo anno) nominato dal Presidente del Consiglio dei Ministri su proposta del Ministro, sentite le commissioni parlamentari competenti; il Ministro sceglie 1 su 3 da ERC e 1 su 3 da EUA e 3+2 da indicati da Comitato di Selezione di sua nomina Il Presidente (eletto dal CD) Il Direttore (nominato dal CD) I consulenti e collaboratori esterni(nominati dal CD max 50) Comitato Consultivo di 17 membri (due volte per anno) Il Collegio dei Revisori dei Conti Soppressi CNVSU e CIVR.

20 Commenti Grande articolazione-complessità delle attività, incertezza sulle risorse e sul ruolo (da Autorià ad Agenzia), rischio di effettiva fattibilità, tensioni (dimissioni Tocci entro DS), professionalità (in fuga), ecc. forse più contenitore che progetto, e quale valutazione? Ma è una occasione pur sempre strategica e necessaria: contribuirà a far crescere una cultura del risultato qualità e innovazione come arene competitive fra strutture impatto su politiche e decisioni e su formule imprenditoriali di governo-gestione delle singole istituzioni

21 Commenti Si potrà avere una gradualità programmata su tre-cinque-sette anni per logica di fondo (positivistica o sperimentale, pragmatista o della qualità, costruttivista o del processo sociale) tipologia di valutazione (macro vs micro, sistema vs processo, accountabiliy vs improvement, top down – bottom up, nazionale vs locale, ecc.) modalità (partecipata vs dirigistica, statica vs dinamica) finalizzazione (allocaz risorse, accreditam, incentivaz. metodologia prevalente (ex-ante, in itinere, ex-post, ecc.) soluzioni tecniche (indicatori, standard, classifiche, certificazione, ecc.) soggetti coinvolti e raccordo fra valutazioni e decisioni (fondi, organico, strutture, ruoli, ecc.)

22 Commenti Sarà uno spazio per opportunità e sperimentalità nella ricerca, nella didattica e nei servizi a livello di: singoli studiosi valutatori-valutati singole istituzioni accademiche società scientifiche sistema Università e Ricerca (SUR)