MISURARE L’EFFICACIA ESTERNA PER VALUTARE E MIGLIORARE LA FORMAZIONE UNIVERSITARIA Un’analisi della robustezza di indicatori complessi impiegati per il benchmark delle performance delle università italiane M. Gnaldi e M.G. Ranalli Dipartimento di Economia Finanza e Statistica Università di Perugia Università di Padova, 10-12 febbraio 2011

Entrambi presentano potenzialità e limiti La valutazione della qualità della ricerca scientifica è una priorità nell’agenda politica Principali strumenti di valutazione adottati Indicatori bibliometrici Valutazioni di pari (peer-review) Entrambi presentano potenzialità e limiti

Gli indicatori bibliometrici e i giudizi di qualità degli esperti sono impiegati per produrre ranking di atenei, graduatorie basate su IC I ranking delle università sono una prassi ormai diffusa che influenza la percezione della qualità delle istituzioni universitarie e scelte di governi, mercato del lavoro, studenti e loro famiglie L’impiego di ranking (e di IC) per il benchmark delle università presenta alcune criticità

Criticità nell’impiego di ranking (e IC) Adozione di decisioni che rappresentano potenziali fonti di incertezza del ranking I ranking definiscono la qualità delle istituzioni universitarie attraverso una scala unica e monotòna

OUTLINE Strumenti impiegati per la valutazione della qualità della ricerca Criticità legate all’impiego di ranking Il caso di studio: (i) Costruzione di due ranking (e IC) degli atenei italiani (ii) Analisi di sensibilità Considerazioni di sintesi

Principali strumenti impiegati per la valutazione della qualità della ricerca

Il metodo di valutazione peer-review Analisi degli output della ricerca (articoli, monografie, brevetti, etc.) svolta nelle istituzioni universitarie o negli enti di ricerca, da parte di panel di esperti selezionati dall’autorità che presiede il processo di valutazione  LIMITI: La soggettività del metodo di composizione dei giudizi opera pertanto: al livello della selezione degli esperti che valuteranno i prodotti; al livello della valutazione della qualità dei prodotti durante il processo di selezione dei prodotti da sottoporre al giudizio degli esperti Alti costi e tempi lunghi di realizzazione

L’approccio bibliometrico Indicatori di tipo quantitativo legati a due direttrici principali: le pubblicazioni e le citazioni Riviste valutate in base all’Impact Factor Autori valutati in base al numero (o %) delle pubblicazioni e delle citazioni h-index (2007): Un ricercatore consegue un valore h di tale indice se h dei suoi N lavori hanno almeno h citazioni, mentre gli altri (N-h) non hanno più di h citazioni ciascuno

L’approccio bibliometrico: Limite generale (1) Le pubblicazioni scientifiche sono considerate una proxy di tutto l’output di ricerca Si sottovalutano tutte le altre forme di disseminazione (essays, monografie, report tecnici, brevetti, opere d’arte)

L’approccio bibliometrico: Limite generale (2) Le citazioni possono essere classificate entro due gruppi: Reward citation (omaggi reciproci): sono il riconoscimento di “debito intellettuale” all’articolo citato Rhetorical citation (omaggi retorici): fanno riferimento a un articolo precedente, spiegando alcuni risultati ma non necessariamente quelli tratti dall’autore citato la citazione è solo un modo per portare avanti il dibattito scientifico, non stabilisce alcun debito intellettuale e non è necessariamente sinonimo di qualità

L’approccio bibliometrico: Limitazioni specifiche Il periodo di due anni utilizzato per il calcolo dell’Impact Factor è opportuno solo in alcuni settori Le riviste che pubblicano articoli in lingua diversa dall’inglese tendono a ricevere meno citazioni delle altre Le riviste che pubblicano prevalentemente articoli di revisione della letteratura tendono a ricevere più citazioni (e ad avere più alto Impact Factor) delle altre Ad esempio, supponiamo che l’autore A abbia pubblicato 30 articoli e i 20 più citati di essi abbiano ricevuto 20 citazioni ciascuno, quindi, h=20. Supponiamo che l’autore B abbia anch’esso pubblicato 30 articoli e che i suoi 20 più citati articoli abbiano ricevuto 50 citazioni. Anche per B, h=20, ma è chiaro che il suo Impact Factor è più alto di quello dell’autore A.

NEL COMPLESSO: Non c’è una preferenza indiscussa verso uno strumento valutativo, né una convergenza verso un sistema di valutazione “migliore” Esiste una tensione continua tra due obiettivi divergenti: uno volto a incrementare l’accuratezza e il dettaglio nella rappresentazione delle attività di ricerca; l’altro attento agli aspetti pratici, di contenimento della spesa e di semplificazione del processo di valutazione Il perseguimento di questi obiettivi si traduce nell’adozione di sistemi di valutazione della ricerca caratterizzati da diversi livelli di complessità: Sistemi formula-based Sistemi peer-review Sistemi peer-informed metric based

Criticità nell’impiego di IC (e ranking)

Criticità (1) La costruzione di un IC presuppone l’adozione di una serie di scelte di metodo che sono potenziali fonti di incertezza che dovrebbero essere tenute sotto controllo quando si costruisce un IC Ogni IC può essere considerato come un modello in cui l’IC rappresenta la variabile risposta mentre le covariate sono tutte quelle scelte che, in quanto tali, rappresentano le fonti di incertezza del modello L’analisi di sensibilità consente di misurare tale incertezza, ovvero di valutare quanta parte della variabilità osservata nei ranking può essere attribuita alle diverse fonti di incertezza del modello

Criticità (2) I ranking (e gli IC) definiscono la qualità delle istituzioni universitarie attraverso una scala unica e monotona, mentre le università adempiono tanto funzioni di didattica quanto di ricerca Anche all’interno delle tradizionali funzioni di didattica e ricerca, i ruoli e gli obiettivi perseguiti dalle istituzioni universitarie si sono fortemente diversificati e specializzati Il confronto attraverso un unico indicatore composito di unità che differiscono sotto diverse dimensioni è discutibile [1] Il riconoscimento dei limiti e delle criticità legate all’adozione di indicatori compositi per il benchmark di istituzioni universitarie ha sollecitato l’adozione di alcune importanti iniziative a livello internazionale. Tra queste, le Regole di Berlino sono state proposte dall’International Ranking Expert Group (IREG) proprio al fine di rendere conto della multidimensionalità delle istituzioni universitarie e la necessità di fornire chiare informazioni sulla scelta degli indicatori semplici e sui criteri impiegati per la costruzione dei ranking per garantire la trasparenza dell’intero processo. In questo contesto, va anche ricordata la recente sperimentazione in ambito europeo di due progetti pilota, entrambi finanziati dall’Unione Europea: U-Map e U-Multirank (EUA, 2009; LERU, 2010). Il primo rappresenta un tentativo di classificazione delle università europee attraverso una mappatura delle loro attività e ha condotto alla identificazione di 6 aree di attività (o dimensioni) delle università: didattica, profilo degli studenti, attività di ricerca, trasferimento di conoscenza, orientamento internazionale e rapporti col tessuto economico-sociale regionale/locale. Il secondo è invece un esperimento di valutazione della qualità delle istituzioni universitarie attraverso la costruzione di tanti ranking quante sono le diverse dimensioni che le caratterizzano (le 6 aree di attività identificate attraverso il progetto U-Map).

Il caso di studio

Caso di studio: 3 Step Selezione di indicatori di qualità della ricerca prodotti dal CNVSU Costruzione di due ranking (e IC) degli atenei italiani, uno di Qualità della ricerca scientifica e l’altro di Valorizzazione applicativa della ricerca Analisi di sensibilità di ciascuno dei due ranking per esplorarne la robustezza

Indicatori impiegati nelle analisi Score (o punteggio) dei prodotti Numero di PRIN finanziati Percentuale di prodotti valutati eccellenti Percentuale di prodotti valutati almeno buoni Percentuale di prodotti valutati accettabili Percentuale di prodotti con Impact Factor Brevetti attivi all’estero Spin-off attivati Partnership attivate Score dei brevetti Indice di valorizzazione economica della ricerca Propensione al ringiovanimento dei ricercatori Capacità dei ricercatori di finanziare le ricerche Propensione dei ricercatori alla internazionalizzazione

Trasformazioni indicatori CIVR (i) Dal livello di area scientifico-disciplinare al livello di ateneo (ii) Gli indicatori assoluti sono stati relativizzati

2 GRUPPI (dimensioni latenti) di indicatori Qualità scientifica dei prodotti: score dei prodotti, % di prodotti eccellenti, % di prodotti almeno buoni, % di prodotti almeno accettabili, scoring dei brevetti, propensione alla mobilità dei ricercatori Valore sociale ed economico della ricerca: n. brevetti attivi all’estero, n. imprese in spin-off attivate, n. partnership attive nel triennio, Indicatore CIVR di valorizzazione economica della ricerca, n. di Prin finanziati, % di prodotti con Impact Factor, Indice di ringiovanimento dei ricercatori, ammontare di finanziamenti in progetti di ricerca

I due gruppi di variabili sono stati impiegati per costruire due IC (e due diversi ranking), uno di qualità della ricerca scientifica e uno di valorizzazione applicativa della ricerca Ciascun IC dipende dalla scelta di diversi elementi che lo compongono A seconda della diversa combinazione di questi elementi, ogni ateneo si vedrà assegnato un diverso valore dell’IC (e posizione nel rank) Per valutare la robustezza delle graduatorie ottenute secondo i due fattori (Qualità e Valorizzazione) sono state impiegate varie combinazioni di questi elementi

Criteri per la costruzione degli IC: Inclusione/esclusione di un indicatore elementare alla volta Cinque schemi di normalizzazione: Ranking, Normalizzazione, Min-Max, Distanza da un ateneo di riferimento, Scale categoriche Un sistema di pesi basato sull’analisi fattoriale Due sistemi di aggregazione: uno lineare e l’altro geometrico

Criteri per la costruzione degli IC (segue): I cinque schemi di normalizzazione, il sistema di pesi, i due sistemi di aggregazione sono stati combinati, producendo 9 combinazioni e altrettanti IC e rankings Per ogni combinazione, l’IC è stato calcolato con tutti gli indicatori per ciascun fattore (6 per il fattore qualità e 8 per quello di valorizzazione), e poi escludendo un indicatore semplice alla volta

Criteri per la costruzione degli IC (segue): FATTORE VALORIZZAZIONE FATTORE QUALITA’ 9combinazioni*6variabili 63 IC, espressi come ranghi per Ateneo FATTORE VALORIZZAZIONE 9combinazioni*8variabili 81 IC, espressi come ranghi per Ateneo

FATTORE QUALITÀ Ranking dei 61 atenei pubblici, con intervalli di variazione intorno al valore mediano del 90%

FATTORE VALORIZZAZIONE Ranking dei 61 atenei pubblici, con intervalli di variazione intorno al valore mediano del 90%

Ranking medio dei 61 atenei pubblici secondo tutti gli indicatori, secondo gli indicatori del fattore valorizzazione e secondo quelli del fattore qualità

Distribuzione percentuale per Ateneo delle posizioni in graduatoria secondo le classi di rank e i due diversi fattori analizzati

CONSIDERAZIONI DI SINTESI Entrambe le graduatorie sono molto sensibili a variazioni nella scelta degli indicatori semplici e dei criteri di normalizzazione e di aggregazione Le due graduatorie differiscono, anche in maniera sostanziale, con atenei che, pur presentando delle buonissime posizioni nella graduatoria di valorizzazione, non mantengono la stessa performance in termini di qualità (ad es. i politecnici) Gli atenei che occupano le prime e le ultime posizioni mostrano una performance coerente (secondo tutti i fattori) mentre gli atenei centrali in graduatoria occupano posizioni molto più variabili Conferma la non adeguatezza di valutazioni basate su un unico IC, che finisce col fotografare una performance media

CONSIDERAZIONI DI SINTESI (segue) Dall’analisi delle distribuzioni percentuali è emerso che, nel fattore qualità, la posizione in graduatoria di solo 38 atenei su 61 rimane stabilmente (in almeno il 50% dei casi) nella medesima classe di rank; invece, se si considera il fattore valorizzazione, scendono a 30 gli atenei che occupano una posizione stabile tanto per il fattore qualità, quanto (e in misura maggiore) per il fattore valorizzazione, le posizioni in graduatoria di un’alta percentuale di atenei sono fortemente dipendenti dalle scelte metodologiche adottate per la costruzione dell’IC la stabilità nelle posizioni occupate in graduatoria da circa la metà delle università considerate non è sufficiente per poter inferire giudizi certi sulla performance di questi atenei poiché le scelte metodologiche influiscono sulla stabilità delle graduatorie, è necessario associare ad ogni ranking misure di sensibilità se si vogliono trarre conclusioni certe sulle differenze osservate tra le performance di università diverse

GRAZIE! michela.gnaldi@stat.unipg.it