Ministero dell'Istruzione, dell'Università e della Ricerca SEMINARIO La valutazione dei lavori scientifici: metodologie, modulazioni e complessità nei diversi ambiti disciplinari L'approccio del CUN alla valutazione dei lavori scientifici e della ricerca Andrea Stella Università degli Studi di Padova Consiglio Universitario Nazionale Università Politecnica delle Marche Aula Magna di Ateneo via Brecce Bianche Ancona, 28 maggio 2009

La valutazione nel sistema universitario E’ una esigenza posta: dal processo di autonomia in atto dal confronto in l’Europa dagli impegni assunti in sede europea dal processo di internazionalizzazione dalla necessità di mutuo riconoscimento Ancona, 28 maggio 2009

La cultura della valutazione come processo irreversibile La strada della valutazione è ormai obbligata, indipendentemente dalle vicende politiche e dai governi che si succederanno, perché facciamo parte di un sistema europeo che va in quella direzione Non a caso la valutazione, e in particolare quella dei lavori scientifici, sta assumendo crescente rilevanza nel sistema universitario italiano ed avrà un impatto sempre più esteso e pervasivo su molti aspetti, quali ad esempio: ripartizione tra gli Atenei del Fondo di Finanziamento Ordinario (FFO)  reclutamento  progressione di carriera  composizione delle commissioni di concorso  sostenibilità dei corsi di studio finanziamento di programmi di ricerca - ministeriali (PRIN, FIRB …. ) - regionali - interni agli Atenei Ancona, 28 maggio 2009

Valutazione e Assicurazione della Qualità Nel 2003, al convegno di Berlino l'Italia, allora presidente di turno dell'Unione Europea, ha assunto l’impegno di istituire un sistema di Assicurazione della Qualità (Quality Assurance) (I Ministri) concordano che per il 2005 i sistemi nazionali per l’Assicurazione della Qualità devono includere:  una definizione delle responsabilità delle strutture e delle istituzioni coinvolte  la valutazione dei corsi di studio o istituzioni, che includa una valutazione interna, una revisione esterna, la partecipazione degli studenti e la pubblicazione dei risultati un sistema di accreditamento, certificazione o procedure analoghe partecipazione internazionale, cooperazione e appartenenza a reti L’impegno, riaffermato nel 2005 alla conferenza di Bergen, è stato per lungo tempo completamente disatteso dall’Italia Ancona, 28 maggio 2009

L’Agenzia Nazionale per la Valutazione dell’Università e della Ricerca - Quali prospettive? Il provvedimento che istituisce l'Agenzia Nazionale per la Valutazione dell’Università e della Ricerca (ANVUR), previsto dalla Legge Finanziaria 2007 (riassume anche le funzioni di CIVR e CNVSU), è divenuto definitivo con la pubblicazione del relativo Regolamento (DPR 21 febbraio 2008, n. 64) Ma il Ministro Gelmini ha definito l’ANVUR “una costosissima struttura ad alto tasso di burocrazia e rigidità: non è ciò di cui abbiamo bisogno” Tuttavia in tempi recenti sembra esserci un ripensamento tanto che: l’acronimo ANVUR compare ora in bozze di provvedimenti legislativi Il Ministro ha annunciato la presentazione di un nuovo regolamento dell’ANVUR ad un prossimo Consiglio dei ministri Peraltro, a giudicare dalle bozze disponibili del regolamento, non sembra sufficientemente garantita la “terzietà” dell’ANVUR: Ancona, 28 maggio 2009

Atti normativi recenti riguardanti la valutazione Legge 1/2009 (conversione in legge del D.L. 180/08) Quota non inferiore al 7% del Fondo di Finanziamento Ordinario (FFO) da ripartire fra gli atenei in considerazione della qualità dell’offerta formativa e i risultati dei processi formativi nonché della qualità della ricerca scientifica (Art. 2, comma 1) Inoltre  entità degli scatti biennali dei professori legati al merito (Art. 3- ter, commi 1-3)  partecipazione alle commissioni di concorso subordinata all’attività scientifica (Art. 3- ter, comma 4)  nuovi criteri per le valutazioni comparative dei ricercatori universitari (Art. 1, comma 5) Disegno di legge in itinere su Governance e Reclutamento  Idoneità nazionale fondata sulla valutazione della produzione scientifica  Avanzamento di carriera (scatti biennali) legati al merito  Riduzione dei Settori Scientifico Disciplinari Ancona, 28 maggio 2009

La posizione del CUN sulla valutazione Il CUN ha ribadito in molti suoi documenti l’esigenza di sottoporre a valutazione il sistema universitario in tutte e sue articolazioni (ricerca, didattica, gestione…..) Documento su Linee Guida del Governo per l’Università del 12 febbraio 2009 ……. le questioni dell’Università, della Ricerca e del loro legame con il contesto socioeconomico devono essere affrontate con un approccio complessivo, sulla base di un disegno strategico e coerente e di media - lunga durata, che consenta la costruzione e la gestione di un processo di riforma organica, nel quale la valutazione sia strumento oggettivo di promozione e sviluppo di cui tutti riconosciamo la necessità ed urgenza, ma che non può essere affrontato attraverso provvedimenti slegati ed estemporanei all’esterno di un quadro di riferimento complessivo. Ancona, 28 maggio 2009

Proposta del CUN su FFO e valutazione Mozione del 24 febbraio 2009 su FFO 2009 Proposta di incrementare al 10% FFO la quota premiale, ripartite per il 2/3 sulla ricerca e 1/3 sulla didattica. Con riferimento alla distribuzione dei fondi 2009 fra atenei il CUN propone che la quota di cui all’art. 2, comma 1 del D.L. 180/08 convertito in L. 1/2009, da ripartire fra gli atenei in considerazione della qualità dell’offerta formativa e i risultati dei processi formativi nonché della qualità della ricerca scientifica, sia fissata per il 2009 al 10% del FFO + Fondo straordinario, e venga suddivisa rispettivamente nella misura di 1/3 e 2/3 e distribuito secondo modalità realmente rappresentative della qualità rapportata al potenziale dei diversi atenei Ancona, 28 maggio 2009

Lettera del Ministro Mussi al CUN - 30 marzo 2007 Richiesta di aggregazione dei SSD Ancona, 28 maggio 2009

Motivazioni della richiesta Richiesta di riordino dei Settori (SSD) in vista di: emanazione nuova disciplina per il reclutamento dei ricercatori bando finanziamento dei Progetti di Rilevante Interesse Nazionale (PRIN) Ancona, 28 maggio 2009

Obiettivo della richiesta Riaggregazione dei Settori Scientifico Disciplinari: in coerenza con altri paesi Europei raggruppandoli in un numero compreso tra 80 e 90 Ancona, 28 maggio 2009

La risposta del CUN alla lettera del Ministro Il CUN è consapevole che alla base della richiesta di aggregazione c’è la considerazione che Settori Scientifico Disciplinari ampi:  garantiscono lo sviluppo della competitività  riducono l’autoreferenzialità  fanno crescere la qualità in generale Tuttavia, pur impegnandosi ad affrontare nuovamente il nodo dei settori in modo più approfondito, data l’urgenza di dar seguito alla richiesta del Ministro, il CUN:  si è limitato a proporre macro-settori come aggregazioni di SSD esistenti nell’ambito delle 14 Aree  ha esplicitamente delimitato il campo di applicabilità al reclutamento dei ricercatori universitari secondo la modalità prevista dal nuovo Regolamento  ha garantito il suo impegno a riaffrontare il problema Ancona, 28 maggio 2009

Richiesta del Ministro Gemini - 5 settembre 2008 Ancona, 28 maggio 2009

Motivazioni della richiesta Individuare indicatori di qualità relativi all’attività scientifica e di ricerca, utilizzabili: in relazione ai diversi livelli concorsuali e alle peculiarità delle diverse aree scientifiche, in vista dell’adozione di nuovi provvedimenti normativi per il reclutamento della docenza universitaria per determinare il grado di qualificazione dei proponenti dei Progetti di ricerca Ancona, 28 maggio 2009

Ulteriore richiesta Riforma dei Settori Scientifico Disciplinari Motivazioni Attuare, in raccordo con la comunità accademica, la riforma dell’impianto degli attuali Settori Scientifico Disciplinari, in modo da ridurne la frammentazione nel rispetto delle diverse discipline Armonizzare il quadro con i più accreditati modelli internazionali e in particolare con quelli vigenti nell’Unione europea Ancona, 28 maggio 2009

Indicatori della qualità dell’attività scientifica e di ricerca Documento di lavoro del Consiglio Nazionale Universtario Premesse al parere del CUN e quadro di riferimento La promozione della qualità del sistema universitario non può prescindere da un’autonomia responsabile degli Atenei nella valorizzazione del merito ad ogni livello Necessità di criteri condivisi e trasparenti di valutazione dell’attività scientifica dei candidati ai diversi livelli concorsuali come elemento per promuovere i migliori talenti e la qualità delle Università Importanza di definire di indicatori per la valutazione della qualità dell’attività scientifica e di ricerca ai fini della valorizzazione del merito  Importanza dei criteri da utilizzare: - quali punti di riferimento qualificanti per le commissioni giudicatrici - per l’autovalutazione dei candidati Ancona, 28 maggio 2009

Indicatori della qualità dell’attività scientifica e di ricerca Limiti nell’impiego degli indicatori e relative soglie Gli indicatori e i relativi valori minimi, elaborati dal CUN dopo consultazione delle Comunità Scientifiche di riferimento, sono da utilizzare esclusivamente per l’accesso ai diversi livelli concorsuali Gli indicatori proposti sono intesi al fine di determinare livelli minimi normalmente accettabili Gli indicatori proposti nulla debbono togliere all’autonomia degli Atenei nella libertà di strutturare i bandi di concorso secondo proprie esigenze Ancona, 28 maggio 2009

Indicatori della qualità dell’attività scientifica e di ricerca Indicazioni per le commissioni di concorso I valori minimi proposti per gli indicatori ai fini dell’accesso alle fasce di docenza sono elementi di riferimento per le commissioni e per l’autovalutazione dei candidati Gli indicatori forniscono una rappresentazione sommaria dell’attività scientifica dei candidati e la responsabilità di stabilire la graduatoria finale compete esclusivamente alle commissioni giudicatrici  I livelli minimi non possono essere utilizzati per determinare in modo automatico l’esclusione o l’ammissione di un candidato  In caso di non osservanza di tali valori minimi le commissioni debbono motivarne le ragioni Ancona, 28 maggio 2009

Indicatori della qualità dell’attività scientifica e di ricerca Casi di dichiarata non utilizzabilità Gli indicatori scientifici per l’accesso alle valutazioni concorsuali e gli indicatori di qualità per la valutazione dei proponenti dei PRIN, benché collegati, non sono coincidenti  I valori proposti per gli indicatori, in quanto minimi, non possono considerarsi sufficienti ai fini del reclutamento per “chiamata diretta” Ancona, 28 maggio 2009

Indicatori della qualità dell’attività scientifica e di ricerca Caratteristiche degli indicatori Non è possibile utilizzare gli stessi indicatori per tutte le Aree e in qualche caso neppure per tutti i SSD in esse compresi Gli indicatori debbono essere aggiornati periodicamente dal CUN Gli indicatori devono essere semplici, trasparenti, facilmente applicabili e congrui per le diverse Aree o gruppi di SSD Ancona, 28 maggio 2009

Indicatori di attività scientifica e di ricerca – Aree 1-7 Ancona, 28 maggio 2009

Indicatori di attività scientifica e di ricerca – Aree 8-14 Ancona, 28 maggio 2009

Considerazioni generali sul lavoro svolto dal CUN Il CUN ha prodotto un documento importante, frutto di numerose discussioni avvenute all’interno delle varie aree Il fatto importante è che per la prima volta si parla esplicitamente di livelli minimi per ciascun Settore Scientifico Disciplinare I criteri presentati in tabella permettono di apprezzare in modo comparativo le differenze La differenziazione dei criteri tra le varie aree non è necessariamente un fatto negativo, in quanto rispecchia modalità di produzione e diffusione dei risultati scientifici che sono diverse tra area ed area Molti criteri sono comunque condivisi da Aree diverse Il valore del dottorato di ricerca risulta molto differente all’interno di diverse aree e settori Il discorso può essere approfondito realizzando verifiche ex-post applicando i criteri del CUN ai concorsi svolti negli ultimi anni Ancona, 28 maggio 2009

Confronto tra i criteri adottati dalle aree (1) solo per ordinari (2) solo per ricercatori (3) solo per associati e ordinari Ancona, 28 maggio 2009

Il lavoro nell’Area 9 – Ingegneria industriale e dell’informazione Si è inizialmente tentato di utilizzare le categorie ISI (Institute for Scientific Information) e l’Impact Factor (IF), nel modo seguente: Per valutare la produzione scientifica relativa a ciascun SSD Individuare le “categorie ISI di interesse” del SSD Suddividere le riviste di ogni categoria in quattro quartili Normalizzare l’IF attribuendo alle riviste i pesi 0.25, 0.5, 0.75 e 1 in base al quartile di appartenenza  Aggiungere, se necessario, anche ”riviste non–ISI con revisori”, attribuendo loro analoghi pesi Ancona, 28 maggio 2009

Il lavoro nell’Area 9 – Ingegneria industriale e dell’informazione Ridurre i pesi con un “criterio di proprietà” per tenere conto della numerosità degli autori, utilizzando un coefficiente moltiplicativo (analogo a quello adottato presso l’Università di Bologna) ka = e – (n – 1)/12  Introdurre un “criterio di continuità” della produzione scientifica, limitando l’uso delle pubblicazioni più vecchie  Calcolare il numero di “pubblicazioni equivalenti“ come somma dei pesi relativi alle pubblicazioni  Stabilire la “soglia minima” in termini di pubblicazioni equivalenti Ancona, 28 maggio 2009

Il lavoro nell’Area 9 – Ingegneria industriale e dell’informazione Si è optato infine per criteri molto meno sofisticati per: Rendere il criterio di facile e omogenea applicazione per tutti i settori dell’Area Non dovere introdurre nuove classificazioni e relativi pesi di collocazioni editoriali non-ISI Poter includere anche i lavori pubblicati in atti di congressi (molto importanti all’inizio di carriera) Non penalizzare le attività sperimentali (pubblicazioni tipicamente a molti autori) Non introdurre criteri troppo disomogenei rispetto alle altre Aree CUN  Evitare di dare l’impressione che un approccio molto articolato sia in grado di produrre una valutazione comparativa automatica Ancona, 28 maggio 2009

Il lavoro svolto nell’Area 9 – Criterio per i Ricercatori Esempio per i concorsi a ricercatore universitario: Un numero di pubblicazioni a diffusione internazionale con revisori internazionali, non inferiore a 6, di cui: non più di 4 con data di pubblicazione anteriore a 5 anni prima della chiusura del bando, non più di 2 con data di pubblicazione anteriore a 10 anni prima della chiusura del bando. Ancona, 28 maggio 2009

I concorsi per i ricercatori dopo il 30 novembre 2008 La legge 1/2009 (conversione in legge del DL 180/08) Art. 1, comma 7. Nelle procedure di valutazione comparativa per il reclutamento dei ricercatori bandite successivamente alla data di entrata in vigore del presente decreto, la valutazione comparativa è effettuata sulla base dei titoli, illustrati e discussi davanti alla commissione, e delle pubblicazioni dei candidati, ivi compresa la tesi di dottorato, utilizzando parametri, riconosciuti anche in ambito internazionale, individuati con apposito decreto del Ministro dell'istruzione, dell'università e della ricerca, avente natura non regolamentare, da adottare entro 30 giorni dalla data di entrata in vigore della legge di conversione del presente decreto, sentito il Consiglio universitario nazionale. Ancona, 28 maggio 2009

I nuovi concorsi per ricercatori dopo la Legge 1/2009 Parere del CUN 12 marzo 2009 La commissione dovrà tenere conto in ogni caso della produzione scientifica complessiva del candidato, inclusa la tesi di dottorato, facendo ricorso, ove possibile, a parametri riconosciuti in ambito scientifico internazionale dalle singole comunità, quali:  numero delle opere monografiche; numero totale di saggi su rivista o su volumi collettanei;  numero totale delle pubblicazioni o saggi su rivista;  numero delle pubblicazioni o saggi per anno di attività;  numero totale delle citazioni;  numero medio di citazioni per pubblicazione;  “impact factor” totale;  “impact factor” medio per pubblicazione;  numero dei prodotti scientifici peculiari delle singole Aree o SSD;  numero dei brevetti;  combinazioni dei precedenti parametri atte a valorizzare l’impatto della produzione scientifica del candidato (indice di Hirsch, o simili). Ancona, 28 maggio 2009

(Valutazione delle pubblicazioni scientifiche) La bozza di decreto Art. 3 (Valutazione delle pubblicazioni scientifiche) Comma 3 …….. Nell’ambito dei settori scientifico-disciplinare in cui ne è riconosciuto l’uso a livello internazionale le Commissioni si attengono anche ai seguenti indici: 1) numero totale delle citazioni 2) numero medio di citazioni per pubblicazione 3) "impact factor" totale 4) "impact factor" medio per pubblicazione 5) combinazioni dei precedenti parametri atte a valorizzare l'impatto della produzione scientifica del candidato (indice di Hirsch o simili). Ancona, 28 maggio 2009

Il significato della revisione dei Settori (SSD) Tutte le richieste di revisione sono finalizzate ad una più rigorosa valutazione della produzione scientifica che deve essere considerata in tutte le aree ai fini di: reclutamento progressione di carriera finanziamento dei programmi di ricerca (PRIN, FIRB …. ) ripartizione tra gli Atenei del Fondo di Finanziamento Ordinario (FFO) ……. Ancona, 28 maggio 2009

Riforma dei Settori Scientifico Disciplinari I “Settori Scientifico disciplinari” in EUROPA FRANCIA: Composition du Conseil national des Universités http://www.enseignementsup-recherche.gouv.fr/cid22839/composition-conseil-national-des-universites.html REGNO UNITO: Research Assessment Exercise (RAE) 2008: Panels http://www.rae.ac.uk/panels/ SPAGNA: Áreas de conocimiento en la universidad española de 2000 http://www.filosofia.org/ave/001/a121.htm UNIONE EUROPEA: European research Council peer review evaluation panels (ERC panels) http://www.uniud.it/ricerca/finanziamenti/nazionali/FIRB%20-%20Giovani/settori-erc-starting-grants-2009.pdf Ancona, 28 maggio 2009

Conclusioni La cultura della valutazione sta penetrando in maniera pervasiva in tutte le dimensioni della formazione superiore e della ricerca La valutazione della ricerca in particolare è il nodo principale L’esperienza CUN è di fondamentale importanza, perché costituisce un primo tentativo organico di individuare:  indicatori rappresentativi della qualità scientifica  soglie di ammissibilità Si sta facendo strada l’idea che in tutte le aree sia possibile “misurare” l’attività scientifica e stabilire dei “livelli minimi” Un ricercatore esiste nella misura in cui si confronta con i suoi “pari” attraverso le pubblicazioni Secondo tale ottica è stato realizzato il sito Pubblico Ergo Sum http://www.pubblicoergosum.org/ Ancona, 28 maggio 2009