La presentazione è in caricamento. Aspetta per favore

La presentazione è in caricamento. Aspetta per favore

Ministero dell'Istruzione, dell'Università e della Ricerca SEMINARIO La valutazione dei lavori scientifici: metodologie, modulazioni e complessità nei.

Presentazioni simili


Presentazione sul tema: "Ministero dell'Istruzione, dell'Università e della Ricerca SEMINARIO La valutazione dei lavori scientifici: metodologie, modulazioni e complessità nei."— Transcript della presentazione:

1 Ministero dell'Istruzione, dell'Università e della Ricerca SEMINARIO La valutazione dei lavori scientifici: metodologie, modulazioni e complessità nei diversi ambiti disciplinari L'approccio del CUN alla valutazione dei lavori scientifici e della ricerca Andrea Stella Università degli Studi di Padova Consiglio Universitario Nazionale Università Politecnica delle Marche Aula Magna di Ateneo via Brecce Bianche Ancona, 28 maggio 2009

2 Ancona, 28 maggio La valutazione nel sistema universitario E una esigenza posta: dal processo di autonomia in atto dal confronto in lEuropa dagli impegni assunti in sede europea dal processo di internazionalizzazione dalla necessità di mutuo riconoscimento

3 Ancona, 28 maggio La cultura della valutazione come processo irreversibile La strada della valutazione è ormai obbligata, indipendentemente dalle vicende politiche e dai governi che si succederanno, perché facciamo parte di un sistema europeo che va in quella direzione Non a caso la valutazione, e in particolare quella dei lavori scientifici, sta assumendo crescente rilevanza nel sistema universitario italiano ed avrà un impatto sempre più esteso e pervasivo su molti aspetti, quali ad esempio: ripartizione tra gli Atenei del Fondo di Finanziamento Ordinario (FFO) reclutamento progressione di carriera composizione delle commissioni di concorso sostenibilità dei corsi di studio finanziamento di programmi di ricerca - ministeriali (PRIN, FIRB …. ) - regionali - interni agli Atenei

4 Ancona, 28 maggio Valutazione e Assicurazione della Qualità Nel 2003, al convegno di Berlino l'Italia, allora presidente di turno dell'Unione Europea, ha assunto limpegno di istituire un sistema di Assicurazione della Qualità (Quality Assurance) (I Ministri) concordano che per il 2005 i sistemi nazionali per lAssicurazione della Qualità devono includere: una definizione delle responsabilità delle strutture e delle istituzioni coinvolte la valutazione dei corsi di studio o istituzioni, che includa una valutazione interna, una revisione esterna, la partecipazione degli studenti e la pubblicazione dei risultati un sistema di accreditamento, certificazione o procedure analoghe partecipazione internazionale, cooperazione e appartenenza a reti Limpegno, riaffermato nel 2005 alla conferenza di Bergen, è stato per lungo tempo completamente disatteso dallItalia

5 Ancona, 28 maggio LAgenzia Nazionale per la Valutazione dellUniversità e della Ricerca - Quali prospettive? Il provvedimento che istituisce l'Agenzia Nazionale per la Valutazione dellUniversità e della Ricerca (ANVUR), previsto dalla Legge Finanziaria 2007 (riassume anche le funzioni di CIVR e CNVSU), è divenuto definitivo con la pubblicazione del relativo Regolamento (DPR 21 febbraio 2008, n. 64) Ma il Ministro Gelmini ha definito lANVUR una costosissima struttura ad alto tasso di burocrazia e rigidità: non è ciò di cui abbiamo bisogno Tuttavia in tempi recenti sembra esserci un ripensamento tanto che: lacronimo ANVUR compare ora in bozze di provvedimenti legislativi Il Ministro ha annunciato la presentazione di un nuovo regolamento dellANVUR ad un prossimo Consiglio dei ministri Peraltro, a giudicare dalle bozze disponibili del regolamento, non sembra sufficientemente garantita la terzietà dellANVUR:

6 Ancona, 28 maggio Atti normativi recenti riguardanti la valutazione Legge 1/2009 (conversione in legge del D.L. 180/08) Quota non inferiore al 7% del Fondo di Finanziamento Ordinario (FFO) da ripartire fra gli atenei in considerazione della qualità dellofferta formativa e i risultati dei processi formativi nonché della qualità della ricerca scientifica (Art. 2, comma 1) Inoltre entità degli scatti biennali dei professori legati al merito (Art. 3- ter, commi 1-3) partecipazione alle commissioni di concorso subordinata allattività scientifica (Art. 3- ter, comma 4) nuovi criteri per le valutazioni comparative dei ricercatori universitari (Art. 1, comma 5) Disegno di legge in itinere su Governance e Reclutamento Idoneità nazionale fondata sulla valutazione della produzione scientifica Avanzamento di carriera (scatti biennali) legati al merito Riduzione dei Settori Scientifico Disciplinari

7 Ancona, 28 maggio La posizione del CUN sulla valutazione Il CUN ha ribadito in molti suoi documenti lesigenza di sottoporre a valutazione il sistema universitario in tutte e sue articolazioni (ricerca, didattica, gestione…..) Documento su Linee Guida del Governo per lUniversità del 12 febbraio 2009 ……. le questioni dellUniversità, della Ricerca e del loro legame con il contesto socioeconomico devono essere affrontate con un approccio complessivo, sulla base di un disegno strategico e coerente e di media - lunga durata, che consenta la costruzione e la gestione di un processo di riforma organica, nel quale la valutazione sia strumento oggettivo di promozione e sviluppo di cui tutti riconosciamo la necessità ed urgenza, ma che non può essere affrontato attraverso provvedimenti slegati ed estemporanei allesterno di un quadro di riferimento complessivo.

8 Ancona, 28 maggio Proposta del CUN su FFO e valutazione Mozione del 24 febbraio 2009 su FFO 2009 Proposta di incrementare al 10% FFO la quota premiale, ripartite per il 2/3 sulla ricerca e 1/3 sulla didattica. Con riferimento alla distribuzione dei fondi 2009 fra atenei il CUN propone che la quota di cui allart. 2, comma 1 del D.L. 180/08 convertito in L. 1/2009, da ripartire fra gli atenei in considerazione della qualità dellofferta formativa e i risultati dei processi formativi nonché della qualità della ricerca scientifica, sia fissata per il 2009 al 10% del FFO + Fondo straordinario, e venga suddivisa rispettivamente nella misura di 1/3 e 2/3 e distribuito secondo modalità realmente rappresentative della qualità rapportata al potenziale dei diversi atenei

9 Ancona, 28 maggio Lettera del Ministro Mussi al CUN - 30 marzo 2007 Richiesta di aggregazione dei SSD

10 Ancona, 28 maggio Motivazioni della richiesta Richiesta di riordino dei Settori (SSD) in vista di: emanazione nuova disciplina per il reclutamento dei ricercatori bando finanziamento dei Progetti di Rilevante Interesse Nazionale (PRIN)

11 Ancona, 28 maggio Obiettivo della richiesta Riaggregazione dei Settori Scientifico Disciplinari: in coerenza con altri paesi Europei raggruppandoli in un numero compreso tra 80 e 90

12 Ancona, 28 maggio La risposta del CUN alla lettera del Ministro Il CUN è consapevole che alla base della richiesta di aggregazione cè la considerazione che Settori Scientifico Disciplinari ampi: garantiscono lo sviluppo della competitività riducono lautoreferenzialità fanno crescere la qualità in generale Tuttavia, pur impegnandosi ad affrontare nuovamente il nodo dei settori in modo più approfondito, data lurgenza di dar seguito alla richiesta del Ministro, il CUN: si è limitato a proporre macro-settori come aggregazioni di SSD esistenti nellambito delle 14 Aree ha esplicitamente delimitato il campo di applicabilità al reclutamento dei ricercatori universitari secondo la modalità prevista dal nuovo Regolamento ha garantito il suo impegno a riaffrontare il problema

13 Ancona, 28 maggio Richiesta del Ministro Gemini - 5 settembre 2008

14 Ancona, 28 maggio Motivazioni della richiesta Individuare indicatori di qualità relativi allattività scientifica e di ricerca, utilizzabili: in relazione ai diversi livelli concorsuali e alle peculiarità delle diverse aree scientifiche, in vista delladozione di nuovi provvedimenti normativi per il reclutamento della docenza universitaria per determinare il grado di qualificazione dei proponenti dei Progetti di ricerca

15 Ancona, 28 maggio Ulteriore richiesta Riforma dei Settori Scientifico Disciplinari Motivazioni Attuare, in raccordo con la comunità accademica, la riforma dellimpianto degli attuali Settori Scientifico Disciplinari, in modo da ridurne la frammentazione nel rispetto delle diverse discipline Armonizzare il quadro con i più accreditati modelli internazionali e in particolare con quelli vigenti nellUnione europea

16 Ancona, 28 maggio Indicatori della qualità dellattività scientifica e di ricerca Documento di lavoro del Consiglio Nazionale Universtario Premesse al parere del CUN e quadro di riferimento La promozione della qualità del sistema universitario non può prescindere da unautonomia responsabile degli Atenei nella valorizzazione del merito ad ogni livello Necessità di criteri condivisi e trasparenti di valutazione dellattività scientifica dei candidati ai diversi livelli concorsuali come elemento per promuovere i migliori talenti e la qualità delle Università Importanza di definire di indicatori per la valutazione della qualità dellattività scientifica e di ricerca ai fini della valorizzazione del merito Importanza dei criteri da utilizzare: - quali punti di riferimento qualificanti per le commissioni giudicatrici - per lautovalutazione dei candidati

17 Ancona, 28 maggio Indicatori della qualità dellattività scientifica e di ricerca Limiti nellimpiego degli indicatori e relative soglie Gli indicatori e i relativi valori minimi, elaborati dal CUN dopo consultazione delle Comunità Scientifiche di riferimento, sono da utilizzare esclusivamente per laccesso ai diversi livelli concorsuali Gli indicatori proposti sono intesi al fine di determinare livelli minimi normalmente accettabili Gli indicatori proposti nulla debbono togliere allautonomia degli Atenei nella libertà di strutturare i bandi di concorso secondo proprie esigenze

18 Ancona, 28 maggio Indicatori della qualità dellattività scientifica e di ricerca Indicazioni per le commissioni di concorso I valori minimi proposti per gli indicatori ai fini dellaccesso alle fasce di docenza sono elementi di riferimento per le commissioni e per lautovalutazione dei candidati Gli indicatori forniscono una rappresentazione sommaria dellattività scientifica dei candidati e la responsabilità di stabilire la graduatoria finale compete esclusivamente alle commissioni giudicatrici I livelli minimi non possono essere utilizzati per determinare in modo automatico lesclusione o lammissione di un candidato In caso di non osservanza di tali valori minimi le commissioni debbono motivarne le ragioni

19 Ancona, 28 maggio Indicatori della qualità dellattività scientifica e di ricerca Casi di dichiarata non utilizzabilità Gli indicatori scientifici per laccesso alle valutazioni concorsuali e gli indicatori di qualità per la valutazione dei proponenti dei PRIN, benché collegati, non sono coincidenti I valori proposti per gli indicatori, in quanto minimi, non possono considerarsi sufficienti ai fini del reclutamento per chiamata diretta

20 Ancona, 28 maggio Indicatori della qualità dellattività scientifica e di ricerca Caratteristiche degli indicatori Non è possibile utilizzare gli stessi indicatori per tutte le Aree e in qualche caso neppure per tutti i SSD in esse compresi Gli indicatori debbono essere aggiornati periodicamente dal CUN Gli indicatori devono essere semplici, trasparenti, facilmente applicabili e congrui per le diverse Aree o gruppi di SSD

21 Ancona, 28 maggio Indicatori di attività scientifica e di ricerca – Aree 1-7

22 Ancona, 28 maggio Indicatori di attività scientifica e di ricerca – Aree 8-14

23 Ancona, 28 maggio Considerazioni generali sul lavoro svolto dal CUN Il CUN ha prodotto un documento importante, frutto di numerose discussioni avvenute allinterno delle varie aree Il fatto importante è che per la prima volta si parla esplicitamente di livelli minimi per ciascun Settore Scientifico Disciplinare I criteri presentati in tabella permettono di apprezzare in modo comparativo le differenze La differenziazione dei criteri tra le varie aree non è necessariamente un fatto negativo, in quanto rispecchia modalità di produzione e diffusione dei risultati scientifici che sono diverse tra area ed area Molti criteri sono comunque condivisi da Aree diverse Il valore del dottorato di ricerca risulta molto differente allinterno di diverse aree e settori Il discorso può essere approfondito realizzando verifiche ex-post applicando i criteri del CUN ai concorsi svolti negli ultimi anni

24 Ancona, 28 maggio Confronto tra i criteri adottati dalle aree (1) solo per ordinari (2) solo per ricercatori (3) solo per associati e ordinari

25 Ancona, 28 maggio Il lavoro nellArea 9 – Ingegneria industriale e dellinformazione Si è inizialmente tentato di utilizzare le categorie ISI (Institute for Scientific Information) e lImpact Factor (IF), nel modo seguente: Per valutare la produzione scientifica relativa a ciascun SSD Individuare le categorie ISI di interesse del SSD Suddividere le riviste di ogni categoria in quattro quartili Normalizzare lIF attribuendo alle riviste i pesi 0.25, 0.5, 0.75 e 1 in base al quartile di appartenenza Aggiungere, se necessario, anche riviste non–ISI con revisori, attribuendo loro analoghi pesi

26 Ancona, 28 maggio Il lavoro nellArea 9 – Ingegneria industriale e dellinformazione Ridurre i pesi con un criterio di proprietà per tenere conto della numerosità degli autori, utilizzando un coefficiente moltiplicativo (analogo a quello adottato presso lUniversità di Bologna) k a = e – (n – 1)/12 Introdurre un criterio di continuità della produzione scientifica, limitando luso delle pubblicazioni più vecchie Calcolare il numero di pubblicazioni equivalenti come somma dei pesi relativi alle pubblicazioni Stabilire la soglia minima in termini di pubblicazioni equivalenti

27 Ancona, 28 maggio Il lavoro nellArea 9 – Ingegneria industriale e dellinformazione Si è optato infine per criteri molto meno sofisticati per: Rendere il criterio di facile e omogenea applicazione per tutti i settori dellArea Non dovere introdurre nuove classificazioni e relativi pesi di collocazioni editoriali non-ISI Poter includere anche i lavori pubblicati in atti di congressi (molto importanti allinizio di carriera) Non penalizzare le attività sperimentali (pubblicazioni tipicamente a molti autori) Non introdurre criteri troppo disomogenei rispetto alle altre Aree CUN Evitare di dare limpressione che un approccio molto articolato sia in grado di produrre una valutazione comparativa automatica

28 Ancona, 28 maggio Il lavoro svolto nellArea 9 – Criterio per i Ricercatori Esempio per i concorsi a ricercatore universitario: Un numero di pubblicazioni a diffusione internazionale con revisori internazionali, non inferiore a 6, di cui: non più di 4 con data di pubblicazione anteriore a 5 anni prima della chiusura del bando, non più di 2 con data di pubblicazione anteriore a 10 anni prima della chiusura del bando.

29 Ancona, 28 maggio I concorsi per i ricercatori dopo il 30 novembre 2008 La legge 1/2009 (conversione in legge del DL 180/08) Art. 1, comma 7. Nelle procedure di valutazione comparativa per il reclutamento dei ricercatori bandite successivamente alla data di entrata in vigore del presente decreto, la valutazione comparativa è effettuata sulla base dei titoli, illustrati e discussi davanti alla commissione, e delle pubblicazioni dei candidati, ivi compresa la tesi di dottorato, utilizzando parametri, riconosciuti anche in ambito internazionale, individuati con apposito decreto del Ministro dell'istruzione, dell'università e della ricerca, avente natura non regolamentare, da adottare entro 30 giorni dalla data di entrata in vigore della legge di conversione del presente decreto, sentito il Consiglio universitario nazionale.

30 Ancona, 28 maggio I nuovi concorsi per ricercatori dopo la Legge 1/2009 Parere del CUN 12 marzo 2009 La commissione dovrà tenere conto in ogni caso della produzione scientifica complessiva del candidato, inclusa la tesi di dottorato, facendo ricorso, ove possibile, a parametri riconosciuti in ambito scientifico internazionale dalle singole comunità, quali: numero delle opere monografiche; numero totale di saggi su rivista o su volumi collettanei; numero totale delle pubblicazioni o saggi su rivista; numero delle pubblicazioni o saggi per anno di attività; numero totale delle citazioni; numero medio di citazioni per pubblicazione; impact factor totale; impact factor medio per pubblicazione; numero dei prodotti scientifici peculiari delle singole Aree o SSD; numero dei brevetti; combinazioni dei precedenti parametri atte a valorizzare limpatto della produzione scientifica del candidato (indice di Hirsch, o simili).

31 Ancona, 28 maggio La bozza di decreto Art. 3 (Valutazione delle pubblicazioni scientifiche) Comma 3 …….. Nellambito dei settori scientifico-disciplinare in cui ne è riconosciuto luso a livello internazionale le Commissioni si attengono anche ai seguenti indici: 1)numero totale delle citazioni 2)numero medio di citazioni per pubblicazione 3)"impact factor" totale 4)"impact factor" medio per pubblicazione 5)combinazioni dei precedenti parametri atte a valorizzare l'impatto della produzione scientifica del candidato (indice di Hirsch o simili).

32 Ancona, 28 maggio Il significato della revisione dei Settori (SSD) Tutte le richieste di revisione sono finalizzate ad una più rigorosa valutazione della produzione scientifica che deve essere considerata in tutte le aree ai fini di: reclutamento progressione di carriera finanziamento dei programmi di ricerca (PRIN, FIRB …. ) ripartizione tra gli Atenei del Fondo di Finanziamento Ordinario (FFO) …….

33 Ancona, 28 maggio Riforma dei Settori Scientifico Disciplinari I Settori Scientifico disciplinari in EUROPA FRANCIA: Composition du Conseil national des Universités national-des-universites.html REGNO UNITO: Research Assessment Exercise (RAE) 2008: Panels SPAGNA: Áreas de conocimiento en la universidad española de UNIONE EUROPEA: European research Council peer review evaluation panels (ERC panels) erc-starting-grants-2009.pdf

34 Ancona, 28 maggio Conclusioni La cultura della valutazione sta penetrando in maniera pervasiva in tutte le dimensioni della formazione superiore e della ricerca La valutazione della ricerca in particolare è il nodo principale Lesperienza CUN è di fondamentale importanza, perché costituisce un primo tentativo organico di individuare: indicatori rappresentativi della qualità scientifica soglie di ammissibilità Si sta facendo strada lidea che in tutte le aree sia possibile misurare lattività scientifica e stabilire dei livelli minimi Un ricercatore esiste nella misura in cui si confronta con i suoi pari attraverso le pubblicazioni Secondo tale ottica è stato realizzato il sito Pubblico Ergo Sum


Scaricare ppt "Ministero dell'Istruzione, dell'Università e della Ricerca SEMINARIO La valutazione dei lavori scientifici: metodologie, modulazioni e complessità nei."

Presentazioni simili


Annunci Google