La valutazione della ricerca scientifica: strumenti e nuove esperienze Messina 3 Ottobre 2006.

Presentazione sul tema: "La valutazione della ricerca scientifica: strumenti e nuove esperienze Messina 3 Ottobre 2006."— Transcript della presentazione:

1 La valutazione della ricerca scientifica: strumenti e nuove esperienze Messina 3 Ottobre 2006

2 Prospetto Autonomia della ricerca universitaria Il sistema duale: caratteristiche e problemi Il sistema plurale La valutazione istituzionale: finalità, metodi e problemi Valutazione e finanziamento Il riferimento regionale

3 Ricerca universitaria e autonomia In una situazione ideale (Humboldt) le università dovrebbero godere di piena autonomia nel (i) indirizzare le proprie ricerche, (ii) programmarne la realizzazione, (iii) accedere alle risorse. Nella realtà dell’università contemporanea nessuna di queste condizioni si verifica

4 Chi indirizza la ricerca Gli orientamenti della comunità scientifica internazionale (genoma, facilities) Le scelte dell’Unione Europea (Programma Quadro e interventi vari) Il Piano Nazionale di Ricerca Le scelte governative, specie in materia culturale, sanitaria, ambientale,... Le strategie internazionali della ricerca industriale

5 Prospetto Autonomia della ricerca universitaria Il sistema duale: caratteristiche e problemi Il sistema plurale La valutazione istituzionale: finalità, metodi e problemi Valutazione e finanziamento Il riferimento regionale

6 Il sistema duale Le università dispongono di fondi che garantiscono il loro funzionamento anche sul versante della ricerca (salari, infrastrutture essenziali, manutenzioni etc.) Questi creano i presupposti per l’acquisizione di risorse finanziarie, destinate esclusivamente alla realizzazione di attività di ricerca ed erogate da agenzie, nazionali, internazionali, o da strutture di governo.

7 L’esperienza inglese Il termine “duale” viene dall’esperienza del Regno Unito, in particolare dall’allocazione delle risorse per la ricerca attraverso il Research Assessment Exercise (RAE). “RAE provides ratings of the quality of research conducted in universities…to inform the selective allocation in accordance with the quality of the work undertaken.”

8 Perché il sistema duale Le dimensioni (scientifiche e finanziarie) dei programmi da affrontare non sono alla portata di singole sedi universitarie, ma tendono a coinvolgere altre strutture di ricerca. Destinare a priori risorse di ricerca agli atenei può rivelarsi un fatto negativo: meglio attribuirle a fronte di valutazioni di merito. L’Ateneo è stimolato a valorizzare la propria ricerca, per acquisire risorse da diverse parti.

9 Ricerca e FFO Nel nostro Paese è stata avviata una procedura per introdurre elementi di ricerca nella ripartizione del fondo ordinario. Essa si basa sulla proposta del CNVSU di destinare il 30% del FFO.

10 La nuova proposta del CNVSU nel 2004 Ministero dell’istruzione, dell’università e della ricerca Comitato nazionale per la valutazione del sistema universitario Proposte per la costruzione di un nuovo modello per la ripartizione “teorica” del FFO alle università statali gennaio 2004 DOC 1/04

11 La composizione a regime del FFO Processi formativi

12 Le differenze nella macroripartizione Modello CNVSU 2004

13 Ripartizione FFO

14 Assegnazione delle risorse sulla base della stima del numero dei “ricercatori attivi” (compresi dottorandi e assegnisti di ricerca) e della capacità di autofinanziamento Costruzione di una banca-dati della produzione scientifica di tutti i soggetti coinvolti. Sito Universitario - Cineca valutazione qualitativa della produzione scientifica attraverso i risultati dell’esercizio del CIVR e dei confronti internazionali Avvio ed evoluzione del processo di valutazione 200420052006….

15 Pot ric = PO x p 1 + PA x p 2 + RU x p 3 + AR DR x p 4 + AR x p 5 + DR x p 6 + BPD x p 7 + TECN x p 8 Personale strutturato (di ruolo)SiglaPeso Prof. Ordinari (esclusi i fuori ruolo)POp 1 = 1,0 Prof. Associati (esclusi i fuori ruolo)PAp 2 = 1,0 Ricercatori e AssistentiRUp 3 = 1,0 Personale dell’area tecnico-scientifica (qualifiche Ded EP) *TECNp 8 = 0,8 Personale con rapporti a tempo determinato Assegnisti di ricerca (già dottori di ricerca)AR DR P 4 = 0,8 Assegnisti di ricerca (non dottori di ricerca)ARP 5 = 0,4 Iscritti ai corsi di dottoratoDRP 6 = 0,8 Borsisti post- dottoratoBPDP 7 = 0,8 Il peso dei “ricercatori potenziali”

16 La valutazione della ricerca scientifica “Tasso di successo” nei bandi PRIN: Il potenziale di ricerca impegnabile può essere corretto, a livello di ateneo, verificando il suo livello di effettiva partecipazione in competizioni nazionali relative a bandi annuali del MIUR …per ciascun ateneo e per ciascuna area, valutare la differenza rispetto ai valori medi nazionali per la stessa area e, in funzione di questa, valutare l’impegno ed il “successo”, a valle di giudizi di qualità espressi da referee anonimi

17 F PRIN : la proposta della CRUI applicata nel 2004 Che può essere semplificata:

18 La valutazione della ricerca scientifica Attività di ricerca finanziata dall’esterno: Valutare l’entità delle entrate (eventualmente con una media su più esercizi finanziari) e dividere questa per un valore convenzionale paragonabile al costo di un ricercatore (50.000 € per anno)

19 Prospetto Autonomia della ricerca universitaria Il sistema duale: caratteristiche e problemi Il sistema plurale La valutazione istituzionale: finalità, metodi e problemi Valutazione e finanziamento Il riferimento regionale

20 Un sistema “plurale” La ricerca è divenuta fattore strategico di sviluppo socio-economico. Di conseguenza rispetto al passato è cresciuto l’interesse nei riguardi dei risultati innovativi in campo scientifico e tecnico e delle loro potenziali applicazioni. Tale interesse si concretizza nella destinazione di significative risorse nazionali e regionali verso il sostegno a programmi di ricerca orientati alla soluzione di problemi socio-economici.

21 Conseguenze del sistema plurale Crescente sforzo per procurarsi i fondi: necessità di uno specifico impegno. Molti bandi richiedono condizioni estranee alle esigenze di autonomo sviluppo del sapere (collaborazione con strutture produttive, rilevanza socio-economica della ricerca, etc.). Ciò porta a diversificare l’azione di ricerca per fare fronte a nuove richieste.

22 La programmazione (I) Per potersi mantenere ai necessari livelli di finanziamento esterno, le Università dovrebbero programmare le loro attività in modo da (i) indirizzare la propria ricerca prevalentemente nei settori ritenuti strategici; (ii) disporre sempre di gruppi di ricerca affermati e “sulla cresta dell’onda”;

23 La programmazione (II) (iii) adottare una programmazione finanziaria in modo da cofinanziare il maggior numero di ricerche; ( iv) mantenere costanti rapporti con le strutture di ricerca esterne.

24 Le difficoltà Scarsità di risorse proprie Rigidità delle risorse umane Necessità di fare fronte a una crescente domanda sul versante della formazione e su quello della consulenza al territorio Incertezza dell’esito dei processi di valutazione- selezione.

25 I problemi Impoverimento della ricerca di base Destinazione prevalente di risorse a programmi a breve termine Difficoltà connesse alla proprietà intellettuale

26 Prospetto Autonomia della ricerca universitaria Il sistema duale: caratteristiche e problemi Il sistema plurale La valutazione istituzionale: finalità, metodi e problemi Valutazione e finanziamento Il riferimento regionale

27 Tipologie di valutazione Valutazione istituzionale: è finalizzata ad accertare le capacità, le necessità e le potenzialità della struttura di ricerca. Valutazione finalizzata all’assegnazione di risorse: fondi istituzionali, fondi per progetti, etc. L’accreditamento: orientato a certificare la capacità della struttura di svolgere (specifiche) funzioni di ricerca.

28 Difficoltà della valutazione istituzionale Non esiste un modello sperimentabile che tenga conto dei diversi aspetti. Le valutazioni, specie se effettuate su scala estesa, tendono ad essere parziali. Questo è in parte imputabile a carenze metodologiche (mancanza di appropriati indicatori, lacune informative, etc.), in parte a difficoltà connesse ai costi della valutazione nella sua realizzazione.

29 Nell’accezione comune la valutazione della ricerca è in primo luogo l’individuazione delle realtà che mostrano una produzione scientifica qualitativamente migliore (punti forti). Si tratta di un elemento fondamentale, che orienta la politica universitaria, ma non è l’unico. Quando si fa riferimento al sistema ricerca di un ateneo, sono molti gli elementi da considerare, specie nel contesto del sistema duale di finanziamento.

30 Un’esperienza avviata Nel sistema francese il finanziamento agli atenei si basa su un contratto quadriennale di sviluppo, tra lo Stato e l’università, che copre le esigenze di base. Esso include tutti gli aspetti fondamentali: (i) governo dell’ateneo; (ii) popolazione studentesca: (ii) risorse umane; (iii) risorse materiali; (iv) formazione; (v)ricerca, valorizzazione trasferimento.

31 Il “Livre des references” Il CNE ha predisposto una guida alla valutazione che fa riferimento ai punti principali della contrattazione, al fine di aiutare le istituzioni a misurare la coerenza tra finalità e obbiettivi da un lato, e realizzazione e scelte dall’altro. Al fine di consentire l’autovalutazione, la guida opera attraverso domande. www.cne-evaluation.fr

32 Ricerca (i) L’università si è dotata di strutture specifiche per la guida della ricerca? Qual è la politica che determina l’attribuzione di risorse del programma quadriennale? Su quali valutazioni si basa l’attribuzione di risorse? Quale percentuale della dotazione complessiva di ricerca rappresenta tale attribuzione?

33 Ricerca (ii) Quali sono i rapporti dell’università con i grandi organismi di ricerca (nazionali e internazionali)? Quali sono i punti forti e i punti deboli della ricerca? Come funzionano le scuole dottorali? Quali sono le sorgenti di finanziamento esterno? Come evolve il finanziamento esterno?

34 Ricerca (iii) In quale grado la ricerca universitaria è coinvolta nelle esigenze di sviluppo regionale? E’ apprezzabile tale coinvolgimento? Qual’è la partecipazione del personale docente alla ricerca? Sono state prese misure per favorirla?

35 Valorizzazione e trasferimento (i) Esiste una struttura universitaria che si occupa della valorizzazione? Esistono strutture che hanno forti legami con realtà produttive? Esistono servizi di ricerca aperti ad imprese? Come si colloca l’attività di valorizzazione rispetto a quella scientifica?

36 Valorizzazione e trasferimento (ii) Qual è il rapporto tra servizi di valorizzazione e strutture di ricerca? Esiste una politica della proprietà industriale? Quale giudizio si attribuisce alla politica di valorizzazione dell’ateneo?

37 Prospetto Autonomia della ricerca universitaria Il sistema duale: caratteristiche e problemi Il sistema plurale La valutazione istituzionale: finalità, metodi e problemi Valutazione e finanziamento Il riferimento regionale

38 In questo contesto viene spesso citata l’esperienza del RAE. Essa è utile, perché (i) definisce una specifica metodologia (cui si è, in parte, ispirato il CIVR); (ii) consente di individuare problemi che nascono dai sistemi di valutazione (periodicità, opzioni per un approccio separato a differenti istituzioni, valutazione istituzionale). Vedi Rapporto Roberts Maggio 2003

39 Criteri per la valutazione 1.La qualità della ricerca - valutazione della produzione scientifica (ad opera di pari); - coerenza con la missione della struttura; - valutazione dell’impatto dei risultati sulla comunità scientifica. 2. La produttività della struttura (da intendersi in senso lato e non limitato a specifiche forme di produzione scientifica)

40 Criteri per la valutazione 3. La capacità di acquisire risorse - umane (in formazione come permanenti); - finanziarie (capacità di adattarsi agli strumenti di finanziamento e agli indirizzi internazionali) - collaborative (l’ampiezza e l’estensione delle collaborazioni attive è una notevole risorsa)

41 Criteri per la valutazione 4. La valorizzazione della ricerca - diffusione dei risultati nella comunità di riferimento; - applicazioni dei risultati scientifici; - capacità di collegarsi alla produzione dei beni e servizi.

42 Prospetto Autonomia della ricerca universitaria Il sistema duale: caratteristiche e problemi La valutazione istituzionale: finalità, metodi e problemi Il sistema plurale Valutazione e finanziamento Il riferimento regionale

43 Il ruolo regionale In tutti i Paesi europei si va affermando la tendenza ad una programmazione della ricerca anche su base regionale. L’interesse è rivolto prevalentemente verso temi legati allo sviluppo socio-economico, con particolare enfasi sul miglioramento nella produzione di beni e servizi. Diverse regioni europee si sono dotate di strumenti di valutazione- selezione per finanziare attività presso le istituzioni di ricerca.

44 Nell’ultimo quinquennio diverse regioni italiane hanno approvato leggi che prevedono piani per la ricerca industriale e l’innovazione, e che attribuiscono agli atenei ruoli essenziali di ricerca e sviluppo. Ex.: Campania LR 5/2002, Emilia-Romagna LR 7/2002, Provincia di Trento LP 14/2005,.. Contestualmente il MIUR ha promosso la formazione di Distretti Tecnologici con il concorso delle regioni, come previsto dal PNR.

45 Queste iniziative se da un lato offrono agli atenei nuove opportunità, dall’altro tendono a caricarli di nuove missioni, ad attribuire nuovo ruoli. Esistono evidenti difficoltà a far conciliare l’impegno nella ricerca con quello proposto dalle esigenze di sviluppo regionale. Sul piano della valutazione, si può verificare che sistemi in apparenza collaudati di valutazione della ricerca scientifica possono risultare controproducenti rispetto alla possibilità di impegnare le università in questa direzione.

46 Lambert Review on BU collaboration Esprime forti critiche al sistema di valutazione della ricerca (RAE). “…It has tended to homogenise the research efforts of the entire university system, by driving all the universities to aspire to the same world class benchmarks…” “…The assessment panels tend to concentrate on purely academic benchmarks…It is much harder to define what constitutes world-class research undertaken with business partners…”

47 “…Universities invest large amounts of time and money in preparing for RAE…Instead of concentrating on their own areas of comparative advantage, which may be of real value to theri local and regional economy, they strive to be measured against a world-class benchmark.” www.lambertreview.org.uk

48 “…proximity matters when it comes to business- university collaboration. SMEs, in particular, find it difficult to work with research departments on the other side of the country. If resources are increasingly concentrated on a small number of world class research departments, there is likely to be a negative impact on the level of business-university collaboration in UK”

49 L’impegno degli atenei nella direzione della definizione e realizzazione di programmi regionali di sviluppo pone alla ricerca universitaria una nuova sfida. Occorre individuare nuove forme, anche istituzionali, di organizzazione della ricerca, programmare le risorse umane e finanziarie in modo non occasionale.

50 Sul piano della valutazione gli elementi che concorrono a determinare le capacità e le potenzialità dei gruppi di ateneo diventano molteplici. Diventa decisiva la capacità dell’ateneo di darsi una politica della ricerca, equilibrando le proprie tendenze e sfruttando le situazioni di vantaggio competitivo.