A.Silvani - UniMITT- 16.10.06 La valutazione della ricerca scientifica: lezioni europee? Alberto Silvani Università degli Studi di Milano Unimitt, Centro.

Presentazione sul tema: "A.Silvani - UniMITT- 16.10.06 La valutazione della ricerca scientifica: lezioni europee? Alberto Silvani Università degli Studi di Milano Unimitt, Centro."— Transcript della presentazione:

1 A.Silvani - UniMITT- 16.10.06 La valutazione della ricerca scientifica: lezioni europee? Alberto Silvani Università degli Studi di Milano Unimitt, Centro per lInnovazione e il Trasferimento Tecnologico (alberto.silvani@unimi.it)

2 A.Silvani - UniMITT- 16.10.06 Lintervento di oggi Incrociare tre testimonianze: –Il libro bianco, come riflessione critica sullo stato dellarte, focalizzandosi sulle (presunte ?) lezioni europee –Lattualità e linteresse al tema, testimoniato dagli esiti dellassessment del CIVR e dal Decreto Legge della Finanziaria (art. 36) –La valutazione della ricerca nel contesto valutativo italiano: una riflessione sui dieci anni della RIV e lo special issue (n. 34)

3 A.Silvani - UniMITT- 16.10.06 Una problematica ed un caso La valutazione della ricerca: alcune caratteristiche specifiche: –I rischi e i limiti nellex-ante, dovuti alla pluralità delle opzioni, che ostacolano le analisi di efficacia nellex-post; –La debolezza concettuale ed empirica di ogni rapporto diretto di causalità, che esclude sia lanalisi controfattuale (es. impatto) sia la misurazione di addizionalità ed efficienza (diretti contributi attribuibili esplicitamente alloggetto specifico della valutazione); –Peculiarità, e limiti, della peer review, (pro: utilizzo di un collegio invisibile, contro: difficile integrazione di elementi di valutazione non basati sulla qualità scientifica dei proponenti (piuttosto che della proposta), visione conservativa, difficoltà a parametrare le qualità in forma comparativa)

4 A.Silvani - UniMITT- 16.10.06 La valutazione in Commissione Europea (1/2) Aspetti regolamentari Aspetti istituzionali, organizzativi e procedurali Aspetti finanziari e contabili Aspetti contenutistici

5 A.Silvani - UniMITT- 16.10.06 La valutazione in Commissione Europea (2/2) Nuovi elementi: - la dimensione ex-ante - lestensione a tutte le attività (non solo la spesa) - il legame con la programmazione ed il management - lanalisi di impatto ex-ante - la ricerca di coerenza tra i diversi interventi - un investimento sulla formazione - la logica degli standard minimi - imparare concretamente dalle esperienze

6 A.Silvani - UniMITT- 16.10.06 La ricerca nella dimensione europea Lisbona e la sua implementazione Lo spazio comune di ricerca I parametri quantitativi Lo strumento del programma Quadro La sua progettazione, gestione e monitoraggio Il contributo della ricerca alle altre politiche La revisione di strategia

7 A.Silvani - UniMITT- 16.10.06 La valutazione della ricerca nella dimensione europea A livello di politiche e programmi –Valutazione ed impatto ex-ante (recentemente introdotte) –Monitoraggio periodico –Valutazione ex-post periodica A livello di progetti –Selezione ex-ante con procedure codificate –Giudizio di congruità finale

8 A.Silvani - UniMITT- 16.10.06 Lesperienza del FYA Disciplinata da una decisione dieci anni fa Prescritta dal testo del PQ Tre esperienze maturate nel decennio Basata su panel di esperti Modificata sulla base delle esperienze Definita sulla base di un mandato Flessibile nellesecuzione Proceduralmente incardinata nella proposta di nuovo PQ

9 A.Silvani - UniMITT- 16.10.06 Problemi di valutazione del PQ… Complessità e vastità delloggetto Sovrapposizione nel tempo di obiettivi, attività e strumenti Limiti di risorse (asimmetria conoscitiva, tempi, risorse economiche) Difficoltà ad entrare nel merito Nessi di causalità Scarsa capacità di analisi dimpatto

10 A.Silvani - UniMITT- 16.10.06 Il FYA 1999-2003 (1/2) Unesperienza positiva: –In coerenza (anticipazione) con il disegno di riforma –Per i risultati ottenuti (rapporto finale) –Per lo spostamento verso una valutazione più finalizzata e sistematica –Per lutilizzo degli studi come supporto informativo e per lintroduzione di expertise valutativo

11 A.Silvani - UniMITT- 16.10.06 Il FYA 1999-2003 (2/2) E qualche ombra…. Scarsa fasatura delle attività Insufficiente utilizzo delle capacità di monitoraggio amministrativo dei processi esaminati Ritualità nelle risposte alle raccomandazioni Effetti diversificati sui diversi stakeholder Debolezza della strumentazione e delle metodiche utilizzate

12 A.Silvani - UniMITT- 16.10.06 Quali lezioni per lesperienza italiana…. Intrecciare politiche e programmi (senza confonderne ambiti e ruoli…) Bilanciare selezione e monitoraggio Dotarsi di una batteria di strumenti Metodiche e non solo metodi… Comprendere in un unico schema competenze tematiche e competenze valutative La valutazione vive non solo durante gli esercizi valutativi….

13 A.Silvani - UniMITT- 16.10.06 Il recente Decreto Legge Istituzione Anvur –Obiettivi: Razionalizzare il sistema della valutazione Aumentare efficienza ed efficacia dei programmi –Attività: Valutazione esterna della qualità delle attività Indirizzo, coordinamento e vigilanza della valutazione Valutazione efficienza ed efficacia dei programmi

14 A.Silvani - UniMITT- 16.10.06 Anvur perché… I risultati dellattività di valutazione divengono criterio di riferimento per lallocazione dei finanziamenti = incardinare strutturalmente la valutazione nel processo decisionale Superare la parzialità degli organismi esistenti (Civr, Cnvsu, …)

15 A.Silvani - UniMITT- 16.10.06 Il rapporto CIVR Positività dellesperienza Conferma della percezione comune Qualche perplessità su: –Il ruolo dellautoselezione dei prodotti da valutare –La ri-valutazione per peer review di prodotti già valutati –La non considerazione delle risorse tra gli input –La non considerazione della varietà di obiettivi delle diverse istituzioni esaminate –La pesatura del rating interno rispetto alla performance complessiva

16 A.Silvani - UniMITT- 16.10.06 Lo special issue Contributi da una ventina di autori Toccati aspetti quali: –I settori: i fondi strutturali, ma non solo, la valutazione economica, le politiche pubbliche, luniversità, lo sviluppo locale, i patti territoriali, i servizi pubblici, …. –I metodi, lanalisi controfattuale, la formazione –Il processo valutativo dentro le istituzioni, le fasi, gli approdi istituzionali

17 A.Silvani - UniMITT- 16.10.06 Tra i temi trasversali emersi… Il rapporto tra strumenti (e pratiche) e riforma della P.A. Valutazione istituzionale e adempimenti valutativi (insourcing, learning vs accountability, ecc.) Ex ante, ex post e monitoraggio valutativo Indicatori e standard Professionalità, formazione ed etica dei valutatori Stato di salute e prospettive future della valutazione in Italia

18 A.Silvani - UniMITT- 16.10.06 La valutazione universitaria Difficoltà a considerare luniversità nel suo insieme Chi sono gli interlocutori? Leccellenza è lunico parametro? Debolezza sui metodi danalisi Quale unità di rilevazione? Perché si valuta?