A.Silvani - UniMITT La valutazione della ricerca scientifica: lezioni europee? Alberto Silvani Università degli Studi di Milano Unimitt, Centro per lInnovazione e il Trasferimento Tecnologico

A.Silvani - UniMITT Lintervento di oggi Incrociare tre testimonianze: –Il libro bianco, come riflessione critica sullo stato dellarte, focalizzandosi sulle (presunte ?) lezioni europee –Lattualità e linteresse al tema, testimoniato dagli esiti dellassessment del CIVR e dal Decreto Legge della Finanziaria (art. 36) –La valutazione della ricerca nel contesto valutativo italiano: una riflessione sui dieci anni della RIV e lo special issue (n. 34)

A.Silvani - UniMITT Una problematica ed un caso La valutazione della ricerca: alcune caratteristiche specifiche: –I rischi e i limiti nellex-ante, dovuti alla pluralità delle opzioni, che ostacolano le analisi di efficacia nellex-post; –La debolezza concettuale ed empirica di ogni rapporto diretto di causalità, che esclude sia lanalisi controfattuale (es. impatto) sia la misurazione di addizionalità ed efficienza (diretti contributi attribuibili esplicitamente alloggetto specifico della valutazione); –Peculiarità, e limiti, della peer review, (pro: utilizzo di un collegio invisibile, contro: difficile integrazione di elementi di valutazione non basati sulla qualità scientifica dei proponenti (piuttosto che della proposta), visione conservativa, difficoltà a parametrare le qualità in forma comparativa)

A.Silvani - UniMITT La valutazione in Commissione Europea (1/2) Aspetti regolamentari Aspetti istituzionali, organizzativi e procedurali Aspetti finanziari e contabili Aspetti contenutistici

A.Silvani - UniMITT La valutazione in Commissione Europea (2/2) Nuovi elementi: - la dimensione ex-ante - lestensione a tutte le attività (non solo la spesa) - il legame con la programmazione ed il management - lanalisi di impatto ex-ante - la ricerca di coerenza tra i diversi interventi - un investimento sulla formazione - la logica degli standard minimi - imparare concretamente dalle esperienze

A.Silvani - UniMITT La ricerca nella dimensione europea Lisbona e la sua implementazione Lo spazio comune di ricerca I parametri quantitativi Lo strumento del programma Quadro La sua progettazione, gestione e monitoraggio Il contributo della ricerca alle altre politiche La revisione di strategia

A.Silvani - UniMITT La valutazione della ricerca nella dimensione europea A livello di politiche e programmi –Valutazione ed impatto ex-ante (recentemente introdotte) –Monitoraggio periodico –Valutazione ex-post periodica A livello di progetti –Selezione ex-ante con procedure codificate –Giudizio di congruità finale

A.Silvani - UniMITT Lesperienza del FYA Disciplinata da una decisione dieci anni fa Prescritta dal testo del PQ Tre esperienze maturate nel decennio Basata su panel di esperti Modificata sulla base delle esperienze Definita sulla base di un mandato Flessibile nellesecuzione Proceduralmente incardinata nella proposta di nuovo PQ

A.Silvani - UniMITT Problemi di valutazione del PQ… Complessità e vastità delloggetto Sovrapposizione nel tempo di obiettivi, attività e strumenti Limiti di risorse (asimmetria conoscitiva, tempi, risorse economiche) Difficoltà ad entrare nel merito Nessi di causalità Scarsa capacità di analisi dimpatto

A.Silvani - UniMITT Il FYA (1/2) Unesperienza positiva: –In coerenza (anticipazione) con il disegno di riforma –Per i risultati ottenuti (rapporto finale) –Per lo spostamento verso una valutazione più finalizzata e sistematica –Per lutilizzo degli studi come supporto informativo e per lintroduzione di expertise valutativo

A.Silvani - UniMITT Il FYA (2/2) E qualche ombra…. Scarsa fasatura delle attività Insufficiente utilizzo delle capacità di monitoraggio amministrativo dei processi esaminati Ritualità nelle risposte alle raccomandazioni Effetti diversificati sui diversi stakeholder Debolezza della strumentazione e delle metodiche utilizzate

A.Silvani - UniMITT Quali lezioni per lesperienza italiana…. Intrecciare politiche e programmi (senza confonderne ambiti e ruoli…) Bilanciare selezione e monitoraggio Dotarsi di una batteria di strumenti Metodiche e non solo metodi… Comprendere in un unico schema competenze tematiche e competenze valutative La valutazione vive non solo durante gli esercizi valutativi….

A.Silvani - UniMITT Il recente Decreto Legge Istituzione Anvur –Obiettivi: Razionalizzare il sistema della valutazione Aumentare efficienza ed efficacia dei programmi –Attività: Valutazione esterna della qualità delle attività Indirizzo, coordinamento e vigilanza della valutazione Valutazione efficienza ed efficacia dei programmi

A.Silvani - UniMITT Anvur perché… I risultati dellattività di valutazione divengono criterio di riferimento per lallocazione dei finanziamenti = incardinare strutturalmente la valutazione nel processo decisionale Superare la parzialità degli organismi esistenti (Civr, Cnvsu, …)

A.Silvani - UniMITT Il rapporto CIVR Positività dellesperienza Conferma della percezione comune Qualche perplessità su: –Il ruolo dellautoselezione dei prodotti da valutare –La ri-valutazione per peer review di prodotti già valutati –La non considerazione delle risorse tra gli input –La non considerazione della varietà di obiettivi delle diverse istituzioni esaminate –La pesatura del rating interno rispetto alla performance complessiva

A.Silvani - UniMITT Lo special issue Contributi da una ventina di autori Toccati aspetti quali: –I settori: i fondi strutturali, ma non solo, la valutazione economica, le politiche pubbliche, luniversità, lo sviluppo locale, i patti territoriali, i servizi pubblici, …. –I metodi, lanalisi controfattuale, la formazione –Il processo valutativo dentro le istituzioni, le fasi, gli approdi istituzionali

A.Silvani - UniMITT Tra i temi trasversali emersi… Il rapporto tra strumenti (e pratiche) e riforma della P.A. Valutazione istituzionale e adempimenti valutativi (insourcing, learning vs accountability, ecc.) Ex ante, ex post e monitoraggio valutativo Indicatori e standard Professionalità, formazione ed etica dei valutatori Stato di salute e prospettive future della valutazione in Italia

A.Silvani - UniMITT La valutazione universitaria Difficoltà a considerare luniversità nel suo insieme Chi sono gli interlocutori? Leccellenza è lunico parametro? Debolezza sui metodi danalisi Quale unità di rilevazione? Perché si valuta?