INFN, ANVUR, VQR et al. La STORIA.

Presentazione sul tema: "INFN, ANVUR, VQR et al. La STORIA."— Transcript della presentazione:

1 INFN, ANVUR, VQR et al. La STORIA

2 ANVUR L'ANVUR è stata costituita ai sensi dell'art.2, comma 138, del decreto legge 3 ottobre 2006, n. 262, convertito, con modificazioni, dalla legge 24 novembre 2006, n. 286. Il decreto era collegato alla legge finanziaria per il 2007 (secondo Governo Prodi, con Ministro dell'Università e Ricerca Fabio Mussi) Il lavoro di redazione del Regolamento, venne guidato dal Sottosegretario con delega all'Università Luciano Modica, e seguì la pubblicazione in G.U. il 9 aprile 2008 Nel frattempo il Governo Prodi cadde e vennero convocate le elezioni anticipate Il nuovo Ministro Mariastella Gelmini mise al lavoro una commissione di esperti e propose l'adozione del nuovo Regolamento in versione preliminare il 24 luglio 2009 Dopo la firma del Decreto Presidenziale il 1º febbraio 2010 e la registrazione della Corte dei Conti il 13 maggio, la pubblicazione in G.U. è arrivata il 27 maggio 2010

3 Ruolo dell’ANVUR In base alle norme costitutive, l'ANVUR «sovraintende al sistema pubblico nazionale di valutazione della qualità delle università e degli enti di ricerca». Si tratta di un ruolo storicamente svolto, fino alla istituzione dell'Agenzia, da altri organismi incaricati della valutazione dei sistema universitario e della ricerca, il CNVSU e il CIVR, ai quali, infatti, l'ANVUR succede giuridicamente, con il fine di «razionalizzare» tale sistema di valutazione. La necessità di costituire un'agenzia dotata di autonoma personalità giuridica corrisponde all'esigenza di terzietà della valutazione rispetto sia alla sfera politico-amministrativa del Ministero sia rispetto alle istituzioni valutate…

4 Ma cosa può fare? La relazione di accompagnamento al nuovo Regolamento precisa che, nonostante non vi sia un legame diretto tra Agenzia e finanziamenti statali alle università e agli enti di ricerca, i risultati della valutazione devono «naturalmente» giocare un ruolo importante nella ripartizione dei fondi statali, in particolare «per quella parte destinata a sostenere ed incentivare le situazioni di maggiore qualità» L’assegnazione dei finanziamenti statali rimane quindi compito e responsabilità del Ministro, ma l’Agenzia ha l’incarico di proporgli i parametri di ripartizione per le quote del finanziamento che dipendono dalla qualità dei risultati Questo ruolo di "ausilio tecnico" per collegare il finanziamento delle singole istituzioni alla valutazione (specialmente dei risultati della ricerca) ha ottenuto sempre maggiore consenso durante tutta la fase di predisposizione della normativa La stessa norma di legge istitutiva dell'ANVUR aveva stabilito che «i risultati delle attività di valutazione dell'ANVUR costituiscono criterio di riferimento per l'allocazione dei finanziamenti statali alle università e agli enti di ricerca»

5 Organizzazione Gli organi dell'Agenzia sono il Presidente, il Consiglio Direttivo, il Collegio dei revisori dei conti Il Presidente, eletto dal Consiglio Direttivo con una maggioranza dei due terzi, ha la rappresentanza legale e assicura coordinamento e unitarietà delle attività dell’Agenzia Il Consiglio Direttivo determina gli indirizzi della gestione dell’Agenzia e i criteri di valutazione, predispone il programma di attività, approva i bilanci e i rapporti di valutazione, nomina il Direttore, su proposta del Presidente È composto da 7 membri, anche stranieri, di alta qualificazione ed esperienza nel campo dell’istruzione superiore e delle ricerca, nonché della valutazione di tali attività È inoltre previsto un Comitato consultivo, rappresentativo della più ampia comunità di riferimento delle attività dell'Agenzia, i cui membri sono designati da istituzioni e organizzazioni nazionali e internazionali, con il compito di dare pareri e formulare proposte al Consiglio Direttivo, in particolare sui programmi di attività e sulla scelta dei criteri e dei metodi di valutazione L’organizzazione è ispirata per sommi capi al modello dell’AERES, l’analoga Agenzia francese istituita nel 2007

6 Selezione del CD I componenti del Consiglio Direttivo sono nominati con Decreto del Presidente della Repubblica, su proposta del MIUR, sentite le Commissioni parlamentari Il comitato di selezione è composto da cinque membri di alta qualificazione, designati, uno ciascuno, dal Ministro stesso, dal Segretario generale dell'OCSE e dai Presidenti dell'Accademia dei Lincei, dell'European Research Council e del Consiglio nazionale degli studenti universitari Prof. Marco Bersanelli (Prof. Ordinario di Astrofisica presso l'Università degli studi di Milano) Prof. Claudio Bordignon (Prof. Ordinario in Malattie del sangue all'Università Vita-Salute San Raffaele di Milano) Prof. Salvatore Settis (Prof. Ordinario di Storia dell'arte e dell'archeologia classica nella Scuola Normale Superiore di Pisa) Dott. Marco Tornasi (Direttore Generale per l'università, lo studente e il diritto allo studio universitario) Dott. Dirk Van Damme (Capo del Centro per l'educazione, la ricerca e l'innovazione presso l'OCSE) Il Presidente ed i componenti del Consiglio Direttivo restano in carica quattro anni e non possono essere nuovamente nominati

7 I Magnifici Sette del 21/1/2011
Sergio Benedetto (Politecnico di Torino) Ingegneria delle Comunicazioni Andrea Bonaccorsi (Università di Pisa) Economia Massimo Castagnaro (Università di Padova) Medicina Veterinaria Stefano Fantoni (SISSA di Trieste) Fisica Giuseppe Novelli (Università di Roma "Tor Vergata") Genetica Fiorella Kostoris (Sapienza Università di Roma) Economia Luisa Ribolzi (Università di Genova) Sociologia Critiche da Settis (nel Comitato di Selezione), Decleva (precedente Presidente CRUI), dai Lincei e molti altri che “chiedono un ampliamento” bilanciamento geografico (i.e.: nessun membro proveniente dalle Università del sud Italia) bilanciamento disciplinare (i.e. mancanza di un rappresentante delle discipline umanistiche) Luigi Biggeri (CNVSU) e Franco Cuccurullo (CIVR) garantiranno “fisicamente” la continuità istituzionale con l’ANVUR Il giorno 2 maggio 2011 si è insediato a Roma il Consiglio Direttivo dell'ANVUR e il giorno successivo il Consiglio ha eletto all'unanimità il suo Presidente nella persona di Stefano Fantoni

8 Decreti su Decreti Decreto Ministeriale 19 marzo 2010 prot. n. 8/2010
Linee guida per la Valutazione Quinquennale della Ricerca VQR Nell'ipotesi di cui all'art. 14, comma 2), del regolamento concernente il funzionamento dell'ANVUR, le attività di cui all'art. 1 del presente decreto, sono ultimate dal Comitato Direttivo dell'Agenzia, fermo restando in capo al Presidente del CIVR il coordinamento tecnico-scientifico delle attività di valutazione Decreto Ministeriale n. ? del Linee guida per la Valutazione della Qualità della Ricerca VQR Il Decreto non è stato ancora approvato dalla Corte dei Conti

9 Prime interazioni (long range)
Durante la Conferenza EPS a Grenoble, il 23 luglio, ho trovato sul cellulare una telefonata da uno sconosciuto numero romano, e nel risalire al chiamante ho scoperto che si trattava di un numero del MIUR Il giorno dopo infatti ho ricevuto una mail in cui il Prof. Sergio Benedetto (PoliTo) si presentava come Coordinatore della VQR e chiedeva un urgente colloquio telefonico Ci siamo sentiti e sono stato letteralmente bersagliato da richieste di opinioni su vari punti del Bando che l’ANVUR stava per far uscire Avuta conferma che si trattasse di una telefonata ufficiale e non ufficiosa, ho allora espresso tutti i miei dubbi sul fatto che si potesse gestire telefonicamente una materia così complessa Sergio mi ha allora detto che il Bando sarebbe stato reso pubblico sul sito Web dell’ANVUR (non «pubblicato») per ricevere commenti e io da parte mia ho promesso un documento che lo analizzasse

10 Versione preliminare del Bando
La versione preliminare del Bando VQR era una discreta rovina per noi, sia per forma sia per contenuto Molti bizantinismi nelle regole Richieste chiaramente commisurate a dimensioni tipiche di un Dipartimento, non a quelle di un Ente di Ricerca Residui dell’impostazione di Cuccurullo che mirava a valutare anche i singoli ricercatori «Task Force» durante il mese di agosto per preparare il documento di commento al Bando preliminare Sottolineare le specificità dell’INFN inquadrate nella struttura dell’Ente sul territorio nazionale Rilevare punti critici e suggerire soluzioni alternative «Non ti scordare mai da che parte sta il manico del coltello» (E. Iarocci)

11 Altre interazioni (short range)
Documento inviato all’ANVUR (Sergio Benedetto) il 31 agosto Telefonata di Sergio, congratulazioni per l’analisi e appuntamento a Torino per il 5 settembre Persona di grande disponibilità e serietà Lunghissima discussione su tutti i punti presentati: prime piccole vittorie scientifiche e dialettiche sul campo Evidenza chiara tuttavia che alcune regole sarebbero state immutabili e che una forzatura sarebbe stata inadeguata e.g. il numero dei prodotti per ogni soggetto, tutti diversi tra loro Motivazione fondamentale: questa non è una valutazione dell’eccellenza, ma del sistema della ricerca in Italia: il quadro deve essere il più completo possibile Critica fondamentale: va tutto bene fino a quando si parla di valori assoluti (finanziamento), meno quando si fanno le percentuali

12 Il documento

13 Errori e bizantinismi 60-70% dei prodotti dell’Area 02 in bibliometria
Numerosità GEV Area 1 25 Area 2 18 Area 3 23 Area 4 9 Area 5 38 Area 6 79 Area 7 24 Area 8 28 Area 9 39 Area 10 42 Area 11 Area 12 37 Area 13 36 Area 14 13 Ruolo Restrizione N. prodotti 2004/2007 2008/2010 Ente Professore ordinario 2 1 Universita Professore associato Ricercatore universitario se in servizio da prima del 1/1/2006 se data presa servizio e tra 1/1/2006 e 31/12/2007 1/1/2008 e 31/12/2009 se data presa servizio e successiva al 1/1/2010 esentato Dirigente di Ricerca 4 Ente di ricerca Primo ricercatore Ente di ricerca Ricercatore presso Ente di ricerca Dirigente tecnologo 60-70% dei prodotti dell’Area 02 in bibliometria

14 Una battaglia dietro l’altra
I prodotti con coautori appartenenti a strutture nazionali diverse possono essere presentati da ciascuna delle strutture cui afferisce almeno un autore. Per ogni struttura, tali prodotti sono pesati con un coefficiente di proprietà pari al rapporto tra il numero di coautori della struttura e il numero totale di autori afferenti alle strutture che presentano lo stesso prodotto Questo produrrebbe pesi molto bassi per tutti i Dipartimenti Il secondo criterio tiene conto del fattore di proprietà dei prodotti valutati eccellenti, calcolato come rapporto tra il numero di coautori afferente alla struttura alla data del bando e il numero totale di autori Questo ci valse un giudizio fortemente negativo nella VTR 01-03 La Struttura seleziona i prodotti di ricerca secondo le priorità indicate dagli autori e ne cura la trasmissione ai GEV tramite la procedura CINECA

15 Un barbatrucco Per i soggetti valutati afferenti alle università che abbiano avuto un incarico formale di ricerca (ancora attivo alla data del bando) presso un ente di ricerca per almeno tre anni (anche non continuativi) nel settennio, i sei prodotti di ricerca richiesti devono essere attribuiti nella misura di tre all’università e tre all’ente di ricerca cui sono associati, così come indicato nella Tabella 3. Tali soggetti valutati, nel predisporre la lista dei propri prodotti, attribuiscono ogni prodotto all’università o all’ente. Tale procedura è funzionale ad evitare interazioni complesse tra le strutture per decidere dell’attribuzione. Tuttavia, al fine di evitare difficoltà di attribuzione, o penalizzazioni ad una delle due strutture a causa dell’attribuzione stessa, e valorizzare la collaborazione tra le strutture, il risultato complessivo della valutazione di tutti i prodotti verrà attributo in misura pari al 50% ad entrambe le strutture. Se, ad esempio, i sei prodotti scelti dalle due strutture nella misura di 3+3 otterranno una valutazione complessiva di 5, ciascuna struttura si vedrà attribuito un punteggio pari a 2,5. Pro: in questo modo l’INFN prende metà del punteggio dei prodotti attribuiti all’Università e può recuperare il pieno punteggio dei medesimi prodotti attribuendoli a un dipendente Contro: dobbiamo confrontarci con due liste, sulle quali non c’è predittività

16 Un ultimo ostacolo Può la struttura (università o ente di ricerca) inserire nel sistema CINECA le pubblicazioni in caso di inerzia del ricercatore?                            No. La responsabilità di inserimento dei prodotti per la valutazione è esclusivamente personale. Ad essa corrisponde una password personale. In caso di impedimento la struttura dovrà farsi rilasciare autorizzazione (delega) ad utilizzare la password personale. From: Benedetto Sergio Sent: Monday, October 10, :49 AM To: Valerio Vercesi Subject: R: FAQ Caro Valerio, Ho già discusso con il CINECA di casi come il vostro o di altre grandi strutture del CNR. Alla fine, sarete voi a trasferire il file complessivo al CINECA. La FAQ cui alludi riguarda le strutture piccole e localizzate, anche se non viene precisato. La mia è l’interpretazione autentica. Saluti e buon lavoro…Sergio Il responsabile della procedura CINECA per la VQR è Pierluigi Bonetti, ed è un ex CNAF…

17 Alcuni numeri La Struttura per accreditarsi deve fornire le liste dei «soggetti valutati» all’ANVUR Approssimativamente, stiamo parlando di 650 Ricercatori, 300 tecnologi e 850Incarichi di Ricerca 1800 soggetti valutabili 7500 pubblicazioni da presentare In sette anni l’INFN ha prodotto circa lavori su riviste ISI-WOS A questi vanno aggiunte le pubblicazioni di proceedings, di valore in aree specifiche (e.g. acceleratori) Ovviamente la qualità è molto variegata…

18 GLV I Gruppi di Lavoro per la Valutazione in questi anni hanno proceduto ad una selezione e valutazione dei lavori prodotti ogni anno, basandosi sulle regole della VTR (Nprodotti = NFTE/2), con un margine di circa il 100% Il ranking in tre fasce (Eccellente, Buono, Accettabile) è stato fatto utilizzando Il giudizio dei membri dei GLV (inclusi i Presidenti di CSN, membri dei GLV) Il giudizio di referee esterni (colleghi, anche stranieri) Un confronto con parametri bibliometrici (numero di citazioni) Occorre adesso rimettere mano a tutti gli altri lavori e valutarli utilizzando i criteri che il GEV-02 stabilirà Siamo in contatto con Giorgio Parisi, Presidente del GEV-02 Considerato l’intervallo temporale, anche alcune vecchie valutazioni potranno essere riviste Il maggior peso che si intende dare alla bibliometria suggerisce anche metriche opportune per lavori che non erano entrati in graduatoria L’ottimizzazione globale su tutto l’INFN è fatta utilizzando un programma che massimizza il peso finale dei prodotti (F. Arneodo autore principale) GLVsoft: linear programming method (simplex) sulla matrice [Autori , Pubblicazioni] Come output la lista delle pubblicazioni per ogni autore

19 Linear Programming Esempio con 2 variabili
Nasce durante la seconda guerra mondiale Nel 1963 G. Dantzig formula uno degli algoritmi più usati per risolvere problemi LP, noto come ‘simplex’ Il metodo consiste nel trovare il vertice del poligono convesso n-dimensionale, definito dalle condizioni al contorno, che massimizza la funzione obiettivo. Anche in MINUIT c’è un metodo di minimizzazione basato sul simplex I problemi trattati possono essere molto complessi, con milioni di variabili Molto usato in management science per l’ottimizzazione delle risorse Un esempio famoso è il raddoppio della capacità del Canale di Suez (Griffiths, 1995) Un caso particolare dei problemi LP è quello in cui tutte le variabili sono intere (come nel nostro caso) (Integer Programming) Esempio con 2 variabili

20 Nel nostro caso... L’insieme delle pubblicazioni e dei loro autori costituisce una matrice Mpub,aut Ciascun elemento diverso da zero della matrice è una variabile decisionale del problema: ovvero se l’autore i presenta la pubblicazione n: Mn,i=1 A ogni pubblicazione corrisponde un giudizio di qualità Qualipub (al momento fornito dai GLV) La funzione da massimizzare è la somma della qualità totale del campione di pubblicazioni Nel contempo vogliamo che ciascun autore sia rappresentato un certo numero di volte Dove M’è la matrice di output del processo di ottimizzazione Per codificare e risolvere il problema in LP è stato usato il pacchetto open source GNU GLPK 4.45

21 Flowchart… GLVsoft flow chart Sample of publications to present
Publication list from INFN DB INFN Authors’ lists Read authors Search for each author’s occurrence in each publication ‘bad’ authors (not enough pubbs) ‘bad’ pubbs (no authors in the input lists) double counts and homonyms Binary matrix (pubbs, authors) Codify the problem in linear programming form (the decision variables are the nonzero elements of the matrix) Objective: maximize ‘quality’ of the sample Constraints: n. of pubbs per each author Max ‘multiplicity’ tolerated Data card in MPS format GNU GLPK solver (simplex method) GLVsoft flow chart Sample of publications to present Prescription for each author Statistics

22 Strutture e sottostrutture
L’indicatore di qualità della ricerca (peso 0.5), misurato come la somma delle valutazioni ottenute dai prodotti presentati. Il valore è espresso come percentuale del valore complessivo dell'Area Per ogni struttura, ogni prodotto è associato in maniera univoca a un soggetto valutato presente come autore o coautore dello stesso I prodotti con più autori possono essere presentati una sola volta da parte della struttura, pena l’esclusione del prodotto dalla valutazione. In caso di uno stesso prodotto presente nella lista predisposta da più soggetti valutati, la struttura provvede a risolvere al suo interno i conflitti di attribuzione, a livello di soggetti valutati, dipartimenti, aree L’INFN sarebbe considerato come un Ateneo Non vi è alcun vantaggio numerico nel dividere l’INFN Avremmo una graduatoria delle Sezioni fatta dall’ANVUR A mio parere, vi sarebbe un grave danno d’immagine

23 Message in the bottle Questa è una valutazione delle Strutture, non è una valutazione dei singoli: dal Bando L’esercizio è rivolto alla valutazione dei risultati della ricerca scientifica delle seguenti strutture di ricerca (nel seguito indicate con il nome di strutture): a) Università statali; b) Università non statali autorizzate a rilasciare titoli accademici; c) Enti di ricerca pubblici vigilati dal MIUR; d) Altri soggetti pubblici e privati che svolgono attività di ricerca, su esplicita richiesta e previa intesa che preveda la copertura delle spese relative Dalla FAQ pubblicata sul sito ANVUR Occorre che questo messaggio ai colleghi sia chiarissimo Perché il Bando parla di “soggetti valutati” quando la valutazione viene effettuata solo sulle strutture? Si tratta di una espressione sintetica. I soggetti valutati sono i protagonisti del processo di valutazione in quanto sottopongono i prodotti. Essi sono soggetto, non oggetto della valutazione. La valutazione ha ad oggetto solo le strutture e i dipartimenti universitari o strutture affini, ove presenti negli enti di ricerca.

24 Strategie per i Soggetti
I GLV hanno sviluppato un metodo per cercare di massimizzare la performance scientifica dell’Ente Il Bando non obbliga la Struttura a rispettare le priorità dei singoli soggetti È importante elaborare una soluzione per la presentazione dei prodotti da parte della Struttura che non sembri vessatoria o prevaricatrice La collaborazione dei Direttori e dei Rappresentanti del personale è fondamentale Per convenire sulle soluzioni migliori Per far arrivare le informazioni in modo trasparente e autorevole a dipendenti e incaricati

25 Food for thought Utilizzando il programma GLVsoft si ottiene la lista delle pubblicazioni per ogni Autore Il programma può ottimizzare separatamente la componente universitaria in modo da massimizzare i pesi relativi ai dipartimenti, e cercando di non penalizzare la componente INFN (perché comunque il giudizio sarà 50-50) Dipendenti e Incaricati attribuiscono all’Ente le pubblicazioni secondo questa matrice di output Il trattamento delle liste (Università/Ente) è semplificato perché possono essere costruite a posteriori Dipendenti e Incaricati inseriscono le pubblicazioni con l’ordine che più aggrada loro e le assegnano all’Ente o al Dipartimento GLVsoft non tocca le attribuzioni ai dipartimenti mentre soddisfa (random) le assegnazioni dei soggetti all’INFN e poi risolve tutti i conflitti In tutti i casi in cui non è possibile utilizzare le pubblicazioni che i soggetti hanno indicato, essi ne vengono informati Per fare questo è necessario avere «prima» le indicazioni dei singoli Il trattamento delle liste è complicato a meno che non siano possibili travasi ?

26 Inadempienti Per avere un possibile quadro e utilizzando liste di autori fornite dal Servizio DataWeb, GLVsoft ha analizzato l’INFN utilizzando l’intero campione delle pubblicazioni ISI-WOS disponibili, circa 17500 Lo scopo qui non è ottimizzare la performance globale dell’Ente, ma identificare le situazioni patologiche, cioè soggetti che non hanno il numero di pubblicazioni richieste (in questo insieme) Ogni pubblicazione mancante vale -0.5 A titolo indicativo, passibile di (piccole) correzioni legate a omonimie, doppi cognomi, cognomi stranieri, etc. risultano «inadempienti» per gli anni 32 ricercatori (5%) 48 tecnologi (16%) 68 incaricati (8%)

27 Tecnologi e Ricercatori
Per quanto attiene ai tecnologi, primi tecnologi e dirigenti tecnologi, saranno esclusi dall’esercizio di valutazione coloro che svolgono esclusiva attività di natura amministrativa e di servizio, non collegate direttamente alla ricerca A priori sono stati quindi esclusi AC e CNAF Quali altri tecnologi svolgono attività puramente di servizio? I Direttori possono fornire una lista che comprenda queste persone per ogni Sezione/Laboratorio? Può essere utile una definizione «tecnologo che ha una percentuale maggiore di X in un esperimento/progetto dell’Ente» a identificare i «tecnologi che fanno ricerca»? Necessaria una strategia condivisa dal Direttivo per poi iniziare una fase di indagine e di recupero di altri tipi di pubblicazioni tecnologiche (non-ISI) per i soggetti valutabili in questa categoria Si vede dagli elenchi che alcuni soggetti rientrano in settori da scrutinare con attenzione (acceleratori, computing, …) Per i ricercatori non c’è molto da fare se non recuperare eventuali pubblicazioni non-ISI

28 Incaricati di Ricerca Fatte salve tutte le verifiche ancora da compiere, sembra che qualche problema con gli incarichi di ricerca ci sia… Circa un terzo degli incaricati inadempienti non arriva a tre pubblicazioni in sette anni, il che implica un problema anche per i Dipartimenti (comunque 50-50…) Poiché l’incarico di ricerca ha il significato di attività prevalente con l’INFN c’è qualche stonatura Forse è un messaggio soprattutto per il futuro, anche se trovare una soluzione anche per il presente sarebbe molto utile ai fini della VQR Le liste vanno fotografate «alla data del Bando»… In generale sarebbe opportuno avere in ogni Sezione una persona che tenga i contatti con il Dipartimento e che faccia azione di disseminazione culturale I Direttori che NON hanno già un membro dei GLV in Sede, possono fornirmi i nominativi di ricercatori adatti?

29 Bibliometria e Peer Review
Il Bando stabilisce che almeno la metà più uno del totale dei prodotti presentati (sommati su tutte le Aree) sia sottoposto a Peer Review La Struttura ha facoltà di segnalare, nella scheda illustrativa, che la pubblicazione vada in review Nell’Area 02 in realtà solo un terzo circa dei lavori andrà in Peer Review Strategia possibile: Segnalare per la review i lavori recenti o quelli di settori dove le citazioni non sono significative (acceleratori, etc) Massimizzare i criteri bibliometrici nel recupero delle pubblicazioni non selezionate al momento dai GLV

30 Executive Summary Abbiamo tolto vari lacci e lacciuoli dal Bando, ma rimangono gli obblighi strutturali della VQR Ci sono due risultati da ottenere contestualmente e che sono in contrapposizione tra loro Ottenere il peso maggiore della Struttura nell’Area (FFO) Non essere troppo penalizzati in termini di performance scientifica Possiamo suggerire una strategia valida anche per gli incaricati che ottimizzi la performance globale dell’Ente Se necessario, una volta condivisa la strategia generale da applicare possiamo anche stimare un «rischio calcolato» che siamo disposti ad accettare nel bilanciare i due fattori

31 Domande Proposte