Attività di M&V Iniziative di Cooperazione Internazionale MACROTENDENZE EMERGENTI Firenze, 11 ottobre 2011

MONITORAGGIO E VALUTAZIONE AL SERVIZIO DELLA QUALITÀ Sistema M&V come finestra sull’evoluzione del Sistema Toscano di Cooperazione. M&V strumenti al servizio del progetto e del Sistema Toscano di Cooperazione: come vengono utilizzate le valutazioni condotte? Questioni aperte trasversali: restituzione risultati, fundraising/sostenibilità, incentivi/penalizzazioni, programmazione? Sistematizzazione del processo di M&V (ad es. solo per i PIR 2009 è attivo un ciclo completo di M&V). Nuovo sistema informativo Attività Internazionali in sinergia con le procedure M&V. 2

PIANO RT COOPERAZIONE INTERNAZIONALE Attività di M&V: 2007 – 2011 Valutazione ex ante microprogetti enti terzi cooperazione internazionale (L.R. 26/2009) 2009 – 2011 Valutazione ex ante PIR dei Tavoli 2010 – 2011 Monitoraggio e Valutazione finale PIR 2009 Tutte le procedure di M&V realizzate dalla Scuola Sant’Anna adottano la metodologia del QL ed i criteri di valutazione OECD/DAC. La Scuola lavora in stretta sinergia con il Settore Attività Internazionali. 3

VALUTAZIONE EX ANTE PIR Obiettivi: 1. Garantire un incremento in termini di trasparenza nella distribuzione e nell’utilizzo delle risorse che la Regione stanzia per i Tavoli. 2. Garantire maggiore uniformità a quel processo di “valutazione concertata” che la Regione adotta nella fase di progettazione preliminare all’interno di ciascun Tavolo. 3. Promuovere il miglioramento della qualità progettuale. 4

VALUTAZIONE EX ANTE PIR

Fasi: 1. Formulazione dei Termini di Riferimento per i Progetti dei Tavoli. 2. Elaborazione dei criteri di valutazione. 3. Valutazione ex ante delle proposte preliminari (punteggio, criticità, suggerimenti, richiesta di integrazioni e informazioni). 4. Riunioni di confronto sulle schede di valutazione tra il Team di valutatori della Scuola e i soggetti proponenti. 5. Valutazione della versione definitiva delle proposte progettuali, modificate sulla base delle indicazioni contenute nella scheda di valutazione e degli incontri realizzati. 6

7 TAVOLOPAESEENTE ATTUATORE PUNTEGGIO 1° VALUTAZIONE (max 100 punti) PUNTEGGIO DEFINITIVO (max 100 punti) MED. E MO Iraq TAVOLA DELLA PACE E DELLA COOPERAZIONE 8492 AL Colombia Associazione Medina 7990,5 EUROPA Albania Centro Nord-Sud (Provincia di Pisa) 78,590,5 AL El Salvador Guatemala COSPE 77,589 MED. E MO Libano UCODEP 6580 EUROPA Bosnia Erzegovina UCODEP 62,578,5 AL Repubblica Dominicana UCODEP 6076 ASIA Sri Lanka, Filippine, India, Cina, Indonesia UCODEP 29,573 AL Cuba Guatemala Circondario Empolese- Valdelsa 54,569,5 AFRICA Burkina Faso, RDC, Kenya, Tanzania, Madagascar, Swaziland e Sudafrica AI-BI Firenze 3360 VALUTAZIONE EX ANTE PIR RISULTATI 2009: +17,45 PUNTI

8 TAVOLOPAESEENTE ATTUATORE PUNTEGGIO 1° VALUTAZIONE (max 102 punti) PUNTEGGIO DEFINITIVO (max 102 punti) AFRICA Senegal, Burkina Faso, Tanzania, Sudafrica CMSR NA86 ASIA AFGHANISTAN COSPE 68,586 MED. E MO Campi rifugiati Saharawi COMUNE DI PONTEDERA 75,583 EUROPA BIELORUSSIA COMUNE DI CASCINA NA83 MED.E MO Marocco MEDINA 43,581 ASIA Cina, Filippine, India, Indonesia, Sri Lanka, Vietnam OXFAM ITALIA 7179 AL Argentina, Brasile, Colombia, Guatemala, Uruguay FRATELLI DELL'UOMO 51,578,5 EUROPA ALBANIA Coop. Soc. Il Melograno 6177 EUROPA BOSNIA ERZEGOVINA PROVINCIA DI PISA 40,577 AFRICA Burkina Faso, Mali, RCA, Senegal, Swaziland, Tanzania COSPE NA75 AL NICARAGUA COMUNE DI PONTEDERA 47,571 AL PERU’, GUATEMALA, BRASILE ARCI TOSCANA 49,570 VALUTAZIONE EX ANTE PIR RISULTATI 2010: +19,4 PUNTI

VALUTAZIONE EX ANTE PIR Miglioramento qualitativo triennio dalla 1° alla 2° fase:  Analisi del contesto e dei problemi approfondita.  Processo di individuazione e selezione dei beneficiari chiarito.  Quadro degli attori internazionali ampliato.  Predisposto un chiaro sistema di monitoraggio e valutazione (criteri, tempistica, responsabilità) con un set di indicatori oggettivamente verificabili.  L’apporto progettuale dei partner è specificato.  Ruolo e funzioni delle strutture di coordinamento e gestione del partenariato definite con maggior precisione.  Fornite informazioni aggiuntive su tematiche, eventi e manifestazioni per la diffusione dei i risultati del progetto ed acquisire visibilità  Budget più dettagliato ( ). 9

VALUTAZIONE EX ANTE PIR Criticità e Raccomandazioni:  Rivedere la tempistica dell’intero percorso di progettazione.  Pensare a modalità specifiche per garantire un apporto progettuale rilevante da parte di tutti i soggetti facenti parte del Tavolo (in particolare valorizzare il ruolo operativo degli Enti Locali). Ipotesi: vari livelli di partenariato, con forme più o meno forti di partecipazione.  La presenza di strategie complessive da parte di alcuni attori coinvolti da anni nelle stesse aree geografiche dei PIR (legami, esperienze pregresse, effetti moltiplicatori, ricerca di fondi) dovrebbe essere ulteriormente valorizzata per aumentare il grado di impatto/sostenibilità delle attività progettuali.  Promuovere un livello di coordinamento ed integrazione tra attività di cooperazione, pace e sanità che al momento appare limitato, per es. nella fase di diffusione risultati e sensibilizzazione le occasioni di coordinamento e scambio sarebbero molteplici. 10

MONITORAGGIO E VALUTAZIONE FINALE PIR 2009 Obiettivi: 1.Garantire che la scelta della RT di investire nella qualità dei progetti che ritiene più strategici per l’intero Sistema della Cooperazione Decentrata si traduca in interventi efficaci nei Paesi in cui si opera, ovvero garantire che gli interventi di cooperazione siano non solo progettati ma anche implementati in coerenza con i criteri adottati in sede internazionale 2.Verificare come la programmazione regionale in materia di cooperazione si traduca in risultati concreti per mezzo dei progetti cofinanziati. 3.Migliorare le capacità della RT di definire strategie, priorità e procedure di selezione dei progetti di cooperazione. 4.Migliorare la gestione delle risorse regionali in termini di trasparenza, efficacia ed efficienza. 11

MONITORAGGIO E VALUTAZIONE FINALE PIR 2009 Procedure e outputs: 1.Monitoraggio semestrale (ed una procedura eventuale di valutazione in itinere): rapporti semestrali per progetto. 2.Valutazione finale: rapporto finale per progetto + rapporto complessivo. Strumenti: 1.Relazione capofila 2.Scheda partner toscani 3.Interviste capofila e partner toscani 4.Scheda partner locali ( valutazione finale ) 5.Missioni in loco ( 2 a campione scelti dalla RT - valutazione finale ) 12

MONITORAGGIO E VALUTAZIONE FINALE PIR 2009 Stato dell’arte: L’intera procedura di monitoraggio semestrale dei 10 PIR 2009, iniziata nel luglio 2010, si è conclusa nel febbraio 2011 con la restituzione dei risultati emersi sia alla Regione Toscana sia ai capofila ed ai partner di progetto nel corso di riunioni ad hoc per ogni singolo PIR. Il monitoraggio non ha attivato nessuna valutazione in itinere. La valutazione finale dei PIR è attualmente in corso. Si sono già svolte le missione di valutazione finale in loco relative ai PIR realizzati in Libano e Albania. 13

MONITORAGGIO E VALUTAZIONE FINALE PIR 2009 Trends evidenziati dal monitoraggio:  Buona conoscenza dei territori/settori d’intervento.  Buone le relazioni con i partner locali.  Problemi relativi a gestione, coordinamento, informazione reciproca del/all’interno del partenariato, in particolare per i PIR che operano su molteplici Paesi e sono implementati da numerosi attori.  Scarso livello operativo di alcuni partner (spesso partenariato a 2 livelli).  Legami sostanziali e sinergie con altri progetti/programmi in loco limitati.  Scarsa comunicazione esterna e diffusione dei risultati.  Ruolo del Tavolo marginale.  Problema dei finanziamenti regionali erogati in ritardo.  Questione proroga richiesta per tutti i PIR e durata dei progetti. 14

MONITORAGGIO E VALUTAZIONE FINALE PIR 2009 Prime indicazioni emerse dalle missioni di valutazione finale in loco:  Carenza strumenti di consultazione dei beneficiari idonei a condividere realmente la pianificazione delle attività e strumenti adeguati di verifica (magari standardizzati) dell’indice di gradimento delle attività implementate.  Approccio “consequenziale” alla sostenibilità: prima implementazione attività poi focus sulla sostenibilità. Approccio poco efficace. La strategia relativa alla sostenibilità dell’intervento deve essere programmata già in fase di progettazione ed eventualmente rimodulata in fase di implementazione. Problema rilevante per i progetti di lunga durata.  Nei Paesi dove è presente personale espatriato o vengono realizzate missioni (lunga durata o con cadenza regolare), l’interesse e la motivazione dei partner locali sono mantenute vive e l’implementazione delle attività è di più facile gestione. In caso contrario, gestione più complessa con ritardi nella realizzazione stessa del progetto. 15

VALUTAZIONE EX ANTE MICROPROGETTI BANDI BANDI: 260 MICROPROGETTI VALUTATI E 69 FINANZIATI 16 BANDOPRESENTATI ESCLUSI ISTR.AMM. AMMESSI VAL. MER.FINANZIATI RIS.FIN € € € € € € AREAPROGETTI RIPARTIZIONE FINANZIAMENTO RT AFRICA30 45% AMERICA LATINA20 28% ASIA57% NORD AFRICA E MEDIO ORIENTE 12 18% EUROPA2 2%

VALUTAZIONE EX ANTE MICROPROGETTI BANDI TRENDS DEI PUNTEGGI 17

VALUTAZIONE EX ANTE MICROPROGETTI BANDI

VALUTAZIONE EX ANTE MICROPROGETTI BANDI Rilevanza della strategia d’intervento rispetto all’analisi dei problemi (%) Pienamente soddisf.5% 17%10%11% Soddisfacente78%75%65%63%52% Scarsamente soddisf.17%20%17%28%38% Insoddisfacente0% % totale100% Chiarezza nella individuazione e coerenza tra i livelli della strategia (%) Pienamente soddisf.2% 4%5%0% Soddisfacente63%71%78%63%61% Scarsamente soddisf.35%27%17%33%39% Insoddisfacente0% % totale100% Analisi Qualità Progettuale:

VALUTAZIONE EX ANTE MICROPROGETTI BANDI Piano finanziario (%) Pienamente soddisf.18%13%20%13%7% Soddisfacente35%48%50%63%55% Scarsamente soddisf.32%34%26%20%38% Insoddisfacente15%5%4%5%0% % totale100%

VALUTAZIONE EX ANTE MICROPROGETTI BANDI Criticità e Raccomandazioni:  Ogni anno non superano l’istruttoria amministrativa circa il 19,8% dei progetti, spesso perché manca la documentazione richiesta. Raccomandazione: prevedere sessioni informative.  Peggioramento risultati a partire dal Possono incidere sul risultato finale più variabili (soggetti/paesi/ripresentazione di medesimi progetti). Necessaria una riflessione, in vista di quello che è l’obiettivo ultimo del bando microprogetti: sostenere finanziariamente la micro progettualità della Cooperazione Toscana Decentrata e promuoverne la qualità progettuale in vista della partecipazione a bandi di altri donors. Raccomandazione: prevedere sessioni di formazione per i soggetti proponenti e condurre un’analisi più approfondita sulle motivazioni del peggioramento. 21

GRAZIE DELL’ATTENZIONE! 22