Lutilizzo del Quadro di riferimento per valutare la qualità dellofferta formativa in Provincia di Pistoia Sviluppare la valutazione a livello locale Roma, 28 settembre 2010 Luisa Palomba e Anna Pesce

Valutare lofferta formativa territoriale: coniugare istanze locali e centrali Lanalisi dellesercizio valutativo realizzato a Pistoia individua un percorso logico, dal locale al centrale, caratterizzato dallalternanza e dallintegrazione dei due livelli: predisposizione di metodologie e strumenti a supporto della valutazione condivisi dagli attori locali (livello centrale) radicamento dellesercizio valutativo sulle esigenze delle amministrazioni (livello locale); analisi dei risultati della valutazione in funzione di una risposta alle domande valutative iniziali e, contemporaneamente, in funzione di un arricchimento/approfondimento del modello teorico (livello centrale e locale); disseminazione dei risultati in vista di un possibile trasferimento dellutilizzo del modello valutativo in altri ambiti territoriali (livello centrale).

Un dispositivo per valutare la qualità dellofferta formativa LIsfol ha elaborato un Quadro di riferimento (framework) che rappresenta uno strumento di autovalutazione – destinato a tutte le Amministrazioni responsabili delle politiche IFP – finalizzato a migliorare le diverse dimensioni della qualità dei sistemi, tenendone presenti le connessioni reciproche. Lapplicazione del Quadro ad intervalli regolari in un processo di autodiagnosi, consente alle singole amministrazioni di ottenere una check list di aree o segmenti di sistema suscettibili di miglioramento, da tenere sotto osservazione per incrementare il proprio livello qualitativo.

Lapproccio del Quadro di riferimento Il Quadro è riferito ad un sistema di offerta formativa territoriale e istituzionale; considera come oggetto di valutazione le politiche e gli interventi IFP a livello di: - programmazione/pianificazione; - processi attuativi; realizzazioni, - risultati, impatti.

Le sperimentazioni Il Quadro di riferimento per valutare la qualità dellofferta formativa è stato sperimentato in due regioni: Liguria e Toscana (Province di Lucca e Pistoia). Ciascuna sperimentazione rappresenta una possibile modalità di applicazione e/o sviluppo del Quadro stesso.

Le tappe significative delle sperimentazioni Ricognizione della domanda valutativa presso le Amministrazioni interessate Analisi della domanda in relazione agli ambiti del Quadro Impostazione con le Amministrazioni del disegno valutativo Supporto metodologico alla valutazione Analisi condivisa dei risultati

Il percorso valutativo nella Provincia di Pistoia Isfol – Struttura nazionale di valutazione Fse Area valutazione politiche risorse umane Luglio-dicembre 2008 Progetto valutativo concordato con Provincia e Regione (luglio 2008) Impostazione e costruzione del disegno di indagine (settembre-ottobre 2008) Analisi della documentazione istituzionale ed amministrativa esistente (settembre-ottobre 2008) 18 questionari somministrati via (novembre 2008) 3 sessioni di interviste semistrutturate di piccolo gruppo (14 casi) e individuali (5 casi) (novembre-dicembre 2008) Elaborazione e analisi delle evidenze emerse dalla documentazione, dai questionari e dalle interviste Produzione e validazione di un report di valutazione (dicembre 2008)

Ambito e obiettivi dellindagine valutativa Isfol – Struttura nazionale di valutazione Fse Area valutazione politiche risorse umane Loggetto della valutazione è rappresentato da: il processo di programmazione integrata delle politiche del lavoro, dellistruzione e della formazione professionale (2008/2010) per le attività di competenza della Provincia di Pistoia Obiettivi della valutazione: fornire allAmministrazione provinciale indicazioni utili al miglioramento del processo di programmazione; sperimentare ed arricchire il modello di valutazione della qualità dei sistemi formativi

I risultati della valutazione Coerenza elevata tra esiti del processo di programmazione integrata e indirizzi generali della programmazione provinciale (condivisione di strategie e strumenti dintervento) Cambiamenti nel sistema delle relazioni tra gli attori: 1) aumento della conoscenza della nuova programmazione Fse ; 2) aumento della consapevolezza circa limportanza della programmazione Fse Ob. 2 per il territorio provinciale; 3) rafforzamento dei rapporti con tutti i soggetti partecipanti al processo Cambiamenti interni ai diversi attori: 1) Provincia (consolidamento UO Programmazione Integrata, aumento della integrazione interna tra le policy); 2) sindacati dei lavoratori (miglioramento della capacità di intervento e interlocuzione sul Fse); 3) sindacati dei datori di lavoro (messa a regime della funzione di ricostruzione e analisi dei fabbisogni formativi; acquisizione di un orizzonte temporale di medio periodo per la programmazione; qualificazione della relazione con gli associati in materia di formazione) Criticità: eccessivo impegno da parte degli attori, in termini di tempo e di energie profuse.

Il contesto provinciale Isfol – Struttura nazionale di valutazione Fse Area valutazione politiche risorse umane Partecipazione, concertazione e integrazione come opzioni prioritarie di policy della Provincia (modello originale a livello anche nazionale) Coordinamento tra gli attori locali rilevanti per lo sviluppo del territorio Rilevanza delle risorse finanziarie in gioco Integrazione di ambiti, contenuti, soggetti e risorse (anche l.r. 32/2002) Esistenza (presso la Provincia) di un Ufficio Programmazione Integrata

La domanda di valutazione Isfol – Struttura nazionale di valutazione Fse Area valutazione politiche risorse umane Quali modifiche ha indotto la partecipazione al processo di programmazione integrata delle politiche del lavoro, dellistruzione e della formazione professionale (2008/2010), con riferimento a: relazioni tra gli attori del territorio; dinamiche interne agli enti coinvolti nel processo di programmazione partecipata; modalità di partecipazione al processo di programmazione; ruolo degli attori allinterno del sistema provinciale integrato.

Il sistema degli attori Isfol – Struttura nazionale di valutazione Fse Area valutazione politiche risorse umane La Provincia (Dipartimento Istruzione, Lavoro, Formazione Professionale: componente politica e tecnica) Parti datoriali provinciali Parti sindacali provinciali

Apprendimenti per lAmministrazione Isfol – Struttura nazionale di valutazione Fse Area valutazione politiche risorse umane Concertazione come metodo e non come contenuto delle policy; importanza dei collegamenti orizzontali tra luoghi istituzionali della programmazione e le rappresentanze degli interessi locali; sostenibilità di prospettiva del processo di programmazione integrata e sua presenza organizzativa interna alla Provincia; efficacia della multiattorialità mediata dal ruolo-guida della Provincia; validità del ricorso a dispositivi tecnico-metodologici e procedurali rigorosi e ispezionabili.

Conclusioni Isfol – Struttura nazionale di valutazione Fse Area valutazione politiche risorse umane Cosa ha funzionato: Lutilità del modello teorico per far emergere la domanda valutativa a livello locale; la validità del supporto tecnico-metodologico per le valutazioni a livello locale; lefficacia dellinterazione costante in tutto il percorso valutativo tra il livello locale e il livello centrale; lutilità del momento di condivisione dei risultati della valutazione Criticità/aree di miglioramento La replicabilità dellesercizio velutativo senza il supporto del livello centrale a causa di: scarsità di fondi; difficoltà ad attivare risorse interne specializzate (valutatori)