Marina Signore Dirigente il Servizio “Qualità statistica, coordinamento progetti europei di ricerca e sviluppo e Cooperazione internazionale” La qualità come sistema: l’esperienza Istat La qualità della statistica pubblica - X Conferenza Nazionale di Statistica Roma, 16 dicembre 2010

La qualità come sistema: l’esperienza Istat Politica per la Qualità Attività consolidate e nuove Quadro di riferimento generale

La Qualità come sistema Politica Qualità Istat Avviata a fine anni 80 Sistematizzata e adeguata alle nuove esigenze Consapevolezza diffusa sulla qualità e solida base per avviare azioni di miglioramento Standard Misurazioni Documentazione Valutazione Processi Prodotti Organizzazione Visione integrata della qualità Azioni di miglioramento La qualità come sistema: l’esperienza Istat

Riferimenti europei ed internazionali Gruppi di indirizzo con potere di emanare raccomandazioni per gli Stati membri dell’UE Organismi internazionali: Eurostat, Fondo Monetario Internazionale, UN Statistical Division, UNECE,…

Riferimenti europei ed internazionali Definizione e dimensioni della qualità Codice di condotta per le statistiche europee DQAF La qualità come sistema: l’esperienza Istat Eurostat FMI Base armonizzata a livello europea per la misurazione e per il reporting Dal Governance del SSE e dei SSN – processo di valutazione Valutazione qualità di settori specifici (statistiche economiche e CN)

Codice di condotta per le statistiche europee Code of Practice 3 sezioni 15 principi 77 indicatori Contesto istituzionale 1. Indipendenza professionale 2. Mandato per la rilevazione dei dati 3. Adeguatezza delle risorse 4. Impegno in favore della qualità 5. Riservatezza statistica 6. Imparzialità e obiettività Processi statistici 7. Solida metodologia 8. Procedure statistiche appropriate 9. Onere non eccessivo sui rispondenti 10.Efficienza rispetto ai costi Prodotti statistici 11. Pertinenza 12. Accuratezza e attendibilità 13. Tempestività e puntualità 14. Coerenza e comparabilità 15. Accessibilità e chiarezza

La qualità come sistema: l’esperienza Istat Codice di condotta per le statistiche europee L’Istat nel processo di valutazione del Codice Valutazione dell’aderenza ai Principi del Codice Valutazione generale dell’Istituto Codice come patrimonio all’interno del Sistema Promulgazione del Codice italiano delle statistiche ufficiali Avvio di un’attività di valutazione sistematica Attività nuova per l’Istat e da esportare al Sistema Articolato processo di valutazione dell’aderenza da parte degli INS ai principi del Codice

Gruppi europei di indirizzo LEG on Quality Sponsorship on Quality La qualità come sistema: l’esperienza Istat Raccomandazioni per avvio attività sistematica sulla qualità Finanziamento Eurostat per implementazione raccomandazioni Raccomandazioni per prosecuzione attività sulla qualità Proposte di miglioramenti al CoP Sviluppo di un NQAF Partecipazione limitata a pochi INS Presenza dell’Istat in entrambi i gruppi

NQAF: National Quality Assessment Framework La qualità come sistema: l’esperienza Istat Guida per gli INS per migliorare l’aderenza al Codice Guida per la fase di valutazione Base per definire requisiti minimi condivisi nel SSE Prospettiva: adattare alle esigenze del Sistema partendo dal Codice Italiano delle statistiche ufficiali Definizione di requisiti, metodi, strumenti necessari a livello di Istituto o di singolo processo per implementare i principi del Codice

La qualità come sistema: l’esperienza Istat Struttura organizzativa Comitato Qualità Unità operativa dedicata a livello centrale Rete di referenti a livello di direzione/servizio Rete di referenti a livello di indagine

La qualità come sistema: l’esperienza Istat Comitato Qualità Composizione −Presieduto dal Direttore del Dipartimento per la produzione statistica e il coordinamento tecnico-scientifico −Vice-coordinatore: Dirigente il servizio QRC −Membri: Dirigenti di strutture produttive e trasversali Istat Istituito a febbraio 2010

La qualità come sistema: l’esperienza Istat Comitato Qualità Coordinare le attività di audit e auto-valutazione Funzioni: Sviluppare procedure di monitoraggio della qualità per processi correnti Sovrintendere alle attività di valutazione e promozione della qualità dei processi statistici di altri enti del SISTAN Promuovere l’utilizzo del Codice della Statistica Ufficiale ed altre attività per aumentare la cultura della qualità negli enti del SISTAN

La qualità come sistema: l’esperienza Istat Cosa è stato fatto?

UTENTI PRODUTTORI ORGANIZZAZIONE PROCESSI PRODOTTI Standard Misurazioni Documentazione Gestione e miglioramento della qualità La qualità come sistema: l’esperienza Istat Valutazione Comunicazione Qualità Azioni di miglioramento

La qualità come sistema: l’esperienza Istat Standard Misurazioni Documentazione Sono un prerequisito per l’attività di valutazione Attività avviate per prime e oramai consolidate Linee guida, manuali Indicatori processo/ prodotto Sistema informativo SIDI

La qualità come sistema: l’esperienza Istat Serie “Note e Relazioni” del 1989: Un Manuale per ciascuna fase Pianificazione della produzione dei dati; Il questionario: progettazione, redazione e verifica; Tecniche di somministrazione del questionario; Tecniche di campionamento: teoria e pratica; Tecniche di stima della varianza campionaria; Il sistema di controllo della qualità dei dati; Le rappresentazioni grafiche di dati statistici Metodi e Norme : Es. Metodologie Il monitoraggio del processo e la stima dell’errore nelle indagini telefoniche Indagini sociali telefoniche. Metodologie ed esperienze della statistica ufficiale metodologie e tecniche di tutela della riservatezza nel rilascio di informazione statistica Manuali Metodologici

La qualità come sistema: l’esperienza Istat Implementano una raccomandazione del LEG del 2001 Armonizzate a livello europeo Sviluppate in partnership da INS europei Coordinamento Istat QDET – Manuale di pratiche raccomandate per il disegno e test del questionario nel SSE EDIMBUS - Manuale di pratiche raccomandate per controllo e correzione per indagini sulle imprese cross- section nel SSE Pratiche Raccomandate per il SSE

La qualità come sistema: l’esperienza Istat Linee Guida per la Qualità Sviluppate nel 2009 Contengono i Principi da seguire nelle diverse fasi del processo di produzione e le linee guida per ottemperare ai principi In fase di pubblicazione sul sito e di traduzione in inglese Strumentali alla valutazione con audit e auto-valutazione

La qualità come sistema: l’esperienza Istat Misurazioni Prerequisito per la gestione della qualità decisioni basate sui fatti dove intervenire e come valutare l’efficacia dei miglioramenti Prodotto  indagini di controllo a posteriori  aumento costi e tempi  no indicatore di sintesi Processo  Variabili di processo  Sottoprodotto processo di produzione

La qualità come sistema: l’esperienza Istat Qualità di Processo Lunga tradizione già a partire dagli anni 80 ed effettuato regolarmente dalla maggioranza delle indagini Predisposizione sistema di controllo: azioni di prevenzione, controllo in corso d’opera, valutazione a posteriori Implementazione sistemi di monitoraggio (es. fase di rilevazione) Uso di metodi del controllo statistico della qualità (carte di controllo) Sviluppo sistemi informativi locali (SIGIF e sistema di monitoraggio solleciti delle SSI)

La qualità come sistema: l’esperienza Istat Misurazioni a livello di indagine indicatori di processo e di prodotto che alimentano il sistema informativo centralizzato

La qualità come sistema: l’esperienza Istat Documentazione rintracciabilità dati, metadati, indicatori supporto alla progettazione di indagini supporto alla valutazione supporto al corretto uso dei dati Sistema informativo di documentazione delle indagini SIDI

La qualità come sistema: l’esperienza Istat SIDI: un sistema articolato di supporto alla qualità Comunicazione qualità agli utenti Gestione integrata di metadati e indicatori di qualità Caratteristiche e finalità Supporto al controllo della qualità per i responsabili di indagine Supporto alle decisioni sulle strategie per il miglioramento della qualità

La qualità come sistema: l’esperienza Istat Indicatori Standard di Qualità ISQ di Processo  Misure indirette dell’Accuratezza - copertura - mancata risposta - codifica - controllo e correzione  Informazioni sui costi Armonizzati con ISQ di Eurostat Alimentati dai sistemi di controllo delle indagini ISQ di Prodotto  Misure indirette dell’Accuratezza - politica di revisione  Tempestività e puntualità  Confrontabilità nel tempo  Coerenza Armonizzati con ISQ di Eurostat Alimentati dai sistemi di controllo delle indagini

La qualità come sistema: l’esperienza Istat Stato di popolamento del sistema SIDI (10/2010) In produzione dalla fine del 2001 Oggi base consistente per analisi di qualità Processi documentati  224 rilevazioni, di cui 155 attive  101 elaborazioni, di cui 80 attive Gruppi di Indicatori documentati  Tempestività 100 %  Copertura e mancata risposta ≈ 69 %  Risorse ≈ 66 %  Confrontabilità ≈ 60 %  Controllo e correzione ≈ 33 %  Coerenza provvisori/definitivi ≈ 16 %  Coerenza con fonti esterne ≈ 9 %  Politica di revisione ≈ 7 %

 Tempestività 100 %  Copertura e mancata risposta ≈ 69 %  Risorse ≈ 66 %  Confrontabilità ≈ 60 %  Controllo e correzione ≈ 33 %  Coerenza provvisori/definitivi ≈ 16 %  Coerenza con fonti esterne ≈ 9 %  Politica di revisione ≈ 7 % Processi documentati  224 rilevazioni, di cui 155 attive  101 elaborazioni, di cui 80 attive Gruppi di Indicatori documentati

La qualità come sistema: l’esperienza Istat Valutazione qualità di processo e prodotto Valutazione andamento ISQ Confronti con processi simili Metadati per progettazione processi Supporto al controllo della qualità per i responsabili di indagini Funzionalità standard di SIQual sulla intranet

La qualità come sistema: l’esperienza Istat Supporto alle decisioni strategiche Alta Dirigenza Report periodici standard Analisi ad hoc su richiesta Analisi andamento nel tempo

Comunicare la Qualità agli utenti SIDI Diffusione on-line Informazioni Qualitative e Quantitative Dal 2006: SIQual su Internet Scheda Qualità Note Metodologiche Sintetiche (ASI) Scheda Processo Dati on-line I.stat Riuso informazioni Quality Report Dal 2007: SIQual versione inglese

La qualità come sistema: l’esperienza Istat Costruita sulla base dell’esperienza pregressa Attività avviata di recente Analisi indicatori standard Valutazione Orientata al miglioramento Nuova procedura di audit e di auto-valutazione

La qualità come sistema: l’esperienza Istat La valutazione della qualità dei processi Istat Definizione di una nuova strategia (ottobre 2009) Integrazione di audit e auto-valutazione Assegnazione di risorse per l’implementazione delle azioni di miglioramento

La qualità come sistema: l’esperienza Istat Caratteristiche della procedura valutazione approfondita dei processi statistici per evidenziare punti di forza e di debolezza rispondenza dei processi alle Linee Guida per la Qualità complementare all’analisi degli ISQ coordinata dal Comitato Qualità individuazione delle azioni di miglioramento con le risorse necessarie e la tempistica per l’attuazione

La qualità come sistema: l’esperienza Istat La procedura di valutazione Predisposizione degli strumenti di audit e auto- valutazione (ottobre - dicembre 2009) Prima sperimentazione (gennaio - giugno 2010) Seconda sperimentazione (febbraio 2011) Revisione degli strumenti (novembre 2010) Predisposizione di un piano per avvio a regime della procedura Estensione ad elaborazioni e processi basati su fonti amministrative

La qualità come sistema: l’esperienza Istat Considerazioni finali la qualità è un impegno di lungo periodo oggi raccogliamo i frutti degli investimenti fatti Diffusione sistematica di indicatori di qualità agli utenti TUTTAVIA Siamo consapevoli che molto può essere ancora fatto Messa a regime procedura audit e autovalutazione