Qualità dei dati una esperienza Consip … (DWH della struttura di supporto agli acquisti della P.A.) CONSIP S.p.A. AIPA 12.03.2001

Qualità dei dati Una esperienza Consip AIPA 12.03.2001 Agenda La Consip Il contesto operativo Approccio al problema Alcuni risultati Stato dell’arte Considerazioni CONSIP S.p.A Qualità dei dati Una esperienza Consip AIPA 12.03.2001

Qualità dei dati Una esperienza Consip AIPA 12.03.2001 la Consip L’esigenza: D.L. del 19/11/1997 n. 414 “Attività informatiche dell’amministrazione statale in materia finanziaria e contabile” …specifiche attività informatiche riservate allo Stato da svolgersi mediante un organismo a struttura societaria con unica ed esclusiva funzione di servizio allo Stato La nascita: Decreto del Ministro del Tesoro 22/12/1997 “Affidamento alla Consip di compiti di servizi informatici”. La missione: Decreto del 17/6/1998 Attività informatiche riservate allo Stato … Legge n. 388/99 (finanziaria 2000) Legge n. 488/00 (finanziaria 2001) D.M. 24/2/2000 “Conferimento alla Consip S.p.a. dell’incarico di stipulare convenzioni e contratti quadro per l'acquisto di beni e servizi per conto delle Amministrazioni dello Stato” CONSIP S.p.A Qualità dei dati Una esperienza Consip AIPA 12.03.2001

Qualità dei dati Una esperienza Consip AIPA 12.03.2001 Il contesto operativo Nell’ambito di Consip il nostro obiettivo è realizzare il Data Warehouse del MTBPE. In questo contesto nasce l’esigenza di: integrare i dati provenienti da fonti diverse (Consip, fornitori, enti P.A.) raggiungere gli obiettivi in tempi brevi integrare i processi di bonifica e caricamento dei dati minimizzare il numero degli scarti nei caricamenti nei DWH migliorare la qualità del dato all’origine, di conseguenza limitare la fase di bonifica ai soli casi non risolvibili con modifiche del processo di acquisizione Quindi di utilizzare metodi e tecniche per la qualità dei dati. CONSIP S.p.A Qualità dei dati Una esperienza Consip AIPA 12.03.2001

Il contesto operativo - scenario architetturale Diffusione del sistema: 1) prospetti statici via Intranet /Internet, 2) Olap con client/server BO. Category Manager Direzione Consip Utenti MTBPE FLUSSI DB PARTI COMUNI … PARTI SPECIALIZZATE Browser BO client INTRANET CONSIP DM Definizione e Acquisizione dei flussi dal fornitore e dati adesioni Abbinamento, Cleaning, Integrazione cancelleria INTERNET Caricamento nei Data Mart P.A. C.d.c. EDW STAGING negli archivi Relazionali (dati integrati) pc e stampanti ARCHIVIO ADESIONI P.A. (WEB ACQUISTI) CONSIP S.p.A Qualità dei dati Una esperienza Consip AIPA 12.03.2001

Qualità dei dati Una esperienza Consip AIPA 12.03.2001 Approccio al problema Le attività intraprese: ANALISI DEL DATO ANALISI DEL PROCESSO verifica del processo di acquisizione dei dati realizzazione di un prototipo in house ricerca tra i prodotti/servizi di mercato definizione metodi e strumenti standard per la qualità dei dati CONSIP S.p.A Qualità dei dati Una esperienza Consip AIPA 12.03.2001

Qualità dei dati Una esperienza Consip AIPA 12.03.2001 Approccio al problema Verifica del processo di acquisizione dati Centralizzazione delle informazioni anagrafiche degli Enti ordinanti in un archivio disponibile su WEB costruito con le informazioni delle certificazioni delle P.A. necessarie per gli acquisti on-line Condivisione di alcuni dati del suddetto archivio con i fornitori Acquisizione delle informazioni anagrafiche degli Enti ordinanti dall’archivio condiviso al sistema di DWH Eliminazione dai flussi di alimentazione del sistema di DWH delle informazioni anagrafiche (nome ente, gerarchia organizzativa, comune, indirizzo etc.) e sostituzione delle stesse con codici di riferimento CONSIP S.p.A Qualità dei dati Una esperienza Consip AIPA 12.03.2001

Qualità dei dati Una esperienza Consip AIPA 12.03.2001 Approccio al problema Individuazione dei prodotti di mercato per mezzo di: Ricerche su internet, Esperti (Larry English www.infoimpact.com), Società di consulenza (es. Gartner Group) Prodotti esaminati: Trillium Prodotto di analisi e correzione dati. Specializzato per la correzione di archivi anagrafici delle persone fisiche e per gli indirizzi. Quality Manager Prodotto per l’analisi della qualità dei dati, monitoraggio della qualità, verifica del miglioramento per mezzo di confronto tra dato di partenza e di arrivo Apta Società Italiana che offre servizi e/o prodotti di cleaning di dati avvalendosi una metodologia propria e di archivi di riferimento proprietari (nomi, cognomi, indirizzi, etc.). CONSIP S.p.A Qualità dei dati Una esperienza Consip AIPA 12.03.2001

Qualità dei dati Una esperienza Consip AIPA 12.03.2001 Approccio al problema Valutazione della efficacia di eventuali soluzioni di mercato Pro Disponibilità in tempi brevi Problematiche risolte da specialisti con algoritmimi efficienti, Migliori performance elaborative Costi, anche se elevati, inferiori alla realizzazione di soluzioni ad hoc Contro Orientati verso soluzioni di natura privata Copertura limitata a singole fasi del processo di qualità del dato Tipicamente non operano su DB relazionali ma su file sequenziali Necessità di formazione del personale Architetture chiuse CONSIP S.p.A Qualità dei dati Una esperienza Consip AIPA 12.03.2001

Qualità dei dati Una esperienza Consip AIPA 12.03.2001 Approccio al problema L’analisi condotta ha evidenziato una risposta parziale in termini di funzionalità dei singoli prodotti (analisi dello stato qualitativo dei dati attraverso la definizione di parametri e metriche, correzione dei dati, normalizzazione e data re-engineering, certificazione, monitoraggio, … ). La complessità della fase di selezione dei prodotti/servizi disponibili sul mercato ha reso necessario il consolidamento del requisito interno con la realizzazione di un prototipo. CONSIP S.p.A Qualità dei dati Una esperienza Consip AIPA 12.03.2001

Qualità dei dati Una esperienza Consip AIPA 12.03.2001 Approccio al problema Il prototipo Consip. Cosa abbiamo fatto: individuato archivi di riferimento (comuni, località, indirizzi postali, etc.) realizzato utilities per la formattazione/normalizzazione dei dati (parser, normalizzatore per indirizzi) riconosciuto i dati da bonificare realizzata una utility interattiva per la verifica dei dati non riconosciuti definito archivi di sinonimi (nome errato-nome corretto) per la bonifica massiva e rapida nei processi di caricamento CONSIP S.p.A Qualità dei dati Una esperienza Consip AIPA 12.03.2001

Alcuni risultati … esempi   Alcuni risultati … esempi Comune / Località Prima Dopo 39052 BZ CALDARO SULLA STRADA CALDARO SULLA STRADA DEL VINO 16038 GE S. MARGHERITA LIGURE SANTA MARGHERITA LIGURE 39030 ST. VIGI ST.VIGIL ENNEBERG 71015 FG SAN NICANDRO SANNICANDRO GARGANICO SANNICANDRO GARGANO 02024 RI S. ELPIDI SANT'ELPIDIO DI PESCOROCCHIANO Pubblica Amministrazione Prima Dopo Ministero del Tesoro Ragioneria Provinciale dello Stato Amministrazioni Centrali e Periferiche dello Stato Ministero del Tesoro, del Bilancio e della Programmazione Economica Dipartimento per l'Amministrazione Generale del Personale e dei Servizi del Tesoro Direzione Centrale degli Uffici Locali e dei Servizi del Tesoro Dipartimento Provinciale del Tesoro di Rovigo Aeronautica Militare Distaccamento Aeroportuale Ministero della Difesa Distaccamento Aeroportuale di Brindisi   CONSIP S.p.A Qualità dei dati Una esperienza Consip AIPA 12.03.2001

Qualità dei dati Una esperienza Consip AIPA 12.03.2001 Stato dell’arte ANALISI DEL PROCESSO verifica del processo di acquisizione dei dati 80% ANALISI DEL DATO ricerca tra di mercato ricerca tra i prodotti/servizi di mercato 30% realizzazione di un prototipo in house realizzazione di un prototipo in house 80% definizione metodi e strumenti standard per la qualità dei dati CONSIP S.p.A Qualità dei dati Una esperienza Consip AIPA 12.03.2001

Qualità dei dati Una esperienza Consip AIPA 12.03.2001 Considerazioni L’ottimizzazione del processo di generazione e morte del dato è fondamentale per ottenere un miglior livello qualitativo Gli strumenti di Data Quality nascono per essere applicati a valle del processo, di conseguenza migliorano il livello di qualità ma non esauriscono il problema Nell’ambito della qualità dei dati la loro certificazione e condivisione assumono un significato strategico per la P.A. Certificare significa: individuare un gestore unico e responsabile del dato che sia il riferimento per tutta la P.A. delegare a tale gestore la costituzione di archivi di riferimento da condividere con tutti gli enti interessati Individuare un gestore unico che coordini il patrimonio comune che assegni le competenza e le responsabilità ai soggetti individuati. CONSIP S.p.A Qualità dei dati Una esperienza Consip AIPA 12.03.2001