La presentazione è in caricamento. Aspetta per favore

La presentazione è in caricamento. Aspetta per favore

Qualità dei dati una esperienza Consip … (DWH della struttura di supporto agli acquisti della P.A.) CONSIP S.p.A. AIPA 12.03.2001.

Presentazioni simili


Presentazione sul tema: "Qualità dei dati una esperienza Consip … (DWH della struttura di supporto agli acquisti della P.A.) CONSIP S.p.A. AIPA 12.03.2001."— Transcript della presentazione:

1 Qualità dei dati una esperienza Consip … (DWH della struttura di supporto agli acquisti della P.A.) CONSIP S.p.A. AIPA

2 CONSIP S.p.A Qualità dei dati Una esperienza Consip AIPA Agenda La Consip Il contesto operativo Approccio al problema Alcuni risultati Stato dellarte Considerazioni

3 CONSIP S.p.A Qualità dei dati Una esperienza Consip AIPA la Consip Lesigenza: D.L. del 19/11/1997 n. 414 Attività informatiche dellamministrazione statale in materia finanziaria e contabile 3…specifiche attività informatiche riservate allo Stato da svolgersi mediante un organismo a struttura societaria con unica ed esclusiva funzione di servizio allo Stato La nascita: Decreto del Ministro del Tesoro 22/12/1997 Affidamento alla Consip di compiti di servizi informatici. La missione: Decreto del 17/6/1998 Attività informatiche riservate allo Stato … Legge n. 388/99 (finanziaria 2000) Legge n. 488/00 (finanziaria 2001) D.M. 24/2/2000 Conferimento alla Consip S.p.a. dellincarico di stipulare convenzioni e contratti quadro per l'acquisto di beni e servizi per conto delle Amministrazioni dello Stato

4 CONSIP S.p.A Qualità dei dati Una esperienza Consip AIPA Il contesto operativo Nellambito di Consip il nostro obiettivo è realizzare il Data Warehouse del MTBPE. In questo contesto nasce lesigenza di: –integrare i dati provenienti da fonti diverse (Consip, fornitori, enti P.A.) –raggiungere gli obiettivi in tempi brevi –integrare i processi di bonifica e caricamento dei dati –minimizzare il numero degli scarti nei caricamenti nei DWH –migliorare la qualità del dato allorigine, di conseguenza limitare la fase di bonifica ai soli casi non risolvibili con modifiche del processo di acquisizione Quindi di utilizzare metodi e tecniche per la qualità dei dati.

5 CONSIP S.p.A Qualità dei dati Una esperienza Consip AIPA Il contesto operativo - scenario architetturale Diffusione del sistema: 1) prospetti statici via Intranet /Internet, 2) Olap con client/server BO. - Category Manager - Direzione Consip - Utenti MTBPE FLUSSI DB PARTI COMUNI … PARTI SPECIALIZZATE … Brow ser BO client INTRANET CONSIP DM Definizione e Acquisizione dei flussi dal fornitore e dati adesioni Abbinamento, Cleaning, Integrazione Brow ser INTERNET Caricamento nei Data Mart … -P.A. -C.d.c. -… EDWSTAGING Caricamento negli archivi Relazionali (dati integrati) ARCHIVIO ADESIONI P.A. (WEB ACQUISTI)

6 CONSIP S.p.A Qualità dei dati Una esperienza Consip AIPA Approccio al problema Le attività intraprese: ANALISI DEL DATO ANALISI DEL PROCESSO verifica del processo di acquisizione dei dati realizzazione di un prototipo in house ricerca tra i prodotti/servizi di mercato definizione metodi e strumenti standard per la qualità dei dati

7 CONSIP S.p.A Qualità dei dati Una esperienza Consip AIPA Approccio al problema Verifica del processo di acquisizione dati –Centralizzazione delle informazioni anagrafiche degli Enti ordinanti in un archivio disponibile su WEB costruito con le informazioni delle certificazioni delle P.A. necessarie per gli acquisti on-line –Condivisione di alcuni dati del suddetto archivio con i fornitori –Acquisizione delle informazioni anagrafiche degli Enti ordinanti dallarchivio condiviso al sistema di DWH –Eliminazione dai flussi di alimentazione del sistema di DWH delle informazioni anagrafiche (nome ente, gerarchia organizzativa, comune, indirizzo etc.) e sostituzione delle stesse con codici di riferimento

8 CONSIP S.p.A Qualità dei dati Una esperienza Consip AIPA Approccio al problema Individuazione dei prodotti di mercato per mezzo di: Ricerche su internet, Esperti (Larry English Società di consulenza (es. Gartner Group) Prodotti esaminati: Trillium Prodotto di analisi e correzione dati. Specializzato per la correzione di archivi anagrafici delle persone fisiche e per gli indirizzi. Quality Manager Prodotto per lanalisi della qualità dei dati, monitoraggio della qualità, verifica del miglioramento per mezzo di confronto tra dato di partenza e di arrivo Apta Società Italiana che offre servizi e/o prodotti di cleaning di dati avvalendosi una metodologia propria e di archivi di riferimento proprietari (nomi, cognomi, indirizzi, etc.).

9 CONSIP S.p.A Qualità dei dati Una esperienza Consip AIPA Approccio al problema Valutazione della efficacia di eventuali soluzioni di mercato Pro –Disponibilità in tempi brevi –Problematiche risolte da specialisti con algoritmimi efficienti, –Migliori performance elaborative –Costi, anche se elevati, inferiori alla realizzazione di soluzioni ad hoc Contro –Orientati verso soluzioni di natura privata –Copertura limitata a singole fasi del processo di qualità del dato –Tipicamente non operano su DB relazionali ma su file sequenziali –Necessità di formazione del personale –Architetture chiuse

10 CONSIP S.p.A Qualità dei dati Una esperienza Consip AIPA Approccio al problema Lanalisi condotta ha evidenziato una risposta parziale in termini di funzionalità dei singoli prodotti (analisi dello stato qualitativo dei dati attraverso la definizione di parametri e metriche, correzione dei dati, normalizzazione e data re-engineering, certificazione, monitoraggio, … ). La complessità della fase di selezione dei prodotti/servizi disponibili sul mercato ha reso necessario il consolidamento del requisito interno con la realizzazione di un prototipo.

11 CONSIP S.p.A Qualità dei dati Una esperienza Consip AIPA Approccio al problema Il prototipo Consip. Cosa abbiamo fatto: –individuato archivi di riferimento (comuni, località, indirizzi postali, etc.) –realizzato utilities per la formattazione/normalizzazione dei dati (parser, normalizzatore per indirizzi) –riconosciuto i dati da bonificare –realizzata una utility interattiva per la verifica dei dati non riconosciuti –definito archivi di sinonimi (nome errato-nome corretto) per la bonifica massiva e rapida nei processi di caricamento

12 CONSIP S.p.A Qualità dei dati Una esperienza Consip AIPA Alcuni risultati … esempi PrimaDopo 39052BZCALDARO SULLA STRADA39052BZCALDARO SULLA STRADA DEL VINO 16038GES. MARGHERITA LIGURE16038GESANTA MARGHERITA LIGURE 39030BZST. VIGI39030BZST.VIGIL ENNEBERG 71015FGSAN NICANDRO71015FGSANNICANDRO GARGANICO 71015FGSANNICANDRO GARGANO71015FGSANNICANDRO GARGANICO 02024RIS. ELPIDI02024RISANT'ELPIDIO DI PESCOROCCHIANO Pubblica Amministrazione Comune / Località PrimaDopo Ministero del Tesoro Ragioneria Provinciale dello Stato Amministrazioni Centrali e Periferiche dello Stato Ministero del Tesoro, del Bilancio e della Programmazione Economica Dipartimento per l'Amministrazione Generale del Personale e dei Servizi del Tesoro Direzione Centrale degli Uffici Locali e dei Servizi del Tesoro Dipartimento Provinciale del Tesoro di Rovigo Aeronautica Militare Distaccamento Aeroportuale Amministrazioni Centrali e Periferiche dello Stato Ministero della Difesa Aeronautica Militare Distaccamento Aeroportuale di Brindisi

13 CONSIP S.p.A Qualità dei dati Una esperienza Consip AIPA ANALISI DEL PROCESSO Stato dellarte ANALISI DEL DATO realizzazione di un prototipo in house ricerca tra i prodotti/servizi di mercato definizione metodi e strumenti standard per la qualità dei dati 80% verifica del processo di acquisizione dei dati ricerca tra di mercato 30% realizzazione di un prototipo in house 80%

14 CONSIP S.p.A Qualità dei dati Una esperienza Consip AIPA Considerazioni Lottimizzazione del processo di generazione e morte del dato è fondamentale per ottenere un miglior livello qualitativo Gli strumenti di Data Quality nascono per essere applicati a valle del processo, di conseguenza migliorano il livello di qualità ma non esauriscono il problema Nellambito della qualità dei dati la loro certificazione e condivisione assumono un significato strategico per la P.A. Certificare significa: –individuare un gestore unico e responsabile del dato che sia il riferimento per tutta la P.A. –delegare a tale gestore la costituzione di archivi di riferimento da condividere con tutti gli enti interessati Individuare un gestore unico che coordini il patrimonio comune che assegni le competenza e le responsabilità ai soggetti individuati.


Scaricare ppt "Qualità dei dati una esperienza Consip … (DWH della struttura di supporto agli acquisti della P.A.) CONSIP S.p.A. AIPA 12.03.2001."

Presentazioni simili


Annunci Google