La presentazione è in caricamento. Aspetta per favore

La presentazione è in caricamento. Aspetta per favore

B.I. Strategy BUSINESS INTELLIGENCE Introduzione al Data Warehouse.

Presentazioni simili


Presentazione sul tema: "B.I. Strategy BUSINESS INTELLIGENCE Introduzione al Data Warehouse."— Transcript della presentazione:

1 B.I. Strategy BUSINESS INTELLIGENCE Introduzione al Data Warehouse

2 Definizione: Esistono molte definizioni che identificano il concetto di Data Warehouse, in particolare : Una piattaforma sulla quale vengono archiviati e gestiti dati provenienti dalle diverse aree dellorganizzazione; tali dati sono aggiornati, integrati e consolidati dai sistemi di carattere operativo per supportare tutte le applicazioni di supporto alle decisioni (Gartner)

3 Più chiaramente: Il Data Warehouse è una collezione di dati a supporto del processo decisionale: attraverso il Data Warehouse il management ha lopportunità concreta di trovare le risposte a tutte quelle domande che hanno un alto impatto sulle performance aziendali chi ricopre ruoli decisionali deve avere la possibilità di usufruire di tutti gli strumenti che possono rendere la guida dellazienda massimamente sicura.

4 Problematiche di management Le tipiche problematiche del management relativamente alla fruizione di dati possono essere riassunte come segue: Assenza di sintesi nella reportistica Risultati diversi da fonti diverse per la stessa tematica Impossibilità di navigare nei dati ragionando con oggetti business Inaffidabilità di alcuni dati critici Costi elevati per sintetizzare report e analisi Scarsa collaborazione o impossibilità di comunicazione dei sistemi informativi transazionali per interrogare i dati Assenza di coerenza fra i dati. Lentezza nellinterrogazione di dati non ottimizzati per lanalisi Queste problematiche sono così universali che possono essere considerate come requirements fondamentali per la costruzione di un sistema di Data Warehouse.

5 1.Il Data Warehouse deve consentire laccesso a dati aziendali garantendo bassi tempi di attesa fra linterrogazione dei dati e loutput di risultati. 2.I dati esposti devono essere consistenti: un particolare valore (le vendite del prodotto A nella città B nel periodo di tempo C) deve essere sempre lo stesso indipendentemente dal momento dellinterrogazione o dalla modalità di interrogazione dei dati. 3.I dati esposti possono essere ricombinati e separati rispetto agli oggetti di calcolo definiti dal business. 4.Nel concetto di data warehouse rientrano anche gli strumenti software necessari a facilitare linterrogazione dei dati e a garantire una presentazione chiara della sintesi delle analisi. 5.Il Data Warehouse deve contenere dati coerenti e ripuliti: capita che fonti importanti di dati per il Data Warehouse trascinino errori di diverso genere che possono avere un impatto devastante sulla qualità dei dati stessi, parte fondamentale del processo di realizzazione di un sistema di Data Warehouse è rappresentata proprio da attività di recupero, trasformazione e pulitura dei dati. Caratteristiche fondamentali del DWH [1/2]

6 Caratteristiche fondamentali del DWH [2/2] 6.La qualità del Data Warehouse può mettere in luce problematiche nascoste allinterno dei processi aziendali, tipicamente lassenza di dati relativamente ad una particolare attività dovuta allopzionalità di compilazione dei dati (causa principale dellassenza di dati) può evidenziare, proprio grazie al Data Warehouse, la necessità di verificare a livello di processi aziendali lopportunità di definirla come obbligatoria (e non opzionale). 7.Il Data Warehouse è un sistema in sola lettura, gli utenti non eseguono azioni di aggiunta, modifica o eliminazione dei dati.

7 Data Base vs Data Warehouse Il DWH è, quindi: Orientato ai soggetti di interesse Integrato e consistente Rappresentativo dellevoluzione temporale Non volatile La differenza principale che intercorre tra un DB da un DWH è nel concetto di Denormalizzazione dei dati. Tale ridondanza permette di ottimizzare le caratteristiche per cui un DWH viene progettato.

8 Rappresentazione Multidimensionale La modellazione dati allinterno di un DWH riguarda tre concetti fondamentali propri del management: Fatto: un concetto sul quale centrare lanalisi modella un evento che accade nellazienda es. Vendita di Prodotti. Misura: una proprietà atomica di un fatto da analizzare ne descrive un aspetto quantitativo es. Quantità venduta, incasso, ecc. Dimensione: descrive una prospettiva lungo la quale effettuare lanalisi es. Tempo, Negozio, ecc.

9 OLTP vs OLAP Le caratteristiche proprie del DWH, necessitano di porre lattenzione sullesistenza di due universi completamente diversi nellambito del trattamento dei dati aziendali : On line Transaction processing (OLTP) è linsieme dei sistemi transazionali pensati e ottimizzati per garantire la massima sicurezza nella gestione delle transazioni. On line Analytical processing (OLAP) è linsieme dei sistemi di analisi dei dati pensati e ottimizzati per garantire la massima performance e la massima estensione delle interrogazioni. Il recente successo della filosofia OLAP è dovuto in parte alla disponibilità di potenza elaborativa per gestire grossi volumi di dati a basso costo e la possibilità di distribuzione delle informazioni tramite tecnologia intranet/Internet.

10 OLAP Devono supportare analisi e calcoli sofisticati su diverse dimensioni e gerarchie Il modello logico dei dati più adatto e una struttura multidimensionale, ildata cube Le dimensioni del cubo sono costituite dagli attributi secondo i quali si vogliono fare le ricerche (chiavi) Ogni dimensione può contenere a sua volta una gerarchia DATA {GIORNO - MESE – TRIMESTRE - ANNO} PRODOTTO {NOME - TIPO - CATEGORIA} es. (LAND ROVER - FUORISTRADA - AUTOVEICOLI) le celle del cubo contengono i valori metrici relativi ai valori dimensionali

11 Ambiente DWH [1/2] Dal punto di vista tecnico/architetturale la definizione di un ambiente data warehouse può essere così semplificata: 1.I dati sorgente, oggetto dell'analisi, vengono forniti dai sistemi transazionali e possono essere di varia natura (sistemi ERP, fogli excel database personali, dati core di applicazioni aziendali, ecc.). 2.Tali dati sono caricati nel data warehouse attraverso procedure di ETL (extraction, transformation e loading) (che possono essere il risultato dello sviluppo di un'interfaccia applicativa in SQL, C, ecc. o possono essere definite e costruite con complessi tool di ETL presenti sul mercato). 3.Nel data warehouse i dati sono presenti al massimo dettaglio e storicizzati e spesso raggiungono dimensioni comunque poco compatibili con l'interrogazione diretta attraverso tool di analisi: vengono così generati dal data warehouse aggregati tematici di dati (datamart) sui quali verranno scatenate le query per le analisi.

12 4.Un notevole numero di tool permettono di effettuare analisi di ogni tipo o di migliorare ulteriormente le performance delle interrogazioni, i server OLAP (database multidimensionali) possono precalcolare le possibili combinazioni analitiche e memorizzarle fisicamente in un file binario (con esplosione delle dimensioni), tool di analisi appositi possono interrogare i dati sfruttando puntatori che indicano la posizione del dato precalcolato anziché attendere i tempi di elaborazione del motore database. I server OLAP possono memorizzare i dati con diverse modalità utilizzando strutture relazionali (ROLAP) o multidimensionali (MOLAP), per database smisurati (centinaia di giga) spesso si utilizza una modalità ibrida (HOLAP). Ambiente DWH [2/2]

13 Architettura per il Data Warehousing Sorgenti esterne Base dati operazionali Sorgenti dei dati Monitoraggio e Amministrazione Metadati E T L Enterprice Data Warehouse Enterprice Data Warehouse ETL Data Mart Strumenti di analisi Analisi dimensionali Visualizzazioni Data mining

14 Data mart Un Data mart è un raccoglitore di dati specializzato in un particolare soggetto. Contiene un'immagine dei dati che permette di formulare strategie sulla base degli andamenti passati. Collocato a valle di un DWH, è alimentato a partire da esso, di cui costituisce, in pratica, un estratto. Detto in termini più tecnici, un DM è un sottoinsieme logico o fisico di un DWH di maggiori dimensioni. La differenza fondamentale consiste nel fatto che la creazione del Data warehouse avviene in maniera generalizzata per poi venire incontro alle specifiche esigenze, mentre il Data mart viene generalmente creato per venire incontro ad un'esigenza specifica e già determinata. La necessità di creare un sistema separato per il DM rispetto al DWH può riassumersi nelle seguenti motivazioni: La necessità di utilizzare un diverso schema. Migliorare le performance separando il computer dedicato. Garantire una maggiore sicurezza dovendo autorizzare l'accesso ad un insieme minore di dati

15 Progettazione di un DWH [1\2] Limitata frammentazione (denormalizzazione): lanalisi ha bisogno di una visione sintetica dei dati Nella progettazione sarà importante mettere in evidenza gli aspetti comuni Bisogna associare a ciascuna entità un significato che corrisponda allintuizione dellutente Fondamentale il ruolo dei metadati nel guidare alluso del sistema Attività principali: analisi delle sorgenti informative esistenti integrazione progettazione (concettuale, logica e fisica) La progettazione di una DWH è diversa da quella di una DB operazionale; alcuni elementi da considerare in fase danalisi sono sicuramente:

16 Selezione delle sorgenti informative Traduzione di un modello concettuale comune Analisi delle sorgenti informative Analisi Integrazione di schemi concettuali Integrazione Progettazione concettuale Progettazione logica Progettazione fisica Progettazione Progettazione di un DWH [2\2] Requisiti dellutenza Basi dati aziendali Altre sorgenti informative

17 Strumenti per la qualita dei dati: per la migrazione T rasformano e riformattano i dati dalle diverse fonti per la pulizia (scrubbing) Usano la conoscenza del dominio per pulire e omogeneizzare es. = ??? per il controllo (auditing) Scoprono regole e relazioni tra i dati e ne verificano il rispetto Strumenti per il caricamento dei dati verificano violazioni di integrità referenziale; ordinano, aggregano, costruiscono dati derivati,indici e altri percorsi di accesso. Strumenti utili al ciclo di vita di un DWH

18 Lintegrazione delle sorgenti informative ha prodotto una descrizione globale del patrimonio informativo aziendale. Questo è però solo il risultato dellintegrazione di dati operazionali e non descrive necessariamente tutti i dati di interesse per il DWH. La progettazione di un DWH comprende tre fasi: concettuale completare la rappresentazione dei concetti dimensionali necessari per lanalisi ad esempio, dati storici e geografici logica identificare il miglior compromesso tra la necessità di aggregare i dati e quella di normalizzarli fisica individuare la distribuzione dei dati e le relative strutture di accesso

19 Strategie di progetto Approccio top-down: Interessante perché garantisce la coerenza interna del progetto Spesso fallimentare perché impresa lunga e ardua che scoraggia lutenza Lanalisi contemporanea di tutte le fonti informative è compito molto complesso La previsione contemporanea delle esigenze informative di tutti gli utenti è difficile e rischia di paralizzare il processo Approccio bottom-up: Costruzione incrementale assemblando più data mart Si abbina a tecniche di prototipazione veloce Incoraggia lutenza che vede velocemente il prodotto operativo

20 Data mining La Statistica, il campo della matematica applicata connesso con l'analisi dei dati, può essere definita altrimenti come "estrazione di informazioni utili da insiemi di dati". Il concetto di data mining è analogo. L'unica differenza è che questa recente disciplina ha a che fare con cospicui insiemi di dati. In sostanza il data mining è lanalisi matematica eseguita su database di grandi dimensioni". Il termine data mining è diventato popolare nei tardi anni '90 come versione abbreviata della definizione appena esposta. Oggi il data mining ha una duplice valenza: Estrazione, con tecniche analitiche all'avanguardia, di informazione implicita, nascosta, da dati già strutturati, per renderla disponibile e direttamente utilizzabile; Esplorazione ed analisi, eseguita in modo automatico o semiautomatico, su grandi quantità di dati allo scopo di scoprire pattern (schemi) significativi. In entrambi i casi i concetti di informazione e di significato sono legati strettamente al dominio applicativo in cui si esegue data mining, in altre parole un dato può essere interessante o trascurabile a seconda del tipo di applicazione in cui si vuole operare.

21 Architettura DWH – B.I. Sistemi gestionali (Tradizionali o ERP) (Sistemi OLTP) Produzione Distribuzione Marketing… Strumento di Estrazione, Trasformazione, Caricamento e Modellazione dei Dati (ETL tools) Altri sistemi di tipo operativo Sistemi esterni (Portali, DB, ecc) Data Warehouse DataMart Produzione DataMart Marketing DataMart … Metadati Analisi multidimensionale ed interattiva dei dati (Sist. OLAP) Interrogazione puntuale del DB e report Modelling, costruzione scenari e simulazioni Data Mining (Knowledge discovery) Sistemi di Strategic Performance Management Business Intelligence

22 Ricapitolando Un DWH è un sistema di Business Intelligence basato su una base dati relazionale. Si tratta di una base dati separata rispetto al sistema gestionale, strutturata per contenere una replica parziale del sistema informativo aziendale in un formato che renda ottimale lanalisi delle informazioni. Viene adottando per rispondere a queste esigenze: Trasformare i dati in informazioni Informazioni giuste al momento giusto alle persone giuste Integrazioni tra fonti dati eterogenee Elevata profondità storica e Indipendenza dai sistemi sorgente Pulizia dei dati e Certificazione dei dati a tutti i livelli Gestione per eccezioni dei processi aziendali


Scaricare ppt "B.I. Strategy BUSINESS INTELLIGENCE Introduzione al Data Warehouse."

Presentazioni simili


Annunci Google