Business Intelligence Dai dati alle decisioni

Modulo 4 Come reperire e trattare i dati Sono sbalordito dalla gente che vuole conoscere l'universo, quando è già abbastanza difficile non perdersi nel quartiere cinese. (Woody Allen)

Architettura e ruolo di un data warehouse Vediamo lo schema concettuale di un data warehouse: Metadati Bilancio Logistica ERP CRM Sistemi Transazionali Data warehouse Analisi dei cubi Analisi esplorativa serie storiche Datamining ottimizzazione Marketing Analisi delle prestazioni Dati esterni Strumenti ETL OLAP William H. Inmon, il primo a parlare esplicitamente di data warehouse, lo definisce come una raccolta di dati integrata, orientata al soggetto, variabile nel tempo e non volatile di supporto ai processi decisionali.

Funzioni per manipolare il testo in Excel DESTRA SINISTRA LUNGHEZZA STRINGA.ESTRAI

Architettura e ruolo di un data warehouse Per DATA WAREHOUSE si intende un “magazzino dati” che contiene tutte le informazioni passate di una azienda. Tali informazioni devono essere immagazzinate in un database disegnato per favorire efficienti analisi dei dati e reporting dei dati e, usualmente,non per gestire dati correnti. Questi “magazzini”, conservano grandi quantità di dati che vengono solitamente suddivise in unità logiche più piccole, chiamati DATA MART, che sono i database che poi vengono utilizzati dai vari utenti aziendali. Il datawarehouse è quindi un database dove confluiscono tutte le informazioni aziendali e che attraverso tecniche olap vengono messe insieme per creare un punto unico dove andare a reperire le informazioni. Le fonti di questi dati sono solitamente i sistemi transazionali come ad esempio i sistemi ERP e CRM, e i dati esterni che possono essere conloro integrati. Data warehouse ERP = Enterprise Resource Planing CRM = Customer Relationship Mnagment

Architettura e ruolo di un data warehouse Riassumendo: Concettualmente Formalmente Data warehouse Il data warehouse è una casa per i dati di “seconda mano” generati da tutte quelle attività usuali dell’azienda, o appositamente ricercate Il data warehouse è un archivio stand-alone (repository) di informazioni integrate da tutti i database aziendali.

Cubo dati OLAP …dal DATA WAREHOUSE dobbiamo ottenere dei cubi dati da poter analizzare con le tecniche tipiche della Business Intelligence.

Architettura di un cubo OLAP Cubo Dati OLAP Stringhe (Record) multidimensionali di dati. I record di dati sono indicizzati da elementi (Periodi, Prodotti,…) , costituiti non da numeri.

Architettura di un cubo OLAP I benefici della tecnologia OLAP Mostra come i risultati sono funzione dei diversi indici di prestazioni (Key Drivers). Dare la possibilità agli utenti di creare i loro propri record. Scegliere il livello di dettaglio che si vuol vedere. Navigando all’interno del database OLAP da la sensazione della dinamicità del business OLAP

Architettura di un cubo OLAP Alchimia dell’Analisi L’utilizzo della Business Intelligence non è solo un software. L’utilizzo della Business Intelligence deve anche includere la conoscenza della progettazione delle misure e la comprensione dei processi analitici di pertinenza delle varie funzioni aziendali. Ci sono tecniche e strategie per disegnare (progettare) misure OLAP. OLAP

Architettura di un cubo OLAP Elementi di Analisi Le classiche applicazioni di Business Intelligence nei cubi OLAP. Attributi di suddivisione. Dimensionamento dei profili. Conteggio delle misure Manipolazione della misura tempo (periodo). Altro… OLAP

Modulo Database Come immagazzinare i dati La sisumanità del computer sta nel fatto che, una volta programmato e messo in funzione, si comporta in maniera perfettamente onesta . (Isaac Asimov)

Architettura di un database Tabelle - insieme di record e campi che si identificano con le entità del database. Relazioni (o join) - Sono le relazioni tra più tabelle che permettono di associare campi di tabelle diverse ad uno stesso record. Si possono suddividere in tre tipologie. Uno a uno - Se ad ogni elemento di una entità di una tabella può corrispondere una ed una sola delle entità di un’altra tabella. Es. Nazione 1_________1 Capitale Uno a molti- Se ad ogni elemento di una entità di una tabella possono corrispondere più elementi e a quest’ultima tabella possiamo associare solo un elemento della prima. Es. Squadra di calcio 1_________∞ Calciatore Molti a molti- Se ad ogni elemento di una entità possiamo far corrispondere più elementi di un’altra tabella e viceversa. Es. Autore ∞_________∞ Libro Database

Architettura di un database Query – una tabella che rappresenta una selezione delle informazioni della tabella principale che risponde a particolari richieste (vincoli o filtri). Maschere – utilizzato per immettere, modificare e visualizzare record di dati disposti in un layout personalizzato. Report – per stampare i record disposti in un layout personalizzato. Un report può essere utilizzato per raggruppare record e per visualizzare i totali parziali e i totali complessivi dell’intero report. Database

Modulo 5 Customer Profiling e Data Mining Togli la causa e l’effetto sparirà. (Miguel De Cervantes)

Customer Profiling Sistema informativo in grado di fornire, per ogni singolo cliente, un dettaglio del suo comportamento d’acquisto attuale e atteso. Siamo identificati attraverso la transazione. Banca N. Conto Assicurazione N. Polizza Casa Editrice N.Abbonamento Gas N. Contatore Telefono N. Telefono TRANSAZIONE

Customer Profiling Avere come obbiettivo il monitoraggio della transazione è un sistema naturale di controllo se vogliamo aumentare l’efficienza della Produzione e/o Distribuzione, ma se l’obbiettivo è riconoscere, soddisfare e mantenere fedele il cliente dobbiamo cambiare punto di vista. Rapporto personale e sulla relazione. Metodi di esposizione dei prodotti Tessere Fedeltà RELAZIONE

Struttura di un sistema di customer profiling Le informazioni di cui un’azienda può disporre sono descrittive e comportamentali. Tali informazioni sono solitamente disponibili sui sistemi amministrativi e vanno quindi integrati aumentando l’interattività tra azienda e cliente.

Struttura di un sistema di customer profiling Persone Programmi Premio dati anagrafici socio-economici socio-demografici descrittive Aziende comportamento di acquisto comportamento d’uso settore dimensione localizzazione descrittive comportamentali

Struttura di un sistema di customer profiling Esempio Transazioni in banca. N. transaz. Cliente Conto 1 20 A Conto 2 5 B Conto 3 C Conto 4 10 Conto 5 Conto 6 20 transazione a settimana 10 transazione a settimana 5 transazione a settimana Focus sulla transazione Focus sul Cliente B A C

Struttura di un sistema di customer profiling Bisogna quindi pensare a degli indici predittivi del comportamento futuro. Lufthansa Audi Vailant

Indici predittivi Indice della probabilità di abbandono Indice del valore attuale netto Indice della probabilità di frode e morosità Indice della probabilità di acquisto Telefonia Quattroruote Finanziamenti Amazon

Indici predittivi MODELLI DATI STORICI + ESEMPI GIA’ NOTI = probabilità di abbandono valore attuale netto probabilità di frode probabilità di acquisto Tali indici vengono calcolati utilizzando come base il comportamento in un particolare periodo trascorso e applicando degli algoritmi di data mining MODELLI PREVISIONALI DATI STORICI + ESEMPI GIA’ NOTI = Si parte quindi dai dati storici che utilizziamo per trovare indici applicabili ai nuovi dati. Direct Marketing efficacia Customer Services per l’effettivo potenziale affidato Possiamo così classificare Agenti Punti Vendita Venditori

Esempio di Customer Profiling Concediamo il prestito al cliente? debito pagato debito non pagato Debito Reddito

Esempio di Customer Profiling Dobbiamo cercare un modello (Data Mining) che mi possa “assistere” alla decisione: Media Iperpiano Iperpiani paralleli Clustering If (red < s) Then (“debito non pagato”) s (Non Supervisionato) If (a red + b red < s) Then (“debito non pagato”) s (Supervisionato) a b (Supervisionato) (Non Supervisionato)

Si stima che ogni 1.100 giorni, nel mondo, raddoppiano le informazioni memorizzate in formato elettronico I dati restano semplici dati finché non vengono gestiti, ossia organizzati in maniera significativa Se da un lato le aziende hanno a disposizione un’enorme quantità di dati, dall’altro risulta sempre più difficile districarsi tra informazioni rilevanti e superflue. Il Data Mining si pone come processo che impiego più tecniche computerizzate per l’analisi automatica e”l’estrazione di conoscenze” Data Mining

Data Mining Il Data Mining si pone come processo di selezione, esplorazione e modellazione di grosse masse di dati, al fine di scoprire strutture, regolarità o relazioni non note a priori, e allo scopo di ottenere un risultato chiaro e utile al proprietario del database. Le regole statistiche tradizionali di analisi dei dati (ad esempio la regressione) vengono utilizzate per cercare conferma a fatti che l’utente ipotizza o già conosce. Se il database è molto grande non si riesce ad avere una visione completa da cui estrapolare una regolarità e simmetrie. L’idea è che tali strutture non sfuggano ad una elaborazione automatica.

Data Mining Clustering con l’algoritmo k-means Tra le tecniche più diffuse troviamo: Clustering Reti Neurali Reti Bayesiane Alberi di decisioni Apprendimento genetico Analisi delle associazioni Tutte le tecniche comprendo metodi e algoritmi.

Data Mining Clustering con l’algoritmo k-means Tecniche di Data Mining Supervisionate Reti Neurali Reti Bayesiane Alberi di decisioni Analisi delle associazioni Non-Supervisionate Clustering Clustering con l’algoritmo k-means

Clustering (tecnica di Cluster Analysis) Esempio – Metodo k-means (k-medie) metodo partizionante funzione di media k metrica INPUT OUTPUT Algoritmo k-means record k-cluster

Clustering (tecnica di Cluster Analysis) Scegliere un valore k=numero di cluster da determinare. Scegliere in modo casuale k dati del detaset che saranno i (bari)centri del cluster. funzione di media k metrica INPUT OUTPUT Algoritmo k-means record k-cluster

Clustering (tecnica di Cluster Analysis) Definire una metrica per calcolare la distanza dei punti dai centri. Calcolare la media per ogni cluster. funzione di media k metrica INPUT OUTPUT Algoritmo k-means record k-cluster

Clustering (tecnica di Cluster Analysis) Se le nuove medie sono identiche a quelle precedenti il processo termina; altrimenti utilizzare le nuove medie come centri dei cluster e ripetere i passi da 3. a 5. Solitamente si preferisce fermarsi quando siamo arrivati ad un errore quadratico predefinito. INPUT OUTPUT Algoritmo k-means record k-cluster

Clustering (tecnica di Cluster Analysis) Esempio su Excel

Algoritmi di Classificazione Esempi di alberi di classificazione ALBERO BINARIO ALBERO GENERICO Accetta Comunicazione Zona di residenza Età SI NO ≤45 >45 Nord Centro Sud Isole Valutati da Velocità Scalabilità Robustezza Interoperabilità

Algoritmi di Classificazione Esempio di rete neurale Vettore di Input x1 Vettore di Output x2 f(x) … xn-1 xn Nodo di Output Nodi Nascosti Nodi di Input esempio…

Metodi Bayesiani di classificazione Metodo di Bayes è un metodo di inferenza statistica utilizzato per il calcolo delle probabilità a posteriori. Questi metodi hanno il vantaggio di giungere a descrizioni razionali anche quando non vi sono abbastanza informazioni. Esempio Banale - zona di residenza Esempio Complesso -

Algoritmi di Classificazione Esempio di probabilità a posteriori (probabilità a posteriori) A Londra in inverno piove nel 50% dei casi. A Londra è nuvoloso nell’80% dei casi A Londra, quando piove è nuvoloso (100% dei casi) Oggi a Londra è nuvoloso, che probabilità c’è che stia piovendo? Regola di Bayes (Teorema di Bayes) Ci sono 5 probabilità su 8 che a Londra piova!