La evoluzione delle soluzioni di analisi e reporting L’approccio di CINECA verso il reporting e la BI Open Source

Principali requisiti cliente Soluzioni ai requisiti: Sommario Principali requisiti cliente Soluzioni ai requisiti: Operational Data Store BI Open Source (Commercial Vs Community) Prossimi Passi Nel Dipartimento UNIV Tra i Dipartimenti CINECA

I principali requisiti cliente Funzionali Maggiori funzionalità di analisi su dati “freschi” Trasversalità di informazioni anche su report operazionali Unificazione e storicizzazione dell’area statistiche MIUR/ANS/PRO3 etc.. Tecnici Divulgazione massiva e “dipartimentale” delle informazioni di dettaglio per un completo governo dei dati da parte delle diverse autonomie Integrazione immediata con il portale di Ateneo Integrazione con operazioni di back-office (Web U-GOV)

Classificazione del reporting Report Operazionali: elenchi e stampe analisi della capienza economica ai fini delle variazioni di budget di un progetto… Report Dinamici: Analisi coorti Analisi della spesa del personale Analisi del turnover… Report Istituzionali Statistiche istituzionali… Report di Governo Cruscotti per il direttore di DIPARTIMENTO, per il DA, per il PRESIDE, … Report Generali Andamento immatricolati, statistiche cadenziate su bolettini specialistici

Classificazioni Utenti U-GOV Business Worker Personale TA degli uffici centrali o periferici Web Mobile Users Docenti Studenti Personale TA Public User Utenti che consultano il Portale d’Ateneo

Utenti Vs Tipologie di report Dati off-line Dati on-line o near on-line Altre sorgenti Report operazionali BW Report dinamici BW/WMU Report istituzionali BW/WMU/PU Report di Governo WMU Dashboard operazionali Report Generali WMU/PU Area non soddisfatta da U-GOV

In pratica… C’è un’esigenza di informazioni near-real time trasversali alle diverse aree funzionali, occorre valorizzare il patrimonio informativo e l’integrazione di U-GOV (il caso di CO, PJ e dei Documenti gestionali) Tali informazioni devono essere limitatamente navigabili ai fini di consentire una efficiente e fluide azione amministrativa Tali informazioni devono essere complete di ogni dato presente nel sistema gestionale Non deve esserci un limite “economico” per l’accesso a queste informazioni

Perché il Data Warehouse non è sufficiente Dopo diversi anni di esercizio il data warehouse di Ateneo è diventato anche un valido aiuto all’azione amm.va, ma questo contraddice la sua missione e rende le attività di manutenzione molto onerose Non tutte le informazioni di dettaglio (campi e tabelle) possono essere riportate sul Data Warehouse Non è adeguato a reporting istituzionale (MIUR), per la incompletezza di alcune informazioni, per la variabilità delle richieste degli Enti e per la difficile creazione di reporting statutory con strumenti OLAP Le licenze Microstrategy limitano l’utilizzo del reporting solo amministrazioni centrali e non soddisfano i requisiti di distribuzione e trasparenza dei “numeri”

Introduzione in U-GOV di una nuova area: Operational Data Store In accordo con Bill Inmon, che ha concepito questa idea, un ODS è "a subject-oriented, integrated, volatile, current-valued, detailed-only collection of data in support of an organization's need for up-to-the-second, operational, integrated, collective information." ODS differ from Inmon's definition of enterprise data warehouse by having a limited history, and more frequent update than an EDW. In practice ODS tend to be more reflective of source structures in order to speed implementations and provide a truer representation of production data.It is widely used in datawarehousing. An "ODS" is not a replacement or substitute for an enterprise data warehouse but in turn could become a source.

Architettura generica di un ODS

Verso l’Operational Data Store Collezioni di dati provenienti dalle diverse aree funzionali con le seguenti caratteristiche: Supporto all’azione amministrativa Real-time o near real-time Non storici (anno in corso) oppure congelati in DB statistici (statistiche esterne o portali) Indipendenti dal ciclo di vita del transazionale (solo impact analisys) Ad esempio: liste di documenti, controllo di budget di progetto, Dashboard operazionale dei Dipartimenti (residui, cash flow di breve,…) Statistiche inviate ad Enti Esterni, Business Activity Monitoring (analisi dei processi real time, DG) …

Differenza tra ODS e DWH Data Warehouse Volatile Non-Volatile Real-time o near real-time Off-Line (1-2 caricamenti batch settimanali) Solo periodo in corso + periodo precedente Pluriennale (dati storici) Limitate funzionalità di creazione report Funzionalità evolute di creazione report Scarse funzionalità OLAP OLAP Nativo Orientati ai processi amministrativi Orientato ai processi di business Congelamenti statici (on-demand) Congelamenti dinamici (snapshot) Massimo livello di dettaglio Maggiormente aggregato Orientato agli operativi e ai decisori (nel breve termine) Orientato ai decisori (nel lungo termine) e ai manager Supporta un approccio tattico al business Supporta un approccio strategico al business

ODS vs DWH

FOCUS su un ODS generico Generiche statistiche o tabelle congelate. BOLLETTINI INTERNI etc.. Conto Annuale DALIA, … ODS-RU STATUTORY STATS (batch/freeze) Verso DWH Staging (WLx_) Real Time (on demand) Near Real Time Elenchi di personale, Cedolini, Etc… Coperture Vs competenze Voci accessorie pro-capite, etc…

Architettura e componenti dell’OdS ODS layer Metadati (Allocazione Costi) RU SS DI RI CO&DG&PJ Real-time loading, trigger area, on demand loading Anagrafiche Comuni RU DI SS RI PJ CO DG

La fruizione dell’ODS: Pentaho Pentaho è una piattaforma di business intelligence open source E’ un integrazione di popolari progetti OS come JFreeReport, Kettle, Mondrian e Weka. E’ disponibile in versione community (GPL/MPL) e enterprise (commercial open source).

Modalità di fruizione ODS – Open Source Assegnare una modalità di fruizione sulla base dell’utente Legenda: Pentaho Dashboard* Pentaho Analysis Pentaho Reporting * Solo nella versione Enterprise, nella CE esiste CDF (Community Dashboard Framework)

Fruizione dell’ODS U-GOV Web U-GOV Portali di Ateneo RU DI SS RI PJ CO Business Worker Web&Mobile User Public User ODS layer RU SS DI RI CO&DG&PJ Anagrafiche Comuni RU DI SS RI PJ CO DG

Commercial Vs Community Sono in corso approfondimenti tecnico-commerciali riguardo l’adozione della versione community o commercial (in versione OEM e con supporto tecnico) Il livello di maturità della soluzione evidenzia che l’impiego della community edition non può prescindere dalla collaborazione di analisti programmatori Web per la strutturazione di un prodotto solido e soddisfacente, La versione commercial presenta funzionalità più evolute di gestione della piattaforma nonché di dashboarding più assimilabili (ma non allo stesso livello) delle soluzioni Vendor (Microstrategy, QlikView) Le piattaforme BI Open Source non sono ancora paragonabili in termini di funzionalità e robustezza a quelle dei Vendor (Microstrategy, Oracle BI EE+, SAP BO, …) In linea generale si dovranno valutare attentamente le risorse necessarie da dedicare al monitoraggio della community per beneficiarne e per contribuire nello sviluppo e nella ricaduta dei componenti sviluppati internamente (“Metadato aperto per il mercato Higher Education”?)

…e il Data Warehouse di Ateneo? L’evoluzione del DWH si svolgerà nelle seguenti direzioni: Federazione nativa dei Data Mart e acquisizione dati direttamente dall’ODS layer Analisi maggiormente aggregate e trasversali “a valore” (COORTI, TURNOVER, …) Maggiore integrazione con simulazioni e con Metadati “Allocazione Costi” Focus su KPI, dashboard e analisi OLAP Funzionalità evolute di storicizzazione dei KPI Fruizione del DWH: Open Source per applicazioni di analisi periferiche (ad ed. DIPART., CDS, Facoltà) o pubblici (Portali o Web Docente) Microstrategy per analisi complesse degli uffici dell’Amministrazione Centrale

Data Warehouse di Ateneo DWH layer Federazione Metadati (Allocazione Costi) KPI Dim. Comuni EXT FACT Data Mart Trasversale EXT DATA DM RU DM SS&DI DM RI&PJ DM CO&PJ&DG ETL Tools ODS layer Anagrafiche Comuni RU DI SS RI PJ CO DG

Un cambio di prospettiva Ricevuto un requisito di reporting dell’utente: Decidere a livello di prodotto U-GOV dove debba essere soddisfatta per rendere completa ed efficace la soluzione U-GOV Rendere il più trasparente possibile la fonte di fruizione, documentando opportunamente i metadati Separare il ciclo di produzione del front-end dal ciclo di produzione del back-end

Prossimi passi: DIP UNIV Approfondimenti commerciali e organizzativi (condivisione dei processi di produzione, manutenuzione, assistenza tra le Divisioni) Messa a regime della integrazione Pentaho e U-GOV in termini di SSO e profiling (sviluppo di un componente applicativo) Evoluzioni dell’ODS ambito U-GOV PJ, DG e CO e test su POLITO Pianificazione di dettaglio dello sviluppo dell’ODS su altri ambiti Creazione del nuovo Data Mart CO&DG&PJ con duplice fruizione (per ora è in test solo la versione Open Source)

Prossimi passi: in CINECA Il progetto di sperimentazione ha coinvolto in modo virtuoso 4 aree, su alcuni ambiti specifici: DSET, SSIS, PAL, UNIV DSET, UNIV e SSIS: Approfondimenti tecnici e definizione dei servizi di gestione della piattaforma (Application management): PAL, UNIV: Approfondimenti tecnici sulla piattaforma ETL (Kettle) SSIS, UNIV: Approfondimenti tecnici sulla piattaforma OLAP (Mondrian) SSIS, UNIV: Approfondimenti tecnici sulla piattaforma Reporting Sono inoltre in corso i primi incontri tra UNIV e GIC per valutare l’aderenza delle funzionalità degli ODS e del DWH

Commercial Open Source, Le api e il miele

Commercial Open Source, Le api e il miele

Commercial Open Source, Le api e il miele Le alternative per CINECA