HLRmon: visualizzazione di dati di accounting

Presentazione sul tema: "HLRmon: visualizzazione di dati di accounting"— Transcript della presentazione:

1 HLRmon: visualizzazione di dati di accounting
E.Fattibene1, T.Ferrari1, P.Solagna2 1INFN CNAF, 2INFN Padova Workshop MW INFN - 27 Gennaio 2010

2 Indice Introduzione Nuova versione del portale classico
Pagine con viste per discipline Portale per WLCG Livello di maturita’ Piani di sviluppo

3 Sviluppato all’INFN da circa 3 anni 2 portali sviluppati
Introduzione HLRmon: (previa registrazione del certificato personale nel browser) Sviluppato all’INFN da circa 3 anni 2 portali sviluppati Portale classico con dati relativi a tutti i siti che pubblicano su un certo HLR Nuova versione in produzione da ieri su istanza Grid italiana Portale per WLCG con report su dati aggregati di accounting (CPU e storage) relativi ai T1/T2 INFN e alle VO LHC

4 Tipologia e percorso dei dati
Usage record aggregati per campi non soggetti a privacy presi da HLR secondo livello via query mysql Sezione pubblica: visibile da tutti Usage record aggregati per utente presi con query runtime all’HLR Sezione ad accesso riservato: visibile solo a utenti registrati ed autorizzati Database mysql su server HLRmon Aggregazione dati con PHP Generazione grafici con JPGraph Generazione pagine Web con Smarty template engine

5 Portale classico Nuova versione della sezione pubblica in produzione
Tolta la restrizione di accesso a questa sezione (rimane solo per i dati dei singoli utenti Grid) Aumentata velocita’ di accesso ai report Grafici divisi in 6 set: CPU e Wall Clock Time (in giorni e normalizzati per KSI2K) numero di job eseguiti efficienza dei job in termini di rapporto tra CPU Time e Wall Time Dati aggregati per: Sito VO Ruolo VOMS CA Tipo di job (Grid o locale)

6 Viste per discipline VO raggruppate per disciplina
Mapping preso ogni giorno dal CIC portal Dati aggregati per VO e CA Prossimo passo: validare i dati per poi mettere a disposizione di tutti la funzionalità

7 Portale per WLGC Su richiesta dei referee INFN-Grid è nata una versione ad hoc del tool in grado di: fornire “viste” specifiche per WLCG, con raggruppamenti dei dati di accounting per sito e per VO, per una visione complessiva di tipo comparativo delle attività WLCG a livello italiano visualizzare i livelli di efficienza dei job presso i Tier1 e Tier2, a scopo comparativo visualizzare l’uso delle risorse di calcolo e di storage dei Tier1/Tier2 INFN da parte degli esperimenti LHC

8 Risorse di Calcolo Vengono generati report mensili e annuali
Le grandezze graficate sono: CPU e Wall Clock Time (in giorni e normalizzati per KSI2K e HepSpec-06) numero di job eseguiti efficienza in termini di rapporto tra CPU Time e Wall Time I livelli di utilizzo sono graficamente confrontati con l’ammontare di risorse WLCG “pledged” in ogni sito Oltre ai dati degli esperimenti WLCG e ai job di tipo “Grid”, HLRmon riporta per ogni sito anche le statistiche di utilizzo degli esperimenti non-WLCG e dei job computazioni sottomessi in modalità locale

9 Risorse di Storage Per ogni sito, HLRmon grafica l’occupazione dello spazio storage (disponibile sui nodi accessibili via interfaccia SRM) da parte degli esperimenti LHC e lo confronta allo spazio totale disponibile Per ogni esperimento e per ogni Storage Area, è mostrata la frazione di spazio storage utilizzata

10 Valore aggiunto Possibilità di visualizzare dati aggregati a diversi livelli, soprattutto CA, ruoli VOMS, tipi di job (Grid o locali) Elevato grado di personalizzazione delle informazioni visualizzate Vista per WLCG che integra dati pubblicati nel sistema informativo Personalizzabile per un gruppo di siti e di VO a scelta Possibilità di normalizzare CPU e Wall time sia per KSI2K che per HepSpec-06 e in futuro altri benchmark Raccolta e visualizzazione di dati di storage accounting Pronto per utilizzo su Grid nazionali

11 Livello di maturita’ Utilizzazione portale classico
Istanza per ROC italiano, usato come strumento di visualizzazione dei dati di DGAS Stessa istanza utilizzata anche per il progetto eNMR e (in passato) EUAsiaGrid Istanza installata in Germania per alcuni siti DGrid, diventerà il portale di accounting della NGI tedesca Instanza installata a Creta per valutare utilizzo di DGAS+HLRmon per HellasGrid (NGI greca) Utilizzazione portale WLCG Viste utilizzate dai referee INFNGrid da inizio 2009 Diverse campagne di validazione dati da parte dei site admin dei T1/T2 INFN RPM nuova versione portale classico in arrivo Terza major release del portale classico Dati utilizzati per indagini ad hoc Strumento stabile e funzionale per visualizzazione dati presi da DGAS

12 Piano di sviluppo Portare in produzione i grafici aggregati per disciplina Generare grafici con CPT e WCT normalizzati per HepSpec-06 Migliorare la sezione “Ranking” (dati aggregati per utente) Produrre viste precomputate con dati di ultimo mese o ultima settimana Viste per gruppi di siti (ad es. eNMR) Interfaccia con la Programmatic Interface del GOC per prendere dati di DownTime e stato dei siti (attivi o non) Far fronte alle richieste di supporto, anche da altre NGI Adattare HLRmon all’uso del messaging per poter importare UR anche da infrastrutture di accounting che non siano esclusivamente basate su DGAS e renderlo quindi utilizzabile da parte di un numero crescente di NGI Adeguamento del tool ai prossimi sviluppi dell’accounting Manpower attuale: Enrico Fattibene CNAF (40%) Peter Solagna PD (40%)