HLRmon: visualizzazione di dati di accounting E.Fattibene1, T.Ferrari1, P.Solagna2 1INFN CNAF, 2INFN Padova Workshop MW INFN - 27 Gennaio 2010

Indice Introduzione Nuova versione del portale classico Pagine con viste per discipline Portale per WLCG Livello di maturita’ Piani di sviluppo

Sviluppato all’INFN da circa 3 anni 2 portali sviluppati Introduzione HLRmon: https://dgas.cnaf.infn.it/ (previa registrazione del certificato personale nel browser) Sviluppato all’INFN da circa 3 anni 2 portali sviluppati Portale classico con dati relativi a tutti i siti che pubblicano su un certo HLR Nuova versione in produzione da ieri su istanza Grid italiana Portale per WLCG con report su dati aggregati di accounting (CPU e storage) relativi ai T1/T2 INFN e alle VO LHC

Tipologia e percorso dei dati Usage record aggregati per campi non soggetti a privacy presi da HLR secondo livello via query mysql Sezione pubblica: visibile da tutti Usage record aggregati per utente presi con query runtime all’HLR Sezione ad accesso riservato: visibile solo a utenti registrati ed autorizzati Database mysql su server HLRmon Aggregazione dati con PHP Generazione grafici con JPGraph Generazione pagine Web con Smarty template engine

Portale classico Nuova versione della sezione pubblica in produzione Tolta la restrizione di accesso a questa sezione (rimane solo per i dati dei singoli utenti Grid) Aumentata velocita’ di accesso ai report Grafici divisi in 6 set: CPU e Wall Clock Time (in giorni e normalizzati per KSI2K) numero di job eseguiti efficienza dei job in termini di rapporto tra CPU Time e Wall Time Dati aggregati per: Sito VO Ruolo VOMS CA Tipo di job (Grid o locale)

Viste per discipline VO raggruppate per disciplina Mapping preso ogni giorno dal CIC portal Dati aggregati per VO e CA Prossimo passo: validare i dati per poi mettere a disposizione di tutti la funzionalità https://dgas.cnaf.infn.it/hlrmon_dev/report/discipline_stats.php

Portale per WLGC Su richiesta dei referee INFN-Grid è nata una versione ad hoc del tool in grado di: fornire “viste” specifiche per WLCG, con raggruppamenti dei dati di accounting per sito e per VO, per una visione complessiva di tipo comparativo delle attività WLCG a livello italiano visualizzare i livelli di efficienza dei job presso i Tier1 e Tier2, a scopo comparativo visualizzare l’uso delle risorse di calcolo e di storage dei Tier1/Tier2 INFN da parte degli esperimenti LHC

Risorse di Calcolo Vengono generati report mensili e annuali Le grandezze graficate sono: CPU e Wall Clock Time (in giorni e normalizzati per KSI2K e HepSpec-06) numero di job eseguiti efficienza in termini di rapporto tra CPU Time e Wall Time I livelli di utilizzo sono graficamente confrontati con l’ammontare di risorse WLCG “pledged” in ogni sito Oltre ai dati degli esperimenti WLCG e ai job di tipo “Grid”, HLRmon riporta per ogni sito anche le statistiche di utilizzo degli esperimenti non-WLCG e dei job computazioni sottomessi in modalità locale

Risorse di Storage Per ogni sito, HLRmon grafica l’occupazione dello spazio storage (disponibile sui nodi accessibili via interfaccia SRM) da parte degli esperimenti LHC e lo confronta allo spazio totale disponibile Per ogni esperimento e per ogni Storage Area, è mostrata la frazione di spazio storage utilizzata

Valore aggiunto Possibilità di visualizzare dati aggregati a diversi livelli, soprattutto CA, ruoli VOMS, tipi di job (Grid o locali) Elevato grado di personalizzazione delle informazioni visualizzate Vista per WLCG che integra dati pubblicati nel sistema informativo Personalizzabile per un gruppo di siti e di VO a scelta Possibilità di normalizzare CPU e Wall time sia per KSI2K che per HepSpec-06 e in futuro altri benchmark Raccolta e visualizzazione di dati di storage accounting Pronto per utilizzo su Grid nazionali

Livello di maturita’ Utilizzazione portale classico Istanza per ROC italiano, usato come strumento di visualizzazione dei dati di DGAS Stessa istanza utilizzata anche per il progetto eNMR e (in passato) EUAsiaGrid Istanza installata in Germania per alcuni siti DGrid, diventerà il portale di accounting della NGI tedesca Instanza installata a Creta per valutare utilizzo di DGAS+HLRmon per HellasGrid (NGI greca) Utilizzazione portale WLCG Viste utilizzate dai referee INFNGrid da inizio 2009 Diverse campagne di validazione dati da parte dei site admin dei T1/T2 INFN RPM nuova versione portale classico in arrivo Terza major release del portale classico Dati utilizzati per indagini ad hoc Strumento stabile e funzionale per visualizzazione dati presi da DGAS

Piano di sviluppo Portare in produzione i grafici aggregati per disciplina Generare grafici con CPT e WCT normalizzati per HepSpec-06 Migliorare la sezione “Ranking” (dati aggregati per utente) Produrre viste precomputate con dati di ultimo mese o ultima settimana Viste per gruppi di siti (ad es. eNMR) Interfaccia con la Programmatic Interface del GOC per prendere dati di DownTime e stato dei siti (attivi o non) Far fronte alle richieste di supporto, anche da altre NGI Adattare HLRmon all’uso del messaging per poter importare UR anche da infrastrutture di accounting che non siano esclusivamente basate su DGAS e renderlo quindi utilizzabile da parte di un numero crescente di NGI Adeguamento del tool ai prossimi sviluppi dell’accounting Manpower attuale: Enrico Fattibene CNAF (40%) Peter Solagna PD (40%)