Consorzio COMETA - Progetto PI2S2 UNIONE EUROPEA SAGE – Un sistema per l’accounting dello storage in gLite Fabio Scibilia Consorzio COMETA 19 Nov. 2008

Video conferenza su accounting, Preliminari SAGE –Storage Accounting for Grid Environments –Misura la quantità di risorsa disco usata dagli utenti –Tiene traccia degli accessi ai file di griglia –E’ una soluzione ed un software –Architettura a plug-in per essere estesa su sistemi di storage diversi –Plug-in attualmente disponibili per SE di tipo DPM Sight – on – SAGE –Usa le informazioni raccolte dai vari sistemi SAGE sugli SE –Web reporting relativo all’uso delle risorse –Visualizzazione dello stato dei pool –Diversi profili di utenza –Intervento minimo dell’amministratore di sistema

Video conferenza su accounting, Disk usage Analogia con il consumo di energia elettrica –Integrale della potenza (kw) lungo il tempo (ore) –Il consumo viene letto periodicamente da operatori Considera lo spazio e il tempo consumati da un singolo file –Integrale della dimensione (MBytes) lungo il tempo (ore) –Si misura in MBytes * hours –Il consumo di ogni file viene campionato periodicamente Funzione lineare –spaziale: il disk usage di più file è la somma dei disk usage dei singoli file –temporale: il disk usage su periodi contigui è la somma del disk usage sui singoli periodi Facile da valutare –E’ la somma di superfici di rettangoli –I fronti dei rettangoli si determinano intercettando gli accessi in modifica ai file

Video conferenza su accounting, Accounting Accountable disk usage –E’ il reale disk usage consumato da un file –In figura a) coincide con la superficie grigia Accounting time –E’ il tempo in cui è stato possibile per SAGE fare accounting –Coincide con il tempo in cui l’agent è attivo –In figura b) è la somma dei due intervalli di tempo (40% + 20% = 60% del tempo) Accounted Disk Usage –E’ il disk usage valutato lungo nei periodi in cui è stato possibile fare accounting. –In figura c) è l’intersezione dell’area in figura a) con gli intervalli di tempo in figura b) Campionamento –Ogni mezzanotte (GMT 0) il sistema campiona il disk usage parziale di ogni file –Questi valori sono quelli usati per i report –La differenza tra due campioni successivi è il consumo in quel dato giorno

Video conferenza su accounting, Architettura sage agent (uno per disk server) –All’avvio scansiona la partizione di DPM –Poi intercetta tutti gli eventi sui file di log –Genera e incoda messaggi grezzi in attesa di inviarli al server –I parser sono plug-in (quindi estendibili) sage server (uno per SE) –Accetta le connessioni dagli agent –Processa i messaggi grezzi e li trasforma in info per il database –Effettua le operazioni di accounting periodicamente –Tramite plug-in, si interfaccia con l’MSS locale (attualmente plug-in per DPM) sos probe (uno per SE) –Indipendente dal tipo di SE cui fa riferimento –Genera report on demand accedendo al database di quel pool Sight-on-SAGE (uno per e-Infrastruttura) –Interfaccia per il web reporting –Riconoscimento dei profili utente (admin, Vo-admin, SE-admin, AuthN user, anonymous)

Video conferenza su accounting, Sight-on-SAGE: web reporting Disk usage reporting –Disk usage dettagliato per: storage, vo, user, file, giorno (5 livelli annidamento) –I vari livelli di annidamento possono essere navigati in funzione del proprio profilo utente Status reporting –Dimensione corrente dei vari file di griglia attualmente presenti su disco File Browsing –Gli utenti possono navigare i loro file e vedere quanto hanno consumato attualmente Activity Reports –Reporting sugli accessi ai file –Consentito solo ai legittimi proprietari dei file Pool reporting –Verifica da web dello stato di esecuzioni dei servizi di SAGE –Consentito solo agli amministratori degli SE

Video conferenza su accounting, Sight-on-SAGE: profili utente Anonimo: –Non ha un certificato valido –Può visitare solo le pagine pubbliche e statiche del sito Utente di griglia –Ha un certificato valido –Può generare report con il massivo livello di dettaglio sui propri file. Amministratore di Storage –Ha un certificato valido ed è registrato presso i sos-probe degli storage che amministra –Report di Usage status dettagliati sulle VO Amministratore di VO –Ha un certificato valido ed ha ruolo di VO-Admin nel corrispondente VOMS –Report di usage, status relativamente alla propria VO su tutti gli utenti membri Amministratore web –Ha un certificato registrato presso i file di config del web –Niente report. Solo debug e status di salute dei servizi di SAGE Open issues –Responsabile di griglia (Open issue)  Metodo per identificarlo ???  Dettagli dei report ??? –Configurabilità del web rispetto all’infrastruttura  Fogli di stile  Mappa del web ...

Video conferenza su accounting, Web reporting: un esempio Storage per i quali io sono responsabile Questo menù è visibile solo agli utenti che sono amministratori per qualche storage Dettagli relativi allo storage unime-se- 01.me.pi2s2.it Dettagli relativi ai singoli utenti Disk usage ai vari livelli di dettaglio Dettagli relativi alla VO COMETA Storage che voglio interrogare Intervallo temporale di interesse Dettagliami sugli utenti Cumultativo per tutti gli storage (in fondo alla pagina)

Video conferenza su accounting, Domande