SAGE – Un sistema per l’accounting dello storage in gLite Fabio Scibilia Consorzio COMETA 04/07/2008

Preliminari SAGE Sight – on – SAGE Storage Accounting for Grid Environments Misura la quantità di risorsa disco usata dagli utenti Tiene traccia degli accessi ai file di griglia E’ una soluzione oltre che un software Implementato per SE su DPM, ma facilmente estendibile ad altri sistemi con un’opera di reingegnerizzazione Sight – on – SAGE Usa le informazioni raccolte dai vari sistemi SAGE dispersi sugli SE Web reporting relativo all’uso delle risorse Visualizzazione dello stato dei pool Diversi profili di utenza Intervento minimo dell’amministratore di sistema Catania, Incontro PON, 04-07.2008

Disk usage Analogia con il consumo di energia elettrica integrale della potenza (kw) lungo il tempo (ore) Il consumo viene letto periodicamente da operatori Considera lo spazio e il tempo consumati da un singolo file Integrale della dimensione (MBytes) lungo il tempo (ore) Il consumo di ogni file viene campionato periodicamente Si misura in MBytes * hours Funzione lineare il disk usage di più file è la somma dei disk usage dei file presi singolarmente Facile da valutare è la somma di superfici di rettangoli Le verticali dei rettangoli si determinano intercettando gli accessi in modifica ai file Catania, Incontro PON, 04-07.2008

Accounting Accountable disk usage Accounting time Accounted Disk Usage E’ il reale disk usage consumato da un dato file In figura a) coincide con la superficie grigia Accounting time E’ il tempo in cui è stato possibile per SAGE fare accounting Coincide con il tempo in cui l’agent è attivo In figura b) è la somma dei due intervalli di tempo (40% + 20% = 60% del tempo) Accounted Disk Usage E’ il disk usage valutato lungo il tempo di accounting. In figura c) è l’intersezione dell’area in figura a) con gli intervalli di tempo in figura b) Database Ogni mezzanotte (GMT 0) il sistema campiona il disk usage di ogni file da quando questi esiste Questi valori sono quelli usati poi per i report La differenza tra due campioni successivi è il consumo in quel dato giorno Catania, Incontro PON, 04-07.2008

Architettura sage agent sage server sos probe Sight-on-SAGE (SoS) Uno per ogni disk server di DPM All’avvio scansiona la partizione di DPM Poi intercetta tutti gli eventi sui file di log Genera e incoda messaggi grezzi in attesa di inviarli al server sage server Uno per ogni pool di DPM Attende le connessioni dagli agent Processa i messaggi grezzi e li trasforma in info per il database Effettua le operazioni di accounting periodicamente Si interfaccia con DPM sos probe Uno per ogni pool DPM Genera report on demand accedendo al database di quel pool Sight-on-SAGE (SoS) Interfaccia per il web reporting Un sito web per ogni infrastruttura Catania, Incontro PON, 04-07.2008

Sight-on-SAGE: web reporting Disk usage reporting Disk usage dettagliato per: storage, vo, user, file, giorno (5 livelli annidamento) I vari livelli di annidamento possono essere navigati in funzione del proprio profilo utente Status reporting Dimensione dei vari file di griglia attualmente presenti su disco File Browsing Gli utenti possono navigare i loro file e vedere quanto hanno consumato attualmente Activity Reports Accessi ai singoli file e relativi dati Consentito solo ai legittimi proprietari dei file Pool reporting Verifica da web dello stato di esecuzioni dei servizi di SAGE Catania, Incontro PON, 04-07.2008

Sight-on-SAGE: profili utente Anonimo: Non ha un certificato valido Può visitare solo le pagine pubbliche e statiche del sito Utente di griglia Ha un certificato valido Può generare report con il massivo livello di dettaglio sui propri file. Amministratore di Storage Ha un certificato valido ed è registrato presso i sos-probe degli storage che amministra Report di Usage status dettagliati sulle VO Amministratore di VO Ha un certificato valido ed ha ruolo di VO-Admin nel corrispondente VOMS Report di usage, status relativamente alla propria VO su tutti gli utenti membri Amministratore web Ha un certificato registrato presso i file di config del web Niente report. Solo debug e status di salute dei servizi di SAGE Responsabile di griglia (???) Metodo per identificarlo ??? Dettagli dei report ??? Open issue Catania, Incontro PON, 04-07.2008

Web reporting: un esempio Storage per i quali io sono responsabile Questo menù è visibile solo agli utenti che sono amministratori per qualche storage Storage che voglio interrogare Intervallo temporale di interesse Disk usage ai vari livelli di dettaglio Dettagliami sugli utenti Dettagli relativi allo storage unime-se-01.me.pi2s2.it Dettagli relativi alla VO COMETA Dettagli relativi ai singoli utenti Cumultativo per tutti gli storage (in fondo alla pagina) Catania, Incontro PON, 04-07.2008

Packaging Preliminari Disk server di DPM Head Node DPM Sight-on-SAGE aggiungere la riga rpm http://grid018.ct.infn.it rep/cometa-i386 app nel file /etc/apt/sources.list.d/cometa.list (se non esiste crearlo) apt-get update prima di qualunque installazione Disk server di DPM apt-get install sage-agent Eseguire lo script così come consigliato Head Node DPM apt-get install sage-server apt-get install sos-probe Eseguire gli script così come consigliato Sight-on-SAGE Installare Tomcat con java 1.4 o superiori Distribuito tramite file .WAR Attualmente non pubblicato in repository perché soggetto a variazioni Catania, Incontro PON, 04-07.2008

Domande ? Catania, Incontro PON, 04-07.2008