Metriche SE monitoring G.Donvito G.Cuscela INFN Bari

Presentazione sul tema: "Metriche SE monitoring G.Donvito G.Cuscela INFN Bari"— Transcript della presentazione:

1 Metriche SE monitoring G.Donvito G.Cuscela INFN Bari
Metriche SE monitoring G.Donvito G.Cuscela INFN Bari EGEE is a project funded by the European Union under contract IST

2 Stato attuale Informazioni presenti nel GLUE Schema 1.2
Storage Element (SizeTotal,SizeFree…) Policy (MinFileSize,MaxFileSize…) State (UsedSpace,AvailableSpace…) Access Protocol (Type,Endpoint,Port…) Control Protocol (Type,Endpoint,Version…) Riunione Storage, 21/03/

3 Nuove metriche Tipo di operazione File trasferiti Host coinvolti Tempi
Read o Write Protocollo di accesso Accesso locale/remoto File trasferiti Filename (Full path) Byte transferred Streams number Exit_status Host coinvolti Source machine Dest machine Submit machine Tempi Start (local time) End (local time) Duration Shift (UTC) Info utenti Local user VO DN (write operation) DN (read operation) Riunione Storage, 21/03/

4 Storage services Differenti tipi di storage service (Castor,DPM,dCache…) Differenti livelli di dettaglio delle informazioni raccolte Necessità di creare un aggregato dei dati Invio delle informazioni aggregate a GridICE Riunione Storage, 21/03/

5 Raccolta e presentazione dei dati
Presentazione dati DB per raccolta dati GridICE server GLUE Schema 1.2 GridICE collector Sonda per la lettura del DB Server centrale Storage servers Sensori per retrieving e invio dei dati Riunione Storage, 21/03/

6 Raccolta e presentazione dei dati
Riunione Storage, 21/03/

7 Features Informazione aggregata e generale per GridICE con possibilità di selezionare i dati per: dominio (sito) VO Tipo di operazione (read o write) Dettaglio completo a livello locale Il tool consente agli amministratori di un sito di visualizzare tutte le informazioni sui trasferimenti (chi,quando,quanto…) host (source , destination) individuazione di eventuali punti di failure (host,canali,protocolli...) DN degli utenti che scrivono (e leggono i dati su storage) Riunione Storage, 21/03/

8 Stato dell’arte Stato avanzato per il monitoring dei trasferimenti su Castor Raccolta dei dati dal globus-gridftp.log Invio a un server centrale su DB Postgres Matching con il log messages per il retrieving del DN (per le scritture dei file) Studiato lo use case “dCache” Elevato livello di dettaglio Analisi del “billing” log per le info sui trasferimenti Studio della possibilità di sfruttare API e funzioni di dCache In fase di analisi altri storage service (DPM…) Riunione Storage, 21/03/

9 Overview dei vari SE SRM: Classic SE
Unica macchina Log uguali al SE Castor Supporta accessi RFIO e GRIDFTP Riunione Storage, 21/03/

10 Overview dei vari SE SRM: CASTOR
Log degli accessi “distribuiti” fra i vari pool Log di Gridftp non molto “user-friendly” Log di RFIO ben dettagliato E’ necessario usare informazioni presenti nel “messages” per avere tutti i dettagli L’incrocio delle informazioni è piuttosto complicato Riunione Storage, 21/03/

11 Overview dei vari SE SRM: dCache
Log di “accounting” centralizzato non molto “user-friendly” Alcune informazioni disponibili solo sulle porte che espongono i servizi (SRM, ecc): Certificato utente per i trasferimenti SRM Possibilità di usare un DB per scrivere i log di accounting: Facilita notevolmente il recupero delle informazioni Non è necessario usare log di sistema Il log del billing è diverso per le ultime due “major version” Noi supporteremo solo l’ultima versione Riunione Storage, 21/03/

12 Overview dei vari SE SRM: DPM
Log degli accessi “distribuiti” fra i vari pool Log di gridftp uguale a quello di CASTOR Log di RFIO più dettagliato di quello di CASTOR Fornisce indicazione sul certificato dell’utente che ha effettuato l’accesso Riunione Storage, 21/03/

13 GridView: overview Riunione Storage, 21/03/

14 GridView: Caratteristiche e differenze
Usa RGMA per trasportare le informazioni Le informazioni sono aggregate a livello di grid e poi graficate Ci sono solo informazioni generiche con basso livello di dettaglio Non è possibile decidere quali informazioni pubblicare o meno all’esterno E’ installato insieme al middleware di LCG Supporto per: Classic SE Castor SE DPM SE Lavori in corso per dCache SE Riunione Storage, 21/03/

15 References “GLUE Schema Specification version 1.2 Final Specification - 3 Dec '05” (pagina di test) Riunione Storage, 21/03/