Information Systems in TriGrid Fabio Scibilia INFN – Catania Catania, 14.03.2006

Information Systems nelle Griglie Computazionali Catania, Primo Grid Tutorial, 14.03.2006 2

Information System Cosa è Perché Come Il sistema che si occupa di raccogliere informazioni riguardo allo stato delle risorse di griglia Perché Per scoprire l’esistenza delle risorse di griglia e la loro natura Per ottenere importanti informazioni utili sulle quali basare le proprie scelte Per verificare lo stato di salute delle risorse Come Monitorando lo stato delle risorse in loco e pubblicando le opportune informazioni Adottando un modello dati riconosciuto da tutti i componenti della griglia Utilizzando differenti approcci che investigheremo nelle prossime slides Catania, Primo Grid Tutorial, 14.03.2006 3

Progetto dell’Information Systems Riguardo alle misure Devono essere sensate in relazione al contesto Devono essere sufficientemente accurate da poter essere considerate attendibili La frequenza di campionamento deve essere opportunamente legata alla velocità di variazione della variabile misurata Riguardo alla pubblicazione Come e ogni quanto pubblicare i valori misurati Dove pubblicare le informazioni Per quanto tempo devono essere mantenute Interrogazione dell’Information System Decidere chi è in grado di rispondere alle query Che tipo di sintassi e protocolli deve adottare Che tipo di modello di dati usare per descrivere le risorse Security Definizione del tipo di query che un utente può effettuare Definizione di chi è autorizzato a gestire i diritti di accesso Catania, Primo Grid Tutorial, 14.03.2006 4

Information Systems BDII (Berkley Database Information Index) E’ stato adottato all’interno del middleware LCG e LCG-2 E’ un evoluzione del Globus Meta Directory Service (MDS) Si basa su un sistema di server Light Direct Access Protocol (LDAP) Relational Grid Monitoring Architecture (R-GMA) E’ un’implementazione del Grid Monitoring Architecture (GMA) standardizzato dal Global Grid Forum (GGF) come modello di riferimento E’ una implementazione a tabelle (relational) Orientato ai Web Services Verrà adottato dalle prossime versioni di gLite Catania, Primo Grid Tutorial, 14.03.2006 5

Information Systems in LCG Catania, Primo Grid Tutorial, 14.03.2006 6

Information System in LCG LCG adotta una combinazione di soluzioni Globus MDS Al livello più basso dell’Information System Per identificare le risorse e pubblicare informazioni su di loro Per gestire le credenziali di griglia Per mettere in cache le informazioni raccolte BDII Al più alto livello dell’Information System Perché MDS presenta problemi di scalabilità Usato come fonte di informazioni per distribuire il carico Uno per ogni VO Interroga gli MDS sottostanti periodicamente Gerarchia delle informazioni Catania, Primo Grid Tutorial, 14.03.2006 7

Globus MDS (Il passato) Globus Meta Directory Service (MDS) Sistema di raccolta gerarchica basata su LDAP Le foglie dell’albero sono GRIS I nodi intermedi sono GIIS L’utente può interrogare l’albero a qualunque livello Più l’informazione è vicina alla radice e più è vecchia Grid Resource Information Service (GRIS) Uno per ogni risorsa (CE, SE) Colleziona informazioni statiche e dinamiche su quella risorsa Adotta tecniche per campionare l’informazione Grid Index Information Service (GIIS) Uno per ogni sito Colleziona e mette in cache informazioni dai GRIS sottostanti Interroga i sistemi GIIS e GRIS sottostanti periodicamente Possono essere presenti più livelli di GIIS Catania, Primo Grid Tutorial, 14.03.2006 8

BDII (Il presente) The Berkeley Database Information Index (BDII) Sviluppato nel contesto di LCG Risolve i problemi di scalabilità di MDS Sta sopra siti GIIS Una per ogni VO E’ centralizzato Base di informazioni per la distribuzione del carico Architettura Un GRIS per ogni risorsa Un GIIS per ogni sito Un BDII per ogni VO Due server LDAP: uno per la lettura e uno per la scrittura Ogni 2 minuti un cron-job esegue uno script che interroga i GIIS sottostanti La lista dei GIIS si trova in un file di configurazione Catania, Primo Grid Tutorial, 14.03.2006 9

R-GMA (Il futuro) Catania, Primo Grid Tutorial, 14.03.2006 10

Database Virtuale Il Relational Grid Monitoring Architecture (R-GMA) E’ una implementazione del Grid Monitoring Architecture (GMA) definito dal Global Grid Forum (GGF) Adotta un modello a database con tabelle e relazioni Le tabelle sono distribuite (virtual) L’accesso avviene tramite stringhe Standard Query Language (SQL) Implementa diversi tipi di query L’informazione Pubblicata e acceduta localmente al sito ove è stata prodotta Sempre quasi fresca Alcuni servizi possono fare da collettori di informazioni Catania, Primo Grid Tutorial, 14.03.2006 11

Servizi R-GMA Tre tipi di servizi Produttori Primary Producer: Produce e salva i record di tabella localmente Secondary Producer: Colleziona record di tabella prodotti da diversi Produttori e li concentra in un unico punto On Demand Producer: Produce record di tabella su richiesta in tempo reale interfacciandosi con un sistema esterno Un tipo di servizio Consumatore Consumer: Interroga il database virtuale per ottenere record di tabella Il Database Virtuale Registry: Contiene informazioni per associare le interrogazioni dei Consumer con i Producer capaci di rispondere Schema: Contiene gli schema che descrivono le tabelle virtuali Mediator: Associa le richieste fatte dai Consumer con i giusti Producer Catania, Primo Grid Tutorial, 14.03.2006 12

Tipi di Producer Primary Producer Secondary Producer Crea i record di tabella e li salva in uno storage locale Secondary Producer Colleziona record di tabella da altri Producer Salva I record in uno storage locale Viene visto dagli altri Producer come fosse un Consumer On Demand Producer Produce record di tabella su richiesta Ha associato un codice che genera I record in tempo reale Producer service tuples storage Consumer service queries tuples Secondary Producer tuples storage Consumer service queries tuples Producer On demand Producer Consumer service queries tuples Tuples generator code Catania, Primo Grid Tutorial, 14.03.2006 13

Registrazione come Producer di record Il Producer Chiama una primitiva declareTable dove dichiara la sua intenzione di pubblicare record per una data tabella Può associare una stringa predicate ove descrive una sorta di valori di default per i futuri record Il Mediator Riceve la richiesta Salva le informazioni nel Registry La stringa Predicate Descrive valori predefiniti per alcuni campi dei record che verranno pubblicati da questo Producer E’ formata da una serie di clausole AND Ho intenzione di pubblicare record nella tabella userTable con userId=10. Producer Table: userTable Producer: . . . Predicate: userId=10 Registry Catania, Primo Grid Tutorial, 14.03.2006 14

Inserimento di un nuovo record L’utente pubblica un nuovo record presso il proprio Producer INSERT INTO userTable (userId, aString, aReal) VALUES (10, ‘Jackson’, 1.3) Producer Il record rimane nella cache locale del Producer perchè il database è solo virtuale Tuples storage userId aString aReal 10 Jackson 1.3 Memory Database Catania, Primo Grid Tutorial, 14.03.2006 15

Interrogazione del database virtuale Registry Table: userTable Producer: . . . Predicate: userId = 10 Producer userIId aString aReal 10 Jackson 1.3 URL dei Producer Id aString aReal 10 Jackson 1.3 Dammi la lista dei Producer che pubblicano su userTable dove userID=10 Consumer SELECT * FROM userTable WHERE userId = 10 Catania, Primo Grid Tutorial, 14.03.2006 16

Type of Queries Continuous Latest History Static SQL Query Processor Crea uno o più canali (stream) dai Producer verso il Consumer Latest Per ottenere l’ultimo record in ordine cronologico pubblicato da un Producer Il Producer specifica un Latest Retention Period (LRP) come tempo di vita del record Ogni nuovo record viene pubblicato in un Latest Tuples Store History Per ottenere tutti I record che sono più giovani di un History Retention Period (HRP) I record sono pubblicati in un Latest Tuples Store Static Supportato solo dagli On-Demand Producer Per rendere storage non di tipo R-GMA accessibili da R-GMA continuous History Tuples Store query history SQL Query Processor insert tuples Latest Tuples Store latest Catania, Primo Grid Tutorial, 14.03.2006 17

Continuous Query Funzionamento Durata del canale Un Consumer chiede al Registry, e ottiene, la lista dei Producer capaci di rispondere ad una determinata query Il Consumer si registra presso questi Producer specificando la query Il Consumer apre un canale sicuro dedicato con ognuno di questi Producer Ogni volta che un nuovo record è prodotto da uno di questi Producer, quel record viene inviato lungo il canale dedicato Il Registry tiene traccia della richiesta de Consumer e lo avvisa nel caso in cui un nuovo Producer è capace di soddisfare la query Durata del canale Un parametro temporale definisce quanto a lungo il canale deve restare aperto Periodicamente il registry verifica che il Consumer sia ancora vivo inviando dei semplici segnali di keep-alive Catania, Primo Grid Tutorial, 14.03.2006 18

Continuous Queries P2 Registry P1 Consumer subscribe Canali TLS/SSL P1 Table: userTable Producer: . . . Predicate: userId = 10 Consumer P1, P2 SELECT * FROM userTable WHERE userId = 10. Query = CONTINUOUS SELECT * FROM userTable WHERE userId = 10. Query = continuous Periodicamente: ancora vivo ? Catania, Primo Grid Tutorial, 14.03.2006 19

Security in R-GMA Security della rete Autenticazione Autorizzazione Tutte le comunicazioni sono basate su canali SSL criptati Un punto debole: I Producer On-Demand non danno garanzie sulle tecniche di gestione della sicurezza adottate Autenticazione Certificati X509 Mutua autenticazione Autorizzazione Credenziali estratte dai certificati Adozione dei servizi VOMS Proprietà Una infrastruttura R-GMA per ogni VO Un amministratore del database virtuale che gestisce i diritti degli utenti Catania, Primo Grid Tutorial, 14.03.2006 20

GLUE Schema Catania, Primo Grid Tutorial, 14.03.2006 21

GLUE Schema Grid Laboratory Uniform Environment (GLUE) Schema E’ un modello dati per descrivere le risorse di griglia Mantiene informazioni di tipo sia statico sia dinamico Nato dalla collaborazione incrociata dei progetti EU-DataTag e iVDGL EGEE, NorduGrid, LCG e Grid3/OSG hanno contribuito a definire lo schema XML Schema Adesso, GLUE Schema sta per migrare verso XML http://infnforge.cnaf.infn.it/glueinfomodel/Spec/V12/R1 Catania, Primo Grid Tutorial, 14.03.2006 22

Elemento Site Catania, Primo Grid Tutorial, 14.03.2006 23

Elemento Cluster Catania, Primo Grid Tutorial, 14.03.2006 24

Elemento ComputingElement Catania, Primo Grid Tutorial, 14.03.2006 25

Comandi LCG Catania, Primo Grid Tutorial, 14.03.2006 26

Comandi LCG lcg-infosites Per ottenere facilmente informazioni sullo stato delle risorse di griglia lcg-info Per ottenere informazioni sulle risorse di griglia che soddisfano determinati requisiti e visualizzare su schermo determinati attributi Catania, Primo Grid Tutorial, 14.03.2006 27

lcg-infosites lcg-infosites --vo voname [option(s)] [-v] [-h| --help] [--is BDII] --vo Il nome dell’organizzazione virtuale -v Verbosità -h, --h Visualizza l’help del comando --is Indirizzo del BDII al quale connettersi Catania, Primo Grid Tutorial, 14.03.2006 28

Interrogazione con lcg-infosites ce Informazione relative ai CE e al numero di CPU, job in esecuzione e in attesa. Con “-v 1” solo i nomi delle code verranno visualizzate, mentre con “-v 2” anche informazioni quali sistema operativo adottato, quantità di RAM disponibile e altro vengono visualizzate se I nomi degli Storage Elementi (SE) supportati dalla VO dell’utente insieme a informazioni sul tipo di Storage System locale, lo spazio usato e quello ancora disponibile closeSE I nomi degli CE in cui la VO dell’utente può eseguire i propri job e, per ognuno di questi CE, la lista di SE chiusi rispetto a quel CE lfc Nome del catalogo LFC per quell’utente tag Nomi dei tag relativi ai software installati con i corrispondenti CE in cui sono installati all Raggruppa insieme le informazioni ottenibili con le options precedenti Catania, Primo Grid Tutorial, 14.03.2006 29

Lista dei CE di Gilda (i) $ lcg-infosites --vo gilda ce **************************************************************** These are the related data for gilda: (in terms of queues and CPUs) #CPU Free Total Jobs Running Waiting ComputingElement ---------------------------------------------------------- 6 6 0 0 0 grid004.iucc.ac.il:2119/jobmanager-lcgpbs-long 10 10 0 0 0 dgt01.ui.savba.sk:2119/jobmanager-lcgpbs-long 6 6 0 0 0 grid004.iucc.ac.il:2119/jobmanager-lcgpbs-short 10 10 0 0 0 dgt01.ui.savba.sk:2119/jobmanager-lcgpbs-short 2 2 0 0 0 trigrid-ce00.unime.it:2119/jobmanager-lcgpbs-long 18 18 0 0 0 grid010.ct.infn.it:2119/jobmanager-lcgpbs-long 10 10 0 0 0 grid011f.cnaf.infn.it:2119/jobmanager-lcgpbs-long 2 2 0 0 0 trigrid-ce00.unime.it:2119/jobmanager-lcgpbs-short 6 6 0 0 0 grid004.iucc.ac.il:2119/jobmanager-lcgpbs-infinite 12 12 0 0 0 grid006.cecalc.ula.ve:2119/jobmanager-lcgpbs-long 18 18 0 0 0 grid010.ct.infn.it:2119/jobmanager-lcgpbs-short 10 10 0 0 0 grid011f.cnaf.infn.it:2119/jobmanager-lcgpbs-short . . . Catania, Primo Grid Tutorial, 14.03.2006 30

Lista dei CE di Gilda (ii) $ lcg-infosites --vo gilda ce -v 2 ************************************************************** These are the related data for gilda: (in terms of CEs) RAMMemory Oper.System System Ver Processor CE Name -------------------------------------------------------------------- 1024 SLC 3 P4 dgt01.ui.savba.sk 917 SLC 3 PIII gilda-ce-01.pd.infn.it 1024 SLC 3 Athlon gildace.oact.inaf.it 1024 SLC 3 xeon grid-ce.bio.dist.unige.it 256 SLC 3 PIII grid004.iucc.ac.il Catania, Primo Grid Tutorial, 14.03.2006 31

Lista degli SE $ lcg-infosites --vo gilda se ************************************************************** These are the related data for gilda: (in terms of SE) Avail Space(Kb) Used Space(Kb) Type SEs ---------------------------------------------------------- 912338728 68688 grid005.iucc.ac.il 28502732 1831832 dgt02.ui.savba.sk 137420000 12840000 egee016.cnaf.infn.it 13340000 21370000 lxcde07.pd.infn.it 67901812 3144804 trigrid-ce01.unime.it 130085840 157191768 grid009.ct.infn.it 2940000000 910000000 aliserv6.ct.infn.it . . . Catania, Primo Grid Tutorial, 14.03.2006 32

Lista degli SE chiusi $ lcg-infosites --vo gilda closeSE Name of the CE: grid004.iucc.ac.il:2119/jobmanager-lcgpbs-long Name of the close SE: grid005.iucc.ac.il Name of the CE: dgt01.ui.savba.sk:2119/jobmanager-lcgpbs-long Name of the close SE: dgt02.ui.savba.sk Name of the CE: grid004.iucc.ac.il:2119/jobmanager-lcgpbs-short Name of the CE: dgt01.ui.savba.sk:2119/jobmanager-lcgpbs-short . . . Catania, Primo Grid Tutorial, 14.03.2006 33

Lista dei tag installati $ lcg-infosites --vo gilda tag ************************************************************** Information for gilda relative to their software tags included in each CE Name of the CE:dgt01.ui.savba.sk Name of the CE:grid004.iucc.ac.il Name of the TAG: VO-gilda-slc3_ia32_gcc323 Name of the TAG: VO-gilda-CMKIN_5_1_1 Name of the TAG: VO-gilda-GKS05 Name of the CE:gildace.oact.inaf.it . . . Catania, Primo Grid Tutorial, 14.03.2006 34

lcg-info Permette di interrogare l’Information System in modo più dettagliato Per ottenere una lista di CE o di SE che soddisfino una condizione dettata dall’utente L’utente specifica una query del tipo AttrN è il nome di un attributo op è uno tra =, <=, >= I singoli termini sono separati da virgole I vari termini sono ANDed attr1 op1 valueN, ... attrN opN valueN Catania, Primo Grid Tutorial, 14.03.2006 35

lcg-info usage Utilizzo lcg-info --list-ce [--bdii bdii] [--vo vo] [--sed] [--query query] [--attrs list] lcg-info --list-se [--bdii bdii] [--vo vo] [--sed] [--query query] [--attrs list] lcg-info --list-attrs lcg-info --help

opzioni di lcg-info --list-attrs Visualizza una lista di attributi che possono essere utilizzati nella query --list-ce Visualizza la lista dei CE che soddisfano una determinata query --list-se Visualizza la lista degli SE che soddisfano una determinata query --query Specifica quale query i CE/SE devono soddisfare. Se nessuna query è specificata tutti i CE/SE vengono visualizzati --bdii Specifica l’Information System da interrogare, altrimenti usa quello di default --sed Visualizza l’output in String Editor (sed) format --attrs Seleziona gli attributi di cui si vuole visualizzare il valore --vo Restrige la query a quegli CE/SE autorizzati dalla VO passata come paramuetro. Obbligatoria quando si vogliono ottenere valori di attributi dipendenti da quella VO Catania, Primo Grid Tutorial, 14.03.2006 37

Lista degli attributi $ lcg-info --list-attrs Attribute name Glue object class Glue attribute name MaxTime GlueCE GlueCEPolicyMaxWallClockTime CEStatus GlueCE GlueCEStateStatus TotalJobs GlueCE GlueCEStateTotalJobs CEVOs GlueCE GlueCEAccessControlBaseRule TotalCPUs GlueCE GlueCEInfoTotalCPUs FreeCPUs GlueCE GlueCEStateFreeCPUs CE GlueCE GlueCEUniqueID WaitingJobs GlueCE GlueCEStateWaitingJobs RunningJobs GlueCE GlueCEStateRunningJobs CloseCE GlueCESEBindGroup GlueCESEBindGroupCEUniqueID CloseSE GlueCESEBindGroup GlueCESEBindGroupSEUniqueID SEVOs GlueSA GlueSAAccessControlBaseRule UsedSpace GlueSA GlueSAStateUsedSpace AvailableSpace GlueSA GlueSAStateAvailableSpace Type GlueSE GlueSEType SE GlueSE GlueSEUniqueID Protocol GlueSEAccessProtocol GlueSEAccessProtocolType ArchType GlueSL GlueSLArchitectureType . . . Catania, Primo Grid Tutorial, 14.03.2006 38

Esempio di query $ lcg-info --list-ce --query “TotalCPUs=10” --attrs “FreeCPUs” - CE: dgt01.ui.savba.sk:2119/jobmanager-lcgpbs-long - TotalCPUs 10 - CE: dgt01.ui.savba.sk:2119/jobmanager-lcgpbs-short - CE: grid011f.cnaf.infn.it:2119/jobmanager-lcgpbs-long - CE: grid011f.cnaf.infn.it:2119/jobmanager-lcgpbs-short - CE: dgt01.ui.savba.sk:2119/jobmanager-lcgpbs-infinite - CE: gilda-ce-01.pd.infn.it:2119/jobmanager-lcgpbs-cert . . . Catania, Primo Grid Tutorial, 14.03.2006 39

Lista dei tag di un CE $ lcg-info --list-ce --query "CE=*grid004.iucc.ac.il*" --attrs "Tag" - Tag LCG-2 LCG-2_1_0 LCG-2_1_1 LCG-2_2_0 LCG-2_3_0 LCG-2_3_1 LCG-2_4_0 LCG-2_6_0 R-GMA AFS CMS-1.1.0 ATLAS-6.0.4 GATE-1.0.0-3 LHCb-1.1.1 IDL-5.4 CMSIM-125 ALICE-4.01.00 ALIEN-1.32.14 POVRAY-3.5 Catania, Primo Grid Tutorial, 14.03.2006 40

Lista CE con uno specifico software $ lcg-info --list-ce --query “Tag=*MPI*” --attrs “CE” - CE: grid004.iucc.ac.il:2119/jobmanager-lcgpbs-long - CE grid004.iucc.ac.il:2119/jobmanager-lcgpbs-long - CE: dgt01.ui.savba.sk:2119/jobmanager-lcgpbs-long - CE dgt01.ui.savba.sk:2119/jobmanager-lcgpbs-long - CE: grid004.iucc.ac.il:2119/jobmanager-lcgpbs-short - CE grid004.iucc.ac.il:2119/jobmanager-lcgpbs-short - CE: dgt01.ui.savba.sk:2119/jobmanager-lcgpbs-short - CE dgt01.ui.savba.sk:2119/jobmanager-lcgpbs-short - CE: trigrid-ce00.unime.it:2119/jobmanager-lcgpbs-long - CE trigrid-ce00.unime.it:2119/jobmanager-lcgpbs-long - CE: grid010.ct.infn.it:2119/jobmanager-lcgpbs-long - CE grid010.ct.infn.it:2119/jobmanager-lcgpbs-long . . . Catania, Primo Grid Tutorial, 14.03.2006 41

Fine ? Catania, Primo Grid Tutorial, 14.03.2006 42