Information Systems in TriGrid

Presentazione sul tema: "Information Systems in TriGrid"— Transcript della presentazione:

1 Information Systems in TriGrid
Fabio Scibilia INFN – Catania Catania,

2 Information Systems nelle Griglie Computazionali
Catania, Primo Grid Tutorial,

3 Information System Cosa è Perché Come
Il sistema che si occupa di raccogliere informazioni riguardo allo stato delle risorse di griglia Perché Per scoprire l’esistenza delle risorse di griglia e la loro natura Per ottenere importanti informazioni utili sulle quali basare le proprie scelte Per verificare lo stato di salute delle risorse Come Monitorando lo stato delle risorse in loco e pubblicando le opportune informazioni Adottando un modello dati riconosciuto da tutti i componenti della griglia Utilizzando differenti approcci che investigheremo nelle prossime slides Catania, Primo Grid Tutorial,

4 Progetto dell’Information Systems
Riguardo alle misure Devono essere sensate in relazione al contesto Devono essere sufficientemente accurate da poter essere considerate attendibili La frequenza di campionamento deve essere opportunamente legata alla velocità di variazione della variabile misurata Riguardo alla pubblicazione Come e ogni quanto pubblicare i valori misurati Dove pubblicare le informazioni Per quanto tempo devono essere mantenute Interrogazione dell’Information System Decidere chi è in grado di rispondere alle query Che tipo di sintassi e protocolli deve adottare Che tipo di modello di dati usare per descrivere le risorse Security Definizione del tipo di query che un utente può effettuare Definizione di chi è autorizzato a gestire i diritti di accesso Catania, Primo Grid Tutorial,

5 Information Systems BDII (Berkley Database Information Index)
E’ stato adottato all’interno del middleware LCG e LCG-2 E’ un evoluzione del Globus Meta Directory Service (MDS) Si basa su un sistema di server Light Direct Access Protocol (LDAP) Relational Grid Monitoring Architecture (R-GMA) E’ un’implementazione del Grid Monitoring Architecture (GMA) standardizzato dal Global Grid Forum (GGF) come modello di riferimento E’ una implementazione a tabelle (relational) Orientato ai Web Services Verrà adottato dalle prossime versioni di gLite Catania, Primo Grid Tutorial,

6 Information Systems in LCG
Catania, Primo Grid Tutorial,

7 Information System in LCG
LCG adotta una combinazione di soluzioni Globus MDS Al livello più basso dell’Information System Per identificare le risorse e pubblicare informazioni su di loro Per gestire le credenziali di griglia Per mettere in cache le informazioni raccolte BDII Al più alto livello dell’Information System Perché MDS presenta problemi di scalabilità Usato come fonte di informazioni per distribuire il carico Uno per ogni VO Interroga gli MDS sottostanti periodicamente Gerarchia delle informazioni Catania, Primo Grid Tutorial,

8 Globus MDS (Il passato)
Globus Meta Directory Service (MDS) Sistema di raccolta gerarchica basata su LDAP Le foglie dell’albero sono GRIS I nodi intermedi sono GIIS L’utente può interrogare l’albero a qualunque livello Più l’informazione è vicina alla radice e più è vecchia Grid Resource Information Service (GRIS) Uno per ogni risorsa (CE, SE) Colleziona informazioni statiche e dinamiche su quella risorsa Adotta tecniche per campionare l’informazione Grid Index Information Service (GIIS) Uno per ogni sito Colleziona e mette in cache informazioni dai GRIS sottostanti Interroga i sistemi GIIS e GRIS sottostanti periodicamente Possono essere presenti più livelli di GIIS Catania, Primo Grid Tutorial,

9 BDII (Il presente) The Berkeley Database Information Index (BDII)
Sviluppato nel contesto di LCG Risolve i problemi di scalabilità di MDS Sta sopra siti GIIS Una per ogni VO E’ centralizzato Base di informazioni per la distribuzione del carico Architettura Un GRIS per ogni risorsa Un GIIS per ogni sito Un BDII per ogni VO Due server LDAP: uno per la lettura e uno per la scrittura Ogni 2 minuti un cron-job esegue uno script che interroga i GIIS sottostanti La lista dei GIIS si trova in un file di configurazione Catania, Primo Grid Tutorial,

10 R-GMA (Il futuro) Catania, Primo Grid Tutorial,

11 Database Virtuale Il Relational Grid Monitoring Architecture (R-GMA)
E’ una implementazione del Grid Monitoring Architecture (GMA) definito dal Global Grid Forum (GGF) Adotta un modello a database con tabelle e relazioni Le tabelle sono distribuite (virtual) L’accesso avviene tramite stringhe Standard Query Language (SQL) Implementa diversi tipi di query L’informazione Pubblicata e acceduta localmente al sito ove è stata prodotta Sempre quasi fresca Alcuni servizi possono fare da collettori di informazioni Catania, Primo Grid Tutorial,

12 Servizi R-GMA Tre tipi di servizi Produttori
Primary Producer: Produce e salva i record di tabella localmente Secondary Producer: Colleziona record di tabella prodotti da diversi Produttori e li concentra in un unico punto On Demand Producer: Produce record di tabella su richiesta in tempo reale interfacciandosi con un sistema esterno Un tipo di servizio Consumatore Consumer: Interroga il database virtuale per ottenere record di tabella Il Database Virtuale Registry: Contiene informazioni per associare le interrogazioni dei Consumer con i Producer capaci di rispondere Schema: Contiene gli schema che descrivono le tabelle virtuali Mediator: Associa le richieste fatte dai Consumer con i giusti Producer Catania, Primo Grid Tutorial,

13 Tipi di Producer Primary Producer Secondary Producer
Crea i record di tabella e li salva in uno storage locale Secondary Producer Colleziona record di tabella da altri Producer Salva I record in uno storage locale Viene visto dagli altri Producer come fosse un Consumer On Demand Producer Produce record di tabella su richiesta Ha associato un codice che genera I record in tempo reale Producer service tuples storage Consumer service queries tuples Secondary Producer tuples storage Consumer service queries tuples Producer On demand Producer Consumer service queries tuples Tuples generator code Catania, Primo Grid Tutorial,

14 Registrazione come Producer di record
Il Producer Chiama una primitiva declareTable dove dichiara la sua intenzione di pubblicare record per una data tabella Può associare una stringa predicate ove descrive una sorta di valori di default per i futuri record Il Mediator Riceve la richiesta Salva le informazioni nel Registry La stringa Predicate Descrive valori predefiniti per alcuni campi dei record che verranno pubblicati da questo Producer E’ formata da una serie di clausole AND Ho intenzione di pubblicare record nella tabella userTable con userId=10. Producer Table: userTable Producer: Predicate: userId=10 Registry Catania, Primo Grid Tutorial,

15 Inserimento di un nuovo record
L’utente pubblica un nuovo record presso il proprio Producer INSERT INTO userTable (userId, aString, aReal) VALUES (10, ‘Jackson’, 1.3) Producer Il record rimane nella cache locale del Producer perchè il database è solo virtuale Tuples storage userId aString aReal 10 Jackson 1.3 Memory Database Catania, Primo Grid Tutorial,

16 Interrogazione del database virtuale
Registry Table: userTable Producer: Predicate: userId = 10 Producer userIId aString aReal 10 Jackson 1.3 URL dei Producer Id aString aReal 10 Jackson 1.3 Dammi la lista dei Producer che pubblicano su userTable dove userID=10 Consumer SELECT * FROM userTable WHERE userId = 10 Catania, Primo Grid Tutorial,

17 Type of Queries Continuous Latest History Static SQL Query Processor
Crea uno o più canali (stream) dai Producer verso il Consumer Latest Per ottenere l’ultimo record in ordine cronologico pubblicato da un Producer Il Producer specifica un Latest Retention Period (LRP) come tempo di vita del record Ogni nuovo record viene pubblicato in un Latest Tuples Store History Per ottenere tutti I record che sono più giovani di un History Retention Period (HRP) I record sono pubblicati in un Latest Tuples Store Static Supportato solo dagli On-Demand Producer Per rendere storage non di tipo R-GMA accessibili da R-GMA continuous History Tuples Store query history SQL Query Processor insert tuples Latest Tuples Store latest Catania, Primo Grid Tutorial,

18 Continuous Query Funzionamento Durata del canale
Un Consumer chiede al Registry, e ottiene, la lista dei Producer capaci di rispondere ad una determinata query Il Consumer si registra presso questi Producer specificando la query Il Consumer apre un canale sicuro dedicato con ognuno di questi Producer Ogni volta che un nuovo record è prodotto da uno di questi Producer, quel record viene inviato lungo il canale dedicato Il Registry tiene traccia della richiesta de Consumer e lo avvisa nel caso in cui un nuovo Producer è capace di soddisfare la query Durata del canale Un parametro temporale definisce quanto a lungo il canale deve restare aperto Periodicamente il registry verifica che il Consumer sia ancora vivo inviando dei semplici segnali di keep-alive Catania, Primo Grid Tutorial,

19 Continuous Queries P2 Registry P1 Consumer
subscribe Canali TLS/SSL P1 Table: userTable Producer: Predicate: userId = 10 Consumer P1, P2 SELECT * FROM userTable WHERE userId = 10. Query = CONTINUOUS SELECT * FROM userTable WHERE userId = 10. Query = continuous Periodicamente: ancora vivo ? Catania, Primo Grid Tutorial,

20 Security in R-GMA Security della rete Autenticazione Autorizzazione
Tutte le comunicazioni sono basate su canali SSL criptati Un punto debole: I Producer On-Demand non danno garanzie sulle tecniche di gestione della sicurezza adottate Autenticazione Certificati X509 Mutua autenticazione Autorizzazione Credenziali estratte dai certificati Adozione dei servizi VOMS Proprietà Una infrastruttura R-GMA per ogni VO Un amministratore del database virtuale che gestisce i diritti degli utenti Catania, Primo Grid Tutorial,

21 GLUE Schema Catania, Primo Grid Tutorial,

22 GLUE Schema Grid Laboratory Uniform Environment (GLUE) Schema
E’ un modello dati per descrivere le risorse di griglia Mantiene informazioni di tipo sia statico sia dinamico Nato dalla collaborazione incrociata dei progetti EU-DataTag e iVDGL EGEE, NorduGrid, LCG e Grid3/OSG hanno contribuito a definire lo schema XML Schema Adesso, GLUE Schema sta per migrare verso XML Catania, Primo Grid Tutorial,

23 Elemento Site Catania, Primo Grid Tutorial,

24 Elemento Cluster Catania, Primo Grid Tutorial,

25 Elemento ComputingElement
Catania, Primo Grid Tutorial,

26 Comandi LCG Catania, Primo Grid Tutorial,

27 Comandi LCG lcg-infosites Per ottenere facilmente informazioni sullo stato delle risorse di griglia lcg-info Per ottenere informazioni sulle risorse di griglia che soddisfano determinati requisiti e visualizzare su schermo determinati attributi Catania, Primo Grid Tutorial,

28 lcg-infosites lcg-infosites --vo voname [option(s)] [-v] [-h| --help] [--is BDII] --vo Il nome dell’organizzazione virtuale -v Verbosità -h, --h Visualizza l’help del comando --is Indirizzo del BDII al quale connettersi Catania, Primo Grid Tutorial,

29 Interrogazione con lcg-infosites
ce Informazione relative ai CE e al numero di CPU, job in esecuzione e in attesa. Con “-v 1” solo i nomi delle code verranno visualizzate, mentre con “-v 2” anche informazioni quali sistema operativo adottato, quantità di RAM disponibile e altro vengono visualizzate se I nomi degli Storage Elementi (SE) supportati dalla VO dell’utente insieme a informazioni sul tipo di Storage System locale, lo spazio usato e quello ancora disponibile closeSE I nomi degli CE in cui la VO dell’utente può eseguire i propri job e, per ognuno di questi CE, la lista di SE chiusi rispetto a quel CE lfc Nome del catalogo LFC per quell’utente tag Nomi dei tag relativi ai software installati con i corrispondenti CE in cui sono installati all Raggruppa insieme le informazioni ottenibili con le options precedenti Catania, Primo Grid Tutorial,

30 Lista dei CE di Gilda (i)
$ lcg-infosites --vo gilda ce **************************************************************** These are the related data for gilda: (in terms of queues and CPUs) #CPU Free Total Jobs Running Waiting ComputingElement grid004.iucc.ac.il:2119/jobmanager-lcgpbs-long dgt01.ui.savba.sk:2119/jobmanager-lcgpbs-long grid004.iucc.ac.il:2119/jobmanager-lcgpbs-short dgt01.ui.savba.sk:2119/jobmanager-lcgpbs-short trigrid-ce00.unime.it:2119/jobmanager-lcgpbs-long grid010.ct.infn.it:2119/jobmanager-lcgpbs-long grid011f.cnaf.infn.it:2119/jobmanager-lcgpbs-long trigrid-ce00.unime.it:2119/jobmanager-lcgpbs-short grid004.iucc.ac.il:2119/jobmanager-lcgpbs-infinite grid006.cecalc.ula.ve:2119/jobmanager-lcgpbs-long grid010.ct.infn.it:2119/jobmanager-lcgpbs-short grid011f.cnaf.infn.it:2119/jobmanager-lcgpbs-short . . . Catania, Primo Grid Tutorial,

31 Lista dei CE di Gilda (ii)
$ lcg-infosites --vo gilda ce -v 2 ************************************************************** These are the related data for gilda: (in terms of CEs) RAMMemory Oper.System System Ver Processor CE Name SLC P dgt01.ui.savba.sk SLC PIII gilda-ce-01.pd.infn.it SLC Athlon gildace.oact.inaf.it SLC xeon grid-ce.bio.dist.unige.it SLC PIII grid004.iucc.ac.il Catania, Primo Grid Tutorial,

32 Lista degli SE $ lcg-infosites --vo gilda se
************************************************************** These are the related data for gilda: (in terms of SE) Avail Space(Kb) Used Space(Kb) Type SEs grid005.iucc.ac.il dgt02.ui.savba.sk egee016.cnaf.infn.it lxcde07.pd.infn.it trigrid-ce01.unime.it grid009.ct.infn.it aliserv6.ct.infn.it . . . Catania, Primo Grid Tutorial,

33 Lista degli SE chiusi $ lcg-infosites --vo gilda closeSE
Name of the CE: grid004.iucc.ac.il:2119/jobmanager-lcgpbs-long Name of the close SE: grid005.iucc.ac.il Name of the CE: dgt01.ui.savba.sk:2119/jobmanager-lcgpbs-long Name of the close SE: dgt02.ui.savba.sk Name of the CE: grid004.iucc.ac.il:2119/jobmanager-lcgpbs-short Name of the CE: dgt01.ui.savba.sk:2119/jobmanager-lcgpbs-short . . . Catania, Primo Grid Tutorial,

34 Lista dei tag installati
$ lcg-infosites --vo gilda tag ************************************************************** Information for gilda relative to their software tags included in each CE Name of the CE:dgt01.ui.savba.sk Name of the CE:grid004.iucc.ac.il Name of the TAG: VO-gilda-slc3_ia32_gcc323 Name of the TAG: VO-gilda-CMKIN_5_1_1 Name of the TAG: VO-gilda-GKS05 Name of the CE:gildace.oact.inaf.it . . . Catania, Primo Grid Tutorial,

35 lcg-info Permette di interrogare l’Information System in modo più dettagliato Per ottenere una lista di CE o di SE che soddisfino una condizione dettata dall’utente L’utente specifica una query del tipo AttrN è il nome di un attributo op è uno tra =, <=, >= I singoli termini sono separati da virgole I vari termini sono ANDed attr1 op1 valueN, ... attrN opN valueN Catania, Primo Grid Tutorial,

36 lcg-info usage Utilizzo
lcg-info --list-ce [--bdii bdii] [--vo vo] [--sed] [--query query] [--attrs list] lcg-info --list-se [--bdii bdii] [--vo vo] [--sed] [--query query] [--attrs list] lcg-info --list-attrs lcg-info --help

37 opzioni di lcg-info --list-attrs
Visualizza una lista di attributi che possono essere utilizzati nella query --list-ce Visualizza la lista dei CE che soddisfano una determinata query --list-se Visualizza la lista degli SE che soddisfano una determinata query --query Specifica quale query i CE/SE devono soddisfare. Se nessuna query è specificata tutti i CE/SE vengono visualizzati --bdii Specifica l’Information System da interrogare, altrimenti usa quello di default --sed Visualizza l’output in String Editor (sed) format --attrs Seleziona gli attributi di cui si vuole visualizzare il valore --vo Restrige la query a quegli CE/SE autorizzati dalla VO passata come paramuetro. Obbligatoria quando si vogliono ottenere valori di attributi dipendenti da quella VO Catania, Primo Grid Tutorial,

38 Lista degli attributi $ lcg-info --list-attrs
Attribute name Glue object class Glue attribute name MaxTime GlueCE GlueCEPolicyMaxWallClockTime CEStatus GlueCE GlueCEStateStatus TotalJobs GlueCE GlueCEStateTotalJobs CEVOs GlueCE GlueCEAccessControlBaseRule TotalCPUs GlueCE GlueCEInfoTotalCPUs FreeCPUs GlueCE GlueCEStateFreeCPUs CE GlueCE GlueCEUniqueID WaitingJobs GlueCE GlueCEStateWaitingJobs RunningJobs GlueCE GlueCEStateRunningJobs CloseCE GlueCESEBindGroup GlueCESEBindGroupCEUniqueID CloseSE GlueCESEBindGroup GlueCESEBindGroupSEUniqueID SEVOs GlueSA GlueSAAccessControlBaseRule UsedSpace GlueSA GlueSAStateUsedSpace AvailableSpace GlueSA GlueSAStateAvailableSpace Type GlueSE GlueSEType SE GlueSE GlueSEUniqueID Protocol GlueSEAccessProtocol GlueSEAccessProtocolType ArchType GlueSL GlueSLArchitectureType . . . Catania, Primo Grid Tutorial,

39 Esempio di query $ lcg-info --list-ce --query “TotalCPUs=10” --attrs “FreeCPUs” - CE: dgt01.ui.savba.sk:2119/jobmanager-lcgpbs-long - TotalCPUs - CE: dgt01.ui.savba.sk:2119/jobmanager-lcgpbs-short - CE: grid011f.cnaf.infn.it:2119/jobmanager-lcgpbs-long - CE: grid011f.cnaf.infn.it:2119/jobmanager-lcgpbs-short - CE: dgt01.ui.savba.sk:2119/jobmanager-lcgpbs-infinite - CE: gilda-ce-01.pd.infn.it:2119/jobmanager-lcgpbs-cert . . . Catania, Primo Grid Tutorial,

40 Lista dei tag di un CE $ lcg-info --list-ce --query "CE=*grid004.iucc.ac.il*" --attrs "Tag" - Tag LCG-2 LCG-2_1_0 LCG-2_1_1 LCG-2_2_0 LCG-2_3_0 LCG-2_3_1 LCG-2_4_0 LCG-2_6_0 R-GMA AFS CMS-1.1.0 ATLAS-6.0.4 GATE LHCb-1.1.1 IDL-5.4 CMSIM-125 ALICE ALIEN POVRAY-3.5 Catania, Primo Grid Tutorial,

41 Lista CE con uno specifico software
$ lcg-info --list-ce --query “Tag=*MPI*” --attrs “CE” - CE: grid004.iucc.ac.il:2119/jobmanager-lcgpbs-long - CE grid004.iucc.ac.il:2119/jobmanager-lcgpbs-long - CE: dgt01.ui.savba.sk:2119/jobmanager-lcgpbs-long - CE dgt01.ui.savba.sk:2119/jobmanager-lcgpbs-long - CE: grid004.iucc.ac.il:2119/jobmanager-lcgpbs-short - CE grid004.iucc.ac.il:2119/jobmanager-lcgpbs-short - CE: dgt01.ui.savba.sk:2119/jobmanager-lcgpbs-short - CE dgt01.ui.savba.sk:2119/jobmanager-lcgpbs-short - CE: trigrid-ce00.unime.it:2119/jobmanager-lcgpbs-long - CE trigrid-ce00.unime.it:2119/jobmanager-lcgpbs-long - CE: grid010.ct.infn.it:2119/jobmanager-lcgpbs-long - CE grid010.ct.infn.it:2119/jobmanager-lcgpbs-long . . . Catania, Primo Grid Tutorial,

42 Fine ? Catania, Primo Grid Tutorial,