Evolution of Information Modeling and Discovery of Grid Resources Sergio Andreozzi (sergio.andreozzi@cnaf.infn.it)

Descrizione del Problema Resource Discovery Resource Modeling Sommario Descrizione del Problema Resource Discovery Resource Modeling IV INFN Grid Workshop, 26 ottobre 2004 - 2

Grid: principi di base CERN INFN virtualizzazione delle risorse e degli utenti mapping da risorse virtuali a risorse fisiche Grid system CERN INFN mapping da utenti virtuali a utenti fisici IV INFN Grid Workshop, 26 ottobre 2004 - 3

Grid: discovery e information modeling Come posso conoscere la composizione e lo stato delle risorse (fisiche e virtuali) di Grid in un certo istante? RESOURCE DISCOVERY Dato un insieme di risorse di Grid, quali sono i parametri caratteristici di interesse che ha senso descrivere, misurare e rendere disponibili? RESOURCE MODELING IV INFN Grid Workshop, 26 ottobre 2004 - 4

Resource Discovery IV INFN Grid Workshop, 26 ottobre 2004 - 5

Grid Information Service Gli utenti di una Grid tipicamente non hanno conoscenza delle risorse disponibili in un certo momento Grid Information Service (GIS): fornisce meccanismi di base per scoprire l’esistenza e le caratteristiche delle risorse di Grid e per il loro monitoring [1] Il GIS viene usato per funzionalità di planning (discovery for brokering, es. LCG WMS) o di monitoring (discovery for monitoring, es. GridICE) IV INFN Grid Workshop, 26 ottobre 2004 - 6

Grid Information Service MDS 2.x* MDS 4 R-GMA** Modello Dati LDAP XML Schema Relazionale Prot. Comunic. SOAP HTTPSOAP Ling. Interrog. XPath subset di SQL92 Res.Info.Service GRIS WS-Resource Properties Producer Serv. Aggregazione GIIS/OpenLDAP Aggregator Secondary Producer Servizio di directory Index Service Registry Persistenza dati NO Archive Service Notifiche Trigger Service Continuous Query *disponibile in LCG 2 **disponibile in gLite IV INFN Grid Workshop, 26 ottobre 2004 - 7

Discovery in LCG2 GIS basato su MDS 2 per i produttori di informazione e su OpenLDAP per gli aggregatori Struttura gerarchica degli aggregatori: gli aggregatori vengono popolati in maniera asincrona rispetto alle query che ricevono Il componente che è la radice della gerarchia (BDII) contiene le informazioni di tutte le risorse registrate (aggiornate con una frequenza di 2 minuti) Multi-VO CLIENT BDII GRIS IV INFN Grid Workshop, 26 ottobre 2004 - 8

Discovery in gLite GIS basato su R-GMA Struttura gerarchica degli aggregatori Esiste un “registry service” logico per ogni VO Permette ai “Producer” di annunciarsi e ne comunica l’esistenza È previsto un meccanismo di replica (in corso di implementazione) Query supportate: continuous, historical, latest, static “Secondary producer” permettono di migliorare i tempi di risposta aggregando i dati in nodi intermedi R-GMA Registry Client Primary Producer IV INFN Grid Workshop, 26 ottobre 2004 - 9

Resource Modeling IV INFN Grid Workshop, 26 ottobre 2004 - 10

Modellazione delle risorse di Grid Requisito essenziale per inserire delle informazioni in uno dei Grid Information Service presentati è definire uno schema nel modello di dati supportato (schema concreto) Lo schema implica anche come queste informazioni possono essere estratte dal GIS Anche in presenza di GIS schema-free, è necessario condividere una definizione rigorosa delle informazioni reperibili (schema astratto) Lo schema per la rappresentazione delle risorse di Grid deve: essere condiviso tra i vari resource providers permettere la rappresentazione sia delle risorse fisiche sia di quelle virtuali IV INFN Grid Workshop, 26 ottobre 2004 - 11

Il GLUE Schema è il frutto di questa collaborazione [2,3] GLUE Schema: che cosa è Nell’aprile 2002, il progetto europeo DataTAG in collaborazione con il progetto americano iVDGL hanno promosso una collaborazione chiamata GLUE (Grid Laboratory Uniform Environment) Uno degli scopi di questa collaborazione era la definizione di uno schema comune per la rappresentazione delle risorse di Grid Il GLUE Schema è il frutto di questa collaborazione [2,3] Altri progetti hanno contribuito positivamente (DataGrid, Globus, PPDG, GryPhyn) IV INFN Grid Workshop, 26 ottobre 2004 - 12

GLUE Schema: che cosa è Comprende astrazione di risorse di calcolo (Computing Element) e di risorse di storage (Storage Element) Schema astratto UML Class Diagram Schema concreto LDAP XML Schema Relational IV INFN Grid Workshop, 26 ottobre 2004 - 13

GLUE Schema: stato del modello A breve sarà pubblicato un draft di una “minor version” che include molti bug fix, generalizzazione del concetto di servizio e di sito Entro fine anno, ci sarà una “major version” che includerà l’evoluzione del concetto di Computing Element, così come definito in EGEE (batch queue vs. site cluster) IV INFN Grid Workshop, 26 ottobre 2004 - 14

GLUE Schema: chi lo usa Il GLUE Schema è attualmente usato in: LCG2: schema base dell’MDS 2, usato sia per brokering sia per monitoring (GridICE) Globus GT 4: schema base dell’MDS 4 Grid3/VDT: schema base dell’MDS 2 Esistono estensioni in diversi ambiti: Grid3 + altri progetti americani LCG GridICE GlueDomains (Monitoring the Connectivity of a Grid [4]) Advance Reservation (ongoing, [5]) IV INFN Grid Workshop, 26 ottobre 2004 - 15

Modellazione delle risorse in EGEE Attualmente il WMS in gLite utilizza il GLUE Schema V. 1.1 per il matchmaking R-GMA è il GIS disponibilein gLite, questo viene fornito con uno schema di base che descrive siti e stato dei servizi Il WMS, nei confronti del CE, ha bisogno di usare R-GMA solo per funzionalità di discovery; l’aggiornamento periodico dei dati nell’Information SuperMaket è ottenuto via CE Monitor SE Info Provider: attualmente non esiste nessuna “action” rivolta alla scrittura di info provider per lo Storage Element in gLite IV INFN Grid Workshop, 26 ottobre 2004 - 16

Bibliografia [1] GLUE Schema Resources: http://www.cnaf.infn.it/~sergio/glue [2] GLUE Schema – open issues: http://infnforge.cnaf.infn.it/tracker/?atid=118&group_id=9&func=browse [3] Grid Information Services for Distributed Resource Sharing. K.Czajkowskiy, S. Fitzgeraldz, I. Foster, and C. Kesselman. In Proceedings of 10th IEEE International Symposium on High-Performance Distributed Computing (HPDC-10) [4] Monitoring the Connectivity of a Grid. S. Andreozzi, A.Ciuffoletti, A. Ghiselli, C. Vistoli. In Proc. of the 2nd International Workshop on Middleware for Grid Computing (MGC 2004) in conjunction with the 5th ACM/IFIP/USENIX International Middleware Conference, Toronto, Canada, October 2004. [5] EGEE advance reservation architecture. T.Ferrari, E.Ronchieri. EGEE Draft. Sep 2004. [6] Information and Monitoring Service (R-GMA), System Specification, V.2.0. EGEE deliverable. Draft 28/07/2004. https://edms.cern.ch/document/490223 IV INFN Grid Workshop, 26 ottobre 2004 - 17