Introduzione alle griglie computazionali - a.a. 2005-061 LEZIONE LEZIONE N. 6 Introduzione allinformation modeling GLUE schema Grid Information Service:

Presentazione sul tema: "Introduzione alle griglie computazionali - a.a. 2005-061 LEZIONE LEZIONE N. 6 Introduzione allinformation modeling GLUE schema Grid Information Service:"— Transcript della presentazione:

1 Introduzione alle griglie computazionali - a.a. 2005-061 LEZIONE LEZIONE N. 6 Introduzione allinformation modeling GLUE schema Grid Information Service: MDS Introduzione alle griglie computazionali Università degli Studi di Napoli Federico II Corso di Laurea in Informatica – III Anno

2 Introduzione alle griglie computazionali - a.a. 2005-062 Information model – Modello informativo definizione Astrazione del mondo reale in costrutti che possono essere rappresentati tramite lutilizzo di sistemi di elaborazione (es. oggetti, proprietà, comportamenti, relazioni) Per ogni entità del problema bisogna individuare i parametri caratteristici che ha senso descrivere, misurare e rendere disponibili il modello informativo non e legato ad una particolare implementazione utilizzato per scambiare informazioni tra domini diversi

3 Introduzione alle griglie computazionali - a.a. 2005-063 Information model rappresentazione tipicamente un modello informativo viene rappresentato mediante un linguaggio grafico per il GLUE schema (modello informativo di Grid) e stato scelto UML (Unified Modeling Language) The Unified Modeling Language (UML) is a graphical language for visualizing, specifying, constructing, and documenting the artifacts of a software-intensive system. The UML offers a standard way to write a system's blueprints, including conceptual things such as business processes and system functions as well as concrete things such as programming language statements, database schemas, and reusable software components (Object Management Group)

4 Introduzione alle griglie computazionali - a.a. 2005-064 Information model in Grid le risorse disponibili in Grid devono essere descritte in maniera precisa e sistematica al fine di fornire le seguenti funzionalità discovery allocazione (brokering) controllo delle prestazioni troubleshooting monitoring occorre un modello concettuale per descrivere le risorse Grid

5 Introduzione alle griglie computazionali - a.a. 2005-065 GLUE schema Grid Laboratory Uniform Environment Collaborazione tra progetti di fisica delle alte energie europei ed americani, per la definizione di un modello informativo comune tra domini Grid diversi, indipendente dallimplementazione. Sviluppato per gran parte da INFN e ora adottato anche da Globus. Le entità da descrivere si classificano come siti (system) insiemi di risorse connesse che operano come una entità funzionale servizi azioni che formano una funzione coerente fornita da un provider ad un richiedente I siti forniscono servizi

6 Introduzione alle griglie computazionali - a.a. 2005-066 GLUE schema Grid Laboratory Uniform Environment Modello informativo usato come base del Grid Information Service (GIS) attivita concentrata principalmente su computing resource storage resource network resource

7 Introduzione alle griglie computazionali - a.a. 2005-067 Computing resource caratterizzazione la potenza di calcolo in genere viene offerta da cluster le richieste vengono inserite in code (queue) al fine di utilizzare con efficienza le risorse di calcolo disponibili le policy presenti su ciascuna coda permettono di differenziare il servizio offerto (es. durata massima di un job, numero massimo di job running, tipologia di CPU allocate) il computing service e in relazione 1-1 con una queue e le sue computing resource assegnate

8 Introduzione alle griglie computazionali - a.a. 2005-068 Computing resource parametri necessari per lutilizzo di risorse di computing execution environment (sistema operativo, librerie disponibili,...) quality of service (tempo di risposta stimato,...) status (numero di job in esecuzione,...) policy (tempo massimo di esecuzione, CPU assegnate,...) access right location (Uniform Resource Locator,...)

9 Introduzione alle griglie computazionali - a.a. 2005-069 Computing resource: cluster (farm) CPU:PIII RAM:0.5GB OS:Linux … Head node gatekeeper infoService CPU:PIII RAM:0.5GB OS:Linux CPU:PIV RAM:2GB OS:Linux CPU:PIV RAM:2GB OS:Linux Batch server Cluster: set di host gestiti coerentemente al fine di offrire potenza di calcolo

10 Introduzione alle griglie computazionali - a.a. 2005-0610 Computing resource: host CPU:PIII RAM:0.5GB OS:Linux … Head node gatekeeper infoService CPU:PIII RAM:0.5GB OS:Linux CPU:PIV RAM:2GB OS:Linux CPU:PIV RAM:2GB OS:Linux Batch server Host: singolo calcolatore

11 Introduzione alle griglie computazionali - a.a. 2005-0611

12 Introduzione alle griglie computazionali - a.a. 2005-0612 Computing resource: subcluster CPU:PIII RAM:0.5GB OS:Linux … Head node gatekeeper infoService CPU:PIII RAM:0.5GB OS:Linux CPU:PIV RAM:2GB OS:Linux CPU:PIV RAM:2GB OS:Linux Batch server SubCluster: insieme omogeneo di host

13 Introduzione alle griglie computazionali - a.a. 2005-0613 Computing service Computing Element (CE): entry point di una o più code di un sistema batch CPU:PIII RAM:0.5GB OS:Linux … Head node gatekeeper infoService CPU:PIII RAM:0.5GB OS:Linux CPU:PIV RAM:2GB OS:Linux CPU:PIV RAM:2GB OS:Linux Batch server Il servizio di computing è offerto da un CE

14 Introduzione alle griglie computazionali - a.a. 2005-0614

15 Introduzione alle griglie computazionali - a.a. 2005-0615 Storage resource funzionalita offerta spazio di memorizzazione parametri necessari per lutilizzo di risorse di storage protocollo di accesso (gridftp, rfio,...) quality of service (affidabilita, disponibilita,...) status (spazio disponibile,...) policy (dimensione massima di un file, file lifetime,...) access right location (Uniform Resource Locator,...)

16 Introduzione alle griglie computazionali - a.a. 2005-0616 Storage Service : gestisce le risorse disco e nastro in termini di Storage Space maschera i dettagli hardware trasferisce file da / verso i vari Storage Space utilizzando un insieme di data access protocol (es. nfs, GridFTP, rfio,...) la gestione dei file avviene secondo le policy dello Storage Space

17 Introduzione alle griglie computazionali - a.a. 2005-0617 Storage Space : assegnato ad una virtual organization associato ad una directory (es. /data/Atlas) policy: dimensione massima di un file, numero massimo di file,... access control base rules status: spazio disponibile, spazio utilizzato

18 Introduzione alle griglie computazionali - a.a. 2005-0618 Storage Element (SE) : Macchina che fornisce Storage Service e Storage Space puo essere un semplice disk server oppure un sistema di storage complesso CE-SE Bind Descrive le relazioni tra Computing Service e Storage Service

19 Introduzione alle griglie computazionali - a.a. 2005-0619

20 Introduzione alle griglie computazionali - a.a. 2005-0620 Riferimenti GLUE Schema Official documents http://www.cnaf.infn.it/~sergio/datatag/glue Sharing a conceptual model of grid resources and services S. Andreozzi, M. Sgaravatto, C. Vistoli In Proceedings of CHEP 2003 http://www.cnaf.infn.it/~sergio/publications/CHEP2003.pdf GLUE Schema implementation for the LDAP model S. Andreozzi Technical report, first draft, 29/05/03 http://www.cnaf.infn.it/~sergio/publications/Glue4LDAP.pdf

21 Introduzione alle griglie computazionali - a.a. 2005-0621 Servizi informativi: MDS (1/4) Monitoring and Discovery Service servizio vitale per uninfrastruttura Grid -resource discovery: conoscere la composizione delle griglia in un certo istante -resource monitoring: conoscere lo stato delle risorse ad un certo istante -resource selection: scegliere le risorse opportune per un task ( vedi Workload Management Sys)

22 Introduzione alle griglie computazionali - a.a. 2005-0622 Servizi informativi: MDS (2/4) requirement performance rapidita di accesso alle informazioni usate frequentemente scalabilita qualita di servizio costante all aumentare dei componenti costo costi di gestione delle informazioni in termini di risorse usate devono essere contenuti uniformita standard nella rappresentazione delle risorse e uniformita delle API (segue)

23 Introduzione alle griglie computazionali - a.a. 2005-0623 Servizi informativi: MDS (3/4) espressivita modello dei dati capace di rappresentare le strutture rilevanti di un sistema distribuito estendibilita capacita di incorporare informazioni aggiuntive, non incluse nel modello dei dati di partenza dati dinamici i cambiamenti sui dati di ogni risorsa devono essere resi prontamente disponibili flessibilita di accesso capacita di lettura, aggiornamento e ricerca sui dati sicurezza restrizioni di accesso e/o aggiornamento delle informazioni

24 Introduzione alle griglie computazionali - a.a. 2005-0624 Servizi informativi: MDS (4/4) su ciascuna risorsa e disponibile un information service (GRIS – Grid Resource Information Service) che, tramite query LDAP, fornisce lo stato della risorsa CE ed SE contengono un GRIS. ciascun GRIS si registra presso un information index (GIIS – Grid Information Index Service) che effettua il caching delle informazioni fornite dai GRIS e interroga i GRIS solo quando riceve una query e la sua cache e invalidata Limplementazione del GIIS ha mostrato qualche limitazione sulla scalabilità ed è stata sostituita da BDII (Berkeley Information Index)

25 Introduzione alle griglie computazionali - a.a. 2005-0625 Architettura MDS

26 Introduzione alle griglie computazionali - a.a. 2005-0626 Glue Schema e LDAP Lo schema astratto GLUE viene mappato nel data model LDAP per limplementazione. Altre implementazioni realizzano lo schema in XML o in un modello relazionale. Le informazioni relative alla grid sono fornite da numerosi servers LDAP (GRIS e GIIS) ed organizzate gerarchicamente in un Directory Information Tree (DIT) Ogni nodo del DIT è una entry LDAP. LDAP è utilizzato anche come linguaggio di query e protocollo. Disponibili API per LDAP per tutti i linguaggi.

27 Introduzione alle griglie computazionali - a.a. 2005-0627 Lightweight Directory Access Protocol It is the internal protocol used by the services to share information What is a protocol Made for? Any protocol defines a set of rules to establish a connection between a client an a server It is NOT a database; different databases can used the same protocol In the LDAP CASE? Standard derived from the OSI directory service model called DAP LDAP is quite similar to DAP but has been designed to run over TCP/IP It provides a Data Model to standardizes the naming: LDAP Schema This Data Model structures data as a tree: The Directory Information Tree (DIT) LDAP

28 Introduzione alle griglie computazionali - a.a. 2005-0628 dn: objectclass: : dn: objectclass: : Objectclass: special attributes a) Defines the tree structure of a certain entry b) Filters the entries of this objectclass This is an entry; collection of attributes. Its defined by a unique DN (Distinguished Name) White space to separate entries from each other The types and objectclass names should follow a schema (Glue Schema) LDAP Formato entry

29 Introduzione alle griglie computazionali - a.a. 2005-0629 LDAP Struttura gerarchica (root) entryA attr1: value1 attr2: value2... attrn: valuen entryB attr1: value1 attr2: value2... attrn: valuen entry entryC attr1: value1 attr2: value2... attrn: valuen entryD attr1: value1 attr2: value2... attrn: valuen objectclass livello L1 livello L2 dn: L1=entryAdn: L1=entryB distinguished name dn: L2=entryC, L1=entryAdn: L2=entryD, L1=entryA

30 Introduzione alle griglie computazionali - a.a. 2005-0630 Esempio di query ldap: >> ldapsearch -x -H ldap://griditce01.na.infn.it:2170 -b mds-vo-name=infn- napoli,o=grid dn: mds-vo-name=INFN-NAPOLI,o=grid objectClass: GlueTop... dn: GlueSEUniqueID=griditse01.na.infn.it,mds-vo-name=INFN-NAPOLI, o=grid objectClass: GlueSETop... dn: GlueClusterUniqueID=griditce01.na.infn.it,mds-vo-name=INFN- NAPOLI,o=grid objectClass: GlueClusterTop objectClass: GlueCluster GlueClusterName: griditce01.na.infn.it GlueClusterService: griditce01.na.infn.it:2119/jobmanager-lcgpbs-atlas GlueClusterService: griditce01.na.infn.it:2119/jobmanager-lcgpbs-alice GlueClusterService: griditce01.na.infn.it:2119/jobmanager-lcgpbs-cms

31 Introduzione alle griglie computazionali - a.a. 2005-0631 Riferimenti Grid Information Services for Distributed Resource Sharing K. Czajkowskiy, S. Fitzgeraldz, I. Foster, C. Kesselman Proc. 10th IEEE (HPDC-10), IEEE Press, 2001 http://www.globus.org/research/papers.html Grid information services (MDS) Globus Toolkit Developer Tutorial The Globus Project, Argonne National Laboratory USC Information Sciences Institute http://www-fp.mcs.anl.gov/~gregor/grid-iit/talks/globus/Dev-08-Information1.ppt