Valutazione del Globus Toolkit Massimo Sgaravatto INFN Padova.

Presentazione sul tema: "Valutazione del Globus Toolkit Massimo Sgaravatto INFN Padova."— Transcript della presentazione:

1 Valutazione del Globus Toolkit Massimo Sgaravatto INFN Padova

2 Massimo Sgaravatto Grid Hardware and software infrastructure that provides dependable, consistent and pervasive access to resources Dependable: garanzia di funzionalita` e performance Consistent: interfaccia uniforme a molte risorse di tipo diverso Pervasive: possibilita` di plug in da qualsiasi posto DB

3 Massimo Sgaravatto GRID: Problemi Resource Management Come si localizzano e si richiedono le risorse ? Data Management Come si accede a data set remoti ? Computation Management Come si fa lo staging delleseguibile nel nodo remoto ? Come si fa partire la computazione remotamente ? Come si gestisce ? Security Come si fa il log in nella Grid ? Come si gestiscono le autorizzazioni ?...

4 Massimo Sgaravatto Globus Progetto guidato da Ian Foster e Carl Kesselman Ricerca di base su GRID (resource management, security, QoS,...) Sviluppo del Globus Toolkit Core service per tool e applicazioni in GRID GUSTO Testbed (~ 40 siti)

5 Massimo Sgaravatto Globus Architecture Applications Core Services Metacomputing Directory Service GRAM Globus Security Interface Heartbeat Monitor Nexus Gloperf Local Services LSF CondorMPI NQEEasy TCP SolarisIrixAIX UDP High-level Services and Tools DUROCglobusrunMPINimrod/GMPI-IOCC++ GlobusViewTestbed Status GASS

6 Massimo Sgaravatto Core Services Communication infrastructure (Nexus) Resource Management (GRAM) Remote Data Access (GASS) Executable Management (GEM) Security (GSI) Information Service (MDS) Network Performance Monitor (GLOPERF) Fault detection (HBM)

7 Massimo Sgaravatto High Level Services Librerie di I/O (MPICH, RIO,....) Linguaggi paralleli (CC++, HPC++) Resource broker e co-allocator (DUROC, Nimrod,...) Tool di monitoring (GlobusView, MDS browser,....)...

8 Massimo Sgaravatto Globus Security Infrastructure Unica autenticazione non bisogna gestire lautenticazione sui singoli nodi della GRID Mapping tra GRID user-id e local user-id Tecnologia a chiave pubblica (certificati X.509)

9 Massimo Sgaravatto Metacomputing Directory Service Gestione di informazioni (statiche e dinamiche) su: Risorse (host, sw configuration, load, resource manager,...) Network (bandwidth, latenza) Interfaccia e protocollo standard (LDAP) Unico MDS server in USA Informazioni: Organizzate gerarchicamente in DIT (Directory Information Tree) Nuovi attributi definibili

10 Massimo Sgaravatto MDS Informazioni aggiornate da: Globus (es. GRAM Reporter) Utenti Altri provider (es. SNMP) Informazioni accedibili via: comandi applicazioni (API) tool grafici

11 Massimo Sgaravatto Resource Management GRAM (Globus Resource Allocation Manager): gestisce un insieme di risorse locali Interfaccia uniforme a diversi sistemi di resource management (Condor, LSF, PBS, fork,...) Resource Specification Language (RSL) per definire: resource requirement (machine type, memoria,...) job definition (eseguibile, parametri,...) Es: & (ResourceManagementContact = cond.pd.infn.it:/C=US/.../CN=cond.pd.infn.it- condor) (count=100) (executable=myapp)

12 Massimo Sgaravatto GRAM CONDOR Resource Management Architecture Application Broker Data Catalog MDS GRAM LSF GRAM fork Resource and Job specification Resource discovery Data discovery Create jobs Site1 Site2Site3

13 Massimo Sgaravatto Remote Data Access GASS (Global Access to Secondary Storage) Naming attraverso URL: Es: x-gass://host1.pd.infn.it:1234/filename Possibilita` di accedere a file da nodi remoti Caching Necessita` di modificare il codice: open() globus_gass_open() close() globus_gass_close() Possibilita` di spostare file a/da nodi remoti

14 Massimo Sgaravatto Executable Management Possibilita` di staging degli eseguibili sui nodi remoti stdin/stdout/stderr da un nodo remoto Es: & (executable=x-gass://host1.pd.infn.it:1234/~/myexe) (stdin=ftp://ftp.pd.infn.it/inputs/myinp) (stdout=/disk1/outputs/myout)

15 Massimo Sgaravatto Altri servizi Nexus Communication Library Utilizzabile in diversi modelli di programmazione (message passing, RPC, ecc…) HBM (Heartbeat Monitor) Rileva e notifica malfunzionamenti GLOPERF (Globus Network Performance Measurement Tool) Misure di throughput e latency tra coppie di nodi

16 Massimo Sgaravatto Use Case: studi HLT di CMS

17 Massimo Sgaravatto First steps Creazione di un testbed tra 5 siti (Bologna, CNAF, LNL, Padova, Roma1) Applicazione: MC Prod. Tutta la catena HLT Resource Management Submit di job su tutte le risorse del testbed Implementazione broker Resource manager locali: fork Condor/LSF/… Book-keeping Globus MDS server italiano

18 Massimo Sgaravatto People INFN Bologna CNAF LNL Milano Padova Roma1 CERN (Fabrizio Gagliardi) Universita` di Lecce (HPC Lab) Universita` di Venezia (DI) grid@infn.it