Grid Computing: tecnologie abilitanti e applicazioni per eScience MURST Impiego del Fondo Speciale per lo Sviluppo della Ricerca di Interesse Strategico.

Presentazione sul tema: "Grid Computing: tecnologie abilitanti e applicazioni per eScience MURST Impiego del Fondo Speciale per lo Sviluppo della Ricerca di Interesse Strategico."— Transcript della presentazione:

1 Grid Computing: tecnologie abilitanti e applicazioni per eScience MURST Impiego del Fondo Speciale per lo Sviluppo della Ricerca di Interesse Strategico (art. 51, comma 9, legge 27 dicembre 1997, n.449) Anno 1999 TEMA: Società dell'Informazione Estensione di ASSIST verso Globus N. Tonellotto, R. Baraglia, R. Ferrini, G. Bartoli, D. Laforenza, S. Orlando, R. Perego Pisa, Dipartimento di Informatica Aula "G. Gerace 23 gennaio 2003

2 Indice 1.Contesto e principali motivazioni 2.Breve cenni su Globus (GT2) 3.Estensione di ASSIST verso GLOBUS 4.Esecuzione di unapplicazione grid- aware sviluppata con ASSIST 5.Sviluppi futuri

3 Contesto e principali motivazioni Breve riassunto delle puntate precedenti…. ASI-PQE2000 FIRB Grid.it MURST 5% 1999-2000

4 Programma ASI-PQE2000 Sviluppo di applicazioni di Osservazione della Terra mediante sistemi e strumenti di Calcolo ad Alte Prestazioni Riunione Finale - Area 1 Agenzia Spaziale Italiana Roma, 13 settembre 2002 WP5

5 WP5: Prospettive future Grid-enabled ASSIST RTS e assistrun Gestione della eterogeneità della piattaforma nel RTS Grid-enabled assistrun interfacciamento con GLOBUS/GRAM; –Staging files e eseguibili assistconf : maggiore automatismo rispetto alla configurazione dei programmi e alla scelta delle risorse e allo scheduling: Integrazione con Grid Resource Broker (GRB) (G. Aloisio, Univ. Lecce) Basic scheduling + funzionalità avanzate di negoziazione Real Time Performance Monitor 12

6 ASSIST-CL: Compilazione su CLAM Sorgente ASSIST-CL Compilatore ASSIST HALI Master Loader HALI Slave Loader HALI Slave Loader HALI Slave Loader 1 2 Assistrun 3 Codice Processi File di Configu- razione Oggetto ASSIST HALI Coordination Language Abstract Machine (CLAM)

7 File di configurazione Il processo di compilazione dei programmi ASSIST-CL File XML di configurazione estendibile Compilatore ASSIST Programma ASSIST Struttura Moduli Connessioni Librerie Binding FILE DI CONFIGURAZIONE XML Mod 1 Mod n

8 Configurazione e Allocazione Mod 1 Mod n assistrun Staging Loading Run assistconf Struttura, Moduli,Connessioni Librerie, Binding FILE DI CONFIGURAZIONE XML Struttura, Moduli,Connessioni Librerie, Binding Configurazione Mapping FILE DI CONFIGURAZIONE XML Estensioni Resource Discovery Globus MDS/LDAP GIS 1 3 1 3 2 4

9 Grid-enabled (Globus) Assist ASSIST

10 Grid-enabled assistconf e assistrun GRAM LSFEASY-LLNQE Compiled ASSIST-CL Application Simple ground RSL Grid Information Service Local resource managers assistconf Co-allocator Queries & Info ground RSL XML conf. file assistrun

11 ASSIST: A global view 1. Build CompilerAssistconf XML File extended XML File raw Mod 1 Mod n Assistrun 2. Configure 4. Execute 3. Load GRID

12 4 mod 4 exe 4 parmod 12 exe 4 input mod. 4 output mod. 4 virtual proc. 1 XML file o 1 XML file EXTENDED o Results stdouts stderrs output files ASSIST: An example CompilerAssistconfAssistrun......... <lib lib_id="ND000_maingenera1" type="assist" object_type="EXE" url="/tmp/bin/ND000_maingenera1"> <lib lib_id="ND002_mainp1_osm" type="out" object_type="EXE" url="/tmp/bin/ND002_mainp1_osm">...... <pool pool_id="pool0" name="barolo location_info="barolo.cnuce.cnr.it" pool_master="no" /> <pool pool_id="pool1" name="barbera location_info="barbera.cnuce.cnr.it" pool_master="no" /> <pool pool_id="pool2" name="novello location_info="novello.cnuce.cnr.it" pool_master="no" /> <pool pool_id="pool3" name="prosecco location_info="prosecco.cnuce.cnr.it" pool_master="no" /> <map_instance_mod instance_id_ref="ND000_maingenera1 lib_id_ref="ND000_maingenera1" > <map_instance_mod instance_id_ref="ND002_mainp1 lib_id_ref="ND002_mainp1_ism" > <map_instance_mod instance_id_ref="ND002_mainp1 lib_id_ref="ND002_mainp1_osm" > <map_instance_mod instance_id_ref="ND002_mainp1 lib_id_ref="ND002_mainp1_vpm" >...

13 RSL SPLIT (1) 1.Assist + Grid Resource Broker + MDS XML file Extended ( assistconf ) 2.Globus authorization ( grid-proxy-init ) 3.GASS server initialization GASS contact string ( gass-server-init ) 4.XML file ex. + GASS contact str. RSL multirequest string ( rsl_create ) 5.RSL multireq. string Master contact string Master single request ( rsl_split ) Slaves multirequest 6.Master activation ( rsl_execute_gram ) 7.Slaves activation ( rsl_execute_duroc ) 8.Collect result (standard streams) rsl_execute xerces.h globus_rsl.h globus_rsl_assist.h

14 RSL SPLIT (2) rsl_create [–s ] [–l ] [–e ] [-w ] –f –g &("resourceManagerContact" = "barolo.cnuce.cnr.it" ) ("scratch_dir" = "/tmp" ) ("executable" = "https://barolo.cnuce.cnr.it:42572/home/khast/c++_examples/bin/ND000_maingenera1" ) ("arguments" = "16" "barolo.cnuce.cnr.it" "5575" ) ("stdout" = "https://barolo.cnuce.cnr.it:42572/home/khast/c++_examples/bin/stdout_ND000_maingenera1" ) ("stderr" = "https://barolo.cnuce.cnr.it:42572/home/khast/c++_examples/bin/stderr_ND000_maingenera1" ) ("label" = "Subjob ND000_maingenera1 on barolo.cnuce.cnr.it" ) ("file_stage_in" = ("https://barolo.cnuce.cnr.it:42572/home/khast/c++_examples/bin/libACE.so" $("SCRATCH_DIRECTORY")"/libACE.so") ("https://barolo.cnuce.cnr.it:42572/home/khast/c++_examples/bin/libstlport_gcc.so" $("SCRATCH_DIRECTORY")"/libstlport_gcc.so")) ("directory" = $("SCRATCH_DIRECTORY") ) ("library_path" = $("SCRATCH_DIRECTORY") )) resourceManagerContact: hostname della macchina remota si cui verrà mandato in esecuzione il processo. scratch_dir: directory sulla macchina remota in cui creare una directory di lavoro cancellata automaticamente al termine del processo. executable: localizzazione (tramite GASS server) del file eseguibile del processo. arguments: argomenti da passare alleseguibile a riga di comando; nel caso in esame rappresentano il numero totale di processi, il processo server e la porta di collegamento dei moduli slave col modulo server. stdout/stderr: localizzazione (tramite GASS server) dei file in cui trasferire le uscite del processo. label: stringa di identificazione del processo. file_stage_in: elenco di coppie (local file remote file) associate ai file da trasferire sulla macchina remota prima dellesecuzione del processo. directory: directory di lavoro del processo. library_path: stringa da appendere alla variabile dambiente LD_LIBRARY_PATH della macchina remota.

15 ASSISTRUN step by step (1) 1. Authentication: % grid-proxy-init 2. GASS Server Init: % globus-gass-server & 3. RSL request: %./rsl_create \ –g https://barolo.cnuce.cnr.it:45495 \ –f grafo.out.xml \ –w grafo.rsl

16 ASSISTRUN step by step (2) 4. RSL Split: %./rsl_split grafo.rsl 5. RSL Master Execution: %./rsl_execute_gram \ split__master_contact \ split__master_request

17 ASSISTRUN step by step (3) 6. RSL Slaves Execution: %./rsl_execute_duroc \ split__slaves_request 7. Collect Results: % ll std*

18 ASSISTRUN all in one

19 Local hostRemote host GLOBUS in action… rsl_execute Globus authorization GASS server init Gatekeeper Job Request Job Manager Job Accept Program Execution Job Execution Local Filesystem GASS cache X.509 User Proxy Executable stdin stdout stderr File Stage In File Stage Out Local Filesystem GASS cache X.509 User Proxy Executable stdin stdout stderr

20 GLOBUS: Setting up… GRID: Static & homogenous 4 almost identical computers No information services (MDS/LDAP) No reliable job monitoring services (fault tolerance) No replica management services (Datagrid) COMMUNICATIONS Adaptive Communication Environment (ACE) No firewalls between host (ports) Globus standard ports Grid Standard Protocol ASSIST No farms Parallelism degree = 1 Loaders: Not a real problem… exe Job Manager Security so Job Manager Loader Security so Loader cluster grid

21 ASSIST - GLOBUS The future… 1.Heterogenous environment 2.Synchronization Problem 3.GRAM vs. DUROC: monitoring features assist_runjob manager assist_runjob manager globus-url- copy file system 4.RSL Stage In (file_stage_in) vs. GridFTP (globus-url-copy) 5.ASSIST vs. ASSISTCONF: DTD standard 1.Il master attende che tutti gli slave siano attivi. 2.Uno slave segnala la sua attivazione tramite un REQ al master. 3.Se uno slave non riceve un ACK entro x secondi dal REQ abortisce. Per quanto tempo il master attende gli ACK ? Per quanto tempo uno slave attende il REQ dopo aver inviato un ACK? callback assistrun GRAM master DUROC slaves GRAM slave GRAM slave job_submit ACTIVE requestcallback assistrun GRAM master GRAM slave GRAM slave job_submit ACTIVE callback 1 2 3 4 1 2 3 Callback = notifica non bloccante Request = richiesta bloccante 6.ASSIST monitoring features

22 GLOBUS: GT3 schedule Alpha Release – January 2003 OGSI implementation in Java OGSA security (SOAP) Java Hosting Environment / Java SDK / Command-line & GUI client tools Services: GRAM, GridFTP, DBS, MDS-2, CIM, RFT, RLS Client APIs & tools: GRAM, GridFTP Beta Release – April 2003 Final Release – June/July 2003 Solicit feedback from alpha users Sync up with GGF OGSI Specification Sync up with GGF Java Grid Service Hosting Specification Code Testing/Hardening/Performance Improvements Improved Documentation Globus Toolkit 2.2 – The future… GT2 Support: The Globus Project will continue to support GT2 at least through the end of 2003, subject as always to available resources. Migration: GT3 will support GRAM and GridFTP client API-level compatibility with GT2, thus allowing GT2 code to run with GT3 after relinking. In addition, GT2 and GT3 installations will be able to run simultaneously on the same resource (with limited interoperability), thus facilitating transition. We welcome suggestions for other ways of assisting with migration. Security Infrastructure: GT3 will, like GT2, make use of X.509 certificates, thus preserving the community's investment in certificate authority rollouts for authentication.

23 Sviluppi Futuri Integrazione con Grid Resource Broker (GRB) (in collaborazione con gruppo di Aloisio, Univ. Lecce) Basic scheduling + funzionalità avanzate di negoziazione Maggiore apertura alla eterogeneita (ASSIST) Studio di fattibilita evoluzione verso OGSA

24 Ringraziamenti Pierpaolo Ciullo Paolo Pesciullesi Marco Vanneschi e tutti i suoi ASSISTenti

25 Domande