G. Bracco 26-27/3/2009 IGI-TF-Progettazione, Roma CASPUR,Roma, 26-27/3/2009 Riunione IGI-TF-Progettazione Verso una infrastruttura di calcolo aperta e flessibile: risorse multipiattaforma nella GRID di produzione G. Bracco, A. Santoro, C. Scio*, A. Rocchi, S. Migliori, A. Quintiliani, S. Podda ENEA FIM, C.R. ENEA Frascati Via. E. Fermi Frascati ROMA (Italy) (*) Esse3Esse, Roma, Italy

G. Bracco 26-27/3/2009 IGI-TF-Progettazione, Roma ENEA-GRID e l'interoperabilità con altre infrastrutture SPAGO: un metodo per implementare in modo semplice un gateway e alcuni esempi L'esperienza della partecipazione in EGEE Considerazioni su IGI Contenuto

G. Bracco 26-27/3/2009 IGI-TF-Progettazione, Roma Si basa su: – OpenAFS (shared filesystem) – LSF Multicluster (resource manager ) ENEA-GRID

G. Bracco 26-27/3/2009 IGI-TF-Progettazione, Roma Hardware sistema più rilevante: CRESCO HPC, Portici (NA) #125 in Top500 Giugno/2008 (#2 in Italia) 17.1 Tflops, 300 hosts, 2720 cores, InfiniBand 4xDDR altre risorse: ~100 hosts ~650 cpu – AIX: IBM SP5 256 cpu (12 p GHz, 16 cpu + 1 p Ghz, 64 cpu, 1.5 Tflops); SP4, 96 cpu, Frascati (Roma) – SGI Altix 350 (IA64) 32 cpu Casaccia (Roma) & Onyx – Cray XD1 24 cpu Casaccia (Roma) – Linux clusters 32/x86_64; Apple cluster; Windows servers Software Codici commerciali (fluent, ansys, abaqus, nastran,...) Codici di ricerca ed open source (CPMD, MCNP, OpenFoam,...) Ambienti di calcolo (Matlab, IDL,...) Risorse di calcolo ENEA-GRID

G. Bracco 26-27/3/2009 IGI-TF-Progettazione, Roma Le GRID sono tante e varie Grid5000 [W.Gentzsch EGEE'07, Budapest]

G. Bracco 26-27/3/2009 IGI-TF-Progettazione, Roma

Per l'interoperabilità: gateway ad es: ENEA-GRID/gLite 1) da ENEA-GRID a gLite 2) da gLite a ENEA-GRID Interface: LSF Multicluster AFS AFS users Interface: gLite ENEA-GRID

G. Bracco 26-27/3/2009 IGI-TF-Progettazione, Roma da ENEA-GRID a Glite Gateway

G. Bracco 26-27/3/2009 IGI-TF-Progettazione, Roma da gLite a ENEA-GRID Shared Proxy Approach for GRID Objects (SPAGO) CE WN/UNIX gLite WN/UNIX Proxy gLite s hared Filesystem(AFS, NFS, GPFS,...) I/O Files Resource manager (LSF/PBS) gLite non è installata localmente sui WN CE + Proxy = Gateway Prompt invocation (LSF, PBS or scripted SSH) GRID (RB) Firewall DMZ ENEA-GRID

G. Bracco 26-27/3/2009 IGI-TF-Progettazione, Roma Ridirezione dei comandi sul ProxyWN utilizzando wrappers installati sui WN gLite Standard SPAGO WN: JOBSCRIPT –Globus-url-copy input-file –JOB –Globus-url-copy output-file WN: JOBSCRIPT – Globus-url-copy input-file lsrun -m proxy Globus-url-copy input-file – JOB – Globus-url-copy output-file lsrun -m proxy Globus-url-copy output-file lsrun: prompt job execution

G. Bracco 26-27/3/2009 IGI-TF-Progettazione, Roma Il sito ENEA-INFO di EGEE mette nella griglia di produzione risorse AIX usando il metodo SPAGO utilizzando AFS come file system condiviso e lsrun come comando di prompt execution AIX IRIX MacOSX CRAY Altix Any Linux 3 Frame SP4: 96 cores AIX Esempi di applicazione A scopo di demo (Conferenza EGEE'08, Istanbul, sono state messe in GRID anche altre architetture UNIX

G. Bracco 26-27/3/2009 IGI-TF-Progettazione, Roma Interoperabilità PON/GRISU: CRESCO/PI2S2/Cybersar/SCOPE/SPACI 500 cores, RH 5.1 con SPAGO AIX IRIX MacOS CRAY Altix Any Linux SISSA/Democritos: 200 cores/PBS della rete regionale del Friuli condivisi con EU-IndiaGRID tramite SPAGO

G. Bracco 26-27/3/2009 IGI-TF-Progettazione, Roma Variabili SPAGO nei profili di configurazione ig-WNx,CEx Pacchetti software SPAGO-friendly: quali comandi ha senso siano wrappati, un flag? Aggiunta di informazioni nell'Information Service Test SAM: solo Linux! Difficoltà di implementazione L'amministratore dei WN dovrebbe poter fare l'override delle variabili d'ambiente (L'ambiente del CE e del WN dovrebbero essere disaccoppiati) Il software del WN dovrebbe essere rilocabile (anche nei riferimenti dal CE) Manutenzione all'evolvere di gLIte: transizione gLite 3.0 -> 3.1 Configurazione dei pool account Come integrare meglio SPAGO in una griglia di produzione basata gLite

G. Bracco 26-27/3/2009 IGI-TF-Progettazione, Roma Esperienza come resource provider in una vera GRID di produzione. Il minimo di macchine dedicate per mettere in GRID le risorse locali e permettere gli utenti locali di accedere alla GRID. CE (gLite 3.1, lcgCE) + BDII locale SE MON UI [Proxy Worker Node (SPAGO)] una DMZ dedicata, una Registration Authority Impegno risorse umane: 2 FTE Esperienza ENEA in EGEE (1)

G. Bracco 26-27/3/2009 IGI-TF-Progettazione, Roma Osservazioni architetturali gLite è un software complesso a lasagna frutto di processo di tipo evolutivo efficace ma poco elegante: porting difficile L'architettura è poco flessibile: 1 CE per ogni risorsa omogenea in generale non è chiaro perchè CE/SE/BDII/MON/.. debbano essere macchine distinte Mancanza di supporto MPI & HOME su file system condiviso. Accounting: problemi di riservatezza dei dati interni Firewall/DMZ Il lato organizzativo: Difficoltà di interazione e feedback con gli sviluppatori Esperienza ENEA in EGEE (2)

G. Bracco 26-27/3/2009 IGI-TF-Progettazione, Roma IGI deve giustificare la propria esistenza in base a considerazioni di ottimizzazione dell'utilizzo delle risorse investite in un paese fortemente arretrato nel campo delle risorse per il calcolo avanzato – flessibilità di accesso e facilità di utilizzo di tutte le risorse – creazione di comunità per le applicazioni deve essere una struttura di produzione orientata sia al calcolo distribuito che quello ad alte prestazioni deve essere attraente per gli utenti ed i resource provider: semplicità e flessibilità del middleware deve essere il contesto dove le esperienze nazionali nel campo del GRID computing possano portare contributi sia di infrastruttura ma anche architetturali. deve analizzare/integrare i risultati l'evoluzione tecnologica in corso (CLOUDs?....) Verso IGI