INAF Osservatorio Astrofisico di Catania INAF - Osservatorio Astrofisico di Catania TriGrid pre-meeting no. 1 Catania 16 Giugno 2005 Alessandro Costa Ugo.

Presentazione sul tema: "INAF Osservatorio Astrofisico di Catania INAF - Osservatorio Astrofisico di Catania TriGrid pre-meeting no. 1 Catania 16 Giugno 2005 Alessandro Costa Ugo."— Transcript della presentazione:

1 INAF Osservatorio Astrofisico di Catania INAF - Osservatorio Astrofisico di Catania TriGrid pre-meeting no. 1 Catania 16 Giugno 2005 Alessandro Costa Ugo Becciani  Stato nodo Grid INAF Catania  Grid Activities @ INAF Catania  Un passo avanti: infrastruttura di rete TriGrid pre-meeting 1° 16/06/2005

2 INAF Osservatorio Astrofisico di Catania Centro di Calcolo  Dimensioni locale:55 mq  Gruppo di continuitàn 2:  60 KVAHPC (IBM SP) + utenza  10 KVAinfrastrutture di rete/calcolo  Sistema antincendio:Argonfire  Climatizzazione:n 3:  40K BTU  18K BTU  22K BTU TriGrid pre-meeting 1° 16/06/2005

3 INAF Osservatorio Astrofisico di Catania Grid status TriGrid pre-meeting 1° 16/06/2005 Griglia di Produzione N.1 Computing Elementgridce.ct.astro.it N.1 Storage Elementgridse.ct.astro.it N.1 User Interfacegridui.ct.astro.it N.2 +’1’ Worker Nodesgridwn1.ct.astro.itgridwn2.ct.astro.it 8 Processors POWER 41.1 GHz Global RAM Memory: 16 Gbytes Disk Array: 437 GB RAID 5 L2: 1.5 Mbytes L3: 128 Mbyte ram: 2 GB per processor OS AIX 5.2 spnodo4.ct.astro.it

4 INAF Osservatorio Astrofisico di Catania Grid status TriGrid pre-meeting 1° 16/06/2005 Gilda site N.1 Computing Elementgildace.ct.astro.it N.1 Storage Elementgildase.ct.astro.it N.1 User Interface N.2 Worker Nodesgildawn1.ct.astro.itgildawn2.ct.astro.it gridui.ct.astro.it

5 INAF Osservatorio Astrofisico di Catania  INTEGRAZIONE DEL SISTEMA DI CALCOLO IBM SP in Grid.it Grid activities PROBLEMATICHE Our goal was to find procedures to integrate an IBM SP parallel computer into the INFN- GRID as a worker node N.1 IBM SP Power 4 node (8 CPUs) We cannot use an LCFG server to install an IBM SP as a worker node for at least two reasons: LCFG version of INFN-GRID initialize machines, reinstalling the OS and all needed applications LCFG version of INFN-GRID initialize machines, reinstalling the OS and all needed applications The repository managed by the LCFG contains rpm packages compiled for i386 architecture and Linux Redhat 7.3: architecture and SO of target machines is definitively different. The installation must proceed in a different way!

6 INAF Osservatorio Astrofisico di Catania  INTEGRAZIONE DEL SISTEMA DI CALCOLO IBM SP in Grid.it Grid activities IBM SP4 configuration OpenPBS 2.3.16 compilation and pbs_mom installation Some slight changes has been required to the OpenPBS installation scripts: platform AIX 5.1 unsupported We have used “–enable-sp2” to compile special code to deal with the SP high speed switch. IBM Grid Toolbox V3 for AIX installation (it is the IBM version of Globus Toolkit 3)IBM Grid Toolbox V3 for AIX installation (it is the IBM version of Globus Toolkit 3) Virtual Organitazions user creationsVirtual Organitazions user creations Ex: inaf001 is the username used by gridce.ct.astro.it to map the following certificate: “/C=IT/O=INFN/OU=Personal Certificate/L=INAF Catania/CN=Alessandro Costa/Email=acosta@ct.astro.it” Population of /etc/grid-security/certificates/Population of /etc/grid-security/certificates/ with CA certificates and Certification Revocation Lists by a cron copy from the CE. Minor changes (mktemp command compilation and installation, creation of a list containing ssh keys of trusted hosts) on AIX 5.2.Minor changes (mktemp command compilation and installation, creation of a list containing ssh keys of trusted hosts) on AIX 5.2. Computing Element PBS server configuration:PBS server configuration: Add new WNs to /var/spool/pbs/server_priv/nodes. Submission on NON Linux systems gridwn1.ct.astro.it np=1lcgpro gridwn2.ct.astro.itnp=1lcgpro spnodo4.ct.astro.itnp=8ibmsp Replace ‘source’ with ‘. ’ inReplace ‘source’ with ‘. ’ in/opt/globus/lib/perl/Globus/GRAM/submit-helper.pl belonging to the package: lcg-extra-jobmanagers-1.1.6-1 (Perl  script shell remote execution. Changes in CE) These changes have no side effects on the other linux worker nodes

7 INAF Osservatorio Astrofisico di Catania  INTEGRAZIONE DEL SISTEMA DI CALCOLO IBM SP in Grid.it Grid activities

8 INAF Osservatorio Astrofisico di Catania Short-HOWTO Sottomissione di Job a IBM spnodo4.ct.astro.it da una User Interface INFN GRID L’IBM SP4 (spnodo4.ct.astro.it) dell’Osservatorio Astrofisico di Catania è attualmente configurato come Worker Node (WN) del nostro sito grid di produzione. E’ quindi possibile sottomettere job su tale macchina utilizzando i classici comandi di sottomissione della User Interface (CLI), con l’aggiunta di un requirement per far sì che il Resource Broker (RB) scheduli il job in tale macchina. Ció puó essere ottenuto in due modi: Aggiungendo l’opzione resource gridce.ct.astro.it:2119/jobmanager-lcgpbs-short durante la sottomissione con il comando edg-job-submit Inserendo all’interno del JDL che descrive il job il seguente requisito: Requirements = other.GlueCEUniqueID = = "gridce.ct.astro.it:2119/jobmanager-lcgpbs-short"; TriGrid pre-meeting 1° 16/06/2005

9 INAF Osservatorio Astrofisico di Catania HelloWorld.jdl [ Executable = "/bin/echo"; Arguments = "Hello World"; StdOutput = "message.txt"; StdError = "stderror"; OutputSandbox = {"message.txt","stderror"}; rank = -other.GlueCEStateEstimatedResponseTime; requirements = other.GlueCEStateStatus == "Production"; Requirements = other.GlueCEUniqueID == "gridce.ct.astro.it:2119/jobmanager- lcgpbs-short"; ] Di seguito un semplice esempio di JDL: Per la sottomissione, usare il seguente comando, una volta che ci si è autenticati su una user interface e inizializzato un proxy (con grid- proxy-init o myproxy-init/myproxy-get-deletation): edg-job-submit --vo inaf –o JID HelloWorld.jdl TriGrid pre-meeting 1° 16/06/2005

10 INAF Osservatorio Astrofisico di Catania Lo scopo del presente progetto e' quello i estendere le funzionalita' di Astrocomp ed adeguarne le funzionalita'. Sara' infatti interfacciato con i componenti di Grid.it e sfruttera' le possibilita' offerte dalla rete di poter avviare l'esecuzione del software sui nodi che saranno determinati dai livelli sottostanti delle componenti di rete. In questo modo l'utente potra' scegliere il software che vuole eseguire e Astrocomp, ne avviera‘ l'esecuzione sul nodo che sara' individuato con il minor carico computazionale e con le risorse adeguate. Inoltre questa nuova implementazione consentira' di gestire dallo stesso punto di accesso sistemi per loro natura eterogenei: i nodi di Grid.it generalmente basati su cluster di PC e nodi di tipo MPP come il sistema IBM SP dell'Osservatorio. Il punto in oggetto sara' sviluppato anche con la collaborazione del gruppo originario che ha ideato il progetto: Prof. R.C. Dolcetta, Dott. P. Miocchi,Dott.ssa P. Di Matteo (Univ. La Sapienza-Roma), e Dott. V. Rosato (Enea Casaccia-Roma). TriGrid pre-meeting 1° 16/06/2005  Astrocomp-G: integrazione in grid Grid activities

11 Astrocomp-G We introduce Astrocomp-G, a grid-enabled portal to run codes over a computational grid.Specifically, we re-implemented the portal authentication mechanisms adopting standards currently used in many international computational grids. A user who wants to log into the portal will need, besides username/password released by the portal web master upon registration, a digital X509 certificate that will allow a “proxy” creation, stored by a MyProxy server. It is used to authenticate users who are accessing the facilities offered by the grid. -Login in UI -Downolad Certificate and key -Create MyProxy (extend certification validaty) -Login, Password, Myproxy server, Myproxy Passfrase and Username,

12 Astrocomp-G The use of proxies and X509 certificates is a key point of GSI (Grid Security Infrastructure), a standard used by all grid infrastructures all over the world.To implement the portal login and proxy creation, we made use of Grid Port 2, a Perl toolkit designed by Npaci to aid in portal creation.To give a further level of security Astrocomp-G is accessed through HTTPS/SSL connections made available by Apache web server. Moreover, we re-engineered the job submission mechanisms of the available parallel codes to handle their running on the GRID-IT production grid. In particular, through the portal, we are able to check job status, watch logs, retrieve the output from a Resource Broker and visualize the output. Because of the particular features of available applications, the portalis currently set to directed submitted jobs towards our IBM SP machine previously integrated in out testbed.The experiments have been done using MARA, a parallel code for the analysis of light curves of closed binary systems (Becciani, U. et al. 2005).

13 INAF Osservatorio Astrofisico di Catania Infrastruttura di rete TriGrid pre-meeting 1° 16/06/2005  Target: unica LAN “estesa” che raccolga le risorse grid di INFN CT e INAF CT INAF grid fibra multimodale (4 coppie) INFN grid nodo garr ct fibra monomodale CWDM (Coarse Wave Division Multiplexing ) Fino a 16 Λ su una singola fibra

14 INAF Osservatorio Astrofisico di Catania Infrastruttura di rete TriGrid pre-meeting 1° 16/06/2005 INAF grid fibra multimodale INFN grid nodo garr ct fibra monomodale SWITCH+GBIC (GigaBit Interface Converter) Fibra - rame CWDM Convertitori mulimodo/monomodo

15 INAF Osservatorio Astrofisico di Catania Infrastruttura di rete TriGrid pre-meeting 1° 16/06/2005  previsioni di spesa componentemodello quantitàprezzo (euro) ChassisMetrobility 2500 R4000-02 Multiplexer CWDM Metrobility 23600 R416-A4-A SWITCHCISCO11800 2950G 24El GBIC LX CISCO11000 WS-G5486 Conv multim/monomodo1600 7500