Grid a Perugia Modifiche ad INFN-GRID per permetterne il funzionamento con Worker Nodes su rete nascosta Truncellito Francesco Mariotti Mirko Leonello Servoli

Installazione standard di INFN GRID F. Truncellito, L. Servoli, M. Mariotti INFN Workshop 2004 Linstallazione standard di INFN GRID 2.0.0, prevede che tutti gli elementi costituenti un sito abbiano una sola interfaccia di rete ed un IP pubblico. Vantaggi: facilità di installazione; facilità di installazione;Svantaggi: sono necessari svariati IP pubblici; sono necessari svariati IP pubblici; occorre maggior cura per la sicurezza; occorre maggior cura per la sicurezza; Introduzione ed obiettivi (1/4)

F. Truncellito, L. Servoli, M. Mariotti INFN Workshop 2004 Installazione standard di INFN GRID Introduzione ed obiettivi (2/4) NETWORK CONFIGURATIONGRID WN1 INFN LAN WN2 WN3 CE SE UI DNS LCFG - DHCP

PRIVATE LAN INFN LAN PRIVATE LAN F. Truncellito, L. Servoli, M. Mariotti INFN Workshop 2004 Installazione custom di INFN GRID Introduzione ed obiettivi (3/4) La nostra installazione prevede: WNs su rete privata; CE e SE su rete pubblica. WN1 WN2 WN3 SE UI CE

F. Truncellito, L. Servoli, M. Mariotti INFN Workshop 2004 Possiamo suddividere gli interventi apportati per questo tipo di installazione in tre gruppi: 1. Modifiche in pre-configurazione: riguardano i servizi di rete (DNS, DHCP); 2. Modifiche in configurazione: sono le modifiche fatte attraverso LCFG; 3. Modifiche in post-configurazione: riguardano principalmente il batch system ed i problemi sorti a causa della tipologia di installazione; Introduzione ed obiettivi (4/4) Modifiche fatte:

F. Truncellito, L. Servoli, M. Mariotti INFN Workshop 2004 Pre-Configurazione (1/10) Gli interventi apportati in pre-configurazione sono stati: 1. Connessioni di rete del server LCFG; 2. Aggiunta di un server DNS per la rete interna; 3. Configurazione del DHCP per servire 2 reti; 4. Networking dei Worker Nodes.

F. Truncellito, L. Servoli, M. Mariotti INFN Workshop 2004 Connessione di rete del server LCFG Pre-Configurazione (2/10) Il server LCFG deve poter servire due reti distinte: 1. La rete LAN INFN (come per linstallazione standard); 2. La rete privata dei nodi; Per questo motivo il server LCFG deve avere almeno due interfacce di rete.

PRIVATE LAN Rete Pubblica F. Truncellito, L. Servoli, M. Mariotti INFN Workshop 2004 Pre-Configurazione (3/10) Connessione di rete del server LCFG WN1 WN2 WN3 INFN LAN SE UI CE LCFG

F. Truncellito, L. Servoli, M. Mariotti INFN Workshop 2004 Aggiunta di un server DNS Pre-Configurazione (4/10) Ad installazione ultimata i Worker Nodes non saranno risolvibili dallesterno; Ad installazione ultimata i Worker Nodes non saranno risolvibili dallesterno; Affinchè lo siano internamente alla rete privata, abbiamo inserito un DNS; Affinchè lo siano internamente alla rete privata, abbiamo inserito un DNS; É stato creato il sottodominio cmsgrid.pg.infn.it; É stato creato il sottodominio cmsgrid.pg.infn.it; La posizione del server LCFG lo rende il candidato ideale per ospitare il server DNS; La posizione del server LCFG lo rende il candidato ideale per ospitare il server DNS; La configurazione del DNS è standard per una rete privata; La configurazione del DNS è standard per una rete privata;

F. Truncellito, L. Servoli, M. Mariotti INFN Workshop 2004 Aggiunta di un server DNS Pre-Configurazione (5/10) Rete Pubblica LCFGDNS PRIVATE LAN Rete Privata WN1 WN2 WN3 INFN LAN SE UI CE

F. Truncellito, L. Servoli, M. Mariotti INFN Workshop 2004 Pre-Configurazione (6/10) I profili pubblicati da LCFG devono essere notificati sia alla rete privata, sia alla LAN INFN; I profili pubblicati da LCFG devono essere notificati sia alla rete privata, sia alla LAN INFN; I profili risulteranno appartenenti a due domini diversi: I profili risulteranno appartenenti a due domini diversi: pg.infn.it pg.infn.it cmsgrid.pg.infn.it cmsgrid.pg.infn.it Il server DHCP deve rispondere a due reti diverse; Il server DHCP deve rispondere a due reti diverse; Configurazione del server DHCP

F. Truncellito, L. Servoli, M. Mariotti INFN Workshop 2004 Pre-Configurazione (7/10) Configurazione del server DHCP Rete Pubblica LCFG DNS – DHCP PRIVATE LAN Rete Privata WN1 WN2 WN3 INFN LAN SE UI CE DHCP

F. Truncellito, L. Servoli, M. Mariotti INFN Workshop 2004 Configurazione del server DHCP Pre-Configurazione (8/10) 03 deny unknown-clients; 05 not authoritative; 09 option dhcp-class-identifier "PXEClient"; 10 option vendor-encapsulated-options 01:04:00:00:00:00:ff; 11 filename "pxelinux.0"; 12 subnet netmask { 13 option routers ; 14 option domain-name-servers , ; 31 host cmsgridgk { 32 option user-class " 33 hardware ethernet 00:20:ED:xx:xx:xx; 34 fixed-address ; 35 } } 16 subnet netmask { 17 option routers ; 18 option domain-name-servers ; host node17 { 21 option user-class " 22 hardware ethernet 00:20:ED:xx:xx:xx; 23 fixed-address ; 24 } }

F. Truncellito, L. Servoli, M. Mariotti INFN Workshop 2004 Pre-Configurazione (9/10) Occorre scegliere un gateway per i Worker Nodes che dovrà essere opportunamente configurato; La scelta è ricaduta sul server LCFG per i seguenti motivi: 1. Gestisce già il networking del sito (DNS, DHCP); 2. Semplicità di configurazione; 3. Non partecipa direttamente nellesecuzione di job Grid; Abbiamo mascherato la rete privata utilizzando NAT. Networking dei nodi

F. Truncellito, L. Servoli, M. Mariotti INFN Workshop 2004 Pre-Configurazione (10/10) Struttura finale del sito Rete Pubblica PRIVATE LAN Rete Privata WN1 WN2 WN3 INFN LAN SE UI CE LCFG DNS · DHCP · NAT NAT

F. Truncellito, L. Servoli, M. Mariotti INFN Workshop 2004 Configurazione (1/7) La nostra configurazione prevede due tipi di elementi: 1. I Worker Nodes: hanno una sola interfaccia di rete; 2. Computing Element, Storage Element ad User Interface: hanno due interfacce di rete; I due tipi di elementi hanno configurazione diversa, sia per quanto riguarda i parametri di rete, sia per la presenza fisica delle due interfacce. Modifiche ai file di configurazione dei nodi sul server LCFG

F. Truncellito, L. Servoli, M. Mariotti INFN Workshop 2004 Configurazione (2/7) I Worker Nodes appartengono alla sola rete locale; I parametri di rete sono definiti in un proprio site-cfg.h: Parametri di rete dei Worker Nodes /* Computing Element & Storage Element hostname */ #define CE_HOSTNAME cmsgridgk.pg.infn.it #define SE_HOSTNAME cmsgridse.pg.infn.it #define SITE_LOCALDOMAIN cmsgrid.pg.infn.it #define SITE_MAILROOT #define SITE_GATEWAYS #define SITE_ALLOWED_NETWORKS , , #define SITE_NAMESERVERS #define SITE_NETMASK #define SITE_NETWORK #define SITE_BROADCAST #define SITE_LCFG_SERVER cmslcfg.cmsgrid.pg.infn.it #define SITE_CE_HOSTS CE_HOSTNAME #define SITE_SE_HOSTS SE_HOSTNAME #define SITE_WN_HOSTS node*.SITE_LOCALDOMAIN #define SITE_GIIS infn-pg #define SITE_GIIS_HOSTNAME CE_HOSTNAME #define SITE_BDII_HOST ibm140.cnaf.infn.it #define SITE_BDII_PORT 2170 #define CE_IP_RUNTIMEENV LCG2 PERUGIA MPICH

F. Truncellito, L. Servoli, M. Mariotti INFN Workshop 2004 Configurazione (3/7) Nel Computing Element, nello Storage Element e nella User Interface vanno attivate le interfacce di rete che sono collegate alla rete privata. Le modifiche (per quanto riguarda il CE), sono inserite in: 1. ComputingElement-local-cfg.h; 2. cmsgridgk (file di configurazione principale); (Analoghe modifiche si hanno per SE ed UI) Modifiche al CE, SE ed UI: seconda interfaccia di rete

/* ComputingElement-local-cfg.h ========================================================================= COMPUTING ELEMENT LOCAL RESOURCES DEFINITION */ +hardware.modlist eth1 eth0 hardware.mod_eth1 alias eth1 e100 +network.interfaces lo eth1 eth0 +network.gatewaydev eth1 +network.hostname_eth1 HOSTNAME +network.netmask_eth1 SITE_NETMASK +network.network_eth1 SITE_NETWORK +network.broadcast_eth1 SITE_BROADCAST +network.ipaddr_eth0 INT_IP +network.netmask_eth0 INT_NETMASK +network.network_eth0 INT_NETWORK +network.broadcast_eth0 INT_BROADCAST /* COMPUTING ELEMENT */ /* Host specific definitions */ #define HOSTNAME cmsgridgk #define INT_IP #define INT_NETMASK #define INT_NETWORK #define INT_BROADCAST F. Truncellito, L. Servoli, M. Mariotti INFN Workshop 2004 Configurazione (4/7) Modifiche al CE, SE ed UI: seconda interfaccia di rete: ComputingElement-local-cfg.hcmsgridgk

F. Truncellito, L. Servoli, M. Mariotti INFN Workshop 2004 Configurazione (5/7) site-cfg.h per Computing Element, Storage Element ed User Interface site-cfg.h I parametri in site-cfg.h per Computing Element, Storage Element ed User Interface, sono gli stessi di una configurazione standard; Le eccezioni sono: 1. Nella definizione dei Worker Node che risultano in unaltra rete; 2. Che il DNS è il server LCFG;

/* ComputingElement hostname */ #define CE_HOSTNAME cmsgridgk.pg.infn.it /* StorageElement hostname */ #define SE_HOSTNAME cmsgridse.pg.infn.it #define SITE_LOCALDOMAIN pg.infn.it #define SITE_MAILROOT #define SITE_GATEWAYS #define SITE_ALLOWED_NETWORKS , , #define SITE_NAMESERVERS #define SITE_NETMASK #define SITE_NETWORK #define SITE_BROADCAST #define SITE_LCFG_SERVER cmslcfg.pg.infn.it #define SITE_CE_HOSTS CE_HOSTNAME #define SITE_SE_HOSTS SE_HOSTNAME #define SITE_WN_HOSTS node*.cmsgrid.SITE_LOCALDOMAIN #define SITE_GIIS infn-pg #define SITE_GIIS_HOSTNAME CE_HOSTNAME F. Truncellito, L. Servoli, M. Mariotti INFN Workshop 2004 Configurazione (6/7) site-cfg.h per Computing Element, Storage Element ed User Interface

F. Truncellito, L. Servoli, M. Mariotti INFN Workshop 2004 Configurazione (7/7) I due site-cfg.h a confronto VARIABILENEI WORKER NODESIN CE, SE e UI CE_HOSTNAME SE_HOSTNAME SITE_LOCALDOMAIN SITE_MAILROOT SITE_GATEWAYS SITE_ALLOWED_NETWORKS SITE_NAMESERVERS SITE_NETMASK SITE_NETWORK SITE_BROADCAST SITE_LCFG_SERVER SITE_CE_HOSTS SITE_SE_HOSTS SITE_WN_HOSTS SITE_GIIS SITE_GIIS_HOSTNAME SITE_BDII_HOST SITE_BDII_PORT CE_IP_RUNTIMEENV cmsgridgk.pg.infn.it cmsgridse.pg.infn.it cmsgrid.pg.infn.it , , cmslcfg.cmsgrid.pg.infn.it CE_HOSTNAME SE_HOSTNAME node*.SITE_LOCALDOMAIN infn-pg CE_HOSTNAME ibm140.cnaf.infn.it 2170 LCG2 PERUGIA MPICH cmsgridgk.pg.infn.it cmsgridse.pg.infn.it pg.infn.it , , cmslcfg.pg.infn.it CE_HOSTNAME SE_HOSTNAME node*.cmsgrid.SITE_LOCALDOMAIN infn-pg CE_HOSTNAME ibm140.cnaf.infn.it 2170 LCG2 PERUGIA MPICH

route add –host cmsgridgk.pg.infn.it gw cmsgridgk.cmsgrid.pg.infn.it Routing sui nodi ROUTE $clienthost localhost $clienthost cmsgridgk.pg.infn.it $clienthost cmsgridgk.cmsgrid.pg.infn.it $restricted cmsgridgk.pg.infn.it /var/spool/pbs/mom_priv/config Reti riconosciute PBS F. Truncellito, L. Servoli, M. Mariotti INFN Workshop 2004 Post-Configurazione (1/2) Gli interventi apportati in post-configurazione sono legati ad openPBS: 1. Modifiche alla configurazione di openPBS; 2. Routing statico verso il CE nei nodi;

Post-Configurazione (2/2) La fase di testing ha portato alla luce la presenza di alcuni problemi minori che abbiamo risolto con piccoli interventi manuali: 1. Definizione errate delle variabili LCG_GFAL_INFOSYS in etc/profile.d/lcgenv.sh – lcgenv.csh ; 2. Package edg-lcfg-uicmnconfig edg1.noarch.rpm danneggiato; Problemi minori risolti:

F. Truncellito, L. Servoli, M. Mariotti INFN Workshop 2004 Conclusioni e sviluppi futuri (1/2) Entrata nella griglia di produzione INFN: Site viewGeo viewGris view Grid-it Il 22 marzo 2004, alle 00:15 il sito Grid di Perugia ha pubblicato i suoi servizi, entrando ufficialmente a far parte del progetto INFN-Grid, ed è stato certificato dal CMT;

F. Truncellito, L. Servoli, M. Mariotti INFN Workshop 2004 Conclusioni e sviluppi futuri (2/2) Il futuro di INFN GRID Perugia: Nel prossimo futuro è nostra intenzione aumentare il numero di Worker Nodes, sia tramite lacquisizione di nuove macchine, sia tramite la migrazione di farm locali verso il progetto GRID. Per migliorare la gestibilità del sito creato, stiamo cercando di integrare le modifiche apportate manualmente direttamente tramite LCFG.