FESR Consorzio COMETA - Progetto PI2S2 Amministrazione Middleware Gianluca Passaro INFN Catania Italy

Presentazione sul tema: "FESR Consorzio COMETA - Progetto PI2S2 Amministrazione Middleware Gianluca Passaro INFN Catania Italy"— Transcript della presentazione:

1 www.consorzio-cometa.it FESR Consorzio COMETA - Progetto PI2S2 Amministrazione Middleware Gianluca Passaro INFN Catania Italy gianluca.passaro@ct.infn.it Tutorial per site administrator 09 July - 11 July 2007 Messina

2 Tutorial per site administrator – 09 July, 11 July - Messina 2 Outline - Utilizzo di una User Interfaces Virtuale - Come aggiungere ed abilitare una VO - Aggiungere e eliminare utenti dal Pool Account - Computing Element - Certificazione di un sito - Problemi e soluzioni

3 Tutorial per site administrator – 09 July, 11 July - Messina 3 User Interface Esistono due differenti User Interface: -UIPnP http://www.trigrid.it/tc/VIRTUAL_SERVICES/UIPnP30_TRIGRID.tar.gz -UIVM – User Interface on Virtual Machine http://www.pi2s2.it/tc/Virtual_Services/SLCERN306-VIRTUAL-UI.tar.gz Download VMPlayer (freeware tools) http://www.vmware.com/download/player/

4 Tutorial per site administrator – 09 July, 11 July - Messina 4 To run the vmplayer To Run the UIVM with vmplayer: open vmx file

5 Tutorial per site administrator – 09 July, 11 July - Messina 5 Import your certificates (1) To enter as root : –# su – –# Passwd : gridadm –# mount –t auto /dev/sdb1 /mnt –# exit As user griduser (passwd griduser) : –# cp /mnt/.globus –# chmod 644.globus/usercert.pem –# chmod 400.globus/userkey.pem

6 Tutorial per site administrator – 09 July, 11 July - Messina 6 Problemi di connessioni sulla VM L'interfaccia di rete virtuale di default, sulla quale lavora la UIVM, è la vmnet0 la quale è in bridge con la connessione di rete. Mentre vmnet8 viene creata per il NAT L'interfaccia vmnet1 è adibita per le connessioni host-only utile per la condivisioni di dati tra macchina host e virtuale (es utilizzando SAMBA)

7 Tutorial per site administrator – 09 July, 11 July - Messina 7 Problemi con la VM... scegliere tra : Bridged NAT Host-only

8 Tutorial per site administrator – 09 July, 11 July - Messina 8 Impostazioni manuale VM Editare il file : SLCERN306-VIRTUAL-UI.vmx Per personalizzare –la dimensione della RAM –device driver –etc..

9 Tutorial per site administrator – 09 July, 11 July - Messina 9 Sincronizzare data e ora /etc/init.d/ntpd stop nel file /etc/ntp.conf restrict 193.206.144.10 mask 255.255.255.255 nomodify notrap noquery server 193.206.144.10 nel file /etc/ntp/step-tickers ----> 193.206.144.10 /etc/init.d/ntpd start (Questa impostazione vale per tutte le macchine)

10 Tutorial per site administrator – 09 July, 11 July - Messina 10 Aggiornamento delle CRLs nel file : /etc/cron.d/fetch-crl.sh PATH=/sbin:/bin:/usr/sbin:/usr/bin 50 12,18,0,6 * * * root /opt/glite/libexec/fetch-crl.sh >> /var/log/fetch-crl-cron.log 2>&1 aggiorna il contenuto di /etc/grid-security/certificates

11 Tutorial per site administrator – 09 July, 11 July - Messina 11 UIPnP La User Interface PnP è un tar-ball da decomprimere sulla home dir della propria distribuzione linux http://www.trigrid.it/tc/VIRTUAL_SERVICES/UIPnP30_TRIGRID.tar.gz (per ragioni di compatibilità è consigliata a SLC30x) Per l'installazione è sufficente eseguire lo script : source ~/UIPnP30/install.sh

12 Tutorial per site administrator – 09 July, 11 July - Messina 12 Procedura di installazione Tutte le indicazioni su come installare un Grid-Element sono descritte nel seguente URL : http://grid-it.cnaf.infn.it/fileadmin/sysadm/siteinstall/siteinstall-3_0_0.html componenti comuni : –JRE o JSDK –Certificati host (tranne per UI e WN) –glite-yaim-3.0.0 -* –ig-yaim-3.0.0 -* Configurazione : editare il file site-info.def (il template si trova in /opt/glite/yaim/examples/siteinfo/)

13 Tutorial per site administrator – 09 July, 11 July - Messina 13 site-info.def In breve descriviamo il setting del file site-info.def: MY_DOMAIN=ct.pi2s2.it CE_HOST=infn-ce-01.$MY_DOMAIN RB_HOST=infn-rb-01.$MY_DOMAIN... # Site-wide settings (Informazioni sulla posizione geografica del sito) # Architecture and enviroment specific settings (Architettura del nodo) CE_RUNTIMEENV="... (Definizione dei Tags delle applicazioni supportate dal sito)

14 Tutorial per site administrator – 09 July, 11 July - Messina 14 Procedure di Installazione (2) Come si effettua un'installazione : /opt/glite/bin/ig_install_node – * ig_CE, ig_CE_LSF, ig_CE_torque – * ig_SE_classic, ig_SE_dpm_mysql, ig_SE_dpm_oracle, ig_SE_dpm_disk, ig_SE_dcache – * ig_MON – * ig_BDII – * ig_NME – * ig_WN, ig_WN_LSF, ig_WN_torque, ig_WN_noafs, ig_WN_LSF_noafs, ig_WN_torque_noafs – * ig_UI – * ig_RB – * ig_VOBOX – * ig_PX – * ig_LFC_mysql

15 Tutorial per site administrator – 09 July, 11 July - Messina 15 Aggiungere una VO: steps... Installare la CA della VO Impostare le definizioni voms nel file site-info.def Aggiungere utenti nel pool account Eseguire la riconfigurazione

16 Tutorial per site administrator – 09 July, 11 July - Messina 16 1) Installazione della CA Settare un link apt dalla quale scaricare i pacchetti certificati voms server. es. /etc/apt/sources.list.d/cometa.list rpm http://grid018.ct.infn.it rep/gilda_app-i386 trigrid # apt-get-update # apt-get install lcg-voms-vo-cometa-1.0-1 lcg-voms-vo-trigrid-1.0-1

17 Tutorial per site administrator – 09 July, 11 July - Messina 17 2) Definizioni voms... sul file di configurazione site-info.def VO_COMETA_SW_DIR=$VO_SW_DIR/cometa VO_COMETA_DEFAULT_SE=$DPM_HOST VO_COMETA_VOMS_SERVERS="'vomss://voms.ct.infn.it:8443/voms/cometa'" VO_COMETA_VOMSES="'cometa voms.ct.infn.it 15003 /C=IT/O=INFN/OU=Host/L=Catania/CN=voms.ct.infn.it cometa'" Per rendere effettive le definizioni voms si esegue la funzione : /opt/glite/bin/ig_run_function config_vomses

18 Tutorial per site administrator – 09 July, 11 July - Messina 18 Aggiungere utenti nel pool account editare users.conf 7011:cometasgm001:3011,4401:cometasgm,cometa:cometa:sgm: 4501:cometa001:4401:cometa:cometa:: editare groups.conf "/VO=cometa/GROUP=/cometa/ROLE=SoftwareManager":::sgm: "/VO=cometa/GROUP=/cometa":::: Per rendere effettive le definizioni voms si esegue la funzione : /opt/glite/bin/ig_run_function config_users

19 Tutorial per site administrator – 09 July, 11 July - Messina 19 Riconfigurazione del servizio per rendere permanente la configurazione si può scegliere di eseguire : –configurazione generale: /opt/glite/bin/ig_configure_node ig_UI –configurazione particolare: The function 'config_workload_manager_client' needs the following variables to be set in the configuration file: INSTALL_ROOT : Installation root - change if using the re-locatable distribution. OUTPUT_STORAGE : Default Output directory for the jobs. PX_HOST : PX hostname. RB_HOST : Resource Broker Hostname. VOS : List of supported VOs.

20 Tutorial per site administrator – 09 July, 11 July - Messina 20 Resource Broker : Demoni e Spazio Disco sotto /etc/init.d/ –edg-wl-lbserver –edg-wl-ftpd –edg-wl-locallogger –edg-wl-wm –edg-wl-ns –edg-wl-jc –edg-wl-lm –edg-wl-proxyrenewal Controllare lo spazio disco : –df -Th

21 Tutorial per site administrator – 09 July, 11 July - Messina 21 Resource Broker Funzioni di configurazione : –config_users (quando si aggiungono gli utenti a livello di MW) –config_gip (aggiornamento info provider... TAGS etc...) –config_mkgridmap (aggionamento del grid-mapfile) –config_vomses (aggiornamento delle definizioni voms) (queste funzioni sono comuni per CE/SE/RB/LFC) Forzare l'update del grid-mapfile # cat /etc/cron.d/edg-mkgridmap....... /opt/edg/sbin/edg-mkgridmap --output=/etc/grid-security/grid-mapfile --safe) >> /var/log/edg-mkgridmap.log 2>&1

22 Tutorial per site administrator – 09 July, 11 July - Messina 22 Computing Element : Troubleshooting Per aggiungere gli utenti a livello di LSF : /opt/lsf/conf/lsbatch/ /configdir/lsb.users badmin reconfig Ripristino del servizio Gate-Keeper dopo l'esecuzione del configure generale il file : /opt/globus/lib/perl/Globus/GRAM/JobManager/lcglsf.pm viene sovrascritto, perdendo le corrette informazioni. Preventivamente fare una copia di backup. Per monitorare i jobs dai logs less /var/log/messages

23 Tutorial per site administrator – 09 July, 11 July - Messina 23 Computing Element : Troubleshooting (2) Verificare lo scambio delle chiavi tra : –CE ---> WN e viceversa con gli utenti del pool account Per scambiare le chiavi tra i vari nodi eseguire il comando: /usr/sbin/update-lsf-ssh-knownhosts sul CE lo script non esiste occorre crearne uno simile con qualche modifica come segue:

24 Tutorial per site administrator – 09 July, 11 July - Messina 24 update-lsf-ssh-knownhosts #!/bin/bash. /etc/profile NODES=$(/opt/lsf/6.1/linux2.4-glibc2.3-x86/bin/lshosts -w | cut -f1 -d\ | grep -v HOST_NAME) > /etc/ssh/shosts.equiv > /etc/ssh/ssh_known_hosts2 for k in $NODES ; do FQDN=$(host $k | cut -f1 -d\ ) echo $FQDN >> /etc/ssh/shosts.equiv ssh-keyscan -t rsa1,dsa,rsa $FQDN >> /etc/ssh/ssh_known_hosts2 2>/dev/null done

25 Tutorial per site administrator – 09 July, 11 July - Messina 25 Certificazione di un sito La certificazione consiste nel testare un sito sottomettendo un numero notevole di jobs di diverso tipo prima di metterlo in produzione Es. uno storm di jobs Normal e mpi

26 Tutorial per site administrator – 09 July, 11 July - Messina 26 Downtime di un sito http://www.pi2s2.it/roc/ Sarebbe buona norma, durante un update, mettere in downtime un sito, prima di metterlo in produzione dopo un aggiornamento. Passare alla verifica che l'update sia andato a buon fine. Ripristinare il sito in produzione.

27 Tutorial per site administrator – 09 July, 11 July - Messina 27 Thank you for your attention !!!!