IV Corso di formazione INFN per amministratori di siti GRID Tutorial di amministrazione DGAS Giuseppe Patania INFN sezione di Torino

IV Corso di formazione INFN per amministratori di siti GRID SOMMARIO Descrizione generale Componenti software Flusso dei dati Installazione pacchetti Configurazione con YAIM Startup dei servizi Tool di amministrazione Link utili Argomenti Trattati

IV Corso di formazione INFN per amministratori di siti GRID DGAS e’ un software di accounting che aggrega diverse informazioni relative a un “job”, le immagazzina in un database e le rende disponibili per future interrogazioni. Le informazioni sono diverse: variano da dati quantitativi (CPU TIME, WALL TIME, etc) a dati descrittivi relativi all’utente che ha sottomesso il job (identificazione dell’utente, VO di appartenenza, etc). Il software e’ basato su una infrastruttura client/server, in cui i servizi comunicano tra di loro scambiandosi informazioni, il tutto basato su un layer di sicurezza che garantisce l’ integrita’ dei dati e l’ inaccessibilita’ da parte di terzi. Introduzione

IV Corso di formazione INFN per amministratori di siti GRID Servizi sul CE: glite-dgas-urcollector – raggruppa i dati di accounting relativi a un job,scrivendoli dentro un file. Queste info sono estratte dai file di log dell’ LRMS (pbs, lsf, SGE) e dal ceJobMAP (blahp.log per il CE Cream, grid-jobmap_“date” per il CE Lcg). glite-dgas-pushd – Trasmette le informazioni contenute nei file prodotti da “glite-dgas-urcollector” al server HLR di riferimento. glite-dgas-ceServerdHad – esegue un monitoraggio continuo dello stato dei sensori, cercando di riattivarli nel caso di uno stop imprevisto. Servizi: sensori

IV Corso di formazione INFN per amministratori di siti GRID Servizi sull’ HLR: glite-dgas-hlr-listener – riceve i dati dai CE e li inserisce in un database temporaneo (hlr_tmp). Ogni record equivale a un job glite-dgas-hlr-qmgr – trasferisce i record dal db temporaneo al db definitivo (HLR). Condizione necessaria e’ che il record sia proveniente da un CE registrato nell’HLR (tab: hlr.acctdesc) glite-dgas-hlr-urforward – trasmette una copia dei record ad un HLR predefinito di livello superiore (HLR di secondo livello) glite-dgas-ceServerdHad – esegue un monitoraggio continuo dello stato dei servizi Servizi: HLR

IV Corso di formazione INFN per amministratori di siti GRID Flusso dei dati: CE File A File A File B File B File C File C File A’ File A’ File B’ File B’ File C’ File C’ Err urCollectorPushd urBox HAD LRMS log jobMap log CE Job atmClient atmClient() HLR

IV Corso di formazione INFN per amministratori di siti GRID Flusso dei dati: HLR listener qmgr HAD HLR 2L CE hlr_tmp dbhlr db ur-forward data HLR

IV Corso di formazione INFN per amministratori di siti GRID Installazione HLR L’installazione del servizio HLR richiede che siano presenti i seguenti repositories: Di seguito i pacchetti necessari per l’installazione : lcg-CA (installazine CA ) glite-yaim-core ig-yaim (pacchetto per configurazione con yaim) ig_HLR (meta-pacchetto DGAS) MySQL >=4.1.20

IV Corso di formazione INFN per amministratori di siti GRID Configurazione DGAS è configurato mediante il tool ig-yaim. I parametri relativi ai sensori sul CE sono configurati attraverso il file generale ig-site-info.def Il servizio HLR è invece visto come un nodo yaim specifico “ig_HLR”, che deve essere esplicitato quando si lancia il comando “ig-yaim” /opt/glite/yaim/bin/ig_yaim -c –s [path]/ig-site-info.def –n ig_HLR

IV Corso di formazione INFN per amministratori di siti GRID yaim: sensori Parametri yaim presenti nel file ig-site-info.def: DGAS_HLR_RESOURCE=“ hostname_hlr_di_riferimento ” DGAS_ACCT_DIR=“ path dei log file del batch system ” – Per torque/pbs : DGAS_ACCT_DIR=“/var/spool/pbs/server_priv/accounting”

IV Corso di formazione INFN per amministratori di siti GRID yaim: HLR Parametri presenti in: …/siteinfo/services/ig-hlr DGAS_HLR_DB_USER =“nome utente mysql” default: “dgas” DGAS_HLR_DB_PASSWORD = “password utente mysql” DGAS_HLR_DB_NAME =“hlr” DGAS_HLR_TMP_DB_NAME =“hlr_tmp” DGAS_HLR_ENABLE_UR_FORWARD =“yes/no” default: “no”

IV Corso di formazione INFN per amministratori di siti GRID Startup dei servizi Sia i sensori sia il server HLR si attivano in modo semplice attraverso il comando “service”. All’ avvio vengono attivati i servizi ausiliari come l’ HAD. L’opzione status consente di verificare se i sensori/l’HLR server sono attivi a sono fermi e se i servizi collegati sono stati attivati /fermati correttsmente. Sensori [ CE ] – service glite-dgas-urcollector [ start | stop | status ] – service glite-dgas-pushd [ start | stop | status ] HLR – service glite-dgas-hlrd [ start | stop | status ]

IV Corso di formazione INFN per amministratori di siti GRID tool: dgas ping Il comando glite-dgas-ping consente di ricevere dal server HLR informazioni sul suo stato (server in ascolto/irraggiungibile) e sugli engine attivi. /opt/glite/bin/glite-dgas-ping -s dgas-dev-25.to.infn.it –t 1 Available Engines: UI:ATM:PING Ping requests: 7032 Opzioni: -s [nome_hlr_da_interrogare] -t modalita’ output [ 0 normale / 1 estesa ]

IV Corso di formazione INFN per amministratori di siti GRID tool: hlr admin I I comandi seguenti permettono di gestire la creazione, rimozione, interrogazione di un utente con privilegi di amministratore di HLR Un utente con privilegi di amministratore di HLR ha la facolta’ di interrogare l’ HLR per ottenere informazioni su tutti i job presenti nel database locale. Un utente sprovvisto di tali privilegi puo’ interrogare l’ HLR in relazione ai soli job da lui sottomessi. glite-dgas-hlr-addadmin – consente di creare un amministratore dell’ HLR glite-dgas-hlr-deladmin – consente di rimuovere un utente tra gli amministratori di HLR glite-dgas-hlr-queryadmin – restituisce gli utenti con i privilegi di amministratore associati all’ HLR interrogato

IV Corso di formazione INFN per amministratori di siti GRID tool: hlr admin II Per aggiungere un amministratore di HLR: glite-dgas-hlr-addadmin -a “/C=IT/O=INFN/OU=Host/L=Torino/CN=t2-hlr-01.to.infn.it" – opzioni:  -a subject del certificato dell’ admin da aggiungere  -h usage del comando Per conoscere la lista di tutti gli admin registrati nell’ HLR: glite-dgas-hlr-query-admin –a – opzioni  -a [all] restituisce la lista di tutti gli amministratori registrati  -h usage del comando

IV Corso di formazione INFN per amministratori di siti GRID tool: registrazione risorse I La registrazione delle risorse nel server HLR e’ possibile mediante due modalita’: automatica : si interroga il sitebdii presso cui sono pubblicate le risorse da registrare manuale : inserendo manualmente la/le risorse da registrare (e’ necessario sapere quali code di un host si vogliono registrare)

IV Corso di formazione INFN per amministratori di siti GRID tool: registrazione risorse II Registrazione manuale : glite-dgas-hlr-addresource -r testRes -e -d "test resource description" -c localtest.localdomain:2119/jobmanager-pbs-testqueue -S "/C=IT/OU=Host/L=testsuite/CN=testCeURL" -g testgroup – opzioni  -r [id risorsa]  -e [mail admin risorsa]  -d [descizione risorsa]  -c [coda della risorsa]  -S [DN risorsa]  -g [gruppo di appartenenza della risorsa]

IV Corso di formazione INFN per amministratori di siti GRID tool: registrazione risorse III Registrazione automatica: glite-dgas-hlr-bdiiresimport.pl -s "sitebdii.dominio" -H “ce.dominio" – opzioni  -s hostname del bdii di sito su cui sono pubblicate le risorse  -H hostname del CE di cui si vogliono registrare le code Interrogazione risorse registrate (restituisce le risorse registrate nell’ HLR): glite-dgas-hlr-queryresource -o human

IV Corso di formazione INFN per amministratori di siti GRID tool: query verso HLR Caso d’uso: glite-dgas-hlr-query -Q sql -A "select * from jobTransSummary where dgJobId like ‘ 02.cnaf.infn.it:9000/tLMRNLq9m-q8yqt9yx3mgw ‘ " il comando precedente restituisce tutte le info relative al job identificato dal job_id contrassegnato. Il comando glite-dgas-hlr-query puo’ essere usato in molteplici modi. Esso fornisce informazioni aggregate, relative a singoli job e in formati diversi (human, csv,etc), inoltre consente di comporre query sql passando attraverso il layer di sicurezza predisposto dal sistema di accounting DGAS. Per un uso piu’ dettagliato si rimanda alla guida pubblicata nel sito di DGAS.

IV Corso di formazione INFN per amministratori di siti GRID link utili 3_1 3_1