Job Management Systems ovvero

Presentazione sul tema: "Job Management Systems ovvero"— Transcript della presentazione:

1 Batch Queue Systems @T2s
Job Management Systems ovvero Sviluppi nei sistemi di gestione code per LHC Outline LSF LSF over a GRID farm Code Scheduler PBS Pro e Contro SGE Tabella comparativa LSF - PBS - SGE Italia tabella comparativa conclusioni INFN - CCR07, Rimini 2007 28/02/2019 1

2 Batch Queue Systems @T2s
@PISA GRID @ INFN-PISA [INFNGRID/LCG dal 2000] PBS dal 2000 al 2006 LSF dal 2007 INFN-PISA LSF dal 2002 su 15 farm di sezione SGE dal 2005 su 2 cluster di sezione: HPC e Cray XD1 (fisici teorici) INFN - CCR07, Rimini 2007 28/02/2019 2

3 Batch Queue Systems @T2s
LSF LSF over a GRID farm LSF Software & Licenses on AFS area ==> installazione = link vs AFS semplificazione installazione (limitata a uno script) Disaccoppiamento CE - LSFmaster - BDII CE e LSFmaster sono nodi identici agli altri LSFserver ma a 0 job running [CE: only bsub + MW, grid gatekeeper] BDII disaccoppiato da CE per motivi di carico e conseguente mismatching delle risorse sui broker information provider riconfigurazione WN (ig_WN_LSF) tempo richiesto per l'operazione: 1/2 giorno (NB: struttura LSF on AFS preesistente), con PBS ancora running !!! INFN - CCR07, Rimini 2007 28/02/2019 3

4 Batch Queue Systems @T2s
LSF PRO stabilita' scalabilita' semplicita' uso configurabilita' partizionabilita' host / VO processo autoesclusione black-holes alta integrazione in LCG - INFNGRID tempo di gestione praticamente nullo CONTRO costo (?) installazione completamente manuale necessita filesystem condiviso almeno tra master e CE (area log /work) scarsa documentazione installazione middleware INFNGRID => necessario aiuto da parte di esperti INFN - CCR07, Rimini 2007 28/02/2019 4

5 Batch Queue Systems @T2s
LSF - Server Master Esiste un nodo master. In caso di down della macchina, gli altri nodi eleggono un nuovo master stesso software e MiddleWare IG per Master e Slaves (server) LSF - Scheduler / FairShare integrato in LSF => robusto gestibile semplicemente possibilita' di gestione code per PRIORITA' o FAIRSHARE possibilita' di riservare hosts, cluster, code, con pesi e percentuali variabili in funzione di VO di appartenenza, singoli utenti (noti o generici) INFN - CCR07, Rimini 2007 28/02/2019 5

6 Batch Queue Systems @T2s
LSF - Code e Configurazione max flessibilita' in gestione CODE e HOST (e gruppi di host) definibili: cluster code accoppiamenti macchine-code partizione host "test" associata a coda "test" per test di nuove macchine Gruppi Host / gestione code PROD/LOCAL FairShare TEST Priority INFN - CCR07, Rimini 2007 28/02/2019 6

7 Batch Queue Systems @T2s
LSF - Local Possibilita' di utilizzo della farm come cluster locale con FairSharing altamente granulare e personalizzabile soglie definibili per utente, gruppo, cluster di macchine coda LOCAL: coda a piu' alta priorita' utenti locali AFS definiti su tutti i nodi della farm cambiamento di tutti i groupID degli utenti grid (ex:atlas001) INFN - CCR07, Rimini 2007 28/02/2019 7

8 Batch Queue Systems @T2s
PBS v.1 PBS Open v.1: versione INFNGRID < 2006 PRO ~ funzionava open installazione via middleware INFNGRID alta integrazione in Middleware CONTRO instabilita' frequenti reboot per overload del CE perdita di sincronia CE - WN => restart servizio frequenti errori durante lo scambio chiavi SSH in fase di installazione Scheduler / FairShare NON integrato: MAUI frequenti restart servizio scarsa scalabilita' O(100) nodi scheduler MAUI incapace di garantire un corretto funzionamento INFN - CCR07, Rimini 2007 28/02/2019 8

9 Batch Queue Systems @T2s
PBS v.2 PBS Open v.2: versione INFNGRID > 2007 Testato solo sul nodo SNS-PISA [3 WN x2] ...poco piu' che sensazioni! PRO maggiore stabilita' NO sovraccarico CE anche a seguito di corpose sottomissioni job grid INFN - CCR07, Rimini 2007 28/02/2019 9

10 Batch Queue Systems @T2s
PBS Pro PBS Pro v.2 Testato c/o SCeR (Servizio Calcolo e Reti) INFN-PISA e SNS-PISA PRO facilita' installazione CONTRO costo NON integrabile in INFNGRID (quantomeno non in modo semplice) INFN - CCR07, Rimini 2007 28/02/

11 Batch Queue Systems @T2s
SGE (SunGrid Engine) 1 farm Fisici Teorici 20 nodi 1 cluster High Performance "Sperimentale” 150 nodi 4-8core PRO estrema facilita' installazione robustezza scalabilita' velocita' reazione/adattamento (a seguito di aggiunta/rimozione nodi) free Globus compliant CONTRO NON INFNGRID/LCG compliant INFN - CCR07, Rimini 2007 28/02/

12 Batch Queue Systems @T2s
INFN - CCR07, Rimini 2007 Tabella comparativa LSF-PBS-SGE thanks to SUN Microsystems 28/02/

13 Batch Queue Systems @T2s
Job Management Systems Italia Siti coinvolti nel questionario INFN - CCR07, Rimini 2007 Questionario girato a tutte le sedi Italiane dei "T2” Quadro completo: 28/02/

14 Batch Queue Systems @T2s
Italia Sistema di code usato, data, organizzazione Code, VO Scheduler Dimensioni cluster, statistiche job Problemi, flessibilita' Scalabilita' Sviluppi futuri Costi (finanziari e umani) INFN - CCR07, Rimini 2007 28/02/

15 Batch Queue Systems @T2s
INFN - CCR07, Rimini 2007 28/02/

16 Batch Queue Systems @T2s
Riassunto - Conclusioni PBS (Massima parte di reazioni riguardano PBS v.1) Utilizzato in media dai siti piu' piccoli In fase di valutazione passaggio a LSF in caso di necessita' PRO installazione via middleware INFNGRID Open CONTRO sovraccarico CE scarsa scalabilita' scheduler non integrato: MAUI (esterno) => problemi interoperabilita' crash scheduler in caso di problemi WN problemi nello scambio di chiavi SSH per grosso numero di nodi INFN - CCR07, Rimini 2007 28/02/

17 Batch Queue Systems @T2s
Riassunto - Conclusioni PBS PBS v.2 BARI: testato fino a 150 job slot con ottimi risultati PBS Pro NASA !!! INFN - CCR07, Rimini 2007 28/02/

18 Batch Queue Systems @T2s
Riassunto - Conclusioni LSF Utilizzato in siti con O(>100) hosts Generalmente migrati a LSF dopo aver provato PBS Sembra capace di tenere il passo dell'evoluzione prevista per un T2 PRO tempo di gestione praticamente nullo possibilita' farm mista SLC3 - SLC4 partizionabilita' host / VO facilita' installazione client locali per job submission (bsub) CONTRO NON free (ma pool di licenze CNAF => problemi in caso di down del CNAF) installazione completamente manuale => problemi di interfacciamento con Middleware GRID (utenti grid vanno messi a mano sui server LSF) necessita filesystem condiviso almeno tra master e CE (area log /work) CERN usa LSF su migliaia di nodi !!! INFN - CCR07, Rimini 2007 28/02/