Batch Queue Systems @T2s Job Management Systems ovvero Sviluppi nei sistemi di gestione code per LHC Outline Esperienza @Pisa LSF LSF over a GRID farm Code Scheduler PBS Pro e Contro SGE Tabella comparativa LSF - PBS - SGE Survey @T2 Italia tabella comparativa conclusioni INFN - CCR07, Rimini 2007 28/02/2019 Federico.Calzolari@pi.infn.it 1

Batch Queue Systems @T2s @PISA GRID @ INFN-PISA [INFNGRID/LCG dal 2000] PBS dal 2000 al 2006 LSF dal 2007 Cluster @ INFN-PISA LSF dal 2002 su 15 farm di sezione SGE dal 2005 su 2 cluster di sezione: HPC e Cray XD1 (fisici teorici) INFN - CCR07, Rimini 2007 28/02/2019 Federico.Calzolari@pi.infn.it 2

Batch Queue Systems @T2s LSF LSF over a GRID farm LSF Software & Licenses on AFS area ==> installazione = link vs AFS semplificazione installazione (limitata a uno script) Disaccoppiamento CE - LSFmaster - BDII CE e LSFmaster sono nodi identici agli altri LSFserver ma a 0 job running [CE: only bsub + MW, grid gatekeeper] BDII disaccoppiato da CE per motivi di carico e conseguente mismatching delle risorse sui broker information provider riconfigurazione WN (ig_WN_LSF) tempo richiesto per l'operazione: 1/2 giorno (NB: struttura LSF on AFS preesistente), con PBS ancora running !!! INFN - CCR07, Rimini 2007 28/02/2019 Federico.Calzolari@pi.infn.it 3

Batch Queue Systems @T2s LSF PRO stabilita' scalabilita' semplicita' uso configurabilita' partizionabilita' host / VO processo autoesclusione black-holes alta integrazione in LCG - INFNGRID tempo di gestione praticamente nullo CONTRO costo (?) installazione completamente manuale necessita filesystem condiviso almeno tra master e CE (area log /work) scarsa documentazione installazione middleware INFNGRID => necessario aiuto da parte di esperti INFN - CCR07, Rimini 2007 28/02/2019 Federico.Calzolari@pi.infn.it 4

Batch Queue Systems @T2s LSF - Server Master Esiste un nodo master. In caso di down della macchina, gli altri nodi eleggono un nuovo master stesso software e MiddleWare IG per Master e Slaves (server) LSF - Scheduler / FairShare integrato in LSF => robusto gestibile semplicemente possibilita' di gestione code per PRIORITA' o FAIRSHARE possibilita' di riservare hosts, cluster, code, con pesi e percentuali variabili in funzione di VO di appartenenza, singoli utenti (noti o generici) INFN - CCR07, Rimini 2007 28/02/2019 Federico.Calzolari@pi.infn.it 5

Batch Queue Systems @T2s LSF - Code e Configurazione max flessibilita' in gestione CODE e HOST (e gruppi di host) definibili: cluster code accoppiamenti macchine-code partizione host "test" associata a coda "test" per test di nuove macchine Gruppi Host / gestione code PROD/LOCAL FairShare TEST Priority INFN - CCR07, Rimini 2007 28/02/2019 Federico.Calzolari@pi.infn.it 6

Batch Queue Systems @T2s LSF - Local Possibilita' di utilizzo della farm come cluster locale con FairSharing altamente granulare e personalizzabile soglie definibili per utente, gruppo, cluster di macchine coda LOCAL: coda a piu' alta priorita' utenti locali AFS definiti su tutti i nodi della farm cambiamento di tutti i groupID degli utenti grid (ex:atlas001) INFN - CCR07, Rimini 2007 28/02/2019 Federico.Calzolari@pi.infn.it 7

Batch Queue Systems @T2s PBS v.1 PBS Open v.1: versione INFNGRID < 2006 PRO ~ funzionava open installazione via middleware INFNGRID alta integrazione in Middleware CONTRO instabilita' frequenti reboot per overload del CE perdita di sincronia CE - WN => restart servizio frequenti errori durante lo scambio chiavi SSH in fase di installazione Scheduler / FairShare NON integrato: MAUI frequenti restart servizio scarsa scalabilita' O(100) nodi scheduler MAUI incapace di garantire un corretto funzionamento INFN - CCR07, Rimini 2007 28/02/2019 Federico.Calzolari@pi.infn.it 8

Batch Queue Systems @T2s PBS v.2 PBS Open v.2: versione INFNGRID > 2007 Testato solo sul nodo SNS-PISA [3 WN x2] ...poco piu' che sensazioni! PRO maggiore stabilita' NO sovraccarico CE anche a seguito di corpose sottomissioni job grid INFN - CCR07, Rimini 2007 28/02/2019 Federico.Calzolari@pi.infn.it 9

Batch Queue Systems @T2s PBS Pro PBS Pro v.2 Testato c/o SCeR (Servizio Calcolo e Reti) INFN-PISA e SNS-PISA PRO facilita' installazione CONTRO costo NON integrabile in INFNGRID (quantomeno non in modo semplice) INFN - CCR07, Rimini 2007 28/02/2019 Federico.Calzolari@pi.infn.it 10

Batch Queue Systems @T2s SGE (SunGrid Engine) 1 farm Fisici Teorici 20 nodi 1 cluster High Performance "Sperimentale” 150 nodi 4-8core PRO estrema facilita' installazione robustezza scalabilita' velocita' reazione/adattamento (a seguito di aggiunta/rimozione nodi) free Globus compliant CONTRO NON INFNGRID/LCG compliant INFN - CCR07, Rimini 2007 28/02/2019 Federico.Calzolari@pi.infn.it 11

Batch Queue Systems @T2s INFN - CCR07, Rimini 2007 Tabella comparativa LSF-PBS-SGE thanks to SUN Microsystems 28/02/2019 Federico.Calzolari@pi.infn.it 12

Batch Queue Systems @T2s Job Management Systems SURVEY @T2 Italia Siti coinvolti nel questionario INFN - CCR07, Rimini 2007 Questionario girato a tutte le sedi Italiane dei "T2” Quadro completo: http://www.pi.infn.it/tier2/doc/T2_QueueS.htm 28/02/2019 Federico.Calzolari@pi.infn.it 13

Batch Queue Systems @T2s SURVEY @T2 Italia Sistema di code usato, data, organizzazione Code, VO Scheduler Dimensioni cluster, statistiche job Problemi, flessibilita' Scalabilita' Sviluppi futuri Costi (finanziari e umani) INFN - CCR07, Rimini 2007 28/02/2019 Federico.Calzolari@pi.infn.it 14

Batch Queue Systems @T2s INFN - CCR07, Rimini 2007 28/02/2019 Federico.Calzolari@pi.infn.it 15

Batch Queue Systems @T2s Riassunto - Conclusioni PBS (Massima parte di reazioni riguardano PBS v.1) Utilizzato in media dai siti piu' piccoli In fase di valutazione passaggio a LSF in caso di necessita' PRO installazione via middleware INFNGRID Open CONTRO sovraccarico CE scarsa scalabilita' scheduler non integrato: MAUI (esterno) => problemi interoperabilita' crash scheduler in caso di problemi WN problemi nello scambio di chiavi SSH per grosso numero di nodi INFN - CCR07, Rimini 2007 28/02/2019 Federico.Calzolari@pi.infn.it 16

Batch Queue Systems @T2s Riassunto - Conclusioni PBS PBS v.2 BARI: testato fino a 150 job slot con ottimi risultati PBS Pro NASA !!! INFN - CCR07, Rimini 2007 28/02/2019 Federico.Calzolari@pi.infn.it 17

Batch Queue Systems @T2s Riassunto - Conclusioni LSF Utilizzato in siti con O(>100) hosts Generalmente migrati a LSF dopo aver provato PBS Sembra capace di tenere il passo dell'evoluzione prevista per un T2 PRO tempo di gestione praticamente nullo possibilita' farm mista SLC3 - SLC4 partizionabilita' host / VO facilita' installazione client locali per job submission (bsub) CONTRO NON free (ma pool di licenze CNAF => problemi in caso di down del CNAF) installazione completamente manuale => problemi di interfacciamento con Middleware GRID (utenti grid vanno messi a mano sui server LSF) necessita filesystem condiviso almeno tra master e CE (area log /work) CERN usa LSF su migliaia di nodi !!! INFN - CCR07, Rimini 2007 28/02/2019 Federico.Calzolari@pi.infn.it 18