CMS HPC Italia

outline Utilizzo di HPC in CMS Alcuni esempi Marconi nello specifico ...

Overview di CMS Una iniziativa quasi in produzione: NERSC Cori: Cray XC basato su Intel Haswell – in fase di upgrade con inclusione di Intel Xeon Phi (Knights Landing) Edison: Cray XC30 basato su Intel Ivy Bridge Sistema davvero minimale: una release (1!) di CMSSW installata a mano, no CVMFS Ok per una singola produzione, ma non praticabile come risorsa multipurpose Sottomissione via BOSCO (ssh gateway) che si attacca ad uno SLURM Usa containers Due iniziative in fase di commissioning SDSC Comet: basato su Intel Xeon E5-2680v3 Stampede TACC: basato su Intel E5 8-core (Sandy Bridge) e Intel Xeon Phi (Knights Corner) Accesso basato su CE standard; + facile

CMS - NERSC Allocazione di 1.6 Mhours nel 2016 Accesso tramite gateway ssh (BOSCO) Integrazione con LRMS (SLURM) Linux minimale per Cray + containers Gestore è “shifter” ma al momento si usa un layer basato su Docker con incluso CMSSW. In fase di preparazione container shifter nativi con CVMFS Disponibile outbound connectivity. Inatallati squid server locali Set up della rete problematica, bandwidth limitata (700KB/s/job) Efficienza massima del 50% su workflow RECO

Amazon Tecnicamente: immagini che fanno partire direttamente HTCondor Startd e si connettono al global pool Accesso routed allo storage di FNAL Senza costi di rete, via EsNet FNAL e’ un closeSE di AWS per CMS Visto come sito autonomo in CMS Immagini EC2 hanno client CVMFS dentro Molto simile a setting di Indigo per chi ha seguito CdGA stamattina (e M$, solo mooolto piu’ grosso, e mooolto meno caro!)

Cineca/Marconi? Non c’e’ moltissima documentazione in rete, trovato solamente questo https://hpc- forge.cineca.it/files/CoursesDev/public/2016/Bologna/Marconi/Marconi_achitectu re.pdf

Valutazione delle partizioni A1 e A3 sono solo CPU apparentemente Ok per noi, utilizzabili da subito A2 ha KNL Forse utilizzabile come singoli cores stupidi (ma da provare, probabi,nente non basta la RAM) Comunque, sarebbe uno spreco ! A3 ha processori molto nuovi e “mi dicono gli esperti” che a parita’ di core, danno il doppio di Pflops grazie ad una nuova AVX512 Quindi sw compilato per architetture standard non avrebbe il boost di prestazioni D’altra parte, anche volendo passare a avx512 (ma e’ facile? E’ solo opzione di compilatore?) ci sarebbe il problema di avere una repository software specifica E la physics validation? Chi la fa? Senza usare avx512, spreco del 50% dei Pflops. A1 e’ la scelta migliore: processori noti che sappiamo utilizzare

A1 – valutazione della potenza Sito CINECA da’ 1512*36 = 54432 cores senza HyperThreading 108864 con HyperThreading E li valuta a 2 Pflops Hepspec06: un dual socket E5-2697 da 815 HS06 su 72 cores ((18+18)*2 con HT on) Per cui A1 sarebbe 815*1512 = 1.2 MHS06 Il doppio della CPU di tutti i T1 di CMS, per avere un’idea

Ambiente operativo (per quello che si capisce) PBS presente (non nel link, ma mi viene detto dai teorici pisani) Sistema operativo? Non specificato, mi sorprenderei fosse un problema (al max Docker) Networking? Locale assolutamente eccessivo per le nostre esigenze; WAN a noi andrebbe benissimo tutto tunnelling verso CNAF RAM: OK Disco locale: non specificato, ma sono macchine standard; qualcosa ci deve essere Come hint, su 72 cores a noi servirebbero > 200 GB

I dettagli possono complicare le cose Ci permetterebbero di caricare kernel modules? CVMFS e’ probabilmente il singolo punto in cui le cose si possono complicare Se non ci permettono di montarlo, anche con Docker diventa problematico (Docker non e’ una soluzione a questo problema) Ci sara’ un environment WLCG like? Certificati, CRL, etc… Probabilmente no … Docker? BOSCO?

Soluzioni possibili Estensione elastica del CNAF su cineca sarebbe largamente preferibile Accounting gratis (via CE CNAF e APEL) Come farlo? LSF: serve o tunnelling o DMZ; comunque servono demoni running HTCondor come batch system Dovremmo riuscire a usarlo anche come non root Serve infrastruttura lato CNAF, che se capisco si voleva comunque mettere in piedi

conclusioni Sulla carta, A1 dovrebbe essere ben utilizzabile da noi Il problema sono davvero I dettagli, soprattutto umani Quanto il CINECA sarebbe flessibile per eventuali installazioni personalizzate? (GULP: potremmo reinstallare macchine????) – chiaramente in questo modo si va in una situazione Bari-like, con una rete molto migliore Nella pratica, con un po’ di supporto lato CNAF, se ne vale la pena (no 100 cores per 1 mese), si puo’ e si deve fare …