Incontro al CINECA per HEP - summary

presenti rappresentanti dei 4 esperimenti LHC Stefano Bagnasco e Matteo Concas per ALICE Alessandro De Salvo per ATLAS Tommaso Boccali e Claudio Grandi per CMS Concezio Bozzi ed Antonio Falabella per LHCb del Tier-1 (Luca dell’Agnello) CINECA Giuseppe Fiameni, Elda Rossi, Sanzio Bassini e Nicola Spallanzani

General feeling A dispetto delle iniziali comunicazioni via e-mail (molto poco aperte a cambiamenti all’attuale configurazione), il clima e’ stato estremamente collaborativo In particolare, aspetti positivi da sottolineare Nessuna obiezione alle modifiche kernel da noi richieste (principalmente CVMFS) Apertura a grosse riconfigurazioni per accesso via cloud ai nodi (tecnologia di interesse per il CINECA per attrarre altri clienti, per loro stessa ammissione) O, in subordine, a valutare l’aspetto Docker Interesse ad utilizzo opportunistico di risorse (ammettono di avere clienti che lavorano poche ore al giorno, e in fasce orarie ben determinate)

Hardware Si e’ solamente parlato della partizione A1 di Marconi; questa va dimessa entro l’estate per essere soppiantata da A3 (che diventera la nuova A1) Informazioni aggiuntive: i nodi sono installati con Centos7.2; i nodi sono dotati di un'interfaccia a 10 Gbit con indirizzo IPv4 dietro un NAT (potenziale collo di bottiglia - non chiara la banda passante totale); i nodi sono dotati solo di un piccolo disco SSD (non sufficiente come /scratch) e montano uno shared file-system; lo scheduler e' PBS-pro; Al momento tutti i nodi sono HT-off, per cui con 128 GB di RAM ogni 36 cores. Indipendentemente da noi, il CINECA sta valutando il passaggio a HT-on.

Partizione A1 Non completamente disponibile (sarebbero 1512*36 cores nella configurazione attuale) Hanno genericamente parlato di “un paio di racks” Necessarie modifiche hardware che CINECA vuole contrattare con Lenovo Disco SSD -> HDD capiente (~ 2 TB) Scheda ethernet al posto dell’Omnipath che per noi e’ uno spreco Modalita’ possibili di utilizzo:

1. Utilizzo delle macchine as-is via PBS Necessario aggiuntivo CE al “locale”/CNAF, CREAM/PBS o HTCondor/PBS (??) Necessaria modifica da parte loro al kernel di tutte le macchine per aggiungere (quantomeno) CVMFS (problema del disco /scratch assunto come risolvibile con SSDHDD) Necessario il deployment di uno SQUID “locale”/CNAF “locale”/CNAF: in presenza di una rete robusta CNAFCINECA abbastanza irrilevante. Loro stessi si sono interessati ad una soluzione mediante GARR, per connessione diretta (anche a livello 2). Questo consentirebbe un accesso diretto a GPFS/CNAF anche senza AFM.

2. Utilizzo mediante Cloud Questo per ni sarebbe senz’altro piu’ semplice (no PBS, no configurazione strane): aggiunta elastica delle risorse come per Bari/Aruba Lato CINECA: OpenStack sui nodi Lato nostro: preparazione Immagine VM, inserimento in LSF diretto. Meglio di Bari: vicinanza geografica / banda (sperabilmente) disponibile: omogeneita’ dei WN molto maggiore rispetto a BARI/CNAF; nessuna necessita’ di AFM o caching (utilizzo di INDIGO per gestire le VM, o VM statiche?) Cosa manca? Lato loro, esperienza (e qui potremmo in una certa misura fornirla noi) Problema (che pero’ e’ generale): girare su queste macchine sarebbe facile, ma uso opportunistico tagliato fuori – sarebbero risorse dedicate

(3. Docker) Non e’ chiaro sia supportato da PBSPro, per cui potrebbe non essere una soluzione Pero’ potrebbe essere necessario nella soluzione PBS visto CentOS7.2, al momento NON supportato da LHC Visti I 6 mesi di tempo, potrebbe pero’ diventarlo … (== potremmo fare in modo che ….) A quel punto, francamente, tanto vale andare per VM vere (mia opinione) … anche visto che Docker non risolve banalmente problemi quali CVMFS e/o la necessita di fare dei tunnel a livello Kernel

Come avere opportunistico? Non banale … in ogni caso i nodi darebbero solo quelli di A1, e solo quelli con retrofitting di HDD capienti Per utilizzo opportunistico: O abbiamo anche la soluzione PBS attiva (quindi settaggio di CE-PBS, etc) (+Docker?) O li convinciamo a tirare su VM Openstack sull’hardware standard per esempio in fasce orarie Abbiamo descritto la soluzione CMS per l’HLT – certamente interessante, ma non banalissima da mettere in produzione A regime l’ultima soluzione sarebbe senz’altro la migliore …

E ora? Lato CINECA: Lato nostro: In ogni caso Stanno valutando quanto sia interessante per loro investire lato OpenStack Come detto, non certamente solo per noi: sarebbe soluzione che poi loro considerano “vendibile” Stanno cercando di capire quanto PBSPro sia Docker-friendly Lato nostro: Valutare sforzi necessari per le varie soluzione, e cercare di capire quali dettagli possano esserci sfuggiti In ogni caso Riunione tecnica a Gennaio, con il personale dei servizi T1 ben coinvolto