Il Calcolo non LHC in CSN1 G. Carlino, INFN Napoli CSN1 – Roma 17 Luglio 2014

L’ infrastruttura di calcolo LHC CSN1 - 17/07/14G. Carlino - Il Calcolo non-LHC2 Il Calcolo LHC svolge e svolgerà sempre un ruolo primario per il calcolo in CSN1 L’infrastruttura messa in piedi per il calcolo LHC (T1 e 10 T2) ha raggiunto un livello di maturità e dimensioni tali da poter essere convenientemente ed efficacemente utilizzata da tutti gli esperimenti della commissione (e non solo) L’evoluzione tecnologica (cloud, rete..) rende possibile una centralizzazione delle risorse e l’abbandono dei cluster locali Motivazione di questa presentazione Inquadrare il calcolo non LHC in commissione all’interno di questa infrastruttura Rendersi conto del possibile impatto economico nei prossimi anni (non è stato eseguito alcun referaggio delle richieste degli esperimenti, ciò verrà fatto a settembre)

Il calcolo in CSN1 CSN1 - 17/07/14G. Carlino - Il Calcolo non-LHC3 Il Calcolo degli esperimenti LHC si basa su regole ben precise: MoU o accordi con le collaborazioni, risorse pledged in base al numero di autori Il Calcolo degli esperimenti non LHC è più variegato: Belle II intende assumere un modello simile a quello LHC: definizione di un MoU, share proporzionali agli autori, utilizzo delle infrastrutture del Tier1 e di Tier2 LHC NA62 intende calcolare al Tier1 con share proporzionali agli autori LHCf calcola al Tier1 Bes III, Compass (in parte) puntano ad utilizzare un Tier2 LHC Kloe è ovviamente un caso particolare, fungendo anche da Tier0 e Tier1

Il Tier1 CSN1 - 17/07/14G. Carlino - Il Calcolo non-LHC4 Principale centro di computing per gli esperimenti LHC e molti altri: –Particles: Kloe, LHCf, Babar, CDF + Belle2, NA62 –Astroparticles: ARGO, AMS, PAMELA, MAGIC, Auger, Fermi/GLAST, Xenon …. –Neutrino: Icarus, Borexino, Gerda –Gravitation: Virgo CPUDISKTAPECPUDISKTAPE HS06TB-NTBHS06TB-NTB Experiment % ALICE ATLAS CMS LHCB Total LHC TIER1 BaBar (SuperB)Belle2(2014) CDF KLOE LCHf NA62 LHCB TIER2 TOTALE GRUPPO I Rapporto Esperimenti CSN1 vs LHC: ~ 6% Disco - 17% CPU – 15% Tape

NA 62 CSN1 - 17/07/14G. Carlino - Il Calcolo non-LHC5 Numbers have to be checked in 2014 run with:  Real beam conditions  Almost final detectors (Gigatracker missing)  Final L0-trigger processor  L1/L2 trigger algorithms 1 NA62-year  200 days × 60% global beam delivery = 120 nominal days  9 TB/day  1 PB of RAW +RECOnstructed data (~ same size) +Calibration/control samples +Monte Carlo  10 kHS06 for processing

NA 62 – Computing Model CSN1 - 17/07/14G. Carlino - Il Calcolo non-LHC6  Pass-0 reconstruction and calibrations at T0  Pass-1+ reprocessing at T1’s  Analysis at T1’s  Monte Carlo at T2’s  Amount of resources at T0 and T1 depend on the detailed reprocessing/analysis model: Process/Reprocess share between T0 and T1’s:  Distribute x% of RAW and keep on tape at T1’s Always start from RAW  RECO only on disk

NA 62 CSN1 - 17/07/14G. Carlino - Il Calcolo non-LHC7 Data taking schedule months of running from mid October to mid December  Mostly for testing detectors, beam, trigger and DAQ, data transfers, etc. etc Assuming 27 weeks of running (~ a standard year) 2016 and 2017 Expect standard years Computing resources/year Two steps: First phase, process at T0 and distribute RECO to T1’s for analysis  30% of RECO at INFN-T1  Analysis:  300 TB disk  3 kHS06 CPU Step 2: T1’s also contribute to reprocessing +Additional disk for staging +50% +Additional CPU for processing: +100% +300 TB tapes for holding RAW

Belle II CSN1 - 17/07/14G. Carlino - Il Calcolo non-LHC8 La presa dati dell’ esperimento comincerà in maniera significativa nel 2018 ma le attività di computing sono già iniziate Produzione MC (simulazione e ricostruzione) con produzione mDST per studi di fisica Elaborazione del Computing Model

Belle II CSN1 - 17/07/14G. Carlino - Il Calcolo non-LHC9 L’Italia ha partecipato con 6 siti alla 3° campagna MC (90 giorni nel 2014) con un contributo maggiore alla percentuale degli autori (10%)

Belle II – Computing Model CSN1 - 17/07/14G. Carlino - Il Calcolo non-LHC10 CM basato su una gerarchia simile a LHC –Raw Data Centres (Tier1) - raw data (re)-processing and storage (KEK, PNNL, GridKA, CNAF, KISTI) –Regional Data Centres (Tier2) - archivio mDST e MC production sites (Desy, Fed Italiana Tier2, ….) –MC Production sites – produzione MC e analisi Grid sites Cloud sites Cluster sites –Local Resources (Tier3) – user analysis (ntuple) Una copia RAW a KEK e una seconda negli altri RAW Data Centres, suddivisa in base ai PhD (10% in IT) -> 20% al CNAF Una copia di mDST a KEK e tre copie distribuite geograficamente (US, EU, ASIA) Analisi: sottomissione grid ai Regional Data Centres e output (ntuple) ai Local Resource Centres Event Data Model e tempi CPU basati sull’esperienza di Belle, non ottimizzati

Belle II – Risorse CSN1 - 17/07/14G. Carlino - Il Calcolo non-LHC11 Stima risorse determinate dall’esperimento e endorsed dal Review Commitee BPAC (senza seconda copia RAW). Probabile delay del commissioning della macchina Stima risorse e costi a carico dell’Italia 10% del totale quota addizionale per detector studies Totale fino al 2022: 2.2M€

Belle II – Risorse Italiane CSN1 - 17/07/14G. Carlino - Il Calcolo non-LHC12 La collaborazione propone una suddivisione di risorse 40% al Tier1 e 60% alla Federazione dei Tier2

Belle II – Risorse Italiane CSN1 - 17/07/14G. Carlino - Il Calcolo non-LHC13 La collaborazione propone che la Federazione dei Tier2 sia composta da tre siti: Napoli, Pisa, Torino Siti già Tier2 ufficiali di LHC Le risorse di Belle ( ~10% CPU delle capacità dei siti) non richiedono potenziamenti degli impianti Gruppi in loco per contribuire alle operations dei siti Le risorse necessarie per i Tier2 nel 2015 (12 kHS e 300 TB) potranno essere coperte da Napoli attraverso il progetto RECAS: 219 k€ Le risorse necessarie al Tier1 nel 2015, considerata la quota SuperB già a disposizione, è di 4 kHS (52 k€) e 100 TB (28 k€) Referaggio delle richieste a settembre

Belle II – Osservazioni sul CM CSN1 - 17/07/14G. Carlino - Il Calcolo non-LHC14 Il CM ha raggiunto un buon livello di maturazione. Il profilo temporale mostra una crescita importante dal 2019 in poi, alcuni parametri potranno sicuramente essere modificati all’inizio della presa dati riducendo la necessità di risorse: Ottimizzazione della dimensione dei dati e dei tempi di processamento Risorse necessarie all’analisi finale eccessive, motivazioni molto vaghe Il data placement può essere reso più dinamico diminuendo il numero di copie di mDST pre-placed (esperienza LHC) sfruttando le potenzialità della rete La percentuale di RAW data richiesta al CNAF (20%) a partire dal 2019 deve essere discussa La collaborazione dovrà firmare a breve un MoU (2015?). E’ necessario chiarire da subito gli aspetti che potrebbero comportare dei contributi eccessivi da parte dell’INFN Frazione di RAW Data Quota italiana: numero di PhD Limite massimo di contributo italiano

Belle II – Osservazioni sulla Fed. Tier2 CSN1 - 17/07/14G. Carlino - Il Calcolo non-LHC15 La collaborazione italiana ha chiesto ufficialmente il riconoscimento dei 3 siti componenti la Federazione –I referee ritengono ragionevole la richiesta: i tre Tier2 sono sufficientemente maturi per poter ospitare le risorse dell’esperimento senza criticità La procedura sarà la stessa seguita per i Tier2 LHC: –i referee invieranno una lettera al presidente di CSN1 il quale,in caso di parere positivo, la inoltra alla giunta proponendo il riconoscimento ufficiale dei siti in tempo per la prossima giunta (10 Settembre) –Delibera in tempo per il referaggio nella CSN1 di Settembre In ogni caso si propone che nel MoU non vengano elencati i singoli siti ma si parli sempre di Federazione dei Tier2

Il Data Centre di Torino CSN1 - 17/07/14G. Carlino - Il Calcolo non-LHC16 Condivisione delle infrastrutture tra gli esperimenti. Esempio Sezione di Torino. necessaria per ovviare all’aumento di risorse nei siti e alla varietà di applicazioni senza un adeguato incremento del manpower Acquisti HW in comune (costi migliori) e trasparenti agli esperimenti L’approccio Cloud (IaaS) ottimizza la fornitura di risorse a utenti diversi Siti grid Farm Utenti singoli Infrastruttura nata attorno al Tier2 di Alice e alla VAF (sviluppata nel Prin STOA- LHC), O( ) cores Utilizzata dal “Tier2” di BesIII, O(200) cores in test l’ingresso di Belle II e Compass

Bes III – Computing Model CSN1 - 17/07/14G. Carlino - Il Calcolo non-LHC 17 Prototipo della BES III Grid IHEP: 3844 cores, 2 PB disco –RAW data processing, simulazione e ricostruzione MC e analisi su DST –Storage centrale Siti Remoti: 7 siti per 1660 cores –Simulazione MC –analisi at peak times dopo aver copiato localmente i DST –Siti misti: grid (glite) e cluster locali (PBS) GANGA Job submission e DIRAC distributed computing job management IHEP UM N JINR PKU UST C UCA S NSCCS Z WH U IHEP- PBS Evoluzione del workflow MC production Siti prima del contributo di Torino Simulazione e ricostruzione nei siti remoti Siti con storage ~50 TB conservano localmente I dati di random trigger Siti con storage inferiore accedono alle cache più vicine (riduzione performance)

Bes III – evoluzione del CM CSN1 - 17/07/14G. Carlino - Il Calcolo non-LHC18 Passaggio a un modello distribuito da uno storage centrale remoto a storage locali distribuiti Test di simulazione e ricostruzione distribuita 10 M events, > 2k jobs Contributo e performance di INFN Torino al livello dei siti più grandi e migliori

Bes III – R&D su approccio Cloud a Torino CSN1 - 17/07/14G. Carlino - Il Calcolo non-LHC19 All’ interno dell’ infrastruttura di Cloud di Torino Bes III Italia sta testando una configurazione grid on cloud per tutta la collaborazione Manifestazione di interesse di IHEP Lo scopo è di migrare tutta l’infrastruttura di calcolo su siti cloud R&D in corso su un testbed dedicato Partecipazione di UniTO al progetto VLDATA alla call H2020 EINFRA-1 come proxy di IHEP INFN come resource provider Richieste finanziarie sito di produzione 2015: adeguamento del sito al nuovo CM come richiesto dalla collaborazione a tutti i siti non IHEP 30 TB per raggiungere i 50 richiesti: k€ 2016: 20 TB per svolgere analisi localmente: 5 k€ : rinnovo CPU, 2kHS anno: 24 k€ Richieste testbed R&D cloud 1 kHS s.j. all’ approvazione di VLDATA

Compass – Computing Model CSN1 - 17/07/14G. Carlino - Il Calcolo non-LHC20 Il CM originale local storage oriented basato su una struttura a 2 Tier CERN –Central Data Recording –Ricostruzione Home Institutes –Produzione MC –Filtering –Analisi

Compass – Evoluzione del CM CSN1 - 17/07/14G. Carlino - Il Calcolo non-LHC21 Evoluzione del CM 2006 –Intregrazione in EGEE e utilizzo risorse GRID opportunistiche per simulazione –Data transfer MC Oggi –Distribuzione μDST tra i siti –Estensione delle attività su risorse on demand L’ attività di analisi avviene comunque principalmente attraverso sottomissione diretta dei job

Compass - Evoluzione del CM CSN1 - 17/07/14G. Carlino - Il Calcolo non-LHC22 La collaborazione si sta impegnando nei test di tool avanzati di gestione dei job e dei dati già usati in altri esperimenti LHC. Passo fondamentale per il passaggio ad un completo sistema di computing distribuito e per interfacciarsi a qualsiasi sistema IaaS Compass intende partecipare alla stessa call H2020 nel progetto VLDATA incentrata sull’evoluzione di DIRAC

Compass – Siti Italiani CSN1 - 17/07/14G. Carlino - Il Calcolo non-LHC23 Il calcolo di Compass è svolto in Italia nei siti di Torino e Trieste Farm di Torino (stand alone cluster): 2.8 KHS CPU + ~50 TB Disk Il gruppo di Torino ha appena terminato dei test per integrarsi nell’ infrastruttura di cloud della sezione –Creazione di una replica dell’ attuale farm di esperimento –Esecuzione di MC, analisi e simulazione FLUKA Test positivi e per Dicembre 2014 sposteranno la farm nella cloud Efficienza della farm: –uptime: 97% –potenza di calcolo media: ~80%

Compass – Siti Italiani CSN1 - 17/07/14G. Carlino - Il Calcolo non-LHC24 Il calcolo di Compass è svolto in Italia nei siti di Torino e Trieste Farm di Trieste: inserita in una farm di sezione multi-esperimento e multi-disciplinare di dimensioni 1/3-1/2 rispetto al Tier2 medio e dotata di una tape library per archivio –Compass ha a disposizione 1.6 kHS (su 7.1 totali) e ~50 TB (su 300) Possibile sia accesso locale che grid, in sperimentazione l’implementazione di un’infrastruttura cloud basata su OpenStack

Compass – Siti Italiani CSN1 - 17/07/14G. Carlino - Il Calcolo non-LHC25 Richieste finanziarie Torino: ingrandimento della farm nel per l’analisi dei dati di Drell-Yan (mDST ~50-60 TB) che verranno raccolti dall’inizio del 2015 e in seguito rinnovamento del 50% delle CPU obsolete: –2015: 2 kHS (~20 kE) + 20 TB (~5 kE) –2016: 1 kHS (~20 kE) + 20 TB (~5 kE) – : 1 kHS (~20 kE) Trieste: risorse necessarie per mantenere i dati delle analisi concluse e in corso e ospitare i mDST di Drell-Yan e dal 2016 di DVCS/SIDIS –Incremento del disco di TB anno nel e sostituzione disco e CPU obsoleti: KE anno –Manutenzione e consumi per la TL: KE anno Osservazione: La necessità di risorse nei 2 siti dipende esclusivamente dalle analisi che il gruppo locale intende svolgere, senza precisi accordi o impegni con la collaborazione (p.es. distribuzione tra le FA delle spese di computing proporzionale al numero di autori o quota di risorse a disposizione dell’esperimento) Classificabili come Tier3, nella terminologia LHC, anche se contribuiscono alla produzione MC per tutta la collaborazione

Kloe CSN1 - 17/07/14G. Carlino - Il Calcolo non-LHC26 Risorse disponibili Storage: 250 TB CPU: 6 IBM servers, capacità di calcolo: 5 pb-1/ora Tape library: 500 TB disponibili per nuovo data taking Copia secondaria di RAW al CNAF Sostanzialmente tutti sistemi power PC proprietari IBM –Tecnologia ortogonale a tutto il resto del calcolo INFN (in realtà a tutto il calcolo HEP) Molte macchine vecchie, talvolta obsolete –Costi di manutenzione e efficienza energetica Caso particolare, la farm ha funzioni di Tier0-1-2 con una componente online e una offline, non è solo una farm locale

Kloe CSN1 - 17/07/14G. Carlino - Il Calcolo non-LHC27 Guasti nell’ultimo anno

Kloe CSN1 - 17/07/14G. Carlino - Il Calcolo non-LHC28 Sono richiesti 40 kEuro per il contratto di manutenzione e 20 kEuro per ripristino eventuali rotture (stimate sulla base dell’esperienza passata) All'interno del contratto di manutenzione ci sono tutti quei sistemi il cui guasto porterebbe a un blocco immediato delle funzioni essenziali all'esperimento, nel dettaglio –Macchine per Online and DAQ –Macchine per DB –Server di dati –Server AFS –Meccanica della tape library Sono esclusi dal contratto tutti quei sistemi che possono essere manutenuti con parti spare che sono state acquistate, e cioè –Le CPU in apparato –Switch vari CISCO 6509, CISCO 6504, 8 CISCO 3500 e 4 CISCO 4000 Fiber Channel –Tutti gli array dischi per un totale di 250 TB, tutti veicolati attraverso Fiber Channel –Tutti i tape drive –La quasi totalità delle CPU offline Richieste 2015 per manutenzioni e ripristino rotture

Kloe CSN1 - 17/07/14G. Carlino - Il Calcolo non-LHC29 Richieste 2015 tape per presa dati 250 TB SJ a LNF –Non ci sono al momento chiari i costi unitari dei nastri a Frascati 200 TB TB SJ al CNAF –Al CNAF KLOE trasferisce in automatico tutti i dati RAW Il SJ dipende dalle incertezze sulla luminosità che si riuscirà ad integrare Per una stima di eventuali richieste per il 2016 bisognerà vedere come andrà il run 2015 Assumendo nel 2015 di arrivare a 0.5 TB/pb -1 (tra RAW e ricostruiti) e 2 fb -1 integrati questo corrisponde a 1000 TB (3 volte lo storage del ) Osservazioni: L’INFN ha già chiesto di modificare il CM per integrarsi nell’infrastruttura LHC abbandonando la farm basata su architettura proprietaria. Possibile soluzione fattorizzare la parte online da quella offline e utilizzare l’aiuto offerto dal CNAF per migrare (o riscrivere) il sw. Investimenti in tali direzioni saranno necessari appena saranno chiarite le prospettive del run.

Osservazioni finali CSN1 - 17/07/14G. Carlino - Il Calcolo non-LHC30 Gli esperimenti non LHC sono inseriti in gran parte nella infrastruttura LHC e molti hanno dimostrato notevoli capacità di adottare i più moderni tool E’ necessario che la CSN1 individui delle linee precise per il finanziamento del calcolo degli esperimenti Ricordiamo che la CSN1: non finanzia Tier3 LHC finanzia solo risorse di calcolo, costi infrastrutturali e di manutenzioni sono rimandati a strutture diverse (CCR, Sezioni, Fondi Esterni). Proponiamo che: Gli esperimenti che richiederanno notevoli risorse di calcolo (tipo Belle II) è necessario che definiscano accordi precisi tra la collaborazione e l’INFN e seguano la procedura standard per l’ufficializzazione dei siti Gli esperimenti che chiedono piccoli finanziamenti in termini strutturali (O(10kE) anno) è necessario che si integrino nell’infrastruttura esistente al fine di ottimizzare l’uso e la gestione delle risorse e tagliare i costi infrastrutturali. Le richieste devono essere giustificate in maniera dettagliata e devono chiarire quanto le risorse sono un contributo al calcolo dell’intero esperimento o solo per uso locale Casi particolari, infrastrutture già esistenti e operative da anni, valutati a parte