Domenico Elia1CdG Tier1-Tier2 / CNAF 15.4.2016 ALICE Tier2 sites Domenico Elia CdG Tier1-Tier2 Bologna, 15 Aprile 2015  Infrastruttura e risorse, coordinamento.

Presentazione sul tema: "Domenico Elia1CdG Tier1-Tier2 / CNAF 15.4.2016 ALICE Tier2 sites Domenico Elia CdG Tier1-Tier2 Bologna, 15 Aprile 2015  Infrastruttura e risorse, coordinamento."— Transcript della presentazione:

1 Domenico Elia1CdG Tier1-Tier2 / CNAF 15.4.2016 ALICE Tier2 sites Domenico Elia CdG Tier1-Tier2 Bologna, 15 Aprile 2015  Infrastruttura e risorse, coordinamento  Prestazioni, availability, impiego CPU  Batch system in uso (siti)  Esperienza con HTCondor (Bari)

2 Domenico Elia2CdG Tier1-Tier2 / CNAF 15.4.2016 Infrastruttura e risorse  Siti WLCG ALICE INFN:  Tier2: Bari, Catania, Padova-LNL, Torino  Siti minori:Cagliari (parte del pledge), Trieste

3 Domenico Elia3CdG Tier1-Tier2 / CNAF 15.4.2016 Infrastruttura e risorse  Siti WLCG ALICE INFN:  Tier2: Bari, Catania, Padova-LNL, Torino  Siti minori:Cagliari (parte del pledge), Trieste BariCatania Padova- LNL TorinoCagliariTotal HS06 10200131471020010300043800 TB 118012041200122004800 Expected in the second half of 2016: BariCatania Padova- LNL TorinoCagliariTotal HS06 82401314777368973112039216 TB 924120411521123204423 Pledge 2015

4 Domenico Elia4CdG Tier1-Tier2 / CNAF 15.4.2016 Infrastruttura e risorse  Siti WLCG ALICE INFN:  Tier2: Bari, Catania, Padova-LNL, Torino  Siti minori:Cagliari (parte del pledge), Trieste  Coordinamento siti:  Responsabile: Stefano Piano (TS)  riunioni mensili + workshop annuale a dicembre  spreadsheet condiviso (walltime/cputime jobs, uptime SE)

5 Domenico Elia5CdG Tier1-Tier2 / CNAF 15.4.2016 Infrastruttura e risorse  Siti WLCG ALICE INFN:  Tier2: Bari, Catania, Padova-LNL, Torino  Siti minori:Cagliari (parte del pledge), Trieste  Coordinamento siti:  Responsabile: Stefano Piano (TS)  riunioni mensili + workshop annuale a dicembre  spreadsheet condiviso (walltime/cputime jobs, uptime SE)  Stato e prospettiva siti:  nuove infrastrutture ReCaS a BA e CT pienamente operative  nessun problema sensibile altrove  prospettiva espansione TO (C 3 S)  progetto regionale a TS (HPC@FVG)

6 Domenico Elia6CdG Tier1-Tier2 / CNAF 15.4.2016 Performance  SE availability:

7 Domenico Elia7CdG Tier1-Tier2 / CNAF 15.4.2016 Performance  Job efficiency:

8 Domenico Elia8CdG Tier1-Tier2 / CNAF 15.4.2016 Performance  Monitoring FAUST (APEL): https://faust01.to.infn.it/#/dashboard/script/pledge_mc_sum.js Problemi con export dati

9 Domenico Elia9CdG Tier1-Tier2 / CNAF 15.4.2016 Performance  Monitoring FAUST (APEL): https://faust01.to.infn.it/#/dashboard/script/pledge_mc_sum.js

10 Domenico Elia10CdG Tier1-Tier2 / CNAF 15.4.2016 Batch system in uso  Bari: HTCondor  commenti dal sito, slides (G. Donvito, A. Italiano)  PBS/Torque in passato (infrastruttura BC2S)  Catania: LSF  Padova-LNL: LSF  dettagli nella slide successiva (M. Sgaravatto)  Torino: PBS/Torque  HTCondor per le farm on-demand  Cagliari: LSF  HTCondor su piccoli cluster locali non Grid  Trieste: LSF

11 Domenico Elia11CdG Tier1-Tier2 / CNAF 15.4.2016 Batch system in uso: PD-LNL M. Sgaravatto

12 Domenico Elia12CdG Tier1-Tier2 / CNAF 15.4.2016 Backup

13 Domenico Elia13CdG Tier1-Tier2 / CNAF 15.4.2016 Infrastruttura e risorse  Bari:  sito multi-VO’s, multi-disciplinare, nuova infrastruttura ReCaS ❖ Il progetto ReCaS: potenziamento dei Data Center delle sedi di Bari, Catania, Cosenza e Napoli ❖ Costo Complessivo del Progetto: 13.7 MEuro (6.9 INFN, 2.1 UNINA, 4.7 UNIBA) ❖ Realizzato utilizzando in maniera integrata i finanziamenti ottenuti dall’Università di Bari e dall’INFN ❖ Inaugurato a luglio del 2015

14 Domenico Elia14CdG Tier1-Tier2 / CNAF 15.4.2016 Infrastruttura e risorse  Bari:  sito multi-VO’s, multi-disciplinare, nuova infrastruttura ReCaS ❖ Il DataCenter ReCaS è ospitato in un edificio di due piani, appositamente realizzato, con una superficie di 430 metri quadri per piano, la dotazione a regime sarà di 4 isole di 20 rack. ❖ La LAN a matrice piatta 10 Gbts punto-punto, dotata di 2 switch Huawey (attivo-passivo) equipaggiate con 480 porte e 400 ottiche. Con capacità di scalare fino a 576 connessioni ciascuno ❖ Impianto di condizionamento a Corridoio Freddo, il DataCenter è dotato di 6 CRAC (Computer Room Air Conditioner) disposti lungo le pareti del DataCenter, ognuno in grado di smaltire fino a 135 kW di calore sviluppato dalle apparecchiature informatiche (800 kW in totale). ❖ Tutte le macchine sono dotate di due alimentatori ridondanti, è sono sotto UPS sistema Trinergy della Emerson, (800 kW per 7 minuti). Il gruppo elettrogeno è un Green Power GP 1650 super silenziato da 1500 kVA. ❖ Completano l’infrastruttura : l’impianto di rilevazione fumi, e quello di spegnimento incendi, e il sistema di supervisione e video sorveglianza.

15 Domenico Elia15CdG Tier1-Tier2 / CNAF 15.4.2016 Infrastruttura e risorse  Bari:  sito multi-VO’s, multi-disciplinare, nuova infrastruttura ReCaS  risorse: ❖ 128 server (CPU 64 bit AMD) (36 INFN - 92 UNIBA) ❖ 8192 core (2304 INFN - 5888 UNIBA) ❖ 3552 TB di spazio disco DELL (1152 INFN - 2400 UNIBA) ❖ IBM System Storage TS3500 Tape Library in grado di archiviare su nastro 2500 TB di dati (UNIBA) ❖ Un cluster HPC composto da 20 server, per complessivi 800 core Intel, con connessione Infiniband e 20 schede NVIDIA K40 (UNIBA)

16 Domenico Elia16CdG Tier1-Tier2 / CNAF 15.4.2016 Infrastruttura e risorse  Catania:  multi-VO’s, multi-disciplinare, nuova infrastruttura ReCaS

17 Domenico Elia17CdG Tier1-Tier2 / CNAF 15.4.2016 Infrastruttura e risorse  Catania:  multi-VO’s, multi-disciplinare, nuova infrastruttura ReCaS  risorse: ALICE::CATANIA::SE –storage status ~1.2PB – ~175TB available ~950TB used –GPFS v3.5.0.10 –4 xrootd server (1 redirector) xrootd v4.0.4 –network bandwidth 8Gbps ( 4 x 2Gbps )

18 Domenico Elia18CdG Tier1-Tier2 / CNAF 15.4.2016 Infrastruttura e risorse  Catania:  multi-VO’s, multi-disciplinare, nuova infrastruttura ReCaS  virtualizzazione: ALICE INFN-CATANIA T2 Virtualization –Citrix XenServer pool running VMs for central services –CE (LSF Batch Server) –VOBOX, site BDII, UI, ARGUS, APELDB e SQUID per CVMFS –VMs per WNs 7 VMs for each hypervisor –9 core, 36GB RAM 100GB disk »168 VMs providing 1512 virtual cores –OpenStack in HA + Zen LB Controller Node, RabbitMQ, MariaDB (Galera Cluster), Keystone NetworkNode configured using DVR –testing the infrastructure using latest OS release Mitaka

19 Domenico Elia19CdG Tier1-Tier2 / CNAF 15.4.2016 Infrastruttura e risorse  Padova-LNL:  multi-VO’s  T2 su due siti: INFN LNL e INFN PD condivisione risorse, infrastruttura, manpower  T2 per ALICE e CMS (uso opportunistivo per altre VO’s)

20 Domenico Elia20CdG Tier1-Tier2 / CNAF 15.4.2016 Infrastruttura e risorse  Padova-LNL:  risorse computing and storage

21 Domenico Elia21CdG Tier1-Tier2 / CNAF 15.4.2016 Infrastruttura e risorse  Padova-LNL:  altri servizi

22 Domenico Elia22CdG Tier1-Tier2 / CNAF 15.4.2016 Infrastruttura e risorse  Torino:  multi-VO’s, multi-disciplinare  risorse: Nodi di calcolo: 143 WN virtuali con 8vcpu e 20GB  1144 jobslot 22 Wn fisici per un totale di 240 jobslot Storage xrootd: attualmente 830 TB usati al 62% durante il 2016 verranno aggiunti circa 400TB Infrastruttura cloud (OpenNebula): 84 Host di cui 4 dedicati ai servizi sui quali girano 280 macchine virtuali (di cui 143 sono i nodi di calcolo citati sopra)

23 Domenico Elia23CdG Tier1-Tier2 / CNAF 15.4.2016 Infrastruttura e risorse  Torino:  multi-VO’s, multi-disciplinare  upgrade in prospettiva: Centro di Competenza sul Calcolo Scientifico C 3 S Il cluster verrà installato presso il CdC INFN Torino: 32 nodi classici biproc 128GB 4 nodi heavy memory Interconnessione InfiniBand ~850TB disco (10% alte prestazioni) Gara conclusa, arrivo delle macchine in ~2 mesi Accordi burocratici con uniTO in via di definizione

24 Domenico Elia24CdG Tier1-Tier2 / CNAF 15.4.2016 Infrastruttura e risorse  Cagliari:  infrastruttura OpenStack  ospita WN Grid, condivisa con attività di gruppo I e IV  nessun problema nella gestione dei servizi  qualche instabilità dovuta all’impiego di LUSTRE  questi gli hypervisor: # server CPUCoreClockRAMHDNetwork 42xE5-2640122.60 GHz64GB1TB10Gb 42xE5-2620122.2064GB500GB1Gb

25 Domenico Elia25CdG Tier1-Tier2 / CNAF 15.4.2016 Infrastruttura e risorse  Trieste:

26 Domenico Elia26CdG Tier1-Tier2 / CNAF 15.4.2016 Infrastruttura e risorse  Trieste:  dotato di infrastruttura cloud OpenStack  sito multi-VO’s  nel 2015 transizione da GPFS a XRootD nativo  in corso test con EOS 2 master + 2 server da 80 TB raw kerberos user authentication  finanziamenti e sostenibilità: in cerca di opportunità (PRIN, EU call) progetto regionale HPC @ FVG