Il Tier2 di CMS Roma Francesco Safai Tehrani INFN Roma

10 Ottobre 2005Riunione CSN1 - F. Safai Tehrani2 Il progetto di un Tier2: Richieste dell’esperimento: Potenza di calcolo + storage Servizi erogati Affidabilità? Necessità logistiche: Infrastrutture & impianti sala macchine Hardware (CPU, dischi, network, …) Personale

10 Ottobre 2005Riunione CSN1 - F. Safai Tehrani3 Alcune informazioni: Il Tier2 che descriverò è quello proposto da CMS Roma Roma conta di ospitare due Tier2 ATLAS Roma ha richieste simili (  20%) Le infrastrutture e la sala macchina saranno in comune Per ospitare il T2 verrà costruita una nuova sala macchine

10 Ottobre 2005Riunione CSN1 - F. Safai Tehrani4 Il T2 di CMS Roma Tre compiti principali: Produzione MC Analisi (per RM/MI/TO/TS) Calibrazioni ECAL Nel 2010 (a regime): 1500 kSI2k 550TB di storage Nota: kSI2K dovrebbero essere rimpiazzati da specFPrate o specINTrate nel prossimo futuro

10 Ottobre 2005Riunione CSN1 - F. Safai Tehrani5 Profilo di crescita ( ): Dal 2006 al 2010: crescita secondo programma. Dal 2010 in poi, mantenimento ed upgrade delle macchine piu vecchie con tecnologie più moderne.

10 Ottobre 2005Riunione CSN1 - F. Safai Tehrani6 Logistica: Il T2 di Roma richiede uno spazio adeguato (interno ed esterno): Lo spazio “interno” esiste (sotto l’Ed. Fermi) Deve essere trasformato in una “sala macchine” Lo spazio “esterno” esiste ma richiede interazione con l’Università Necessità infrastrutturali: Elettricità Condizionamento Servizi addizionali

10 Ottobre 2005Riunione CSN1 - F. Safai Tehrani7 Elettricità (1) : Contratto per potenza “adeguata” con il fornitore pubblico ACEA a Roma per l’Università Si tratta di ~135KW/h a regime per CMS ~300KW/h per l’intero T2 (basato su stime “safe”: probabilmente un po’ meno…) Qualità della rete elettrica: (da uno studio di Chloride Silectron): Fluttuazioni veloci: MTBF ~500h Interruzioni “lunghe”: MTBF ~9000h

10 Ottobre 2005Riunione CSN1 - F. Safai Tehrani8 Elettricità (2): L’uso di un UPS e’ necessario per minimizzare le conseguenze di: cadute di tensione <=O(60s) L’alimentazione alle macchine viene fornita dall’UPS stesso cadute di tensione >O(60s) E’ possibile far spegnere le macchine in maniera ordinata e pulita minimizzando potenziali rotture hardware e software. O far intervenire un gruppo elettrogeno… (I tempi sono stime “ragionevoli” viste le dimensioni del T2 in oggetto, per un UPS “standard” che fornisce O(10m) di alimentazione alle macchine)

10 Ottobre 2005Riunione CSN1 - F. Safai Tehrani9 Elettricità (3): L’uso di un UPS ha numerosi vantaggi: Qualità di servizio per la corrente elettrica Filtraggio di armoniche superiori, monitoring, … Punto di disaccoppiamento per il servizio “layer di astrazione” (more on this later) …ma richiede una progettazione “specifica” Modularità: Come suddivido il carico? Un singolo modulo da 100kW? 4 moduli da 25kW? Evitare il single point of failure Ridondanza: N+1

10 Ottobre 2005Riunione CSN1 - F. Safai Tehrani10 Elettricità (4): UPS come layer di astrazione: disaccoppia il fornitore di energia dalla rete di distribuzione elettrica interna Vantaggi: Possibilità di aggiungere e togliere sistemi di generazione energetica dinamicamente Possibilità di commutare dinamicamente Ad esempio tra la rete elettrica ed un gruppo elettrogeno Punto centrale di monitoring per la qualità dell’alimentazione elettrica

10 Ottobre 2005Riunione CSN1 - F. Safai Tehrani11 Courtesy of Chloride Silectron

10 Ottobre 2005Riunione CSN1 - F. Safai Tehrani12 Elettricità (5): Gruppo elettrogeno? Problema aperto ma vediamo cosa succede in termini di servizio: …accettabile? Una interruzione di un minuto (p.e. venerdì pomeriggio) può causare un outage >2gg (o peggio…) …altro problema: il condizionamento non viene messo sotto UPS… una grossa sala macchine si scalda molto in fretta… Sarebbe utile avere un gruppo elettrogeno… Blackout:1 secondo1 minuto1 ora1 giorno1 settimana No GEUPSUPS->offoff GEUPSUPS->GEGE

10 Ottobre 2005Riunione CSN1 - F. Safai Tehrani13 Elettricità (6): Spazi necessari: (caso T2 Roma, CMS+ATLAS) ~10mq per quadri elettrici (interno) ~15mq per l’UPS (interno) varia da soluzione a soluzione ~45mq per il gruppo elettrogeno (esterno) Molti produttori di UPS offrono sistemi di monitoring ready-made, ma è anche possibile l’integrazione in infrastrutture di controllo più complesse.

10 Ottobre 2005Riunione CSN1 - F. Safai Tehrani14 Condizionamento (1): Carico termico dovuto a CMS: ~135KW Per l’intero T2 ~300KW (lo stesso caveat sulle stime vale qui) Due soluzioni possibili: Condizionamento “ambientale” Condizionamento “rack-level” “Closed Loop Rack Cooling”

10 Ottobre 2005Riunione CSN1 - F. Safai Tehrani15 Condizionamento “ambientale” L ’ aria fredda viene spinta nel sottopavimento dagli HVAC esce da griglie nel pavimento viene aspirata dalle macchine spinta fuori calda aspirata dagli HVAC che la raffreddano nuovamente

10 Ottobre 2005Riunione CSN1 - F. Safai Tehrani16 Condizionamento “rack-level”: Aria calda Aria fredda Unit à raffreddante chiller Acqua fredda Acqua calda rack

10 Ottobre 2005Riunione CSN1 - F. Safai Tehrani17 Condizionamento (2): Ambientale tradizionale: Fino a 3KW/mq Forzato puntuale: rack fino ad 8KW Esistono altre soluzioni che dichiarano potenze superiori Closed Loop Rack Cooling: Fino a 22KW/rack - altamente modulari Varie configurazioni possibili: Chiller + scambiatore di calore + stazione di pompaggio Alti (~2.40), pesanti (~1ton/rack).

10 Ottobre 2005Riunione CSN1 - F. Safai Tehrani18 Condizionamento (3): Per il T2 di Roma, sistemi Closed Loop Rack Cooling: struttura più semplice per la sala macchine maggiore modularità fondamentale dato il profilo di crescita condizionamento dove serve struttura più granulare diminuisce il rischio di downtime site-wide combinata con partizionamento/ridondanza N+1 per il chiller monitoring ambientale a livello di rack sistema antincendio a livello di rack

10 Ottobre 2005Riunione CSN1 - F. Safai Tehrani19 Il T2 di CMS in numeri: 1 WN = 1U, 1disk server = 5U (24dsk) 1 rack = 42U (19” … standard) +1 rack per servizi assortiti (centro stella, UI, monitoring…) WN Disk server Spazio (U) Spazio (tot) Rack

10 Ottobre 2005Riunione CSN1 - F. Safai Tehrani20 Infrastruttura di rete (1): Topologia a stella: Tecnologia 10Gbit/s Ethernet Centro stella in grado di supportare connessioni full duplex punto-punto a 10Gbit/s Uplink verso la WAN: 1Gbit/s con 200Mbit/s di banda garantita Upgradabile! Anyway, “la rete non è un problema”…

10 Ottobre 2005Riunione CSN1 - F. Safai Tehrani21 Infrastruttura di rete (2): Disk server Centro stella Switch WN 1 Gbit/s 10 Gbit/s

10 Ottobre 2005Riunione CSN1 - F. Safai Tehrani22 Worker Node Macchina 1U, dual CPU: AMD Opteron Dual Core 275 (2.2GHz per core) tra il 60% e l’80% più veloce di uno Xeon 3.6GHz sono appena usciti i 280 (2.4GHz per core) 4GB RAM GB HD (SO + file locali) ~6kSI2K per macchina (ma specFPrate molto meglio per valutare performance di una macchina multiprocessore/multicore) Ottimo supporto: SLC (kernel 2.6 NUMA…) Potenza dissipata (stima!): 0.5KW/h Gara a CT: dichiarati <300W

10 Ottobre 2005Riunione CSN1 - F. Safai Tehrani23 Disk server: Macchina 5U, dual CPU: CPU 64bit (AMD Opteron 252 o 254) 24 dischi SATA o SATA2 (>500GB/disk) Controller 3Ware-like di ultima generazione 2 controller x 12 dischi 1 controller x 24 dischi Configurazioni RAID0,1,5,6 Spare disk/redundancy (RAID6) Interfaccia Ethernet 10Gbit/s Potenza dissipata (stima!): 1.5KW/h

10 Ottobre 2005Riunione CSN1 - F. Safai Tehrani24 Rack di calcolo (1): 1U - switch da 48 porte 1Gbit/s + uplink 10Gbit/s modulare, espandibile a 4 porte da 10Gbit/s 40U - 40 nodi di calcolo connessi allo switch via GigabitEthernet 1U - KVM-over-IP (48 porte) esporta la console dei nodi di calcolo su una connessione IP l’uplink attraverso lo switch oppure out-of-band Sistema di monitoring del rack (over IP) sempre attraverso lo switch oppure out-of-band Presiera servoassistita (over IP) permette di accendere/spegnere le macchine da remoto costoso… ma importante! (qui l’economia di scala conta)

10 Ottobre 2005Riunione CSN1 - F. Safai Tehrani25 Rack di calcolo (2): Minimizza il numero di cavi entranti/uscenti 1 cavo di rete Fino a 4, in caso di upgrade N cavi elettrici (1 ogni 16A) Richiede un adeguato sistema di gestione dei cavi all’interno del rack ~42x3 cavi (rete, KVM, alimentazione) = 126 cavi Può causare problemi di raffreddamento 1 rack di calcolo genera ~20KW/h di calore

10 Ottobre 2005Riunione CSN1 - F. Safai Tehrani26 Infrastruttura di rete (3): Banda passante per WN: 10Gbit/s ~= 1.25GB/s 1.25GB/s / 40WN ~= 32MB/s per WN Caso pessimo, accesso concorrente Stiamo trascurando gli overhead! Che possiamo (pessimisticamente!) stimare in un 10% Per CMS non dovrebbe essere un problema Nel caso: upgrade! 2 uplink a 10Gbit/s ~= 64MB/s per WN 4 uplink a 10Gbit/s ~= 128MB/s per WN

10 Ottobre 2005Riunione CSN1 - F. Safai Tehrani27 Rack di storage (1): 40U - 8 disk server Ogni disk server ha un uplink verso il centro stella da 10Gbit/s 1 KVM-over-IP da 8 porte connesso o direttamente al centro stella o ad uno switch “di servizio” da 24/48 porte che si connette al centro stella

10 Ottobre 2005Riunione CSN1 - F. Safai Tehrani28 Rack di storage (2) Cavi entranti/uscenti: 8 cavi di rete 10Gbit/s Verso il centro-stella 3 cavi di rete 10/100/1000Gbit/s Verso lo switch di servizio da 24/48 porte KVM-over-IP, controllo ambientale, presiera N cavi di alimentazione (1 ogni 16A)

10 Ottobre 2005Riunione CSN1 - F. Safai Tehrani29 Infrastruttura di rete (4): Ogni disco ha a disposizione una banda passante di 1.25GB/s teorici ampiamente oltre la capacità di trasferimento di un array di dischi “contemporaneo” la matrice del centro-stella garantisce questa velocità per tutte le connessioni punto-punto Che sistema useremo per accedere ai dischi? NFS, rfio NAS puro (hw o sw) NAS + GPFS Lustre …?

10 Ottobre 2005Riunione CSN1 - F. Safai Tehrani30 Servizi centralizzati: Monitoring: Macchine, dischi, ambientale (rack, UPS, gruppo elettrogeno, circolazione dell’acqua di raffreddamento, …), rete Eventuale realizzazione di tool ad-hoc per automatizzare condizioni di allarme Macchine di servizio: User Interface per l’utenza

10 Ottobre 2005Riunione CSN1 - F. Safai Tehrani31 Personale: 1 FTE/esperimento per la gestione dei Tier2 1 per CMS, 1 per ATLAS Gestione tecnica e pratica Interventi di manutenzione, coordinamento delle nuove installazioni, contatti con i fornitori… FTE “sistemistici” per esperimento Con copertura nei periodi “festivi” In accordo con le richieste di affidabilità Per la cronaca questo significa ALMENO 3 persone… N FTE dagli esperimenti per gestire le varie attività Produzione MC, calibrazioni,...

10 Ottobre 2005Riunione CSN1 - F. Safai Tehrani32 Il T2 di CMS Roma a regime: ~9 rack autocondizionati contenenti 108 WN, 34 disk server 1 centro stella dotato di ~40porte 10Gbit/s + N uplink 1Gbit/s 135KW/h di potenza assorbita (per CMS) ~3FTE completamente dedicati (per CMS) Spazio per servizi GRID (O(2rack)) 34mq per CMS + (altrettanti±20%) per ATLAS 22mq all’interno per UPS e quadri elettrici e 96 mq all’esterno per gruppo elettrogeno e chiller In comune

10 Ottobre 2005Riunione CSN1 - F. Safai Tehrani33 Il lavoro da fare: Tanto! R&D su reti a 10Gbit/s filesystem avanzati (GPFS, NAS, LUSTRE…) topologie di rete dedicate/specializzate … Sistemi di distribuzione elettrica: Capire i dettagli del problema per poi contattare esperti È necessario un gruppo elettrogeno? Cosa implica? Manutenzione? Sicurezza? I colleghi del Tier1 sicuramente possono aiutare…

10 Ottobre 2005Riunione CSN1 - F. Safai Tehrani34 Altro lavoro da fare: I rack autocondizionati? I gestori di GridKA a Karlsruhe hanno avuto un’ottima esperienza in proposito e sono stati prodighi di informazioni e consigli. …e lo saranno ancora in futuro (speriamo :) ) Expertise INFN? Problemi comuni: È possibile trovare delle soluzioni “generali” (=che soddisfino tutti i T2) a problemi specifici? Quali sono i punti in comune a tutti i progetti T2? Mauro Morandin ha proposto la formazione di un gruppo di lavoro sui T2 per evidenziare problematiche comuni…

10 Ottobre 2005Riunione CSN1 - F. Safai Tehrani35 Ancora lavoro…: Coordinamento di tutte le attività relative alla preparazione degli impianti e delle infrastrutture Il tempo c’è ma… Non è esattamente sovrabbondante… Particolarmente quando ci sono N giocatori (INFN, Università, ditte … ) Per quanto ci riguarda, siamo in attesa che ci venga ufficialmente assegnato lo spazio (entro fine anno) per cominciare ad organizzare i passi successivi.

10 Ottobre 2005Riunione CSN1 - F. Safai Tehrani36 Conclusioni: La realizzazione di un T2 implica un lavoro considerevole (o forse enorme) ma NON impossibile Lo spazio e l’esperienza ci sono i soldi… speriamo (ma questo sta a voi :) ) Il T2 di Roma non può e non deve essere avulso dall’attività della comunità dei T2 INFN condividere conoscenze ed esperienze è e sarà fondamentale per il successo di questi progetti.

10 Ottobre 2005Riunione CSN1 - F. Safai Tehrani37 Slide addizionali

10 Ottobre 2005Riunione CSN1 - F. Safai Tehrani38

10 Ottobre 2005Riunione CSN1 - F. Safai Tehrani39