La presentazione è in caricamento. Aspetta per favore

La presentazione è in caricamento. Aspetta per favore

Il centro di calcolo Tier2 di LNL-PD

Presentazioni simili


Presentazione sul tema: "Il centro di calcolo Tier2 di LNL-PD"— Transcript della presentazione:

1 Il centro di calcolo Tier2 di LNL-PD
Massimo Biasotto Gaetano Maron

2 Sommario Il prototipo Tier 2 (farm CMS e INFNGRID)
Evoluzione Attivita’ CMS Attivita’ GRID Il progetto Tier-2 per CMS e Alice Funzioni Risorse Infrastruttura Costi Personale

3 Prototipo T2: startup nel 2001
Luglio 2001: setup e avvio Farm CMS 34 nodi di calcolo, 10 disk server: 44 box, 88 CPU, ~35 kSI2000, ~3 TB Infrastruttura logistica: stanza di 70mq, 30 KW (iniziali, poi espansi a 90), raffreddamento in aria, UPS e gruppo elettrogeno scaffali e PC minitower al posto di rack Tools di installazione e gestione installazione automatica, batch system (LSF) monitoring (MRTG)

4 Prototipo T2: 2001

5 Risorse hw 2001-2005 Risorse hw 2005:
70 nodi di calcolo, 140 CPU, ~180 kSI2000 IBM/Intel blades dual Xeon 2.4/3.0 GHz ~10 disk server, ~25TB ancora i vecchi server con dischi IDE + 3ware, SAN StorageTek non ancora in produzione

6 Evoluzione hardware CPU: dai PC tower sugli scaffali ai Blade-centers su rack Storage: dai disk servers (dischi IDE + controller 3ware) alla SAN (dischi SATA/FC + controller StorageTek)

7 Prototipo T2: 2005

8 T2 computing center layout
Computing Nodes (Blade Centers) N1 N14 N1 N14 N1 N14 N1 N14 N1 N14 GigaEth GigaEth GigaEth GigaEth GigaEth SWITCH SWITCH SWITCH SWITCH SWITCH 10 GE backbone To WAN GW DS1 DSn DS1 DS2 DSn DPM CE UI Grid User Interface Grid GateKeeper Local Gateway SAN Local Servers SRM Storage Element

9 Esperienze acquisite Evoluzione tools e competenze
CPU: dai PC tower ai Blade Centers Storage: Controller 3ware: limiti e problemi Storage Area Network Tools di installazione e gestione: da sistemi semi-automatici (ANIS) a quelli attuali molto piu’ completi e scalabili (LCFG, YAIM) Batch system: LSF Monitoring: MRTG, Remstats, Ganglia

10 Monitoring: Ganglia Prima versione di Ganglia in funzione da marzo 2002: quasi 4 anni di statistiche accumulate 2002 2003 2004 2005 Uso della RAM, da marzo 2002 a dicembre 2005 2002 2003 2004 2005 Numero di running jobs, da marzo 2002 a dicembre 2005

11 Attivita’ CMS

12 Attivita’ CMS: 2001 Luglio 2001: consegna dell’hardware, installazione e setup della farm In questa fase iniziale LNL gestisce solo la parte sistemistica Produzione MC e analisi per CMS gestite dal gruppo CMS di Padova

13 Attivita’ CMS: 2002 e-gamma production Missing data Monitor starting from end of Mar 2002 Spring Production Analysis Dal 2002 coinvolgimento del personale LNL anche nelle attivita’ CMS Spring 2002 Production: 1.2 milioni di eventi simulati a LNL per un totale di 1.5 TB di dati Analisi in locale e trasferimento al CERN CMS-EDG stress test

14 Attivita’ CMS: 2003 e-gamma production PCP 03 PCP 03 PCP03 Production: oltre 5 milioni di eventi simulati a LNL (10% del totale CMS) Analisi in locale e trasferimento al CERN

15 Attivita’ CMS: 2004 Con l’avvio di LCG inizia a cambiare il tipo di attivita’ del T2, da gestione di produzioni locali ad attivita’ piu’ di sito Grid che offre servizi a tutta la comunita’ Produzioni MC in locale: 3.2 M eventi, per la maggior parte DST di dataset prodotti l'anno prima. Maggior parte della produzione via grid “Publishing” dei dati locali (PubDB) per analisi a tutto CMS via grid tools: ~5 TB di dati Partecipazione a CMS Data Challenge 04

16 Attivita’ CMS: 2005 Produzioni MC locali: 1M eventi DST + 4M Hit+Digi cosmici Produzioni MC via grid e Publishing dati per analisi Service Challenge 3

17 Altre attivita’ CMS Supporto all’attivita’ del gruppo di sviluppo e costruzione delle camere muoni Repository dati e macchine per attivita’ di analisi e sviluppo Produzioni camere Testbeams Cosmic Challenge 2006

18 Grid activity milestones 2001/2005

19 Grid activity: 2001/2002 : First Quantum INFNGrid site. Direct contribution on building EDG first release (WP4: fabric mgmt, LCFG/LCFGng installation and configuration tools) : EDG installation and test : CMS stress test; participation of 10 sites. LNL 1st in storage availability, 2nd in CPU sharing (EDG 1.2.2) : first EU+US testbed; involved in DataTAG+iVDG collaboration. SC IST2002 (monitoring infrastructure and CMS test production cmsim+cmkin) : 40 CPUs shared with the GRID environment

20 Grid activity: 2003 2003-01-16: EDG v1_4_3 installation and test
:122 CPUs shared with the GRID environment (end of DataGrid project) : LCG-0 installation and test : LCG installation and test (first LCG stable release) :128 CPUs in LCG -> the most powerful farm in LCG 1.1.3; it is a hybrid farm where the the WNs are shared among local and grid use

21 Grid activity: 2004 2004-spring: CMS DC04 participation
Atlas DC 2 LHCb DC04 2004-spring: CMS DC04 participation : ALICE production in LCG environment : LHCb DC04 in LCG; LNL is mentioned at 6th place on the top ten production site list : queue/VO partitioning; during the ATLAS DC2, LNL give priority to ATLAS queued jobs : at the GDB presentation, LNL is one of the most active ATLAS DC2 LCG sites (LCG + Grid3 + NordUGrid involved sites) : ATLAS is using entirely the LNL GRID storage resources

22 Grid activity: 2005 : LCG installation and test; it’s a specific SC3 release deployed only by a restricted number of sites to help LCG to address SC3 needs then included in LCG2.6.0 stable release ( ) : SC03 T1-T2 first transfer tests (SRM-DPM) : LCG CPUs - 5 blade centers / 180 KSI KSF00

23 Il progetto Tier-2 per CMS e Alice

24 Da prototipo a T2? L’INFN sta ora decidendo quali tra i prototipi diventeranno Tier 2 ufficiali (9 siti candidati per i 4 esperimenti di LHC). Legnaro-Padova candidato T2 per CMS e Alice Settembre 2005: presentazione “Progetto di massima” dicembre-gennaio: visite referees ai siti Presentazioni:

25 Progetto di massima del centro
Funzioni del centro per gli esperimenti Risorse hardware (cpu e disco) Infrastruttura Rete Logistica (potenza elettrica, raffreddamento, UPS) Risorse umane Ruoli di responsabilita’ (gestionale, coordinamento, tecniche e operative) Personale (servizi base, sistemisti dedicati, supporto operativo degli esperimenti) Piano finanziario

26 Dalla presentazione di
Conclusioni Lo studio della produzione di quark pesanti, a cui si è finora interessato il gruppo PD-LNL, è uno dei temi di punta del programma di fisica di ALICE Queste analisi sono tra quelle che richiedono maggiori risorse in termini di tempo di CPU e spazio su disco Produzioni ad alta statistica sono necessarie per preparare le strategie di analisi per studiare l’effetto dei tagli e calcolare le corrispondenti correzioni Nel Computing Model di ALICE, i Tier-2 sono considerati come risorse condivise dall’intera Collaborazione e non dedicate a priori a specifici studi di fisica Gli interessi e l’esperienza del nostro gruppo potrebbero rendere naturale l’indirizzamento di attività di calcolo concernenti i quark pesanti sul Tier-2 PD-LNL Dalla presentazione di A. Dainese (Alice)

27 Dalla presentazione di
Il gruppo ALICE PD-LNL F. Antinori M. Cinausero A. Dainese D. Fabris J. Faivre E. Fioretto M. Lunardon M. Morando [coordinatore Heavy Flavour Physics Working Group] S. Moretto G. Prete F. Scarlassara G. Segato F. Soramel R. Turrisi L. Vannucci G. Viesti Dalla presentazione di A. Dainese (Alice)

28 Dalla presentazione di
Tier 2 CMS a LNL Scopi e funzioni: 1) centro di analisi per le analisi fisiche di interesse della comunità italiana, in particolar modo (ma non esclusivamente) dei Muoni e del Tracker e relativamente ad analisi in topologie con muoni nello stato finale 2) supporto centrale alle attività di calibrazione/sincronizzazione e allineamento delle camere a mu dell’ apparato e calibrazione della scala della misura di momento (campo magnetico) Centro di riferimento per le comunità dei Tier3 di: Bologna, Padova, Torino(muoni) (40-50 ricercatori coinvolti) + attività legate agli stream di calibrazione dei muoni da parte dei gruppi di Bari e Napoli Dalla presentazione di U. Gasparini (CMS)

29 Dalla presentazione di
Persone ai Tier3 Dalla presentazione di U. Gasparini (CMS) Bologna (15 ricercatori) G. Abbiendi, A. Benvenuti , F. Cavallo, P. Capiluppi, C.Grandi, M. Dallavalle, F. Fabbri, A. Fanfani, S. Marcellini, G. Masetti, M. Montanari , F. Navarria, F. Odorici, , A. Perrotta,T.Rovelli,R.Travaglini Padova (20 ricercatori) P.Azzi, N.Bacchetta, D.Bisello, P.Checchia,E.Conti, T.Dorigo, F.Gasparini, U.Gasparini, U.Dosselli, S.Lacaprara, I.Lippi, M.Loreti, M.Mazzucato, A.Meneguzzo, P.Ronchese, S.Vanini, E.Torassa, M.Zanetti, PL.Zotto, G.Zumerle Torino (16 ricercatori) E.Accomando,N.Amapane, M.Arneodo, A.Ballestrero, R.Bellan, G.Cerminara, E.Maina, S.Maselli, C.Mariotti, V.Monaco, M.Nervo, A.Romero, M.Ruspa, R.Sacchi, A.Solano, A.Staiano In blu persone attualmente fortemente attive in sw/analisi : 23 persone

30 Previsione risorse 2005-2010 CMS + Alice 2005 2006 2007 2008 2009 2010
CPU (kSI2K) 140 280 753 1415 2640 3800 Disk (TB) 30 73 206 555 912 1132 CPU (#box) 39 65 123 178 214 237 Disk (#disk) 91 171 319 551 622 608 #Racks 2 4 7 9 11 13 Potenza (kW) 25 40 80 130 170 200

31 Logistica Sala III Ground floor CPU + dischi UPS sala 22
Servizi Storage T2 Sala III Ground floor CPU + dischi Farm LNL SALA 0022 per STORAGE ~ 40 m2 / 50 kW SALA 0009 per CPU ~ 60 m2 / 150 kW Frigoriferi Sala 9 Gruppo Elettrogeno Tier 2

32 Logistica Sala III underground: UPS 0002 UPS per sala 9

33 Possibili Estensioni Nel caso in cui gli sviluppi futuri richiedano estensioni a quanto previsto, sara’ possibile sfruttare: Sala equivalente della 0009 al piano 1 Utilizzo completo della sala 0022

34 Rete: centro stella della farm
40 Gbps 50 Gbps RC1 RD1 RC2 RD2 RC3 10 Gbps backbone RD5 RC8 Racks CPUs Racks dischi ~ 1 Gbps per nodo

35 Rete: collegamento con il T3 di Padova
Link diretto senza passare per Il router di sezione PRO piu economico non interferisce con il router possibilita di accedere ai dati direttamente (dCache/DPM) varie possibilita di operare T2 LNL RC1 RD1 T3 Pd RC2 RD2 10 Gbps backbone Dark fiber 10 Gpbs RC3 Backup RD5 RC8 Cisco 6509 Al pop Pd Al pop Pd Llink attraverso I router Architettura standard, ben conosciuta e testata RC1 RC2 RC3 RC8 RD1 RD2 RD5 10 Gbps backbone T2 LNL Router LNL Router Pd T3 Pd Da definire con attenzione le specifiche del T3 e preparare dei test bed. Soluzione a 1 Gbps gia pronta da testare CEF720 4 porte 10 Gbps

36 Consumo kW CPU 25 SI2K/W Limite 600 (+ 50%) Limite a 600 W

37 Consumo CPU e dischi

38 Potenza Elettrica per il T2

39 UPS + Gruppo elettrogeno
La sala 0022 ha gia’ ups n+1 per un totale di 90 kW La sala avra’ 2 UPS da 200 kW l’uno Il centro T2 sara’ munito di un gruppo elettrogeno dedicato da 630 kW

40 Impianti frigoriferi La sala 0022 e’ gia condizionata (fino a 90 kW non ridondati) Condizionamento sala 0009 (60 m2) : sistema n+1 60 kW 60 kW 60 kW 60 kW 2007 2008 Cooled water ai racks

41 Rack CPU freddi per sala 0009
Il numero di rack per le CPU e’ stato calcolato in modo Da non superare mai i 20 kW per rack. Per le CPU pensiamo di utilizzare rack raffreddati ad acqua. Knurr 22 kW 12 Keuro/rack CIAT societa francese di condizionatori. Soluzione semplice scambiatore sulla porta posteriore ventole sulla stessa porta CMS on-line rack fino a 10 kW (2.5 Keuro/rack) Trattative in corso per 20 kW

42 Costo Infrastrutture 51 13 13 24 20 40 53 25 5 5 67 3 3 3 68 3 3 3 22 8 4 Con rack knurr 321 52 28 35

43 Personale Personale tecnico, non degli esperimenti
Personale permanente Legnaro: M.Biasotto (100%), L.Berti (20%), N.Toniolo (30%), M.Gulmini (30%, dal 2007) Personale a tempo determinato Legnaro: S.Badoer (100% fino al 2007) Personale permanente Padova: 2 FTE (1 dal 2007 e 1 dal 2008) Personale a tempo determinato Padova: S.Fantinel (50%, fino al 2007?) Outsurcing: 0.2 FTE

44 Personale del centro T2

45 Organigramma T2 Responsabile Responsabile Responsabile Gestione
Attivita CMS U. Gasparini Responsabile Gestione G. Maron (M. Biasotto) Responsabile Attivita Alice L. Vannucci Responsabile Impianti R. Pegoraro Responsabile Tecnico M. Biasotto Responsabile interfaccia GRID S. Fantinel Servizi di Base Biasotto Berti Toniolo Sistemisti Biasotto Berti Toniolo Gulmini Badoer 2 FTE Padova Outsourcing


Scaricare ppt "Il centro di calcolo Tier2 di LNL-PD"

Presentazioni simili


Annunci Google