Prototipo Tier 2 di CMS-INFNGRID M. Biasotto - INFN Legnaro S. Fantinel - INFN Padova

Sommario Il prototipo Tier 2 per CMS e INFNGRID Risorse hardware ed evoluzione negli anni Esperienze acquisite Attivita’ CMS 2001-2005 Produzioni MonteCarlo in locale e via grid Publishing dati per analisi Service Challenge 3 Attivita’ GRID 2001-2005 Da DataGrid a LCG

2000: prototipo farm Linux LNL Finanziata da CCR: 10 nodi di calcolo (alcuni anche vecchi PC riciclati), 1 disk server, 1 gateway Esperienza setup e gestione farm: installazione semi- automatica, monitoring, batch system, ecc. In produzione da gennaio 2001, mantenuta negli anni in parallelo al prototipo T2 Utenti LNL: Auriga, Alice, Prisma, Gasp, N_TOF, Garfield, Divisione Acceleratori, ecc.

Prototipo T2: 2001 Luglio 2001: setup e avvio Farm CMS 34 nodi di calcolo, 10 disk server: 44 box, 88 CPU, ~35 kSI2000, ~3 TB Infrastruttura logistica: stanza di 70mq, 30 KW (iniziali, poi espansi a 90), raffreddamento in aria, UPS e gruppo elettrogeno scaffali e PC minitower al posto di rack Tools di installazione e gestione installazione automatica, batch system (LSF) monitoring (MRTG)

Prototipo T2: 2001

Prototipo T2: 2002 + 24 nodi di calcolo (PIII 1.3GHz) + 3 server nuovi + upgrade server vecchi nuovo tool di monitoring (Ganglia)

Prototipo T2: 2003 + 14 nodi di calcolo (Xeon 2.4GHz) + 1 BladeCenter IBM + 2 disk server da 5TB (RAID 3ware) Attivato il link 1Gbps verso il GARR

Prototipo T2: 2004 + 4 Blade Centers Intel + 4 disk server da 5TB - dismissione vecchie macchine passaggio a macchine rack-mounted

Prototipo T2: 2005 no upgrade hardware dismissione vecchie macchine piccolo upgrade adesso per inizio 2006: 6 nodi di calcolo dual-core e nuovo storage SATA-FC

Prototipo T2: 2005

Classic Storage Elements Farm layout Computing Nodes (Blade Centers) GigaEth SWITCH N1 N14 GigaEth SWITCH N1 N14 GigaEth SWITCH N1 N14 GigaEth SWITCH N1 N14 GigaEth SWITCH N1 N14 GE backbone (48 port switch) To WAN (1Gbps) SE1 SE2 GW DS1 DSn DS1 DS2 DPM CE UI Grid User Interface Grid GateKeeper Local Gateway Local Servers Classic Storage Elements SRM Storage Element

Esperienze acquisite Evoluzione tools e competenze CPU: dai PC tower ai Blade Centers Storage: Controller 3ware: limiti e problemi Storage Area Network Tools di installazione e gestione: da sistemi semi-automatici (ANIS) a quelli attuali molto piu’ completi e scalabili (LCFG, YAIM) Batch system: LSF Monitoring: MRTG, Remstats, Ganglia

Tools di monitoring Primi tool di monitoring: MRTG e poi Remstat Grossi limiti di scalabilita’ Risoluzione insufficiente per molte metriche Dal 2002: Ganglia Nel 2004 upgrade a nuova versione, ma quella vecchia in funzione ininterrottamente da marzo 2002 Quasi 4 anni di statistiche accumulate Monitoring distribuito su Grid GridICE

Monitoring: Remstats

Monitoring: Ganglia

Monitoring: Ganglia Prima versione di Ganglia in funzione da marzo 2002: quasi 4 anni di statistiche accumulate 2004 2005 Uso della RAM, da marzo 2002 a dicembre 2005

Monitoring: Ganglia Prima versione di Ganglia in funzione da marzo 2002: quasi 4 anni di statistiche accumulate 2002 2003 2004 2005 Numero di running jobs, da marzo 2002 a dicembre 2005

Monitoring: GridICE

Attivita’ CMS 2001-2005

Attivita’ CMS: 2001 Luglio 2001: consegna dell’hardware, installazione e setup della farm In questa fase iniziale LNL gestisce solo la parte sistemistica Produzione MC e analisi per CMS gestite dal gruppo CMS di Padova

Attivita’ CMS: 2002 e-gamma production Missing data Monitor starting from end of Mar 2002 Spring Production Analysis Dal 2002 coinvolgimento del personale LNL anche nelle attivita’ CMS Spring 2002 Production: 1.2 milioni di eventi simulati a LNL per un totale di 1.5 TB di dati Analisi in locale e trasferimento al CERN CMS-EDG stress test

Attivita’ CMS: 2003 e-gamma production PCP 03 PCP 03 PCP03 Production: oltre 5 milioni di eventi simulati a LNL (10% del totale CMS) Analisi in locale e trasferimento al CERN

Attivita’ CMS: 2004 Con l’avvio di LCG inizia a cambiare il tipo di attivita’ del T2, da gestione di produzioni locali ad attivita’ piu’ di sito Grid che offre servizi a tutta la comunita’ Produzioni MC in locale: 3.2 M eventi, per la maggior parte DST di dataset prodotti l'anno prima. Maggior parte della produzione via grid “Publishing” dei dati locali (PubDB) per analisi a tutto CMS via grid tools: ~5 TB di dati Partecipazione a CMS Data Challenge 04

Attivita’ CMS: 2005 Produzioni MC locali: 1M eventi DST + 4M Hit+Digi cosmici Produzioni MC via grid e Publishing dati per analisi Service Challenge 3

Service Challenge 3 (I) Scelta di DPM (Disk Pool Manager) come storage system con interfaccia SRM buona impressione iniziale, semplicita’ di installazione e configurazione test preliminari in locale con buoni risultati di performance

Service Challenge 3 (II) Luglio 2005, “throughput phase”: trasferimenti T1CNAF- T2LNL in entrambe le direzioni con protocollo gsiftp (no SRM) alcuni TB di dati, rate di picco fino a ~ 50MB/s, ma spesso limitato a 10-20MB/s per evitare overloading dello storage al CNAF 50MB/s peak 10-20MB/s sustained for 1 week

Service Challenge 3 (III) Set-Dic 05: “service phase”: vari problemi incontrati con interfaccia SRM trasferimenti con rate molto piu’ irregolare e complessivamente piu’ basso problemi di compatibilita’ tra DPM e sw applicativo CMS non hanno consentito il deployment di DPM sulla farm di produzione piu’ difficile la gia’ complicata procedura di gestione e publishing dei dataset trasferiti riportati al developing team di DPM: dovrebbero essere risolti ad inizio 2006 con la release di LCG 2.7.0

Altre attivita’ CMS Supporto all’attivita’ del gruppo di sviluppo e costruzione delle camere muoni Repository dati e macchine per attivita’ di analisi e sviluppo Produzioni camere Testbeams Cosmic Challenge 2006

Grid activity milestones 2001/2005

Grid activity: 2001/2002 2001-12: First Quantum INFNGrid site. Direct contribution on building EDG first release (WP4: fabric mgmt, LCFG/LCFGng installation and configuration tools) 2002-10-03: EDG 1.2.2 installation and test 2002-10-31: CMS stress test; participation of 10 sites. LNL 1st in storage availability, 2nd in CPU sharing (EDG 1.2.2) 2002-11: first EU+US testbed; involved in DataTAG+iVDG collaboration. SC2002 + IST2002 (monitoring infrastructure and CMS test production cmsim+cmkin) 2002-12-06: 40 CPUs shared with the GRID environment

Grid activity: 2003 2003-01-16: EDG v1_4_3 installation and test 2003-03-08:122 CPUs shared with the GRID environment (end of DataGrid project) 2003-05-21: LCG-0 installation and test 2003-11-20: LCG-1.1.1 installation and test (first LCG stable release) 2003-12-05:128 CPUs in LCG -> the most powerful farm in LCG 1.1.3; it is a hybrid farm where the the WNs are shared among local and grid use

Grid activity: 2004 2004-spring: CMS DC04 participation Atlas DC 2 LHCb DC04 2004-spring: CMS DC04 participation 2004-03-18: ALICE production in LCG environment 2004-08-24: LHCb DC04 in LCG; LNL is mentioned at 6th place on the top ten production site list 2004-08-05: queue/VO partitioning; during the ATLAS DC2, LNL give priority to ATLAS queued jobs 2004-09-08: at the GDB presentation, LNL is one of the most active ATLAS DC2 LCG sites (LCG + Grid3 + NordUGrid involved sites) 2004-12-16: ATLAS is using entirely the LNL GRID storage resources

Grid activity: 2005 2005-06: LCG 2.5.0 installation and test; it’s a specific SC3 release deployed only by a restricted number of sites to help LCG to address SC3 needs then included in LCG2.6.0 stable release (2005-08) 2005-07-20: SC03 T1-T2 first transfer tests (SRM-DPM) 2005-11: LCG 2.6.0 140 CPUs - 5 blade centers / 180 KSI00 - 200 KSF00

Grid Activity Summary Installation and configuration tools (developing efforts) Monitoring: local and grid aspects (developing efforts) Middleware test and management (debug effort, suggested improvements,…) Service maintenance (CMS & Grid)

Persone Nei vari anni di attivita’ sono molte le persone che hanno contribuito: Cristina Aiftimiei (LNL, 2002) Simone Badoer (LNL, dal 2003) Massimo Biasotto (LNL, dal 2000) Luciano Berti (LNL, dal 2000) Enrico Ferro (LNL, 2001-2002) Gaetano Maron (LNL, dal 2000) Sergio Fantinel (PD, dal 2002) Ugo Gasparini (PD, dal 2001) Stefano Lacaprara (PD, dal 2001)