LNL CMS M.Biasotto, Roma, 22 novembre I Tier2 in CMS Italia Massimo Biasotto - LNL

LNL CMS M.Biasotto, Roma, 22 novembre Sommario  Stato attuale delle farm italiane  Il Tier2 di riferimento a Legnaro/Padova  Il servizio di analysis farm da implementare a LNL  Conclusioni

LNL CMS M.Biasotto, Roma, 22 novembre Le farm italiane Tier2+ Tier2 Tier3 Tier1

LNL CMS M.Biasotto, Roma, 22 novembre Stato attuale Sezione # CPU SI 95 Storage (TB) Bari Bologna Catania Firenze 50 (shared: 17) 1900 (shared: 630) 1.7 Legnaro Padova Perugia Pisa Roma Torino Totale

LNL CMS M.Biasotto, Roma, 22 novembre Evoluzione 2002 Sezione SI SI Storage-2001Storage-2002 Bari Bologna Catania Firenze (?)1.7+2(?) Legnaro (?)10+6 Padova Perugia Pisa Roma1100? (?) Torino Totale (?) (?)

LNL CMS M.Biasotto, Roma, 22 novembre Riepilogo CPU

LNL CMS M.Biasotto, Roma, 22 novembre Riepilogo Storage

LNL CMS M.Biasotto, Roma, 22 novembre Layout tipico  Notevole uniformita’ delle farm sia nell’architettura che nel software (grazie anche al toolkit di installazione)  Architettura tipica: –1 gateway (accesso esterno, home utenti, sw applicativo) –storage centralizzato su 1 o piu’ disk servers in GigaEthernet –N nodi di calcolo in FastEthernet SWITCHSWITCH DISK SERVER GE FE GATEWAY N2 N1 Nx NODI DI CALCOLO LAN

LNL CMS M.Biasotto, Roma, 22 novembre Storage: SCSI / EIDE  Attualmente: –EIDE a BO, CT, LNL, PD, PG, PI, TO –SCSI a BA, FI, RM  Costo per GB favorevole all’EIDE –SCSI 22k/GB (HD da 160) –EIDE 9k/GB (HD da 80)  In arrivo per gli SCSI HD da 320GB, ma anche per gli EIDE HD da 160  I controller RAID per EIDE (3ware Escalade 6000, Adaptec 2400) offrono performance equivalenti agli SCSI nel RAID0 Per il RAID 5 invece rimane la superiorita’ degli SCSI, specialmente in scrittura (EIDE: ~15MB/s, SCSI: ~45MB/s), ma la situazione potrebbe evolvere

LNL CMS M.Biasotto, Roma, 22 novembre CPU  Attualmente tutte le farm con Intel PIII (tipicamente 1GHz). Anche negli acquisti in corso si e’ rimasti sul PIII, nella versione Tualatin con 512MB di cache (a 1.13 o 1.26 GHz)  Nessuno ha “rischiato” nel provare le alternative (Intel Xeon o AMD Athlon) che offrono frequenze di clock maggiori, fino a 2GHz  A Padova nell’ambito del WP4 di INFNGRID stanno acquistando alcune di queste macchine: sarebbe interessante provare il software CMS per verificare se la maggiore velocita’ teorica corrisponde a reali benefici nella pratica.

LNL CMS M.Biasotto, Roma, 22 novembre Network GRID PI RM PG PD TO BA BO CT FI LNL 12Mb 4Mb 8Mb 28Mb 16Mb 32Mb 12Mb 34Mb GPOP PD GPOP PD ~ 2 Gb ~ 10 Gb

LNL CMS M.Biasotto, Roma, 22 novembre Layout Farm LNL FastEth 32 – GigaEth 1000 BT SWITCH N1 FastEth SWITCH 1 8 S1 S16 N24 N1 Nx – Computational Node Dual PIII – 1 GHz 512 MB 3x75 GB Eide disk + 1x20 GB for O.S. Sx – Disk Server Node Dual PIII – 1 GHz Dual PCI (33/32 – 66/ MB 4x75 GB Eide Raid disks (exp up to 10) 1x20 GB disk O.S. FastEth SWITCH N1 2 N Nodes 8 TB up to 190 Nodes S Servers 3 TB To WAN 34 Mbps 2001 ~ 1Gbps SI95

LNL CMS M.Biasotto, Roma, 22 novembre Farm LNL 7 m 10 m max 16 PC (5 kW) x shelf module max 64 PC (20 kW) x shelf (4 modules) ~ 6 KSI95 Now 19” rack (5 kW) for network Equipments, Disks, etc. Max 200 Box T2+ Prototype T2+ Evolution max 30 1U PC (10 kW) x rack PC (10 kW) x rack Replacing old shelfs with 19” racks Max 1000 Boxes ~ 3 KSI95 Now ~ 25 TB Now T2+ Rif. ~ 70 KSI95 ~ 250 TB

LNL CMS M.Biasotto, Roma, 22 novembre Farm LNL

LNL CMS M.Biasotto, Roma, 22 novembre Espansione Farm LNL  Acquisti in corso con i finanziamenti 2002 anticipati al 2001: –3TB dischi EIDE nei server gia’ esistenti –~ 30 PC (computing nodes) –3TB dischi SCSI + 3 PC disk-servers –Tape Library StorageTek L80 LTO (8TB in linea) finanziata dalla comm. calcolo  Nei 3 servers con 3TB sara’ installato il DB che raccogliera’ tutte le produzioni fatte (non solo LNL ma tutta CMS Italia)  Con questo DB si potra’ avviare un servizio di Analysis Farm, inizialmente per la comunita’ italiana e poi per tutta CMS.

LNL CMS M.Biasotto, Roma, 22 novembre Layout farm LNL 2002: produzione + analisi FastEth 32 – GigaEth 1000 BT SWITCH N1 FastEth SWITCH S1 S11 N24 N1 FastEth SWITCH N1 N24 S10 To WAN 34 Mbps 2001 ~ 1Gbps 2002 S12 S13 Production computing nodes Analysis computing nodes Production servers Analysis servers

LNL CMS M.Biasotto, Roma, 22 novembre La farm di analisi  Come implementare il servizio di analisi per gli utenti CMS?  Negli ultimi mesi esperienza limitata (muoni PD + altri) con account locali per gli utenti: non puo’ andar bene su scala piu’ estesa  Servizio su piu’ livelli: –gennaio 2002 (quando arriva l’hardware): installazione e creazione del DB  accesso remoto al DB: AMS su WAN –gennaio 2002: installazione GDMP  possibilita’ di copia del DB via GDMP –inizio 2002: grid tools  sottomissione remota di jobs di analisi in esecuzione locale su parte della farm

LNL CMS M.Biasotto, Roma, 22 novembre Grid tools per la farm di analisi (I)  Utilizzo dei tools di grid per: –autenticazione e autorizzazione utenti remoti (certificati personali, VO LDAP server di CMS) –sottomissione remota di jobs (WP1 tools, anche senza Resource Broker) –data moving (WP2 tools: GDMP, GridFTP,...)  Gia’ avviati i test di questi tools, in concomitanza col Testbed di Datagrid  In parallelo ed oltre ai test ufficiali per Datagrid, in alcuni siti CMS/Grid (LNL, PD, BO,...) prove specifiche per verificare la corrispondenza dei tools alle nostre esigenze

LNL CMS M.Biasotto, Roma, 22 novembre Grid tools per la farm di analisi (II) RESOURCE BROKER COMPUTING ELEMENT LNL PD CMS LDAP SERVER REPLICA CATALOG SERVER CNAF REPLICA CATALOG SERVER CMS LDAP SERVER GATE KEEPER STORAGE ELEMENT GATE KEEPER STORAGE ELEMENT USER - - -

LNL CMS M.Biasotto, Roma, 22 novembre Grid tools per la farm di analisi (III)  Completati i test, installazione sulla farm  Inizialmente con numero limitato di utenti. E’ necessario procedere per gradi perche’ si tratta di una cosa nuova (mai sperimentata neanche da altri) –efficienza dei tools in un ambiente reale? –impatto sulla farm di produzione?  L’evoluzione successiva dipendera’ naturalmente dai riscontri via via ottenuti  Se i risultati saranno positivi si potra’ pensare all’utilizzo dei grid tools anche per le produzioni

LNL CMS M.Biasotto, Roma, 22 novembre Conclusioni  Il modello estremamente distribuito del calcolo di CMS Italia rappresenta da una parte un problema –necessita’ di sviluppare efficaci strategie e tools di coordinamento  Grid tools, Impala, Boss,...  Ma dall’altra una grande opportunita’ –ampia base di esperienze  stima rapporto ottimale CPU/Disco (0.1*e, 0.5<e<1)  stima rapporto ottimale Server/Computing nodes (1:7) –possibilita’ di esplorare nuove idee