LNL CMS M.Biasotto, Roma, 22 novembre 2001 1 I Tier2 in CMS Italia Massimo Biasotto - LNL.

Presentazione sul tema: "LNL CMS M.Biasotto, Roma, 22 novembre 2001 1 I Tier2 in CMS Italia Massimo Biasotto - LNL."— Transcript della presentazione:

1 LNL CMS M.Biasotto, Roma, 22 novembre 2001 1 I Tier2 in CMS Italia Massimo Biasotto - LNL

2 LNL CMS M.Biasotto, Roma, 22 novembre 2001 2 Sommario  Stato attuale delle farm italiane  Il Tier2 di riferimento a Legnaro/Padova  Il servizio di analysis farm da implementare a LNL  Conclusioni

3 LNL CMS M.Biasotto, Roma, 22 novembre 2001 3 Le farm italiane Tier2+ Tier2 Tier3 Tier1

4 LNL CMS M.Biasotto, Roma, 22 novembre 2001 4 Stato attuale Sezione # CPU SI 95 Storage (TB) Bari208402.3 Bologna2814001.6 Catania41700.3 Firenze 50 (shared: 17) 1900 (shared: 630) 1.7 Legnaro88440010 Padova3011002.7 Perugia168001 Pisa3115002.4 Roma2511001.5 Torino62800.5 Totale2601220024

5 LNL CMS M.Biasotto, Roma, 22 novembre 2001 5 Evoluzione 2002 Sezione SI95 - 2001 SI95 - 2002 Storage-2001Storage-2002 Bari840+3002.3+2 Bologna1400-1.6+2 Catania170+3000.3+1.2 Firenze630+300(?)1.7+2(?) Legnaro4400+3000(?)10+6 Padova1100+10002.7- Perugia800-1- Pisa1500-2.4- Roma1100?1.5+1.5(?) Torino280+2000.5+2 Totale12200+5100(?)24+16.7(?)

6 LNL CMS M.Biasotto, Roma, 22 novembre 2001 6 Riepilogo CPU

7 LNL CMS M.Biasotto, Roma, 22 novembre 2001 7 Riepilogo Storage

8 LNL CMS M.Biasotto, Roma, 22 novembre 2001 8 Layout tipico  Notevole uniformita’ delle farm sia nell’architettura che nel software (grazie anche al toolkit di installazione)  Architettura tipica: –1 gateway (accesso esterno, home utenti, sw applicativo) –storage centralizzato su 1 o piu’ disk servers in GigaEthernet –N nodi di calcolo in FastEthernet SWITCHSWITCH DISK SERVER GE FE GATEWAY N2 N1 Nx NODI DI CALCOLO LAN

9 LNL CMS M.Biasotto, Roma, 22 novembre 2001 9 Storage: SCSI / EIDE  Attualmente: –EIDE a BO, CT, LNL, PD, PG, PI, TO –SCSI a BA, FI, RM  Costo per GB favorevole all’EIDE –SCSI 22k/GB (HD da 160) –EIDE 9k/GB (HD da 80)  In arrivo per gli SCSI HD da 320GB, ma anche per gli EIDE HD da 160  I controller RAID per EIDE (3ware Escalade 6000, Adaptec 2400) offrono performance equivalenti agli SCSI nel RAID0 Per il RAID 5 invece rimane la superiorita’ degli SCSI, specialmente in scrittura (EIDE: ~15MB/s, SCSI: ~45MB/s), ma la situazione potrebbe evolvere

10 LNL CMS M.Biasotto, Roma, 22 novembre 2001 10 CPU  Attualmente tutte le farm con Intel PIII (tipicamente 1GHz). Anche negli acquisti in corso si e’ rimasti sul PIII, nella versione Tualatin con 512MB di cache (a 1.13 o 1.26 GHz)  Nessuno ha “rischiato” nel provare le alternative (Intel Xeon o AMD Athlon) che offrono frequenze di clock maggiori, fino a 2GHz  A Padova nell’ambito del WP4 di INFNGRID stanno acquistando alcune di queste macchine: sarebbe interessante provare il software CMS per verificare se la maggiore velocita’ teorica corrisponde a reali benefici nella pratica.

11 LNL CMS M.Biasotto, Roma, 22 novembre 2001 11 Network GRID PI RM PG PD TO BA BO CT FI LNL 12Mb 4Mb 8Mb 28Mb 16Mb 32Mb 12Mb 34Mb GPOP PD GPOP PD ~ 2 Gb ~ 10 Gb

12 LNL CMS M.Biasotto, Roma, 22 novembre 2001 12 Layout Farm LNL FastEth 32 – GigaEth 1000 BT SWITCH N1 FastEth SWITCH 1 8 S1 S16 N24 N1 Nx – Computational Node Dual PIII – 1 GHz 512 MB 3x75 GB Eide disk + 1x20 GB for O.S. Sx – Disk Server Node Dual PIII – 1 GHz Dual PCI (33/32 – 66/64 512 MB 4x75 GB Eide Raid disks (exp up to 10) 1x20 GB disk O.S. FastEth SWITCH N1 2 N24 2001 34 Nodes 8 TB 2001-2-3 up to 190 Nodes S10 2001 10 Servers 3 TB To WAN 34 Mbps 2001 ~ 1Gbps 2002 2001 4400 SI95

13 LNL CMS M.Biasotto, Roma, 22 novembre 2001 13 Farm LNL 7 m 10 m max 16 PC (5 kW) x shelf module max 64 PC (20 kW) x shelf (4 modules) ~ 6 KSI95 Now 19” rack (5 kW) for network Equipments, Disks, etc. Max 200 Box T2+ Prototype T2+ Evolution max 30 1U PC (10 kW) x rack PC (10 kW) x rack Replacing old shelfs with 19” racks Max 1000 Boxes ~ 3 KSI95 Now ~ 25 TB Now 2001 2002 T2+ Rif. ~ 70 KSI95 ~ 250 TB

14 LNL CMS M.Biasotto, Roma, 22 novembre 2001 14 Farm LNL

15 LNL CMS M.Biasotto, Roma, 22 novembre 2001 15 Espansione Farm LNL  Acquisti in corso con i finanziamenti 2002 anticipati al 2001: –3TB dischi EIDE nei server gia’ esistenti –~ 30 PC (computing nodes) –3TB dischi SCSI + 3 PC disk-servers –Tape Library StorageTek L80 LTO (8TB in linea) finanziata dalla comm. calcolo  Nei 3 servers con 3TB sara’ installato il DB che raccogliera’ tutte le produzioni fatte (non solo LNL ma tutta CMS Italia)  Con questo DB si potra’ avviare un servizio di Analysis Farm, inizialmente per la comunita’ italiana e poi per tutta CMS.

16 LNL CMS M.Biasotto, Roma, 22 novembre 2001 16 Layout farm LNL 2002: produzione + analisi FastEth 32 – GigaEth 1000 BT SWITCH N1 FastEth SWITCH S1 S11 N24 N1 FastEth SWITCH N1 N24 S10 To WAN 34 Mbps 2001 ~ 1Gbps 2002 S12 S13 Production computing nodes Analysis computing nodes Production servers Analysis servers

17 LNL CMS M.Biasotto, Roma, 22 novembre 2001 17 La farm di analisi  Come implementare il servizio di analisi per gli utenti CMS?  Negli ultimi mesi esperienza limitata (muoni PD + altri) con account locali per gli utenti: non puo’ andar bene su scala piu’ estesa  Servizio su piu’ livelli: –gennaio 2002 (quando arriva l’hardware): installazione e creazione del DB  accesso remoto al DB: AMS su WAN –gennaio 2002: installazione GDMP  possibilita’ di copia del DB via GDMP –inizio 2002: grid tools  sottomissione remota di jobs di analisi in esecuzione locale su parte della farm

18 LNL CMS M.Biasotto, Roma, 22 novembre 2001 18 Grid tools per la farm di analisi (I)  Utilizzo dei tools di grid per: –autenticazione e autorizzazione utenti remoti (certificati personali, VO LDAP server di CMS) –sottomissione remota di jobs (WP1 tools, anche senza Resource Broker) –data moving (WP2 tools: GDMP, GridFTP,...)  Gia’ avviati i test di questi tools, in concomitanza col Testbed di Datagrid  In parallelo ed oltre ai test ufficiali per Datagrid, in alcuni siti CMS/Grid (LNL, PD, BO,...) prove specifiche per verificare la corrispondenza dei tools alle nostre esigenze

19 LNL CMS M.Biasotto, Roma, 22 novembre 2001 19 Grid tools per la farm di analisi (II) RESOURCE BROKER COMPUTING ELEMENT LNL PD CMS LDAP SERVER REPLICA CATALOG SERVER CNAF REPLICA CATALOG SERVER CMS LDAP SERVER GATE KEEPER STORAGE ELEMENT GATE KEEPER STORAGE ELEMENT USER - - -

20 LNL CMS M.Biasotto, Roma, 22 novembre 2001 20 Grid tools per la farm di analisi (III)  Completati i test, installazione sulla farm  Inizialmente con numero limitato di utenti. E’ necessario procedere per gradi perche’ si tratta di una cosa nuova (mai sperimentata neanche da altri) –efficienza dei tools in un ambiente reale? –impatto sulla farm di produzione?  L’evoluzione successiva dipendera’ naturalmente dai riscontri via via ottenuti  Se i risultati saranno positivi si potra’ pensare all’utilizzo dei grid tools anche per le produzioni

21 LNL CMS M.Biasotto, Roma, 22 novembre 2001 21 Conclusioni  Il modello estremamente distribuito del calcolo di CMS Italia rappresenta da una parte un problema –necessita’ di sviluppare efficaci strategie e tools di coordinamento  Grid tools, Impala, Boss,...  Ma dall’altra una grande opportunita’ –ampia base di esperienze  stima rapporto ottimale CPU/Disco (0.1*e, 0.5<e<1)  stima rapporto ottimale Server/Computing nodes (1:7) –possibilita’ di esplorare nuove idee