Federico Ruggieri Riunione della CSN I Catania 18 Settembre 2002 Il Progetto TIER1 Status Report

Le Capacità Richieste CERN (Somma di tutti gli esperimenti): –Mass Storage: 10 Peta Bytes (10 15 B)/anno –disk: 2 PB –CPU: 20 MSPECint2000 Per ogni Tier 1 Multi-esperimento : –Mass Storage: PB/anno –disk: 1.5 PB –CPU: 10 MSPECint2000 Networking Tier 0 (CERN) --> Tier 1:2 Gbps

La GRID dei TIER per LHC

Progetto Prototipo TIER1 Obiettivi: –Costruzione e sperimentazione di un prototipo di Tier1 INFN unico per i 4 esperimenti LHC. –Ottimizzazione delle risorse. –Formazione di personale. –Rappresentatività verso gli altri Tier1 e verso il CERN. –Coordinamento con i Tier2 e fornitura di servizi ed attrezzature non replicabili o costose.

Bilancio di un anno di lavoro Nuova Sala Macchine: –Progetto Definitivo completato a fine Maggio. –Gara per i Lavori pubblicata ad inizio Agosto. Installate nuove risorse (vedi seguito). 8 nuove persone assunte o in via di assunzione con contratti temporanei. Produzioni degli esperimenti effettuate con successo anche se in tempi limitati (vedi seguito).

Riassunto Esperimenti ALICEProduzione di MC (600 jobs in meno di 2 mesi). ATLASCirca il 30% della produzione estiva Italiana CMSTest di integrazione delle Produzioni anche con US (DataTAG). Preparazione “Summer” Prod (Ott. Nov. ’02). LHCbProduzione MC 1MEv. (2 o sito dopo CERN) VIRGOTrasferimento dati (4TB) Spett. Centrale e 2 macchine di preanalisi e selezione + 3 GRID.

ALICE Produzioni (Primo Mese) HostJobs finishedCPU time lxplus051.cern.ch na49b01.cern.ch ccwalj01.in2p3.fr pdsflx002.nersc.gov alifarm01.to.infn.it alice.fzk.de alifarm9.ct.infn.it pcalice6.pd.infn.it ccali04.in2p3.fr dell26.cnaf.infn.it

ATLAS Produzioni (40 gg)

Produzioni LHCb (1 Agosto-21 Settembre)

I Servizi Tecnici Necessari Potenza di calcolo (FARM di CPU) Accesso ai Dati in Linea (Dischi) Archiviazione Dati (Mass Storage/Nastri) Rete di Accesso ad Alta Banda e Qualità di Servizio Gestione Sistemi Operativi e File System Gestione DataBase Gestione Librerie Software Generali Supporto all’Utenza e servizi accessori Coordinamento con gli altri Centri Regionali (Tier0, Tier1, Tier2, ecc.).

Architettura dei sistemi (1) FARM –Racks da circa 40 macchine biprocessori collegati in dual fast ethernet a Switch di armadio con 2 o 4 uplink Gigabit Ethernet in modalità trunking. –Boot ed installazione automatica del sistema e del sw via rete tramite PXE ed LCFG con personalizzazioni. –Gestione remota delle console (KVM Analogici e Digitali). –Monitoring via SNMP (temperature, carico CPU, ecc.) con Ganglia -> SNMP e NAGIOS. –Batch system: PBS (o Condor). –Assegnazione di un pool base ad ogni esperimento. –Gestione dinamica di un pool schedulabile su richiesta.

FARMING 1U dual CPU Pentium III e MHz – 2.2 GHz/CPU 2 disks GB/Node 512MB – 2GB/Node 1 or 2 48FE + 2GE Switches Single TFT console via KVM Cost of 2500 € + VAT/Node 160 Dual CPU presently installed

DISCO –Pool di circa 2-10 TB per staging (CASTOR, o altro SW). –2-4 TB spazio utente (AFS/NFS) per esperimento. –Moduli di 1-2 TB spazio disco su richiesta. –Architetture: EIDE, SCSI e/o Fibre Channel con accesso tramite Gigabit Ethernet su Servers ridondati (Fail-over + Accesso distribuito) o NAS. –Sperimentazioni in corso su: FC-IDE, HA, iSCSI, uso di Volumi superiori a 2 TB, Lock Managers, File Systems Distribuiti (GFS, GPFS, PFS, ecc.) Architettura dei sistemi (2)

Disks NAS: –Procom dual head 17 TB single rack (96x180GB FC disks, RAID5 with hot spares) 4GEth. –IDE 2.5TB 16x160 GB disks in 4U, dual Processor and redundant Power Supply. SAS: –DELL FC storage 8TB dual RAID5 controller, 112x73GB disks in 24U (8x3U). –FC to IDE 2.5TB 16x160GB in 4U. –Raidtec SCSI 2TB RAID5 12x180GB in 4U. Costs ranging from 8 to 13 K€/TB.

NASTRI –Legato Networker per Backup (spazio utente). –CASTOR per Staging dati da nastri LTO. –Virtualizzazione della libreria L180 con ACSLS. –Possibile uso di DLT per import/export se richiesto. –Accesso tramite servers su Gigabit Ethernet con ridondanza (Fail-over + Distributed Access) –Nuova libreria da cassette entro fine 2002 – inizio Architettura dei sistemi (3)

Architettura dei sistemi (4) ACCESSO –GRID per le attività di utente sia schedulate che non schedulate (produzione e analisi). –Portale web personalizzato per monitoraggio ed amministrazione delle risorse assegnate all’esperimento. –Uso di certificati per l’autorizzazione. –Autenticazione Kerberos 5 (in corso di attivazione). –Rete IP con indirizzi “visibili” dall’esterno e limitazioni sulle porte. –Rete interna multi-gigabit con accesso a 1-10 Gbps.

Rete Accesso attuale a 1 Gbps. Attualmente il CNAF ospita il PoP per il Pilot GARR- G con 2 Link a 2.5 Gbps con Roma e Milano. La rete interna è già basata su core switches con interfacce Gbit: –8600 Cabletron (rete CNAF) 8 GE F/O; –Extreme 7i (Tier1) 32 GE F/O; –3COM (Tier1) 24 GE UTP + 4 GE F/O; –Cisco 6509 (GRID e Test) 20 GE F/O.

Networking GARR-G Pilot Infrastructure already in place (2.5 Gb F/O Lines) MI BO RM PI TO CT PD 2.5 Gbps 155 Mbps TIER1 CNAF 1 Gbps GEANT 2.5 Gbps US Abilene 2x2.5 Gbps

Trasferimento dei dati –Trasferimenti effettuati da LHCb al CNAF al CERN con un throughput massimo di 70 Mbit/s

Giga Switch Controllo Robot Tape Robotics Data Movers Disk Servers Gigabit Ethernet Dati Switch Fast Ethernet SCSI Farms Fibre Channel

Configurazione attuale

Esempio: Allocazione CPU 2002

Allocazione Disco

Personale In Organico: 4 persone –Pietro Matteuzzi: Responsabile –Luca Dell’Agnello: Farming, Storage, Sicurezza –Stefano Zani: Networking. Storage –Massimo Cinque: Servizi Generali ed Impianti Contratti temporanei: 10 persone –Andrea Chierici: Farming – LCFG - GRID –Pier Paolo Ricci: Storage - CASTOR –Guido Negri: Supporto agli Esperimenti (ATLAS) –Andrea Collamati: Supporto agli Esperimenti (LHCb) –Felice Rosso: Monitoring ed Allarmistica –Donato De Girolamo: Sicurezze ed Allarmistica –Massimo Donatelli: AFS, Kerberos5, NFS4, GRID –Assegno di Ricerca: Supporto Esperimenti –2 nuovi Art. 2222: Supporto Esperimenti e Programmazione SW.

Programma delle Installazioni NB: I numeri quotati sono aggiuntivi per anno

Costi in K€ Notes: 1) Virgo + LHC only – 2) Personnel costs are not included.

Scala dei tempi Novembre 2002: Aggiudicazione Gara Lavori Sala M. Aprile 2003: Fine Lavori Sala Macchine Giugno 2003: Completa operatività della nuova Sala Macchine. Dicembre 2004: Fine della fase sperimentale. Gennaio 2005: Revisione della sperimentazione ed aggiornamento tecnico-economico-logistico- organizzativo del piano. Dicembre 2005: Inizio della realizzazione del Centro per la fase di Produzione.

LHC Computing Grid Progetto CERN approvato a settembre. Si indirizza al calcolo per LHC e per la prototipizzazione dei sistemi Hw e SW necessari. Cerca di coordinare lo sforzo con i centri regionali (tier1 e tier2 almeno). Strettamente legato agli esperimenti, cerca di coordinarne le attività comuni.

Interazioni Tier1-LCG-GRID Il Tier1 è uno dei Centri Regionali per LHC e, come tale partecipa all’attività di LCG. L’attività di GRID è di fondamentale importanza per la realizzazione del sistema a Tiers previsto. L’architettura generale, definita dal progetto MONARC ha ora un’architettura pratica di riferimento. In prospettiva, il Tier1 dovrebbe anche assumere un ruolo di coordinamento e supporto generale.