Cristina Vistoli – INFN CNAF Il Tier-1del CNAF, il nodo principale della grid italiana : Stato dell’infrastruttura e delle risorse del centro Cristina Vistoli – INFN CNAF

Summary Introduction Infrastructure services The upgrade status CCR Workshop Maggio 2007

Computing – Storage Resources CPU: 700 biprocessor boxes 2.4 – 3 GHz (+70 servers) 150 Opteron biprocessor boxes 2.6 GHz ~1700 KSi2k Total Installation of going for 11 enclosure HP blade 19 blade each 1500 KSi2K CCR Workshop Maggio 2007

CPU Farm Farm (~700 WNs, 1600 KSI2k) SLC 3.0.6, gLite 3.0, LSF 6.1 - ~ 700 WNs LSF pool (~670 GRID usable) - ~2700 CPU slots usable - ~1600 KSpecInt2000 Common LSF pool: 1 job per logical cpu (slot) GRID and local submission allowed The same WN can run GRID and not GRID jobs The same queue can be used to submit GRID and not GRID jobs One queue per VO/EXP. As of today 30 queues Quattor-based installation 24 InfiniBand-based WNs for MPI on a special queue Test farm on phased-out hardware (~100 WNs, 150 KSI2k) CCR Workshop Maggio 2007

Computing – Storage Resources Disk: FC, IDE, SCSI, NAS technologies 960 TB raw Tapes: Stk L180 18 TB Stk 5500 6 LTO-2 with 2000 tapes  400 TB 2 9940B with 1600 tapes  340 TB EMC 400 TB IBM 200 TB STK 290 TB Infortrend 56 TB Others 10 TB (Raw capacity) 99% of CNAF storage are Fiber Channel storage arrays with SATA or LCFC drives ~740 TByte of tapes Acquisition of new tape library in progress CCR Workshop Maggio 2007

List of supported VO Supported VOs: 12 Regional: argo bio infngrid enea ingv gridit inaf theophys virgo pamela libi egrid 20 Global: atlas alice babar biomed cms cyclops dteam esr euchina euindia eumed geant4 gear lhcb magic ops zeus cdf compchem planck Tier1 specific QUARTO CCR Workshop Maggio 2007

La Grid italiana IT federation INFN ENEA SPACI-UNILE SPACI-UNINA 1 country 5 Partners: INFN ENEA SPACI-UNILE SPACI-UNINA SPACI-UNICAL 5 more RCs: Istituto Tecnologie Biomediche – CNR/BARI (LIBI Project) PERUGIA University Istituto Linguistica Computazionale CNR-PISA Scuola Normale Superiore – PISA ESA-ESRIN CCR Workshop Maggio 2007

Resource usage (DGAS) HLRmon reports (jan-mar 2007) Jobs per site (T1 included) Jobs per site (T1 excluded) CCR Workshop Maggio 2007

Resource usage (DGAS) HLRmon reports (jan-mar 2007) Norm CPU per site (T1 included) CCR Workshop Maggio 2007

Diagramma dell’uso di CPU del 7 Maggio 2007 HLRmon, strumento ancora in ‘validazione’ Con il controllo dei dati si consolida il sistema di accounting e la sua integrazione con i sistemi locali attualmente in uso come Redeye http://grid-it.cnaf.infn.it/hlrmon/index.php CCR Workshop Maggio 2007

CCR Workshop Maggio 2007

CCR Workshop Maggio 2007

The upgrade plan of Tier1

Number of the project: dimensionamento Isole ad alta densità per i nodi di calcolo Possibilità di installare fino a 3000 U, circa 70 armadi; temperatura dell’acqua refrigerata in ingresso alle isole: 7-12 °C; potenza termica da dissipare per ogni rack: >= 20 kW; Potenza termica totale da dissipare:1200 kW ; Gara conclusa, fornitura assegnata ad APC I dischi che saranno presenti nel centro di calcolo raggiungeranno nel 2010 la capacita’ di 8500 TB , si presuppone che siano necessari 6300 Box di disco che consumano circa 30 W per disco, per un totale di 200 KW ed uno spazio necessario di 43 armadi rack per ospitarli Tapes; saranno ospitati in librerie o robot, ed avranno una capacita’ complessiva di circa 10PB dati suddivisi tra circa 3 librerie per un consumo elettrico di altri 30 KW per libreria Dissipated power in the room by computing apparatuses: 1.400 MW Parameters for the Tier1 expansion plan: -> 1.4 MW di carico informatico -> 113 Racks (70 CPU+ 43 Disks) : CCR Workshop Maggio 2007

Le condizioni operative di progetto sono le seguenti: Temperatura esterna estiva: T = 39.6C, massimo storico ultimi 15 anni Temperatura esterna invernale: T = -8,6°C, minimo storico degli ultimi 15 anni L’impianto dovrà funzionare 24h/24h per 365 giorni all’anno, e dovrà essere progettato per consentire la manutenzione programmata su tutti i componenti senza fermo impianto. CCR Workshop Maggio 2007

Manutenibilità e ridondanza La manutenzione preventiva o correttiva sui singoli componenti non deve richiedere il fermo impianto: grazie alla ridondanza dei componenti e alla loro smontabilità in operazione, le prestazioni di progetto devono essere assicurate anche durante tali operazioni. Il progetto dovrà indicare i tempi per realizzare le operazioni di manutenzione preventiva e le relative periodicità. Dovrà essere valutata l’opportunità di disporre a magazzino di parti di ricambio, analizzando il tempo medio tra due gusti successivi ed il tempo d’approvvigionamento dei componenti principali. CCR Workshop Maggio 2007

Migrazione Deve essere studiata l’integrazione nel progetto della migrazione del materiale informatico già funzionante e dei componenti di condizionamento già in opera. La migrazione dall’impianto attuale a quello da progettare dovrà rispettare i seguenti vincoli: per garantire la continuità del servizio, dovrà essere predisposta una zona identificata come “ zona 1” da allestire con linee elettriche separate ed adeguato condizionamento per ospitare tutte le apparecchiature attualmente in uso e quelle in corso di fornitura . Lo spostamento degli apparati in tale zona dovrà avvenire con progressione e a passi successivi senza richiedere uno spegnimento totale degli apparati; tale zona 1 deve garantire anche la possibilita’ di ospitare ulteriori apparati entro l’estate 2007 che consumeranno altri 150KW di potenza elettrica sara’ necessario predisporre una centrale frigorifera ulteriore per dissipare questo carico aggiuntivo come indicato nel bando di fornitura delle isole ad alta densità, il punto precedente sarà realizzato utilizzando una pre fornitura dedicata per alloggiare le apparecchiature attuali; CCR Workshop Maggio 2007

Migrazione devono essere separate le zone di cantiere da quelle destinate all’alloggiamento delle macchine, al fine di evitare che le polveri possano danneggiare gli apparati elettronici; la rete di trasmissione dati va mantenuta nella attuale posizione ed eventualmente ampliata, deve quindi essere prevista una adeguata protezione nel corso del lavori; al termine dei lavori va definito, in accordo con il nostro personale tecnico, l’eventuale re-distribuzione degli apparati in funzione delle tempistiche per la fornitura e la posa in opera delle isole ad alta densità; La distribuzione acqua sarà realizzata in modo da poter seguire il programma di installazione dei rack, dimensionando la rete idraulica per il carico massimo, verificando il dimensionamento delle valvole di taratura alle diverse condizioni; La distribuzione dell’energia elettrica sarà realizzata in modo da poter seguire il programma di installazione dei racks previsto dal committente. CCR Workshop Maggio 2007

Migrazione Racks presenti oggi al T1 Piano di migrazione: Alla fine Rack (30) di Nodi Calcolo Zona 2: 10 Rack di Worker Node + 1 DB Zona 3: 10 Rack di Worker Node + 1,5/2 Babar Zona 2: 4 Rack di Server (Interni e Nazionali) Zona 2: 4 rack server Grid Rack (21) di Storage 13 Rack di dischi (IBM, STK, Infotrend) 2 Rack di Disk Servers 1 Rack NAS Procom 5 Rack 400TB EMC Piano di migrazione: La zona 1 viene attrezzata con distribuzione elettrica e raffreddamento e isole ad alta densita’’ Vengono spostati tutti i rack in zona 1 Si compartimentano le zone rete, garr Si eseguono i lavori Alla fine La zona 1 rimane dedicata allo storage La zona 2 sara’ dedicata ai server, worker node, servizi CCR Workshop Maggio 2007

Sala 1: migrazione, dischi a regime 56 armadi, isole APC CCR Workshop Maggio 2007

Sala 2: isole APC 1200 KW 72 armadi CCR Workshop Maggio 2007

CCR Workshop Maggio 2007

Dimensionamento impianto elettrico 3 trasformatori 2500 KVA (2 funzionanti al 50%, 1 in ridondanza ) Potenza elettrica impegnata totale 3824,2 kw Potenza elettrica in continuità assoluta 1609,0 kw Potenza elettrica in emergenza GE 3454,2 kw CCR Workshop Maggio 2007