Cristina Vistoli – INFN CNAF

Presentazione sul tema: "Cristina Vistoli – INFN CNAF"— Transcript della presentazione:

1 Cristina Vistoli – INFN CNAF
Il Tier-1del CNAF, il nodo principale della grid italiana : Stato dell’infrastruttura e delle risorse del centro Cristina Vistoli – INFN CNAF

2 Summary Introduction Infrastructure services The upgrade status
CCR Workshop Maggio 2007

3 Computing – Storage Resources
CPU: 700 biprocessor boxes 2.4 – 3 GHz (+70 servers) 150 Opteron biprocessor boxes 2.6 GHz ~1700 KSi2k Total Installation of going for 11 enclosure HP blade 19 blade each 1500 KSi2K CCR Workshop Maggio 2007

4 CPU Farm Farm (~700 WNs, 1600 KSI2k)
SLC 3.0.6, gLite 3.0, LSF 6.1 - ~ 700 WNs LSF pool (~670 GRID usable) - ~2700 CPU slots usable - ~1600 KSpecInt2000 Common LSF pool: 1 job per logical cpu (slot) GRID and local submission allowed The same WN can run GRID and not GRID jobs The same queue can be used to submit GRID and not GRID jobs One queue per VO/EXP. As of today 30 queues Quattor-based installation 24 InfiniBand-based WNs for MPI on a special queue Test farm on phased-out hardware (~100 WNs, 150 KSI2k) CCR Workshop Maggio 2007

5 Computing – Storage Resources
Disk: FC, IDE, SCSI, NAS technologies 960 TB raw Tapes: Stk L TB Stk 5500 6 LTO-2 with 2000 tapes  400 TB 2 9940B with 1600 tapes  340 TB EMC 400 TB IBM 200 TB STK 290 TB Infortrend 56 TB Others 10 TB (Raw capacity) 99% of CNAF storage are Fiber Channel storage arrays with SATA or LCFC drives ~740 TByte of tapes Acquisition of new tape library in progress CCR Workshop Maggio 2007

6 List of supported VO Supported VOs: 12 Regional: argo bio infngrid
enea ingv gridit inaf theophys virgo pamela libi egrid 20 Global: atlas alice babar biomed cms cyclops dteam esr euchina euindia eumed geant4 gear lhcb magic ops zeus cdf compchem planck Tier1 specific QUARTO CCR Workshop Maggio 2007

7 La Grid italiana IT federation INFN ENEA SPACI-UNILE SPACI-UNINA
1 country 5 Partners: INFN ENEA SPACI-UNILE SPACI-UNINA SPACI-UNICAL 5 more RCs: Istituto Tecnologie Biomediche – CNR/BARI (LIBI Project) PERUGIA University Istituto Linguistica Computazionale CNR-PISA Scuola Normale Superiore – PISA ESA-ESRIN CCR Workshop Maggio 2007

8 Resource usage (DGAS) HLRmon reports (jan-mar 2007)
Jobs per site (T1 included) Jobs per site (T1 excluded) CCR Workshop Maggio 2007

9 Resource usage (DGAS) HLRmon reports (jan-mar 2007)
Norm CPU per site (T1 included) CCR Workshop Maggio 2007

10 Diagramma dell’uso di CPU del 7 Maggio 2007
HLRmon, strumento ancora in ‘validazione’ Con il controllo dei dati si consolida il sistema di accounting e la sua integrazione con i sistemi locali attualmente in uso come Redeye CCR Workshop Maggio 2007

11 CCR Workshop Maggio 2007

12 CCR Workshop Maggio 2007

13 The upgrade plan of Tier1

14 Number of the project: dimensionamento
Isole ad alta densità per i nodi di calcolo Possibilità di installare fino a 3000 U, circa 70 armadi; temperatura dell’acqua refrigerata in ingresso alle isole: °C; potenza termica da dissipare per ogni rack: >= 20 kW; Potenza termica totale da dissipare: kW ; Gara conclusa, fornitura assegnata ad APC I dischi che saranno presenti nel centro di calcolo raggiungeranno nel 2010 la capacita’ di TB , si presuppone che siano necessari Box di disco che consumano circa 30 W per disco, per un totale di 200 KW ed uno spazio necessario di 43 armadi rack per ospitarli Tapes; saranno ospitati in librerie o robot, ed avranno una capacita’ complessiva di circa 10PB dati suddivisi tra circa 3 librerie per un consumo elettrico di altri 30 KW per libreria Dissipated power in the room by computing apparatuses: MW Parameters for the Tier1 expansion plan: -> 1.4 MW di carico informatico -> 113 Racks (70 CPU+ 43 Disks) : CCR Workshop Maggio 2007

15 Le condizioni operative di progetto sono le seguenti:
Temperatura esterna estiva: T = 39.6C, massimo storico ultimi 15 anni Temperatura esterna invernale: T = -8,6°C, minimo storico degli ultimi 15 anni L’impianto dovrà funzionare 24h/24h per 365 giorni all’anno, e dovrà essere progettato per consentire la manutenzione programmata su tutti i componenti senza fermo impianto. CCR Workshop Maggio 2007

16 Manutenibilità e ridondanza
La manutenzione preventiva o correttiva sui singoli componenti non deve richiedere il fermo impianto: grazie alla ridondanza dei componenti e alla loro smontabilità in operazione, le prestazioni di progetto devono essere assicurate anche durante tali operazioni. Il progetto dovrà indicare i tempi per realizzare le operazioni di manutenzione preventiva e le relative periodicità. Dovrà essere valutata l’opportunità di disporre a magazzino di parti di ricambio, analizzando il tempo medio tra due gusti successivi ed il tempo d’approvvigionamento dei componenti principali. CCR Workshop Maggio 2007

17 Migrazione Deve essere studiata l’integrazione nel progetto della migrazione del materiale informatico già funzionante e dei componenti di condizionamento già in opera. La migrazione dall’impianto attuale a quello da progettare dovrà rispettare i seguenti vincoli: per garantire la continuità del servizio, dovrà essere predisposta una zona identificata come “ zona 1” da allestire con linee elettriche separate ed adeguato condizionamento per ospitare tutte le apparecchiature attualmente in uso e quelle in corso di fornitura . Lo spostamento degli apparati in tale zona dovrà avvenire con progressione e a passi successivi senza richiedere uno spegnimento totale degli apparati; tale zona 1 deve garantire anche la possibilita’ di ospitare ulteriori apparati entro l’estate che consumeranno altri 150KW di potenza elettrica sara’ necessario predisporre una centrale frigorifera ulteriore per dissipare questo carico aggiuntivo come indicato nel bando di fornitura delle isole ad alta densità, il punto precedente sarà realizzato utilizzando una pre fornitura dedicata per alloggiare le apparecchiature attuali; CCR Workshop Maggio 2007

18 Migrazione devono essere separate le zone di cantiere da quelle destinate all’alloggiamento delle macchine, al fine di evitare che le polveri possano danneggiare gli apparati elettronici; la rete di trasmissione dati va mantenuta nella attuale posizione ed eventualmente ampliata, deve quindi essere prevista una adeguata protezione nel corso del lavori; al termine dei lavori va definito, in accordo con il nostro personale tecnico, l’eventuale re-distribuzione degli apparati in funzione delle tempistiche per la fornitura e la posa in opera delle isole ad alta densità; La distribuzione acqua sarà realizzata in modo da poter seguire il programma di installazione dei rack, dimensionando la rete idraulica per il carico massimo, verificando il dimensionamento delle valvole di taratura alle diverse condizioni; La distribuzione dell’energia elettrica sarà realizzata in modo da poter seguire il programma di installazione dei racks previsto dal committente. CCR Workshop Maggio 2007

19 Migrazione Racks presenti oggi al T1 Piano di migrazione: Alla fine
Rack (30) di Nodi Calcolo Zona 2: 10 Rack di Worker Node + 1 DB Zona 3: 10 Rack di Worker Node + 1,5/2 Babar Zona 2: 4 Rack di Server (Interni e Nazionali) Zona 2: 4 rack server Grid Rack (21) di Storage 13 Rack di dischi (IBM, STK, Infotrend) 2 Rack di Disk Servers 1 Rack NAS Procom 5 Rack 400TB EMC Piano di migrazione: La zona 1 viene attrezzata con distribuzione elettrica e raffreddamento e isole ad alta densita’’ Vengono spostati tutti i rack in zona 1 Si compartimentano le zone rete, garr Si eseguono i lavori Alla fine La zona 1 rimane dedicata allo storage La zona 2 sara’ dedicata ai server, worker node, servizi CCR Workshop Maggio 2007

20 Sala 1: migrazione, dischi a regime 56 armadi, isole APC
CCR Workshop Maggio 2007

21 Sala 2: isole APC 1200 KW 72 armadi
CCR Workshop Maggio 2007

22 CCR Workshop Maggio 2007

23 Dimensionamento impianto elettrico
3 trasformatori 2500 KVA (2 funzionanti al 50%, 1 in ridondanza ) Potenza elettrica impegnata totale 3824,2 kw Potenza elettrica in continuità assoluta 1609,0 kw Potenza elettrica in emergenza GE 3454,2 kw CCR Workshop Maggio 2007