Ampliamento dellinfrastruttura del CNAF/T1 Referee meeting 28/8/2008

infrastruttura 1) Stato progetto di ampliamento: –pianificazione, progetto esecutivo 2) Stato progetto migrazione: –Fase gialla –Fase blu 3) Piano per risorse ) stato autorizzazioni/comunicazioni

Progetto di ampliamento –Consegnato il progetto definitivo il 6/07/07 –Il progetto definitivo contiene: Relazione tecnica Relazione tecnica per le diverse tipologie di interventi previsti: –impianto meccanico –impianto elettrico –opere edili –opere strutturali –opere di insonorizzazione Computo metrico estimativo, disciplinare descrittivo e prestazionale, una serie di elaborati grafici per i vari impianti previsti

tempi Il progetto definitivo e stato consegnato il 6/7/2007 con circa 4 mesi di ritardo rispetto alle date previste dal contratto (1/3/2007) Lufficio tecnico del responsabile del procedimento ha validato immediatamente il progetto definitivo, in termini di tipo e contenuto degli elaborati tecnici che corrispondono a quanto previsto dalla legge vigente per gli appalti pubblici. Sono stati consegnati alla ditta di progettazione STEAM s.r.l di Padova, per ogni tipologia di intervento una serie di osservazioni e miglioramenti da recepire nella stesura del progetto esecutivo Il progetto esecutivo, da contratto e in 15 giorni dalla data di validazione del definitivo

tempi Durante il mese di agosto sono proseguite attivita di sopralluogo e di rilievi per eseguire gli schemi ed i progetti di dettaglio necessari ad appaltare le opere Il progetto esecutivo non sara comunque disponibile per il linizio di settembre 07 Obiettivo: ricevere e validare il progetto esecutivo in tempo per richiedere lappalto dei lavori al direttivo di ottobre 2007

tempi Inizio ottobre 07 progetto esecutivo Fine ottobre 07: approvazione consiglio direttivo indizione gara di appalto lavori Fine novembre 07: pubblicazione bando gazzetta europea e GURI Fine gennaio 08: prequalifica aziende Fine febbraio 08 : lettera di invito e ricezione offerte economiche Direttivo di marzo 08: delibera di assegnazione lavori Fine maggio 08: firma del contratto di appalto Inizio lavori Luglio 08 Durata lavori: il crono-programma e uno dei documenti previsti nel progetto esecutivo e quindi ad oggi non e disponibile, i lavori sono standard cioe non sono necessari pezzi unici da realizzare ad hoc, valutazione personale durata dei lavori 6 mesi. E importante avere il tempo di valutare e studiare bene il progetto esecutivo, per ridurre il piu possibile la necesssita di modifiche in corso dopera costose in termici economici e di tempo

costi Limporto complessivo dellintervento, inclusi le somme a disposizione dellamministrazione, imprevisti, IVA passa da: – ,59 - progetto preliminare – ,00 - progetto definitivo Dettaglio degli incrementi: –Impianto Elettrico: ,05 - progetto preliminare ,92 - progetto definitivo

Costi –impianto meccanico/termo-idraulico: ,76 - progetto preliminare ,97 - progetto definitivo –opere edili/strutturali/acustiche: ,54 - progetto preliminare ,53 - progetto definitivo –motivazioni incrementi di costo: manutenibilita di tutti gli apparati ridondanza di almeno un apparato per ogni tipologia separazione tra impianti tecnologici (distribuzione acqua, antincendio etc) e locali con apparecchiature informatiche carico utile/informatico installabile 1400KW –carenze progettuali del definitivo impianto di supervisione e controllo opere strutturali non chiaramente motivate e valutate genericamente dettaglio dei prezzi: alcune voci del CME sono macro voci non analizzate Elaborati grafici elettrici non completi degli schemi dei quadri e della tabella delle potenze

Decisioni progettuali UPS statici o rotanti? –Abbiamo deciso per UPS rotanti se costo comparabile con quelli statici Sorgenti alternative di acqua refrigerata –Flangia disponibile per installazione scambiatore di calore per eventuale sorgente di tele-raffrescamento Trasformatori –4 trasformatori in resina da 2000KVA Vcc 8% –In accordo con ENEL

Migrazione Fase gialla, consiste in: Impianto termo-idraulico –Installazione Chiller aggiuntivo –Realizzazione collegamento con impianto di distribuzione acqua fredda attuale –Distribuzione acqua fredda ai condizionatori interni alle isole ad alta densita che verranno installati in sala 1 (dove verranno spostate le apparecchiature informatiche) realizzate in modalita compatibile con il progetto di ampliamento –Predisposizione per terminali di ventilazione/scambio acqua aria nelle zone rete, GARR, libreria etc che verranno isolate dal resto dei locali durante i lavori –Lavori appaltati contratto in corso di svolgimento, punto 1 e 2 completati

Migrazione Fase gialla, consiste in: Impianto elettrico –Installazione quadro aggiuntivo nella cabina elettrica delluniversita –Realizzazione collegamento elettrico impianto distribuzione e di raffreddamento acqua nuovo con relativi quadri –Collegamento esterno alla sala Tier1 in modo da non disturbare e non essere disturbato dai lavori di ampliamento –Predisposizione per collegare esternamente alla sala Tier1 macchine ed impianti che verranno riposizionati in sala 1 –Cablatura del GE al nuovo quadro in cabina

Migrazione Migrazione fase blu consiste in: –Realizzazione distribuzione elettrica agli armadi che verranno installati nelle isole ad alta densita in sala 1 in modo compatibile con il progetto di ampliamento –Realizzazione relativi quadri elettrici come da progetto di ampliamento –Spostamento UPS –Scavi per alloggiamento QE –Collegamento esterno alla sala di tali quadri con la cabina elettrica delluniverisita

Gare e procedure Fornitura e posa in opera di Quadri elettrici e Blindo per upgrade Sala 1 del Tier1, incluso alimentazione isole e predisposizione per nuova libreria, importo ~ 200Ke Lavori per collegamento temporaneo della Sala 1 alla fornitura elettrica universita con passaggio esterno importo ~ 100KEuro Lavori edili in sala 1 (scavi, pavimento flottante, delimitazione per cantiere futuro, parete in laterizio per corridoio tecnico, spostamento UPS): ~ 30 K Euro

tempi Progetto per fornitura e posa in opera upgrade sala 1 entro 10 settembre, delibera consiglio direttivo di settembre, durata procedura di assegnazione circa 4 mesi, inizio lavori febbraio 08, durata 1 mese Lavori edili assegnabili direttamente, conclusione entro dicembre 2008 Lavori elettrici esterni come per fornitura e posa in opera blindo …., inizio lavori febbraio 08, durata 15 giorni

Conclusi i lavori idraulici e quelli edili si possono realizzare: –stesura della rete dati, selezione della ditta per la fornitura gia in corso –installazione delle isole ad alta densita –Migrazione macchine in sala 1: marzo 08 –E previsto uno spegnimento completo, del centro, spostamento UPS e riaccenzione delle macchine nella nuova sala durata del down: 2 giorni Nel frattempo le nuove installazioni previste proseguono nelle sale attuali

Piano 2008 Nella sala1 che e destinata ad ospitare tutte le risorse del Tier1, durante la fase dei lavori di upgrade per portare la potenza complessiva disponibile fino a 4 MWatt, sono previste 4 isole ad alta densita APC con 11 rack ciascuna ed unisola con 12 : 56 Racks in totale piu la libreria attuale e la nuova libreria. Risorse raccomandate per il Tier1 per il 2008 (fino al 1 aprile 2009 secondo le attuali regole di LHC) : –CPU: 7.5 M SpecInt2K –Disco:3 PByte –Tape: 4.5 PByte La soluzione per soddisfare completamente queste raccomandazioni durante tutta la fase dei lavori di upgrade del centro dati gli spazi e le potenze elettriche e frigorifere a disposizione nella sala 1

Piano Farming Attualmente il Tier1 dispone di 3 Racks di dual core Blade a 2.0 a GHz che complessivamente forniscono ~1.5 M SpecInt2K. La potenza totale di CPU disponibile pari a ~ 3 MSpecInt2K e ottenuta da una serie di racks aggiuntivi (16 racks) che ospitano processori 1U da 2.4 a 3 GHz. Il singolo core del quad core risulta avere prestazione praticamente simili a quelle di un single core del dual core a 2.6 GHz., quindi 1 Rack riempito con quad core rende disponibili ~1 MSpecInt2K.. Si propone di eliminare i 16 racks contenenti processori 1U acquistati da due o piu anni e perdendo cosi in totale ~1 MSpecInt2k e risparmia ~90 KWatt di potenza elettrica. Si acquistano 5 nuovi Rack di Blades quad core con frequenza di 2.6 GHz o superiore per arrivare ai 7 MSpecInt2k., questi 5 nuovi Racks consumano ~90KWatt.. Sono da conservare e spostare in Sala1 –3 Racks con i Blade HP –6 Racks di Opteron –1 Rack di Server. Quindi tutta la farm cosi costituita ed i server occupano nel 2008 un totale di 15 Racks per dare 7MSpecInt2K, senza aumentare sostanzialmente il consumo di potenza elettrica attuale che ora e 140KW. Il consumo previsto per questa configurazione in totale e 174 KW.

Piano storage Attualmente e disponibile 1 PB di disco che occupa i seguenti Racks: –5 Racks IBM (300 TB, 14 KWatt) –5 Racks Storage Tek (250TB, 17 KWatt), –10 Racks EMC2 (400 TB +DB, 24 KWatt), –9 Racks con servers, diskserver e infortrend (33 KWatt ) totale 90 KW. –Sono in acquisto 200TBytes aggiuntivi alloggiati in 3 Racks.

Piano Storage Si possono mantenere: –9 Rack EMC2 (inclusi i diskserver) che forniscono 400TB RAW, e consumano 24KWatt –5 racks IBM che forniscono 300TB e consumano 14KW –1 racks di diskserver/server nazionali 6 KW (in zona 6) Totale 44 KW e 15 Racks –Aggiungere i 200TB di disco in corso di acquisizione comporta 3 Racks e 12KW aggiuntivi

Piano 2008 Con dischi da 1 TB saranno disponibili 146TB Netti/Rack e quindi acquisire i 2 PB aggiuntivi richiede 14 Racks di disco per 2 PB + altri 7 Racks per 200 Disk server -> 21 racks in totale, con un consumo totale di 78KW (8 rack di disco consumano 18KW, 14 racks di disco consumeranno 36KW, 1 rack di disk server 6KW, 7 Rack di disk server 42KW). Totale necessario per 3 PB, =39 Racks Un ulteriore ottimizzazione si puo fare sostituendo anche i 5 Rack dello storage IBM con un paio di nuovi Racks con dischi da 1 TB. In questo modo, se necessario, si possono risparmiare altri 3 Racks per nuove esigenze. Un ulteriore spazio che puo contenere fino a 7-8 Racks e ancora disponibile per nuove esigenze nellarea della sala riservata alla nuova libreria. In questi spazi si possono quindi facilmente ospitare i 2-3 rack di WN utilizzati correntemente per vari test Le risorse di INFN-GRID ed i testbed rimangono ospitati i nella zona dedicata alla rete in sala 2 che non sara toccata durante i lavori.

Piano 2008: Riassunto disponibilita e consumi Totale disponibile in Sala 1 Farm + servizi: 174KW, 15 Rack, 7 MSpecInt2K Disks, diskserver e Libreria attuale: 136 KW su 39 Racks; 3PB disco e 1 PB Tape Nuova Libreria : <20 KWatt; ulteriori 3.5 PB Tape Switch di Rete, Racks test e Grid in sala2: KWatt Totale 54 Racks e 2 Librerie in Sala1 + materiale in Sala2 con un consumo globale di ~400 KW, compatibile con la potenza attuale consumata globalmente dalle apparecchiature sotto UPS pari a 405 KWatt

Conclusioni –La soluzioni proposta prevede la potenza consumata in sala dalle apparecchiature rimanga costante rispetto a quella consuma attualmente e pari a ~450 KWatt Il nuovo gruppo frigo in corso di accensione fornira capacita frigorifera di 320 KWatt con un fattore di rendimento (COP) di circa 2,2, cioe con un consumo di 145KW, da verificare sul campo Il gruppo frigo attuale ha invece un rendimento pari a meno di 1 nei mesi estivi ed 1,5 nei mesi invernali Utilizzando al massimo il nuovi gruppo frigo, si potrebbero avere disponibili altri 150 KW dovuti ad un migliore rendimento del nuovo apparato, utilizzabili per nuovi dispositivi o per margine nei consumi se maggiori di quelli previsti Si puo partire da subito con le nuove acquisizioni per poi spostarle in sala 1 secondo questo piano quando disponibile