L’ESPERIENZA DI CASPUR NELLA GESTIONE DEL DATACENTER Maurizio Goretti m.goretti@caspur.it Workshop CCR e INFN-GRID Palau 11 Maggio 2009

CASPUR E’ un consorzio tra Università - senza fini di lucro fondato nel 1992 80 Dipendenti – 15 Mln Fatturato 2008 Le sue principali finalità sono legate al Calcolo Scientifico (HPC) 460 posizione Top 500 (13,6 [17]Tflops) Servizi per le Università, Enti di Ricerca, Industria M.Goretti@caspur.it - Workshop CCR INFN-GRID - 11 Maggio 2009

Neutralità È una delle caratteristiche peculiari del Consorzio Origine Universitaria Senza fini di lucro Competenze Super-Partes M.Goretti@caspur.it - Workshop CCR INFN-GRID - 11 Maggio 2009

CASPUR La sua nascita coincide con lo sviluppo di Internet Attività di consulenza e realizzazione delle nuove reti Università, Pubbliche Amministrazioni Centrali e Locali M.Goretti@caspur.it - Workshop CCR INFN-GRID - 11 Maggio 2009

Crocevia Internet NaMeX punto di interscambio tra ISP Principale snodo internet del Centro-Sud Italia Presenti i principali operatori internet nazionali ed internazionali (oltre 30) TelecomItalia Wind Fastweb Interoute Cogent TataCommunications Seeweb GARR Sede Sistema Pubblico di Connettività (SPC-QXN) Crocevia dei collegamenti tra Pubbliche amministrazioni centrali M.Goretti@caspur.it - Workshop CCR INFN-GRID - 11 Maggio 2009

Gestione DataCenter Affidabilità e continuità di servizio CASPUR gestisce un Data Center “importante” Consumi elevati HPC Criticita apparecchiature installate NaMeX SPC Presidenza Consiglio, Camera, etc… Affidabilità e continuità di servizio Ottimizzazione dei consumi M.Goretti@caspur.it - Workshop CCR INFN-GRID - 11 Maggio 2009

Il nostro CED Ubicazione : piano -2 Media Tensione 8600 V ACEA Dispositivi anti allagamento Media Tensione 8600 V ACEA Interruttore MT DK5600 Doppio trasformatore in parallelo (640KVA) Doppio avvolgimento (8600/20.000) Gruppo elettrogeno (400 KVA, 12 ore autonomia) Scambio rete gruppo Doppio UPS (200 KVA, due linee separate, 15 min) Doppia linea rack Differenziali Raffredamento ridondato M.Goretti@caspur.it - Workshop CCR INFN-GRID - 11 Maggio 2009

Esigenza e Natura La grande importanza della efficienza del Datacenter ha imposto a CASPUR un investimento economico ed umano Obbligo di competenze interne per raggiungimento elevati standar di affidabilità La stesse esigenza nel mondo della ricerca ed ICT Difficoltà nel reperimento di informazioni “neutrali” CASPUR interessato a creare una comunità Italia di esperti ed addetti ai lavori M.Goretti@caspur.it - Workshop CCR INFN-GRID - 11 Maggio 2009

Esigenza e Natura Necessità di individuare dei riferimenti neutrali ed affidabili per gli utenti finali Comunità di studio e ricerca delle best practice e delle nuove tecnologie Sfruttando la posizione di neutralità Collaborazioni: Dipartimento Ingegneria Elettrica Sapienza Ruggero Ricci: Criteri progettazione impianti elettrici CED Tier2 Aziende del settore Internet Service Provider M.Goretti@caspur.it - Workshop CCR INFN-GRID - 11 Maggio 2009

Affidabilità e Costi Capire per migliorare Condividere per capire Youtube DataCenter Channel Errori come risorsa Non è facile “confessarli” … oltre il Commerciale verso il Progettista … Ritorno per le aziende e per gli utenti Confessione dei nostri peccati … M.Goretti@caspur.it - Workshop CCR INFN-GRID - 11 Maggio 2009

Incidenti Incidenti di media gravità (interruzione 1 linea) Apertura differenziali scambio rete/gruppo Servono i differenziali di sala? Trasformatore di disaccoppiamento UPS+calo tensione ACEA Errati valori di riferimento Bypass con micro interruzione M.Goretti@caspur.it - Workshop CCR INFN-GRID - 11 Maggio 2009

Incidenti Incidenti di elevata gravità (interruzione entrambe le linee) 23/05/2007 : 1H 02M Apertura interrutore MT Esplosione batteria avviamento GE 07/03/2008 : 0H 04 M Rottura capicorda neutro GE Durante manutenzione M.Goretti@caspur.it - Workshop CCR INFN-GRID - 11 Maggio 2009

Contromisure 23/05/2007 : 1H 02M 07/03/2008 : 0H 04M Apertura interrutore MT Censimento interruttori e loro valore di apertura Esplosione batteria avviamento GE Cattiva manutenzione Nuova ditta manutenzione 07/03/2008 : 0H 04M Rottura capicorda neutro GE ? Errata logica di commutazione. Manutenzione Cattiva procedura di manutenzione Formazione del personale Nuove procedure Convocazione manutentori GE, UPS, Impianto elettrico. 5 persone interne coinvolte M.Goretti@caspur.it - Workshop CCR INFN-GRID - 11 Maggio 2009

Datacenter a sezioni Caratteristiche del Sito Impianto elettrico Media tensione Trasformatori Bassa tensione UPS Gruppo elettrogeno Distribuzione di Sala Raffreddamento Monitoring Standard Controllo accessi Procedure Manutenzione M.Goretti@caspur.it - Workshop CCR INFN-GRID - 11 Maggio 2009

Scambio rete Gruppo Quali dispositivi per la commutazione? Scheda Gruppo Interruttori Dispositivo dedicato (ABB ATS010) Quale logica di commutazione? Consenso gruppo per scambio M.Goretti@caspur.it - Workshop CCR INFN-GRID - 11 Maggio 2009

DK5600 ed il problema delle alimentazioni ausiliarie Gatto che si morde la coda? Il relè della DK5600, cosi come altri dispositivi “vitali” per l’alimentazione elettrica, ha bisogno di una alimentazione ausiliaria protetta (UPS) Scambio rete gruppo. UPS dedicato o uso degli UPS di sala? Static Switch M.Goretti@caspur.it - Workshop CCR INFN-GRID - 11 Maggio 2009

Monitoring Fondamentale per la prevenzione guasti/ottimizzazione consumi Noi del networking abbiamo uno “standard”: SNMP A volte in contrasto con gli usi e costumi degli “Elettrici” Bus e protocolli proprietari Ridondanza Costosi Sistema di monitoring personalizzati e centralizzati M.Goretti@caspur.it - Workshop CCR INFN-GRID - 11 Maggio 2009

Manutenzione e procedure Quale programma di manutenzione? Prova black-out? Quale procedura? La storia del Test batterie UPS e del Gruppo Elettrogeno Formazione del personale Riduzione tempi intervento guasti M.Goretti@caspur.it - Workshop CCR INFN-GRID - 11 Maggio 2009

Un esempio concreto Raffreddamento, CASPUR Problema di inefficienza Consumi elevati Esaurimento risorse Spazi Potenza elettrica Commerciale non troppo sensibile e superimpegnato Concorrenti che bussano alle porte con soluzioni radicali stile “cambia tutto”... … e se mi facessi un giro in fabbrica? M.Goretti@caspur.it - Workshop CCR INFN-GRID - 11 Maggio 2009

(In)Efficienza Sale CED 1 e 2 Sala 1, 200 mq Sala 2, 72 mq Disposizione non ottimale rack Raffreddamento a sottopavimento (30 cm) M.Goretti@caspur.it - Workshop CCR INFN-GRID - 11 Maggio 2009

(In)Efficienza Sale CED 1 e 2 6 Refrigeratori ad acqua 7 Refrigeratori ad espansione diretta Consumo medio singolo Refr. 10(15)KW Consumo sistema raffr. 130(195) KW Consumo elettrico sala 210 KW (170 sala1 + 40 sala 2) Efficienza raffreddamento 210/130(195)=1.62(1.08) M.Goretti@caspur.it - Workshop CCR INFN-GRID - 11 Maggio 2009

Efficienza Sala CED 3 54 mq 3 Refrigeratori ad acqua Consumo sistema raffreddamento 30(45) Kw Consumo elettrico di sala 100 Kw Efficienza raffreddamento 100/30(45)=3.3(2.22) M.Goretti@caspur.it - Workshop CCR INFN-GRID - 11 Maggio 2009

Efficienza Sala CED 3 M.Goretti@caspur.it - Workshop CCR INFN-GRID - 11 Maggio 2009

Efficienza Sala CED 3 M.Goretti@caspur.it - Workshop CCR INFN-GRID - 11 Maggio 2009

Efficienza e risparmi Se in sala 1 e 2 avessimo la stessa efficienza della sala 3 avremo bisogno di soli 210/3.3(2.22)=64(95) Kw per raffreddare invece di 130(195) Kw Si avrebbe un risparmio di 66(100) Kw In un anno si risparmierebbero 66(100)x24x365=578160(876000) Kwh Il costo del Kwh è circa 0,15 Euro Risparmio di 578160(876000)x0,15=86700(131400) Euro/anno M.Goretti@caspur.it - Workshop CCR INFN-GRID - 11 Maggio 2009

Efficienza Sala CED 3 Raffreddando le sale 1 e 2 con la stessa efficienza della sala 3 avremmo un risparmio economico almeno il 40% Si potrebbe ampliare l’impianto elettrico e di raffreddamento 1 Refr.=35Kw Almeno 4 Refr.=140 Kw Raffreddando 15 Kw a rack potremo installare 10 rack M.Goretti@caspur.it - Workshop CCR INFN-GRID - 11 Maggio 2009

Differenze e risultati Sottopavimento 60cm invece di 30cm Corridoi “caldi” e “freddi” Chiusura corridoio freddo Uso active floor Disposizione ordinata macchine in rack Risultato: risparmio economico; risparmio energetico (maggiori risorse); maggiori spazi Top 500 e Top Green 500 Abbiamo condivisto il nostro risultato all’interno della nostra comunità M.Goretti@caspur.it - Workshop CCR INFN-GRID - 11 Maggio 2009

CASPUR Il nostro Consorzio promuove o patrocina iniziative e studi finalizzati alla conoscenza dei problemi legati a DataCenter ad alta criticità. Siamo alla ricerca di nuovi aziende od utenti interessati a partecipare o condividere tali iniziativa. L’adesione all’iniziativa non ha costi ma richiede impegno. Opportunità legate alla presenza di un vasto numero di potenziali utenti (e aziende). M.Goretti@caspur.it - Workshop CCR INFN-GRID - 11 Maggio 2009

Grazie della attenzione. Maurizio Goretti E-mail: m.goretti@caspur.it Skype:Maurizio.Goretti Sip:goretti@caspur.it Workshop CCR e INFN-GRID Palau 11 Maggio 2009