L’ESPERIENZA DI CASPUR NELLA GESTIONE DEL DATACENTER

Presentazione sul tema: "L’ESPERIENZA DI CASPUR NELLA GESTIONE DEL DATACENTER"— Transcript della presentazione:

1 L’ESPERIENZA DI CASPUR NELLA GESTIONE DEL DATACENTER
Maurizio Goretti Workshop CCR e INFN-GRID Palau 11 Maggio 2009

2 CASPUR E’ un consorzio tra Università - senza fini di lucro fondato nel Dipendenti – 15 Mln Fatturato 2008 Le sue principali finalità sono legate al Calcolo Scientifico (HPC) 460 posizione Top 500 (13,6 [17]Tflops) Servizi per le Università, Enti di Ricerca, Industria Workshop CCR INFN-GRID Maggio 2009

3 Neutralità È una delle caratteristiche peculiari del Consorzio
Origine Universitaria Senza fini di lucro Competenze Super-Partes Workshop CCR INFN-GRID Maggio 2009

4 CASPUR La sua nascita coincide con lo sviluppo di Internet
Attività di consulenza e realizzazione delle nuove reti Università, Pubbliche Amministrazioni Centrali e Locali Workshop CCR INFN-GRID Maggio 2009

5 Crocevia Internet NaMeX punto di interscambio tra ISP
Principale snodo internet del Centro-Sud Italia Presenti i principali operatori internet nazionali ed internazionali (oltre 30) TelecomItalia Wind Fastweb Interoute Cogent TataCommunications Seeweb GARR Sede Sistema Pubblico di Connettività (SPC-QXN) Crocevia dei collegamenti tra Pubbliche amministrazioni centrali Workshop CCR INFN-GRID Maggio 2009

6 Gestione DataCenter Affidabilità e continuità di servizio
CASPUR gestisce un Data Center “importante” Consumi elevati HPC Criticita apparecchiature installate NaMeX SPC Presidenza Consiglio, Camera, etc… Affidabilità e continuità di servizio Ottimizzazione dei consumi Workshop CCR INFN-GRID Maggio 2009

7 Il nostro CED Ubicazione : piano -2 Media Tensione 8600 V ACEA
Dispositivi anti allagamento Media Tensione 8600 V ACEA Interruttore MT DK5600 Doppio trasformatore in parallelo (640KVA) Doppio avvolgimento (8600/20.000) Gruppo elettrogeno (400 KVA, 12 ore autonomia) Scambio rete gruppo Doppio UPS (200 KVA, due linee separate, 15 min) Doppia linea rack Differenziali Raffredamento ridondato Workshop CCR INFN-GRID Maggio 2009

8 Esigenza e Natura La grande importanza della efficienza del Datacenter ha imposto a CASPUR un investimento economico ed umano Obbligo di competenze interne per raggiungimento elevati standar di affidabilità La stesse esigenza nel mondo della ricerca ed ICT Difficoltà nel reperimento di informazioni “neutrali” CASPUR interessato a creare una comunità Italia di esperti ed addetti ai lavori Workshop CCR INFN-GRID Maggio 2009

9 Esigenza e Natura Necessità di individuare dei riferimenti neutrali ed affidabili per gli utenti finali Comunità di studio e ricerca delle best practice e delle nuove tecnologie Sfruttando la posizione di neutralità Collaborazioni: Dipartimento Ingegneria Elettrica Sapienza Ruggero Ricci: Criteri progettazione impianti elettrici CED Tier2 Aziende del settore Internet Service Provider Workshop CCR INFN-GRID Maggio 2009

10 Affidabilità e Costi Capire per migliorare Condividere per capire
Youtube DataCenter Channel Errori come risorsa Non è facile “confessarli” … oltre il Commerciale verso il Progettista … Ritorno per le aziende e per gli utenti Confessione dei nostri peccati … Workshop CCR INFN-GRID Maggio 2009

11 Incidenti Incidenti di media gravità (interruzione 1 linea)
Apertura differenziali scambio rete/gruppo Servono i differenziali di sala? Trasformatore di disaccoppiamento UPS+calo tensione ACEA Errati valori di riferimento Bypass con micro interruzione Workshop CCR INFN-GRID Maggio 2009

12 Incidenti Incidenti di elevata gravità (interruzione entrambe le linee) 23/05/2007 : 1H 02M Apertura interrutore MT Esplosione batteria avviamento GE 07/03/2008 : 0H 04 M Rottura capicorda neutro GE Durante manutenzione Workshop CCR INFN-GRID Maggio 2009

13 Contromisure 23/05/2007 : 1H 02M 07/03/2008 : 0H 04M
Apertura interrutore MT Censimento interruttori e loro valore di apertura Esplosione batteria avviamento GE Cattiva manutenzione Nuova ditta manutenzione 07/03/2008 : 0H 04M Rottura capicorda neutro GE ? Errata logica di commutazione. Manutenzione Cattiva procedura di manutenzione Formazione del personale Nuove procedure Convocazione manutentori GE, UPS, Impianto elettrico. 5 persone interne coinvolte Workshop CCR INFN-GRID Maggio 2009

14 Datacenter a sezioni Caratteristiche del Sito Impianto elettrico
Media tensione Trasformatori Bassa tensione UPS Gruppo elettrogeno Distribuzione di Sala Raffreddamento Monitoring Standard Controllo accessi Procedure Manutenzione Workshop CCR INFN-GRID Maggio 2009

15 Scambio rete Gruppo Quali dispositivi per la commutazione?
Scheda Gruppo Interruttori Dispositivo dedicato (ABB ATS010) Quale logica di commutazione? Consenso gruppo per scambio Workshop CCR INFN-GRID Maggio 2009

16 DK5600 ed il problema delle alimentazioni ausiliarie
Gatto che si morde la coda? Il relè della DK5600, cosi come altri dispositivi “vitali” per l’alimentazione elettrica, ha bisogno di una alimentazione ausiliaria protetta (UPS) Scambio rete gruppo. UPS dedicato o uso degli UPS di sala? Static Switch Workshop CCR INFN-GRID Maggio 2009

17 Monitoring Fondamentale per la prevenzione guasti/ottimizzazione consumi Noi del networking abbiamo uno “standard”: SNMP A volte in contrasto con gli usi e costumi degli “Elettrici” Bus e protocolli proprietari Ridondanza Costosi Sistema di monitoring personalizzati e centralizzati Workshop CCR INFN-GRID Maggio 2009

18 Manutenzione e procedure
Quale programma di manutenzione? Prova black-out? Quale procedura? La storia del Test batterie UPS e del Gruppo Elettrogeno Formazione del personale Riduzione tempi intervento guasti Workshop CCR INFN-GRID Maggio 2009

19 Un esempio concreto Raffreddamento, CASPUR Problema di inefficienza
Consumi elevati Esaurimento risorse Spazi Potenza elettrica Commerciale non troppo sensibile e superimpegnato Concorrenti che bussano alle porte con soluzioni radicali stile “cambia tutto”... … e se mi facessi un giro in fabbrica? Workshop CCR INFN-GRID Maggio 2009

20 (In)Efficienza Sale CED 1 e 2
Sala 1, 200 mq Sala 2, 72 mq Disposizione non ottimale rack Raffreddamento a sottopavimento (30 cm) Workshop CCR INFN-GRID Maggio 2009

21 (In)Efficienza Sale CED 1 e 2
6 Refrigeratori ad acqua 7 Refrigeratori ad espansione diretta Consumo medio singolo Refr. 10(15)KW Consumo sistema raffr. 130(195) KW Consumo elettrico sala 210 KW (170 sala sala 2) Efficienza raffreddamento 210/130(195)=1.62(1.08) Workshop CCR INFN-GRID Maggio 2009

22 Efficienza Sala CED 3 54 mq 3 Refrigeratori ad acqua
Consumo sistema raffreddamento 30(45) Kw Consumo elettrico di sala 100 Kw Efficienza raffreddamento 100/30(45)=3.3(2.22) Workshop CCR INFN-GRID Maggio 2009

23 Efficienza Sala CED 3 Workshop CCR INFN-GRID Maggio 2009

24 Efficienza Sala CED 3 Workshop CCR INFN-GRID Maggio 2009

25 Efficienza e risparmi Se in sala 1 e 2 avessimo la stessa efficienza della sala 3 avremo bisogno di soli 210/3.3(2.22)=64(95) Kw per raffreddare invece di 130(195) Kw Si avrebbe un risparmio di 66(100) Kw In un anno si risparmierebbero 66(100)x24x365=578160(876000) Kwh Il costo del Kwh è circa 0,15 Euro Risparmio di (876000)x0,15=86700(131400) Euro/anno Workshop CCR INFN-GRID Maggio 2009

26 Efficienza Sala CED 3 Raffreddando le sale 1 e 2 con la stessa efficienza della sala 3 avremmo un risparmio economico almeno il 40% Si potrebbe ampliare l’impianto elettrico e di raffreddamento 1 Refr.=35Kw Almeno 4 Refr.=140 Kw Raffreddando 15 Kw a rack potremo installare 10 rack Workshop CCR INFN-GRID Maggio 2009

27 Differenze e risultati
Sottopavimento 60cm invece di 30cm Corridoi “caldi” e “freddi” Chiusura corridoio freddo Uso active floor Disposizione ordinata macchine in rack Risultato: risparmio economico; risparmio energetico (maggiori risorse); maggiori spazi Top 500 e Top Green 500 Abbiamo condivisto il nostro risultato all’interno della nostra comunità Workshop CCR INFN-GRID Maggio 2009

28 CASPUR Il nostro Consorzio promuove o patrocina iniziative e studi finalizzati alla conoscenza dei problemi legati a DataCenter ad alta criticità. Siamo alla ricerca di nuovi aziende od utenti interessati a partecipare o condividere tali iniziativa. L’adesione all’iniziativa non ha costi ma richiede impegno. Opportunità legate alla presenza di un vasto numero di potenziali utenti (e aziende). Workshop CCR INFN-GRID Maggio 2009

29 Grazie della attenzione.
Maurizio Goretti Skype:Maurizio.Goretti Workshop CCR e INFN-GRID Palau 11 Maggio 2009