Ruggero Ricci INFN-LNF Techology tracking: INFRastruttura: come cambia il clima in sala calcolo Ruggero Ricci INFN-LNF WS CCR Rimini 13 giugno 2018

Project Natick 12 racks containing 864 standard Microsoft datacenter servers with FPGA acceleration and 27.6 petabytes of disk. 240 KW.

Il PUE: dove eravamo 2009 Indagine sulle strutture INFN Dal 2007 The Green Grid

PUE: stato dell’arte per i grandi DC Data Center PUE Eni Green Data Center (Ferrera Erbognone) Free-Cooling diretto 1.179 Google data center Raffreddamento ad acqua e free cooling indiretto. Nelle strutture in località marittime viene sfruttata acqua di mare per il affreddamento 1.11 eBay, Phoenix Free cooling diretto+ raffreddamento ad acqua a 30-36°C+chiller tradizionali. 1.26 /1.43 Microsoft, 5th generation Quincy Washinton Fan wall, raffreddati ad acqua con torri evaporative + free cooling diretto 1.07 /1.19 PUE medio basato sulla ponderazione dell'energia e relativo a tutti i data center di Google è pari a 1,12;

Nuova guida ASHRAE TC 9.9 “Data Center Power Equipment Thermal Guidelines and Best Practices” Linea guida preparata sulla base di una larga indagine di DC esistenti e tendenze su Mission Critical Facilities, Data Centers, Technology Spaces, and Electronic Equipment Linea guida (non una regola tecnica vincolante) in mondo US, ma di riferimento nel mondo dei DC. Requisiti ambientali per il corretto funzionamento delle apparecchiature IT e ausiliari di un DC

Nuove classi di temperatura per IT Temperatura di aspirazione dei Server Prima edizione 2004 18-25°C T= 26,67°C (80 °F) ASHRAE, «TC9.9 Data Center Power Equipment Thermal Guidelines and Best Practices,» 2016.

Incremento del DT aria ASHRAE TC 9.9 prevede un aumento del salto termico dell’aria tra ingresso e uscita delle macchine. I sistemi di controllo della velocità dei ventilatori possono ridurre la velocità per ottenere una temperatura di uscita costante. Tout più elevate (= più economico da raffreddare) Minore potenza per la ventilazione 25°C server air inlet 35°C server air inlet Temperatura di espulsione fino a 60°C sono considerate «normali» Conseguenze per cavi e altri componenti

Presupposti Sistemi IT raffreddati ad ARIA Non sono trattati i sistemi con raffreddamento diretto ad acqua (DLC) Tutte (quasi) le apparecchiature IT aspirano sul fronte, espellono aria calda sul retro COMPARTIMENTAZIONE: segregazione tra aria raffreddata, in aspirata dal server, e aria espulsa Creazione del corridoio caldo/freddo

La compartimentazione Principio base da 20 anni è la separazione tra aria aspirata dal server e espulsa I metodi sono vari, il principio è sempre lo stesso Corridoio caldo o corridoio freddo Rack compartimentati con raffreddamento interno Sistemi in-row Porte refrigerate Cold wall Portare via il calore alla temperatura più elevata possibile, prima che avvenga la miscelazione con l’aria fredda. Lo scambio termico è tanto più efficace quanto maggiore è il DT La miscelazione delle due zone riduce la capacità di raffreddamento e peggiora le prestazioni

Errori tipici Lo sforzo di segregare i due lati delle macchine caldo e freddo sono a volte vanificati dalla mancanza di particolari nella gestione dei rack. 35 °C 32 °C Indovina cosa manca ? 19 °C

Tendenze del mercato I costruttori di IT accettano temperature più elevate Delta T più elevati (i ventilatori sono regolati automaticamente per ridurre i consumi e aumentare le temperature di uscita dell’aria) Margini di funzionamento più larghi (in alto e in basso, sia di temperatura che di umidità) Scopo: Estendere il free cooling diretto o indiretto Ridurre i consumi

Ultimi acquisti HW Consip Temperature ranges 10°C to 35°C (for altitude less than 950 m) with no direct sunlight on the equipment. Humidity percentage range 10% to 80% Relative Humidity with 26°C maximum dew point.

Esempio applicativo: Bologna 1/2 Dati climatici reali 2016-2017 Ipotesi di funzionamento: T mandata aria ai server: 26 °C T mandata acqua 22°C Sistema con Free cooling indiretto Integrato nel chiller o realizzato tramite Dry cooler separato 22°C

Esempio applicativo: Bologna 2/2 120 giorni di ulteriore contributo di free cooling parziale 200 giorni di funzionamento senza compressori Distribuzione di energia frigorifera Il 72% del calore è smaltito senza utilizzare macchine frigorifere PUE 1,2 Media annuale

Esempio applicativo: considerazioni Nelle soluzioni tradizionali il sistema di raffreddamento è sempre stato considerato come una derivazione del condizionamento ambientale che utilizza acqua raffreddata a 7 (mandata)-12 (ritorno)°C. Normalmente il set di mandata può essere aumentato fino al massimo a 15 °C. 7-12 è indispensabile nella climatizzazione per il controllo dell’umidità Nei DC il controllo dell’umidità è marginale e può essere affidato a piccole unità dedicate. Il raffreddamento può essere fatto a temperature superiori.

Macchine frigorifere ad «alta» temperatura Per utilizzare temperature superiori, occorre selezionare apparecchiature dedicate. Aumentare la temperatura del fluido di raffreddamento: Aumenta il numero di ore coperte da Free Cooling Aumenta l’EER delle macchine frigorifere (se compatibile) Rendimento (EER) al variare delle temperature di impiego e della temperatura esterna del chiller Dati elaborati su sw Geoclima

Tecnopolo Bologna Ex manifatura Tabacchi destinata dalla Regione ER a polo tecnologico. INFN+CINECA area destinata 2x3000 mq CINECA: Hexascale: HPC basato su macchine DLC INFN: ci sta pensando. Ragionevole sistema misto in più fasi Al momento: in avvio la gara per la progettazione degli impianti Ipotesi di sistemi di cogenerazione e di recupero termico

DLC: Sistemi di raffreddamento ad acqua Usati in HPC per aumentare la densità di potenza 80 kW per rack. Utilizzano acqua a temperatura 45-60°C in ingresso Il calore può essere recuperato facilmente perché ad alta temperatura (ad es. per il riscaldamento). Lo smaltimento del calore non richiede macchine frigorifere, solo DRY COOLERS, con bassissima manutenzione. Circa il 20% del calore va in aria, e dunque il sistema va integrato con sistemi più tradizionali. Non ha senso in uno stesso impianto di raffreddamento avere un sistema tradizionale e un DLC perché i fluidi vettori sono a temperature molto differenti.

Considerazioni Per DC non troppo grandi, come quelli INFN, escluso NCAF, l’uso appropriato delle apparecchiature IT consente di realizzare sistemi di raffreddamento efficienti (con PUE <1,2) senza troppe complicazioni se: Si usa la corretta compartimentazione Temperature di funzionamento corrette Macchine frigorifere dedicate Sistemi di free cooling

Ringraziamenti Parte delle informazioni sono tratte dalla tesi di laurea di Francesco Sabatini «Sistema cogenerativo integrato, basato sull’uso di celle a combustibile, per un Data Center di ultima generazione» – ingegneria Energetica Università di Roma Tor Vergata –3/5/2018:

Grazie dell’attenzione Ruggero.ricci@lnf.infn.it