G. Bracco – Progetto TEDAT. OR6 - Portici 16 Giugno 2015 Incontro progetto TEDAT Portici 16 giugno 2015 Progetto TEDAT OR6 Sistema HPC [CRESCO4] ENEA Portici G.Bracco S.Migliori,A.Quintiliani,R.Guadagni,F.Ambrosino,G.Aprea,F.Beone, P.DAngelo,A.Funel,G.Guarnieri,A.Mariano,S.Pierattini,S.Podda,G.Ponti, F.Palombi,G.Furini,G.Mencuccini,P.Ornelli,A.Perozziello,F.Poggi,D.Giammattei, M.DeRosa,B.Calosso,M.Chinnici,C.Ferrelli,S.Pecoraro,F.Simoni,R.Bertini, S.Magagnino,D.Abate,P.DeMichele,S.Giusepponi,A.Rocchi,C.Sciò, A.Colavincenzo,B.Mastroianni

G. Bracco – Progetto TEDAT. OR6 - Portici 16 Giugno 2015 Il quadro generale L'OR6 del progetto TEDAT - Centro di eccellenza per le Tecnologie e la diagnostica avanzata nel settore dei trasporti - [PON/3 Infrastrutture DDR MIUR 254/Ric 18/5/2011] ha previsto la realizzazione di un sistema HPC presso il CR.ENEA di Portici, il cluster CRESCO4. La presentazione ne descrive le caratteristiche e la realizzazione del sottolineando (1) l'integrazione hardware e software con l'infrastruttura di calcolo scientifico ENEAGRID (2) le sinergie con gli altri progetti in corso e (3) la valorizzazione dei progetti precedenti. La qualità del sistema realizzato viene poi inquadrata all'interno del contesto HPC nazionale ed internazionale e ne viene descritto l'utilizzo in termini di tempo macchina e settori applicativi.

G. Bracco – Progetto TEDAT. OR6 - Portici 16 Giugno 2015 Indice – TEDAT OR6: i settori applicativi – Il cluster CRESCO4 – Integrazione con gli altri progetti – La realizzazione dell'infrastruttura (fotostoria) – Il quadro nazionale ed internazionale dell'HPC – Infrastruttura HPC: ENEAGRID/CRESCO – Utenza: dati di utilizzo – Conclusioni

G. Bracco – Progetto TEDAT. OR6 - Portici 16 Giugno 2015 TEDAT OR6 Sviluppo della Facility di High Performance Computing e Grid a supporto delle Attività di Modellistica e Diagnostica Avanzata Realizzazione di un sistema HPC per: modellistica dei materiali, anche attraverso l'utilizzo di simulazioni ab-initio; simulazione di sistemi energetici. elaborazione di bilanci energetici e macromodelli su scala nazionale e locale. modellistica climatica orientata alla previsione di produzione di energia in centrali solari modellistica per le previsioni meterologiche ad alta risoluzione per la gestione operativa della rete elettrica utilizzando l'approccio smart grid modellistica della simulazione in tempo reale di smart grid modellistica termofluidodinamica per la simulazione e progettazione di impianti energetici Settori computazionali: scienza dei materiali, fluidodinamica,clima,..

G. Bracco – Progetto TEDAT. OR6 - Portici 16 Giugno 2015 HPC: High Performance Computing Negli ultimi 50 anni l'evoluzione esponenziale delle tecnologie informatiche (prestazioni top HPC 2x ogni 14 mesi) fornisce sistemi di calcolo sempre più potenti e complessi, largamente paralleli. Un sistema HPC si caratterizza per una interconnessione tra i nodi ad alta banda bassa latenza (40-56 Gbps,<1μs) e da risorse adeguate di storage (~PB) accessibili attraverso file system paralleli L'HPC di ENEA ha raggiunto una posizione rilevante a livello nazionale nel 2008, progetto CRESCO, PON , Bando 1575, cluster CRESCO1 & CRESCO2, rank 126 in top500/2008. TEDAT-OR6 Il cluster CRESCO4 in produzione da gennaio 2014 ha costituito l'aggiornamento tecnologico del sistema HPC ENEA.

G. Bracco – Progetto TEDAT. OR6 - Portici 16 Giugno 2015 TEDAT OR6 : Cluster CRESCO4 Potenza di calcolo di picco 100 Tflops (CRESCO2 era 25 Tflops) – 5 Rack di nodi di calcolo per un totale di 304 nodi (4864 cores Intel) 1 rack di servizio per switch IB – Processore Intel E5-2670, 2.6 GHz, 8 cores – 64 GB RAM/nodo 4 GB RAM/Core – Nodi di tipo Fat Twin (Chassis 4U con 8 nodi) – Infiniband QDR QLogic/Intel (432 porte) – Nuova sala CED; UPS, nuove batterie – Sistema di condizionamento con free-cooling – ~100KW potenza elettrica assorbita a pieno carico (HPL) – Sezioni speciali a grande RAM (768 GB) e coprocessori PHI, Nvidia K40

G. Bracco – Progetto TEDAT. OR6 - Portici 16 Giugno 2015 TEDAT OR6 : Cluster CRESCO4 “The role of medium size facilities in the HPC ecosystem: the case of the new CRESCO4 cluster integrated in the ENEAGRID infrastructure" Proceedings of the International Conference on High Performance Computing and Simulation, HPCS 2014, Bologna, Italy, July, 2014.

G. Bracco – Progetto TEDAT. OR6 - Portici 16 Giugno 2015 ENE Ultimi arrivi: sezione speciale CRESCO4 e CRESCO5 5 nodi a grande RAM/Ivybridge 768 GB, dual E5-2643v2, 3.5 GHz,6c 4 dei nodi con PHI 3120P (57 c,1TF) 4 nodi Intel PHI & Nvidia K40M 64 GB, dual E5-2680v2,2.8 GHz 5 schede PHI 5110P (60 c, 1TF) 3 schede Nvidia K40M(1.43 TFlops) Potenza di picco: 16.4 Tflops (di cui 13.2 Tflops negli acceleratori) CRESCO5: nuovo piccolo cluster cpu HASWELL per applicazioni licenziate (ANSYS!) installazione a breve 36 nodi, 576 cores 22.1 Tflops! 64 GB, 2x E5-2630v3, 2.4 GHz,8c In corso!

G. Bracco – Progetto TEDAT. OR6 - Portici 16 Giugno 2015 Cluster CRESCO a Portici : stato 2015 ENE CRESCO4 cluster e sezione speciale CRESCO2*, CRESCO3 Storage, Macchine Virtuali, Tape Library CED2 CED1 I cluster CRESCO a Portici CRESCO2, 84 nodi, 672 cores Intel Nehalem,Westmere 16GB CRESCO3, 84 nodi 2016 cores AMD Interlagos, 64 GB RAM CRESCO4,304 nodi,4864 cores Intel SandyBridge, 64 GB RAM La novità Q1 2015: – 5 nodi a grande memoria 768 GB RAM – 4 nodi con cooprocessori Intel PHI e Nvidia K40 – Storage DDN SFA7700 – TapeLibrary estesa a ~2 PB Le dismissioni: – CRESCO1 CRESCO2 256 nodi Clovertown,DDN 9550

G. Bracco – Progetto TEDAT. OR6 - Portici 16 Giugno 2015 CRESCO, schema rete Infiniband [TEDAT] LAMRECOR VIS4FACTORY AQUASYSTEM LAMRECOR TEDAT CRESCO LAMRECOR UTMEA UTTEI UTVALAMB

G. Bracco – Progetto TEDAT. OR6 - Portici 16 Giugno 2015 LAMRECOR VIS4FACTORY AQUASYSTEM LAMRECOR TEDAT CRESCO LAMRECOR UTMEA UTTEI UTVALAMB CRESCO, schema rete Infiniband

G. Bracco – Progetto TEDAT. OR6 - Portici 16 Giugno 2015 Le risorse : sinergia con altri progetti (beni culturali) LAMRECOR (logistica avanzata con Poste) VIS4Factory (tecnologie visuali nei processi di DC4CITIES.. Ad esempio: TEDAT/OR6 non ha incluso l'acquisizione dei sistemi storage ad alte prestazioni DDN [S2A9900,SFA7700] ma solo alcuni moduli di storage di servizio [Espansione Dothill] L'approccio ha permesso di concentrare le risorse TEDAT nell'acquisto del grosso dei nodi di calcolo raggiungendo l'obbiettivo dei 100 TFlops di potenza di picco.

G. Bracco – Progetto TEDAT. OR6 - Portici 16 Giugno 2015 Gara Europea dei nodi di Calcolo e rete Infiniband - Il bando europeo è stato sottomesso l'8/10/ Termine presentazione offerte: 3 dicembre Aperture offerte: 14 dicembre Contratto col fornitore E4 Engineering: 24 aprile Collaudo 10 ottobre 2013 Gare separate per i vari sottosistemi: alimentazioni elettriche, condizionamento,rack,antincendio,... Fotostoria della realizzazione del sistema TEDAT/OR6 cluster CRESCO4

G. Bracco – Progetto TEDAT. OR6 - Portici 16 Giugno /01 - CED2 prima dei lavori

G. Bracco – Progetto TEDAT. OR6 - Portici 16 Giugno /02 – CED2 controsoffittature

G. Bracco – Progetto TEDAT. OR6 - Portici 16 Giugno /03 – CED2 nuovi ingressi B & C

G. Bracco – Progetto TEDAT. OR6 - Portici 16 Giugno /04 – CED2 pavimento rialzato (1)

G. Bracco – Progetto TEDAT. OR6 - Portici 16 Giugno /04 – CED2 pavimento rialzato (2)

G. Bracco – Progetto TEDAT. OR6 - Portici 16 Giugno /04 – arrivo dei 7 rack

G. Bracco – Progetto TEDAT. OR6 - Portici 16 Giugno /05 - completamento ingressi

G. Bracco – Progetto TEDAT. OR6 - Portici 16 Giugno /06 - confinamento aria fredda

G. Bracco – Progetto TEDAT. OR6 - Portici 16 Giugno /07 - installazione condizionatori

G. Bracco – Progetto TEDAT. OR6 - Portici 16 Giugno /07 - installazione condizionatori

G. Bracco – Progetto TEDAT. OR6 - Portici 16 Giugno /07 - installazione dry-coolers

G. Bracco – Progetto TEDAT. OR6 - Portici 16 Giugno /07 - tubazioni condizionamento

G. Bracco – Progetto TEDAT. OR6 - Portici 16 Giugno /08 - tubazioni condizionamento

G. Bracco – Progetto TEDAT. OR6 - Portici 16 Giugno /08 - quadri elettrici

G. Bracco – Progetto TEDAT. OR6 - Portici 16 Giugno /09 - installazione nodi

G. Bracco – Progetto TEDAT. OR6 - Portici 16 Giugno /10 – fine installazione cluster

G. Bracco – Progetto TEDAT. OR6 - Portici 16 Giugno /12 – batterie UPS e antincendio

G. Bracco – Progetto TEDAT. OR6 - Portici 16 Giugno /1 – Annuncio apertura agli utenti

G. Bracco – Progetto TEDAT. OR6 - Portici 16 Giugno 2015 Posizionamento nel contesto nazionale ed internazionale TEDAT/OR6 cluster CRESCO4

G. Bracco – Progetto TEDAT. OR6 - Portici 16 Giugno 2015 HPC: posizionamento ENEA (1) Nel mondo il sistema più potente è cinese (Tianhe-2) ~34 Pflops (10^15), Italia #23 CINECA 1.8 Pflops (FERMI, 2012) e 1.5 Pflops (GALILEO, 2015) Il sistema più potente di ENEA: CRESCO4 0.1 Pflops in operazione da gennaio 2014 con 300 nodi e processori Intel SandyBridge Sembrerebbe che CRESCO4 sia quindi un sistema “piccolo” ma in realtà c'è un altro elemento cruciale: Il software: i codici

G. Bracco – Progetto TEDAT. OR6 - Portici 16 Giugno 2015 HPC: posizionamento ENEA (2) La competizione internazionale nel mondo HPC: obiettivi strategici di alto profilo ed esigenze di dimostrazione di supremazia tecnologica Per ragioni di costo di acquisto e di gestione i sistemi di punta utilizzano tecnologie estreme che richiedono lo sviluppo di applicazioni dedicate. La soluzione attuale – processori standard +acceleratori GPU e/o coprocessori PHI I sistemi HPC di produzione invece sono più simili a quelli di grande mercato e permettono il riuso dei codici disponibili siano essi commerciali o sviluppati dai ricercatori In ENEA CRESCO2 e poi CRESCO4 sono sistemi di produzione. – In CINECA il cluster GALILEO da 1. PFlops ha 0.35 PFlops standard Intel e 0.65 PFlops di acceleratori, il fattore di margine con CRESCO4 è 3.5 non 10 e include l'evoluzione tecnologica.

G. Bracco – Progetto TEDAT. OR6 - Portici 16 Giugno 2015 HPC: posizionamento ENEA (3) CINECA ha il ruolo di sito di riferimento per l'Italia all'interno del programma europeo PRACE (TIER0) e come tale ha la sua tabella di marcia che prevede 10 Pflops nel 2016 e 50 Pflops nel Che c'è in Italia nell'HPC oltre CINECA? – ENI: sistema dedicato ad analisi dei dati delle prospezioni petrolifere (3.1 Pflops #12 top500) ampio uso di GPU. – CMCC (Lecce) 0.16 Pflops (2012) – ENEA (Portici) 0.10 Pflops (produzione 2014/01) – SISSA (Trieste) 0.10 Pflops (2014) Dunque ENEA con i suoi cluster attuali è uno dei sistemi di rincalzo (TIER1) destinato ad una utenza con codici standard siano essi commerciali o sviluppati dai ricercatori. Accordo di collaborazione con CINECA firmato ad aprile new

G. Bracco – Progetto TEDAT. OR6 - Portici 16 Giugno 2015 Integrazione nella infrastruttura software ENEAGRID TEDAT/OR6 cluster CRESCO4

G. Bracco – Progetto TEDAT. OR6 - Portici 16 Giugno 2015 ENE Le risorse di calcolo offerte all'utenza sono attualmente i sistemi Linux x86_64 (i cluster CRESCO ~8000 cores) e sistemi speciali dedicati (ad es. GPU/PHI). Storage AFS e GPFS. Le risorse sono distribuite su 6 Centri di Ricerca ENEA. L'infrastruttura HPC di ENEA: ENEAGRID risorse di calcolo e storage distribuite

G. Bracco – Progetto TEDAT. OR6 - Portici 16 Giugno 2015 Integrazione servizi & infrastrutture I servizi ICT di ENEA/UTICT – Servizi base – Gestionale – Servizi cloud Macchine virtuali Storage Cloud (ENEABOX) – Strumenti di comunicazione videoconferenze, voip teleconferenze – E-Learning – Siti Web – Teleoperazione esperimenti HARDWARE ex CRESCO HPC richiede una rete allo stato dell'arte

G. Bracco – Progetto TEDAT. OR6 - Portici 16 Giugno 2015 ENE Componenti strutturali “maturi” per garanzia di affidabilità e semplicità di gestione, interfacce Web sviluppate/customizzate per un ambiente utente amichevole: – Autenticazione Kerberos 5 – File systems: AFS/OpenAFS: file system geografico GPFS: file system parallelo, anche su WAN – Gestore delle risorse: LSF Multicluster – Interfacce grafiche Web per l'utente: NX/FARO Jobrama: Stato dei job & Accounting – Sistema di monitoring: Zabbix – Gestione Web utenze e progetti: WARC – Gestione Backup TSM Architettura di ENEAGRID per HPC CLOUD dal..1999!

G. Bracco – Progetto TEDAT. OR6 - Portici 16 Giugno 2015 Strumenti di accesso per l'utenza e dati di utilizzo TEDAT/OR6 cluster CRESCO4

G. Bracco – Progetto TEDAT. OR6 - Portici 16 Giugno 2015 Strumenti x l'utenza:Interfaccia grafica FARO Accesso WEB a dati,applicazioni, macchine virtuali realizzato con una integrazione di NX e applicazioni java

G. Bracco – Progetto TEDAT. OR6 - Portici 16 Giugno 2015 Strumenti x l'utenza:Interfaccia grafica FARO Accesso WEB a dati,applicazioni, macchine virtuali realizzato con una integrazione di NX e applicazioni java

G. Bracco – Progetto TEDAT. OR6 - Portici 16 Giugno 2015 Tot al displacemen t (m m) Po st Process or Tot al displacemen t (m m) Tot al displacemen t (m m) Po st Process or Po st Process or Rendering 3D Remoto Strumenti x l'utenza : FARO grafica 3D

G. Bracco – Progetto TEDAT. OR6 - Portici 16 Giugno 2015 Portali tematici che integrano l'accesso ai dati e alle applicazioni specifici del settore Strumenti collaborativi : Laboratori virtuali

G. Bracco – Progetto TEDAT. OR6 - Portici 16 Giugno Strumenti collaborativi : Laboratori virtuali

G. Bracco – Progetto TEDAT. OR6 - Portici 16 Giugno CMAST Laboratorio Virtuale Chimica computazionale Strumenti collaborativi : Laboratori virtuali TEDAT_HPC Laboratorio Virtuale TEDAT OR6 NEPTUNIUS Laboratorio virtuale CFD/Struttura

G. Bracco – Progetto TEDAT. OR6 - Portici 16 Giugno 2015 ENE Le aree applicative: fluidodinamica combustione chimica computazionale simulazioni climatiche analisi della diffusione degli inquinanti nell'atmosfera tecnologie nucleari fluidodinamica per l'aerospazio fisica della fusione nucleare bioinformatica sistemi complessi L'utenza e le applicazioni ~450 utenti attivi: ~200 sottomettono job seriali o a parallelismo contenuto e ~70 utenti che sottomettono job HPC altamente paralleli. ENEA ENEA ESTERNI

G. Bracco – Progetto TEDAT. OR6 - Portici 16 Giugno 2015 ENE Ripartizione per aree applicative 2013 Research AreaWCT (hours) x 10 6 WCT (years) Percentage (%) of total WCT Material Science Combustion Climate Nuclear Fusion Gas Turbine Nuclear Fission Complex Systems Biotechnologies Aerospace WCT < 2 years Total Rapporto annuale CRESCO arrivato alla V° edizione 2013, a breve il lancio della richiesta agli utenti x 2014.

G. Bracco – Progetto TEDAT. OR6 - Portici 16 Giugno 2015 ENE Ripartizione per unità ENEA 2013 Technical Unit WCT (years) Percentage (%) of total WCT Number of users UTTMAT UTICT UTRINN UTTEI UTMEA UTFUS UTFISSM UTFISST UTVALAMB METR UTTRI Total Total

G. Bracco – Progetto TEDAT. OR6 - Portici 16 Giugno 2015 ENE Ripartizione utenza esterna 2013 (27%) OrganizationWCT (years) Percentage (%) of total WCT Number of users UniRoma UniSa UniCam UniRoma INFN/NA UniZhejiang UniRJCMadrid/ES UniFi INFN/GE Avio Ylichron UniNa VincaInstitute IMAST Total Total

G. Bracco – Progetto TEDAT. OR6 - Portici 16 Giugno 2015 Tutti i sistemi ENEAGRID job 47.7 M ore core 83 user > ore core Utilizzo 2014 : CRESCO4 e il resto CRESCO job 23.3 M ore core 39 user > ore core

G. Bracco – Progetto TEDAT. OR6 - Portici 16 Giugno 2015 Tutti i sistemi Portici job 16.2 M ore core 59 user > ore core Utilizzo 2015 : fino a 31/5 CRESCO job 11.3 M ore core 42 user > ore core

G. Bracco – Progetto TEDAT. OR6 - Portici 16 Giugno 2015 Le conclusioni OR6 del progetto TEDAT ha permesso la realizzazione di un sistema HPC di taglia significativa a livello nazionale, collaborando ad arrichire il contesto italiano dell'HPC e favorendo gli accordi di ENEA con le altre realtà del settore. Il salto di qualità avvenuto con CRESCO nel 2008 è quindi stato consolidato, fornendo la base per ulteriori sviluppi in un contesto caratterizzato da evoluzione tecnologica molto rapida. Il sistema è pienamente utilizzato da varie comunità di utenti, in ENEA e all'esterno dell'Agenzia, per applicazioni in maggioranza coerenti con gli obbiettivi programmatici del progetto TEDAT.