G. Bracco – Progetto TEDAT. OR6 - Portici 16 Giugno 2015 Incontro progetto TEDAT Portici 16 giugno 2015 Progetto TEDAT OR6 Sistema HPC [CRESCO4] ENEA Portici.

Presentazione sul tema: "G. Bracco – Progetto TEDAT. OR6 - Portici 16 Giugno 2015 Incontro progetto TEDAT Portici 16 giugno 2015 Progetto TEDAT OR6 Sistema HPC [CRESCO4] ENEA Portici."— Transcript della presentazione:

1 G. Bracco – Progetto TEDAT. OR6 - Portici 16 Giugno 2015 Incontro progetto TEDAT Portici 16 giugno 2015 Progetto TEDAT OR6 Sistema HPC [CRESCO4] ENEA Portici G.Bracco giovanni.bracco@enea.it S.Migliori,A.Quintiliani,R.Guadagni,F.Ambrosino,G.Aprea,F.Beone, P.DAngelo,A.Funel,G.Guarnieri,A.Mariano,S.Pierattini,S.Podda,G.Ponti, F.Palombi,G.Furini,G.Mencuccini,P.Ornelli,A.Perozziello,F.Poggi,D.Giammattei, M.DeRosa,B.Calosso,M.Chinnici,C.Ferrelli,S.Pecoraro,F.Simoni,R.Bertini, S.Magagnino,D.Abate,P.DeMichele,S.Giusepponi,A.Rocchi,C.Sciò, A.Colavincenzo,B.Mastroianni

2 G. Bracco – Progetto TEDAT. OR6 - Portici 16 Giugno 2015 Il quadro generale L'OR6 del progetto TEDAT - Centro di eccellenza per le Tecnologie e la diagnostica avanzata nel settore dei trasporti - [PON/3 Infrastrutture DDR MIUR 254/Ric 18/5/2011] ha previsto la realizzazione di un sistema HPC presso il CR.ENEA di Portici, il cluster CRESCO4. La presentazione ne descrive le caratteristiche e la realizzazione del sottolineando (1) l'integrazione hardware e software con l'infrastruttura di calcolo scientifico ENEAGRID (2) le sinergie con gli altri progetti in corso e (3) la valorizzazione dei progetti precedenti. La qualità del sistema realizzato viene poi inquadrata all'interno del contesto HPC nazionale ed internazionale e ne viene descritto l'utilizzo in termini di tempo macchina e settori applicativi.

3 G. Bracco – Progetto TEDAT. OR6 - Portici 16 Giugno 2015 Indice – TEDAT OR6: i settori applicativi – Il cluster CRESCO4 – Integrazione con gli altri progetti – La realizzazione dell'infrastruttura (fotostoria) – Il quadro nazionale ed internazionale dell'HPC – Infrastruttura HPC: ENEAGRID/CRESCO – Utenza: dati di utilizzo – Conclusioni

4 G. Bracco – Progetto TEDAT. OR6 - Portici 16 Giugno 2015 TEDAT OR6 Sviluppo della Facility di High Performance Computing e Grid a supporto delle Attività di Modellistica e Diagnostica Avanzata Realizzazione di un sistema HPC per: modellistica dei materiali, anche attraverso l'utilizzo di simulazioni ab-initio; simulazione di sistemi energetici. elaborazione di bilanci energetici e macromodelli su scala nazionale e locale. modellistica climatica orientata alla previsione di produzione di energia in centrali solari modellistica per le previsioni meterologiche ad alta risoluzione per la gestione operativa della rete elettrica utilizzando l'approccio smart grid modellistica della simulazione in tempo reale di smart grid modellistica termofluidodinamica per la simulazione e progettazione di impianti energetici Settori computazionali: scienza dei materiali, fluidodinamica,clima,..

5 G. Bracco – Progetto TEDAT. OR6 - Portici 16 Giugno 2015 HPC: High Performance Computing Negli ultimi 50 anni l'evoluzione esponenziale delle tecnologie informatiche (prestazioni top HPC 2x ogni 14 mesi) fornisce sistemi di calcolo sempre più potenti e complessi, largamente paralleli. Un sistema HPC si caratterizza per una interconnessione tra i nodi ad alta banda bassa latenza (40-56 Gbps,<1μs) e da risorse adeguate di storage (~PB) accessibili attraverso file system paralleli L'HPC di ENEA ha raggiunto una posizione rilevante a livello nazionale nel 2008, progetto CRESCO, PON 2002-2006, Bando 1575, cluster CRESCO1 & CRESCO2, rank 126 in top500/2008. TEDAT-OR6 Il cluster CRESCO4 in produzione da gennaio 2014 ha costituito l'aggiornamento tecnologico del sistema HPC ENEA.

6 G. Bracco – Progetto TEDAT. OR6 - Portici 16 Giugno 2015 TEDAT OR6 : Cluster CRESCO4 Potenza di calcolo di picco 100 Tflops (CRESCO2 era 25 Tflops) – 5 Rack di nodi di calcolo per un totale di 304 nodi (4864 cores Intel) 1 rack di servizio per switch IB – Processore Intel E5-2670, 2.6 GHz, 8 cores – 64 GB RAM/nodo 4 GB RAM/Core – Nodi di tipo Fat Twin (Chassis 4U con 8 nodi) – Infiniband QDR QLogic/Intel 12800-180 (432 porte) – Nuova sala CED; UPS, nuove batterie – Sistema di condizionamento con free-cooling – ~100KW potenza elettrica assorbita a pieno carico (HPL) – Sezioni speciali a grande RAM (768 GB) e coprocessori PHI, Nvidia K40 http://www.cresco.enea.it http://www.eneagrid.enea.it

7 G. Bracco – Progetto TEDAT. OR6 - Portici 16 Giugno 2015 TEDAT OR6 : Cluster CRESCO4 “The role of medium size facilities in the HPC ecosystem: the case of the new CRESCO4 cluster integrated in the ENEAGRID infrastructure" Proceedings of the International Conference on High Performance Computing and Simulation, HPCS 2014, Bologna, Italy, 21-25 July, 2014.

8 G. Bracco – Progetto TEDAT. OR6 - Portici 16 Giugno 2015 ENE Ultimi arrivi: sezione speciale CRESCO4 e CRESCO5 5 nodi a grande RAM/Ivybridge 768 GB, dual E5-2643v2, 3.5 GHz,6c 4 dei nodi con PHI 3120P (57 c,1TF) 4 nodi Intel PHI & Nvidia K40M 64 GB, dual E5-2680v2,2.8 GHz 5 schede PHI 5110P (60 c, 1TF) 3 schede Nvidia K40M(1.43 TFlops) Potenza di picco: 16.4 Tflops (di cui 13.2 Tflops negli acceleratori) CRESCO5: nuovo piccolo cluster cpu HASWELL per applicazioni licenziate (ANSYS!) installazione a breve 36 nodi, 576 cores 22.1 Tflops! 64 GB, 2x E5-2630v3, 2.4 GHz,8c In corso!

9 G. Bracco – Progetto TEDAT. OR6 - Portici 16 Giugno 2015 Cluster CRESCO a Portici : stato 2015 ENE CRESCO4 cluster e sezione speciale CRESCO2*, CRESCO3 Storage, Macchine Virtuali, Tape Library CED2 CED1 I cluster CRESCO a Portici CRESCO2, 84 nodi, 672 cores Intel Nehalem,Westmere 16GB CRESCO3, 84 nodi 2016 cores AMD Interlagos, 64 GB RAM CRESCO4,304 nodi,4864 cores Intel SandyBridge, 64 GB RAM La novità Q1 2015: – 5 nodi a grande memoria 768 GB RAM – 4 nodi con cooprocessori Intel PHI e Nvidia K40 – Storage DDN SFA7700 – TapeLibrary estesa a ~2 PB Le dismissioni: – CRESCO1 CRESCO2 256 nodi Clovertown,DDN 9550

10 G. Bracco – Progetto TEDAT. OR6 - Portici 16 Giugno 2015 CRESCO, schema rete Infiniband [TEDAT] LAMRECOR VIS4FACTORY AQUASYSTEM LAMRECOR IT@CHA TEDAT CRESCO LAMRECOR IT@CHA UTMEA UTTEI UTVALAMB

11 G. Bracco – Progetto TEDAT. OR6 - Portici 16 Giugno 2015 LAMRECOR VIS4FACTORY AQUASYSTEM LAMRECOR IT@CHA TEDAT CRESCO LAMRECOR IT@CHA UTMEA UTTEI UTVALAMB CRESCO, schema rete Infiniband

12 G. Bracco – Progetto TEDAT. OR6 - Portici 16 Giugno 2015 Le risorse : sinergia con altri progetti IT@CHA (beni culturali) LAMRECOR (logistica avanzata con Poste) VIS4Factory (tecnologie visuali nei processi di fabbrica)..DIRECTFOOD,AQUASYSTEM,SIMONA,EDOC@WORK3.0, DC4CITIES.. Ad esempio: TEDAT/OR6 non ha incluso l'acquisizione dei sistemi storage ad alte prestazioni DDN [S2A9900,SFA7700] ma solo alcuni moduli di storage di servizio [Espansione Dothill] L'approccio ha permesso di concentrare le risorse TEDAT nell'acquisto del grosso dei nodi di calcolo raggiungendo l'obbiettivo dei 100 TFlops di potenza di picco.

13 G. Bracco – Progetto TEDAT. OR6 - Portici 16 Giugno 2015 Gara Europea dei nodi di Calcolo e rete Infiniband - Il bando europeo è stato sottomesso l'8/10/2012 - Termine presentazione offerte: 3 dicembre 2012 - Aperture offerte: 14 dicembre 2012 - Contratto col fornitore E4 Engineering: 24 aprile 2013 - Collaudo 10 ottobre 2013 Gare separate per i vari sottosistemi: alimentazioni elettriche, condizionamento,rack,antincendio,... Fotostoria della realizzazione del sistema TEDAT/OR6 cluster CRESCO4

14 G. Bracco – Progetto TEDAT. OR6 - Portici 16 Giugno 2015 2013/01 - CED2 prima dei lavori

15 G. Bracco – Progetto TEDAT. OR6 - Portici 16 Giugno 2015 2013/02 – CED2 controsoffittature

16 G. Bracco – Progetto TEDAT. OR6 - Portici 16 Giugno 2015 2013/03 – CED2 nuovi ingressi B & C

17 G. Bracco – Progetto TEDAT. OR6 - Portici 16 Giugno 2015 2013/04 – CED2 pavimento rialzato (1)

18 G. Bracco – Progetto TEDAT. OR6 - Portici 16 Giugno 2015 2013/04 – CED2 pavimento rialzato (2)

19 G. Bracco – Progetto TEDAT. OR6 - Portici 16 Giugno 2015 2013/04 – arrivo dei 7 rack

20 G. Bracco – Progetto TEDAT. OR6 - Portici 16 Giugno 2015 2013/05 - completamento ingressi

21 G. Bracco – Progetto TEDAT. OR6 - Portici 16 Giugno 2015 2013/06 - confinamento aria fredda

22 G. Bracco – Progetto TEDAT. OR6 - Portici 16 Giugno 2015 2013/07 - installazione condizionatori

23 G. Bracco – Progetto TEDAT. OR6 - Portici 16 Giugno 2015 2013/07 - installazione condizionatori

24 G. Bracco – Progetto TEDAT. OR6 - Portici 16 Giugno 2015 2013/07 - installazione dry-coolers

25 G. Bracco – Progetto TEDAT. OR6 - Portici 16 Giugno 2015 2013/07 - tubazioni condizionamento

26 G. Bracco – Progetto TEDAT. OR6 - Portici 16 Giugno 2015 2013/08 - tubazioni condizionamento

27 G. Bracco – Progetto TEDAT. OR6 - Portici 16 Giugno 2015 2013/08 - quadri elettrici

28 G. Bracco – Progetto TEDAT. OR6 - Portici 16 Giugno 2015 2013/09 - installazione nodi

29 G. Bracco – Progetto TEDAT. OR6 - Portici 16 Giugno 2015 2013/10 – fine installazione cluster

30 G. Bracco – Progetto TEDAT. OR6 - Portici 16 Giugno 2015 2013/12 – batterie UPS e antincendio

31 G. Bracco – Progetto TEDAT. OR6 - Portici 16 Giugno 2015 2014/1 – Annuncio apertura agli utenti

32 G. Bracco – Progetto TEDAT. OR6 - Portici 16 Giugno 2015 Posizionamento nel contesto nazionale ed internazionale TEDAT/OR6 cluster CRESCO4

33 G. Bracco – Progetto TEDAT. OR6 - Portici 16 Giugno 2015 HPC: posizionamento ENEA (1) Nel mondo il sistema più potente è cinese (Tianhe-2) ~34 Pflops (10^15), Italia #23 CINECA 1.8 Pflops (FERMI, 2012) e 1.5 Pflops (GALILEO, 2015) Il sistema più potente di ENEA: CRESCO4 0.1 Pflops in operazione da gennaio 2014 con 300 nodi e processori Intel SandyBridge Sembrerebbe che CRESCO4 sia quindi un sistema “piccolo” ma in realtà c'è un altro elemento cruciale: Il software: i codici

34 G. Bracco – Progetto TEDAT. OR6 - Portici 16 Giugno 2015 HPC: posizionamento ENEA (2) La competizione internazionale nel mondo HPC: obiettivi strategici di alto profilo ed esigenze di dimostrazione di supremazia tecnologica Per ragioni di costo di acquisto e di gestione i sistemi di punta utilizzano tecnologie estreme che richiedono lo sviluppo di applicazioni dedicate. La soluzione attuale – processori standard +acceleratori GPU e/o coprocessori PHI I sistemi HPC di produzione invece sono più simili a quelli di grande mercato e permettono il riuso dei codici disponibili siano essi commerciali o sviluppati dai ricercatori In ENEA CRESCO2 e poi CRESCO4 sono sistemi di produzione. – In CINECA il cluster GALILEO da 1. PFlops ha 0.35 PFlops standard Intel e 0.65 PFlops di acceleratori, il fattore di margine con CRESCO4 è 3.5 non 10 e include l'evoluzione tecnologica.

35 G. Bracco – Progetto TEDAT. OR6 - Portici 16 Giugno 2015 HPC: posizionamento ENEA (3) CINECA ha il ruolo di sito di riferimento per l'Italia all'interno del programma europeo PRACE (TIER0) e come tale ha la sua tabella di marcia che prevede 10 Pflops nel 2016 e 50 Pflops nel 2018. Che c'è in Italia nell'HPC oltre CINECA? – ENI: sistema dedicato ad analisi dei dati delle prospezioni petrolifere (3.1 Pflops #12 top500) ampio uso di GPU. – CMCC (Lecce) 0.16 Pflops (2012) – ENEA (Portici) 0.10 Pflops (produzione 2014/01) – SISSA (Trieste) 0.10 Pflops (2014) Dunque ENEA con i suoi cluster attuali è uno dei sistemi di rincalzo (TIER1) destinato ad una utenza con codici standard siano essi commerciali o sviluppati dai ricercatori. Accordo di collaborazione con CINECA firmato ad aprile new

36 G. Bracco – Progetto TEDAT. OR6 - Portici 16 Giugno 2015 Integrazione nella infrastruttura software ENEAGRID TEDAT/OR6 cluster CRESCO4

37 G. Bracco – Progetto TEDAT. OR6 - Portici 16 Giugno 2015 ENE Le risorse di calcolo offerte all'utenza sono attualmente i sistemi Linux x86_64 (i cluster CRESCO ~8000 cores) e sistemi speciali dedicati (ad es. GPU/PHI). Storage AFS e GPFS. Le risorse sono distribuite su 6 Centri di Ricerca ENEA. L'infrastruttura HPC di ENEA: ENEAGRID risorse di calcolo e storage distribuite

38 G. Bracco – Progetto TEDAT. OR6 - Portici 16 Giugno 2015 Integrazione servizi & infrastrutture I servizi ICT di ENEA/UTICT – Servizi base – Gestionale – Servizi cloud Macchine virtuali Storage Cloud (ENEABOX) – Strumenti di comunicazione videoconferenze, voip teleconferenze – E-Learning – Siti Web – Teleoperazione esperimenti HARDWARE ex CRESCO HPC richiede una rete allo stato dell'arte

39 G. Bracco – Progetto TEDAT. OR6 - Portici 16 Giugno 2015 ENE Componenti strutturali “maturi” per garanzia di affidabilità e semplicità di gestione, interfacce Web sviluppate/customizzate per un ambiente utente amichevole: – Autenticazione Kerberos 5 – File systems: AFS/OpenAFS: file system geografico GPFS: file system parallelo, anche su WAN – Gestore delle risorse: LSF Multicluster – Interfacce grafiche Web per l'utente: NX/FARO Jobrama: Stato dei job & Accounting – Sistema di monitoring: Zabbix – Gestione Web utenze e progetti: WARC – Gestione Backup TSM Architettura di ENEAGRID per HPC CLOUD dal..1999!

40 G. Bracco – Progetto TEDAT. OR6 - Portici 16 Giugno 2015 Strumenti di accesso per l'utenza e dati di utilizzo TEDAT/OR6 cluster CRESCO4

41 G. Bracco – Progetto TEDAT. OR6 - Portici 16 Giugno 2015 Strumenti x l'utenza:Interfaccia grafica FARO Accesso WEB a dati,applicazioni, macchine virtuali realizzato con una integrazione di NX e applicazioni java

42 G. Bracco – Progetto TEDAT. OR6 - Portici 16 Giugno 2015 Strumenti x l'utenza:Interfaccia grafica FARO Accesso WEB a dati,applicazioni, macchine virtuali realizzato con una integrazione di NX e applicazioni java

43 G. Bracco – Progetto TEDAT. OR6 - Portici 16 Giugno 2015 Tot al displacemen t (m m) Po st Process or Tot al displacemen t (m m) Tot al displacemen t (m m) Po st Process or Po st Process or Rendering 3D Remoto Strumenti x l'utenza : FARO grafica 3D

44 G. Bracco – Progetto TEDAT. OR6 - Portici 16 Giugno 2015 Portali tematici che integrano l'accesso ai dati e alle applicazioni specifici del settore Strumenti collaborativi : Laboratori virtuali

45 G. Bracco – Progetto TEDAT. OR6 - Portici 16 Giugno 2015 http://utict.enea.it/it/laboratori-virtuali/virtual-labs Strumenti collaborativi : Laboratori virtuali

46 G. Bracco – Progetto TEDAT. OR6 - Portici 16 Giugno 2015 http://utict.enea.it/it/laboratori-virtuali/virtual-labs CMAST Laboratorio Virtuale Chimica computazionale Strumenti collaborativi : Laboratori virtuali TEDAT_HPC Laboratorio Virtuale TEDAT OR6 NEPTUNIUS Laboratorio virtuale CFD/Struttura

47 G. Bracco – Progetto TEDAT. OR6 - Portici 16 Giugno 2015 ENE Le aree applicative: fluidodinamica combustione chimica computazionale simulazioni climatiche analisi della diffusione degli inquinanti nell'atmosfera tecnologie nucleari fluidodinamica per l'aerospazio fisica della fusione nucleare bioinformatica sistemi complessi L'utenza e le applicazioni ~450 utenti attivi: ~200 sottomettono job seriali o a parallelismo contenuto e ~70 utenti che sottomettono job HPC altamente paralleli. ENEA ENEA ESTERNI

48 G. Bracco – Progetto TEDAT. OR6 - Portici 16 Giugno 2015 ENE Ripartizione per aree applicative 2013 Research AreaWCT (hours) x 10 6 WCT (years) Percentage (%) of total WCT Material Science15.4111759.355.7 Combustion2.991341.510.8 Climate2.140244.37.7 Nuclear Fusion1.845210.76.7 Gas Turbine1.635186.65.9 Nuclear Fission0.47153.71.7 Complex Systems0.30234.51.1 Biotechnologies0.09911.30.4 Aerospace0.0819.20.3 WCT < 2 years2.683306.39.7 Total27.6583157.4100 Rapporto annuale CRESCO arrivato alla V° edizione 2013, a breve il lancio della richiesta agli utenti x 2014.

49 G. Bracco – Progetto TEDAT. OR6 - Portici 16 Giugno 2015 ENE Ripartizione per unità ENEA 2013 Technical Unit WCT (years) Percentage (%) of total WCT Number of users UTTMAT1078.1633.9116 UTICT534.8816.8245 UTRINN458.8414.435 UTTEI397.8012.515 UTMEA284.468.959 UTFUS268.918.4622 UTFISSM41.031.298 UTFISST40.981.295 UTVALAMB29.360.927 METR28.900.912 UTTRI14.510.464 Total3177.8399.95128 1.590.0510 Total3179.42100138

50 G. Bracco – Progetto TEDAT. OR6 - Portici 16 Giugno 2015 ENE Ripartizione utenza esterna 2013 (27%) OrganizationWCT (years) Percentage (%) of total WCT Number of users UniRoma1491.0155.946 UniSa220.2125.098 UniCam50.255.721 UniRoma227.343.111 INFN/NA14.001.591 UniZhejiang13.461.531 UniRJCMadrid/ES13.181.502 UniFi12.581.434 INFN/GE12.041.371 Avio9.211.051 Ylichron4.470.511 UniNa3.460.393 VincaInstitute2.510.291 IMAST2.320.261 Total876.0499.7832 1.730.227 Total877.7710039

51 G. Bracco – Progetto TEDAT. OR6 - Portici 16 Giugno 2015 Tutti i sistemi ENEAGRID 755934 job 47.7 M ore core 83 user > 10000 ore core Utilizzo 2014 : CRESCO4 e il resto CRESCO4 150598 job 23.3 M ore core 39 user > 10000 ore core

52 G. Bracco – Progetto TEDAT. OR6 - Portici 16 Giugno 2015 Tutti i sistemi Portici 689541 job 16.2 M ore core 59 user > 10000 ore core Utilizzo 2015 : fino a 31/5 CRESCO4 20548 job 11.3 M ore core 42 user > 10000 ore core

53 G. Bracco – Progetto TEDAT. OR6 - Portici 16 Giugno 2015 Le conclusioni OR6 del progetto TEDAT ha permesso la realizzazione di un sistema HPC di taglia significativa a livello nazionale, collaborando ad arrichire il contesto italiano dell'HPC e favorendo gli accordi di ENEA con le altre realtà del settore. Il salto di qualità avvenuto con CRESCO nel 2008 è quindi stato consolidato, fornendo la base per ulteriori sviluppi in un contesto caratterizzato da evoluzione tecnologica molto rapida. Il sistema è pienamente utilizzato da varie comunità di utenti, in ENEA e all'esterno dell'Agenzia, per applicazioni in maggioranza coerenti con gli obbiettivi programmatici del progetto TEDAT.