G. Bracco UTFUS/UTICT - Frascati 10 Febbraio 2014 Frascati 10 Febbraio 2014 UTICT e UTFUS, il calcolo scientifico, accesso al nuovo cluster CRESCO4 G.Bracco.

Presentazione sul tema: "G. Bracco UTFUS/UTICT - Frascati 10 Febbraio 2014 Frascati 10 Febbraio 2014 UTICT e UTFUS, il calcolo scientifico, accesso al nuovo cluster CRESCO4 G.Bracco."— Transcript della presentazione:

1 G. Bracco UTFUS/UTICT - Frascati 10 Febbraio 2014 Frascati 10 Febbraio 2014 UTICT e UTFUS, il calcolo scientifico, accesso al nuovo cluster CRESCO4 G.Bracco

2 G. Bracco UTFUS/UTICT - Frascati 10 Febbraio 2014 Contenuto ENEAGRID – L'architettura,l'utenza e le applicazioni – Le interfacce utente e i laboratori virtuali – I cluster CRESCO I nuovi progetti PON 2007-2013 – IT@CHA, TEDAT, LAMRECOR Le nuove infrastrutture 2013/2014 – CRESCO3 – CRESCO4 L'accesso a CRESCO4 L'utilizzo UTFUS di ENEAGRID/CRESCO nel 2013 Spunti di discussione e conclusioni

3 G. Bracco UTFUS/UTICT - Frascati 10 Febbraio 2014 ENE Componenti strutturali “maturi” per garanzia di affidabilità e semplicità di gestione, interfacce Web sviluppate/customizzate per una ambiente utente amichevole: – Autenticazione Kerberos 5 – File systems: AFS/OpenAFS file system geografico GPFS: file system parallelo anche WAN – Gestore delle risorse: LSF Multicluster – Interfacce grafiche Web per l'utente: NX/FARO Jobrama: Stato dei job & Accounting – Sistema di monitoring: Zabbix – Gestione Web utenze e progetti: WARC Architettura di ENEAGRID

4 G. Bracco UTFUS/UTICT - Frascati 10 Febbraio 2014 ENE Le risorse di calcolo offerte all'utenza sono attualmente i sistemi Linux x86_64 (i cluster CRESCO ~ 9000 cores) e sistemi speciali dedicati ( ad es. GPU). Storage AFS e GPFS. Le risorse sono distribuite su 6 centri. ENEAGRID: risorse di calcolo e storage

5 G. Bracco UTFUS/UTICT - Frascati 10 Febbraio 2014 ENE ~200 utenti che sottomettono job seriali o a parallelismo contenuto e ~50 utenti che sottomettono job HPC altamente paralleli. Gli ambiti applicativi a cui afferiscono i principali utenti sono: – fluidodinamica della combustione – chimica computazionale – simulazioni climatiche – analisi della diffusione degli inquinanti nell'atmosfera – tecnologie nucleari – fluidodinamica per l'aerospazio – fisica della fusione nucleare – bioinformatica – sistemi complessi – …. L'utenza e le applicazioni

6 G. Bracco UTFUS/UTICT - Frascati 10 Febbraio 2014 FARO - Fast Access to Remote Objects Accesso WEB a dati,applicazioni, macchine virtuali realizzato con una integrazione di NX e applicazioni java

7 G. Bracco UTFUS/UTICT - Frascati 10 Febbraio 2014 FARO e Laboratori Virtuali Portali tematici che integrano l'accesso ai dati e alle applicazioni specifici del settore

8 G. Bracco UTFUS/UTICT - Frascati 10 Febbraio 2014 Laboratori Virtuali http://utict.enea.it/it/laboratori-virtuali/virtual-labs

9 G. Bracco UTFUS/UTICT - Frascati 10 Febbraio 2014 Laboratori Virtuali http://utict.enea.it/it/laboratori-virtuali/virtual-labs

10 G. Bracco UTFUS/UTICT - Frascati 10 Febbraio 2014 Total displacement (mm ) Pos t Processo r Total displacement (mm ) Total displacement (mm ) Pos t Processo r Pos t Processo r FARO: la visualizzazione 3D Rendering 3D Remoto

11 G. Bracco UTFUS/UTICT - Frascati 10 Febbraio 2014 ENE I cluster CRESCO pre 2013 I cluster CRESCO x86_64 in produzione realizzati nell'ambito di PON 2000- 2006 (Portici,Brindisi) o con risorse interne negli anni 2011-2012 (Casaccia,Frascati) >Portici CRESCO1(672 cores 4U) CRESCO2(2720 blades)‏ IB CISCO 70xx, DDR Intel Clovertown,Tigerton,Nehalem,Westmere >Casaccia CRESCOC (192 cores, twin 1U)‏ IB Qlogic Silverstorm DDR, AMD 2427 Istanbul >Frascati CRESCOF (480 cores twin square 2U, GPFS)‏ IB Qlogic 12300 QDR, AMD 6172 Magnycours >Brindisi CRESCOB (80 cores, 4 U, GPFS)‏ GEthernet, Intel Tigerton CRESCO1 parte in dismissione e riuso per i servizi ICT di base

12 G. Bracco UTFUS/UTICT - Frascati 10 Febbraio 2014 PON 2007-2013 PON/1 Ricerca Industriale DDR MIUR 01/Ric 18/1/2010 – IT@CHA - Tecnologie Italiane per applicazioni avanzate nei Beni Culturali – LAMRECOR - Logistica avanzata per la Mobilità di persone e merci – DIRECTFOOD - Gestione integrata filiere alimentari e canali innovativi produttore -consumatore PON/2 Distretti/Laboratori Pubblico Privati DDR MIUR 713/Ric 29/10/2010 – VIS4FACTORY - Sistemi Informativi Visuali per i processi di fabbrica nel settore dei trasporti PON/3 Infrastrutture DDR MIUR 254/Ric 18/5/2011 – TEDAT - Centro di eccellenza per le Tecnologie e la diagnostica avanzata nel settore dei trasporti

13 G. Bracco UTFUS/UTICT - Frascati 10 Febbraio 2014 Progetto TEDAT Centro di Eccellenza per le TEcnologie e la Diagnostica Avanzata nel settore dei Trasporti Il progetto è dedicato al potenziamento delle tecnologie e della strumentazione per i processi, le analisi e la diagnostica avanzata dei materiali e componenti nell'ambito del settore dei trasporti (aerospaziale, automotive, ferroviario, navale) Progetto Infrastrutture interamente ENEA, localizzato principalmente a Brindisi ed in parte a Portici Quota ENEA-UTICT 2.221.000 € + 200.000 per opere edili e infrastrutturali

14 G. Bracco UTFUS/UTICT - Frascati 10 Febbraio 2014 PON 2007-2013 Progetti operativi Investimenti: IT@CHA [Ricerca industriale] ENEA-UTICT 320 k€ (UTAPRAD,UTICT) LAMRECOR [Ricerca industriale] ENEA-UTICT 548 k€ (UTICT) TEDAT [Infrastrutture] ENEA-UTICT 2.221 k€ (UTTMAT,UTTP,UTICT) – Portici (2.056 k€) – Brindisi (165 k€)

15 G. Bracco UTFUS/UTICT - Frascati 10 Febbraio 2014 ENE CRESCO3 Con risorse dai progetti IT@CHA, LAMRECOR è stato acquisito su Portici un cluster AMD basato su macchine Twin Square SuperMicro & Acer 2 Rack (modello wide) in sala CED CRESCO + Rack di rete 84 nodi 2016 cores in produzione nel 2013. Infiniband QDR QLogic 12800-040 (96 porte) Test HPL: 75 % efficienza; compilatori con supporto Interlagos (Open64 flag specifiche, Intel 12 specifiche flag librerie ACML) Storage: DDN S2A9900 espanso ora a 600 TB

16 G. Bracco UTFUS/UTICT - Frascati 10 Febbraio 2014 ENE AMD Iterlagos 6234 2.4 GHz, RAM 64 GB, 24 cores, 84 nodi, 2016 cores, 20 TFlops CRESCO3

17 G. Bracco UTFUS/UTICT - Frascati 10 Febbraio 2014 ENE CRESCO4 Le risorse del progetto TEDAT sono le più rilevanti e hanno permesso di acquisire il cluster CRESCO4, 100 Tflops – 5 Rack di nodi di calcolo per un totale di 304 nodi (4864 cores Intel) 1 rack di servizio per switch IB – Processore Intel E5-2670, 2.6 GHz, 8 cores – 64 GB RAM/nodo 4 GB RAM/Core – Nodi di tipo Fat Twin (Chassis 4U con 8 nodi) – Storage: DDN S2A9900 ~600 TB condiviso con CRESCO3 – Infiniband QDR QLogic/Intel 12800-180 (432 porte) – Nuova sala CED; UPS, nuove batterie – Sistema di condizionamento con free-cooling

18 G. Bracco UTFUS/UTICT - Frascati 10 Febbraio 2014 Rete infiniband CRESCO3/CRESCO4 4xDDR 20 Gbps 4xQDR 40 Gbps

19 G. Bracco UTFUS/UTICT - Frascati 10 Febbraio 2014 ENE Locali CRESCO e CRESCO4 CED CRESCO dal 2008 CED nuovo CRESCO4

20 G. Bracco UTFUS/UTICT - Frascati 10 Febbraio 2014 ENE CED CRESCO

21 G. Bracco UTFUS/UTICT - Frascati 10 Febbraio 2014 ENE CED CRESCO : in primo piano CRESCO2

22 G. Bracco UTFUS/UTICT - Frascati 10 Febbraio 2014 ENE Locale CRESCO4 primavera 2013

23 G. Bracco UTFUS/UTICT - Frascati 10 Febbraio 2014 ENE Progetto dell'installazione

24 G. Bracco UTFUS/UTICT - Frascati 10 Febbraio 2014 ENE CRESCO4 collaudato ottobre 2013

25 G. Bracco UTFUS/UTICT - Frascati 10 Febbraio 2014 ENE CRESCO4

26 G. Bracco UTFUS/UTICT - Frascati 10 Febbraio 2014 ENE Accesso a CRESCO4 – Politica di accesso a CRESCO4: Attività specifiche TEDAT (UTTMAT) attività prioritarie/strategiche per le UT di ENEA applicazioni e casi ad alto parallelismo – Una piccola sezione (256 cores dei 4848 disponibili) è aperta a tutti per porting/test (non produzione!). – L'accesso alla coda > 256 cores è ristretto ad esperimenti numerici concordati tra UTICT e le Unità Tecniche. – UTICT ha chiesto alle altre Unità di concordare un programma di attività e le risorse necessarie. Finora UTTMAT, UTMEA, UTTEI, UTVALAMB http://www.utict.enea.it/it/laboratori-virtuali/prime-pagine/tedat-hpc- cartella/progetti-numerici-cresco-2014

27 G. Bracco UTFUS/UTICT - Frascati 10 Febbraio 2014 ENE Tempo macchina 2013 x le Unità Tecniche CoreYear% UTTMAT972.24233.38 UTICT512.86817.61 UTRINN413.75414.21 UTTEI351.03412.05 UTFUS255.8778.78 UTMEA253.188.69 UTFISST40.971.41 UTFISSM40.5821.39 METR28.90.99 UTVALAMB27.6740.95 UTTRI14.1130.48 UTAGRI1.1080.04 UTTP0.3560.01 Totale2912.664100.00

28 G. Bracco UTFUS/UTICT - Frascati 10 Febbraio 2014 ENE Altri elementi Commessa UTFUS – Rendicontazione EURATOM – licenze La teoria di UTFUS è uno dei pochi gruppi in ENEA che ha una attività significativa di sviluppo codici Contributi UTFUS ai rapporti annuali CRESCO: – 2008/2009 – 1 contributo – 2009/2010 - 0 – 2010/2011 - 0 – 2012 – 2 contributi

29 G. Bracco UTFUS/UTICT - Frascati 10 Febbraio 2014 ENE Spunti di discussione/collaborazione – Feed back sulla qualità di servizio,suggerimenti, osservazioni,criticità? – Chiusura AIX/SP5: problemi residui? – Esigenze di collaborazione nell'area del supporto numerico? – Modalità di uso degli storage, collaborazione su esigenze e soluzioni – Accesso ad altri sistemi HPC (CINECA,PRACE,...) – Esigenze di hardware specifico (GPU,SSD,RAM,PHI..) – Possibilità di hosting/contributo all'infrastruttura –...

30 G. Bracco UTFUS/UTICT - Frascati 10 Febbraio 2014 ENE Conclusioni Date le note condizioni al contorno per poter garantire la disponibilità in ENEA di risorse di calcolo allo stato dell'arte è importante coinvolgere UTICT nei meccanismi coi quali le altre unità tecniche riescono a procurarsi i fondi per le attività che loro competono. La disponibilità di sistemi HPC interni all'ENEA garantisce competenza specifica HPC e accesso a risorse indispensabili per le attività di simulazione avanzata in modo semplice e flessibile. E' importante per UTICT che venga riconosciuto in ogni sede il contributo fornito dall'utilizzo dei sistemi di calcolo e dell'eventuale supporto dedicato al fine del raggiungimento dei risultati specifici raggiunti.