G. Bracco UTTEI/UTICT - 4 Febbraio 2013 Casaccia 4 Febbraio 2013 UTICT e UTTEI e il calcolo scientifico G.Bracco.

Presentazione sul tema: "G. Bracco UTTEI/UTICT - 4 Febbraio 2013 Casaccia 4 Febbraio 2013 UTICT e UTTEI e il calcolo scientifico G.Bracco."— Transcript della presentazione:

1 G. Bracco UTTEI/UTICT - 4 Febbraio 2013 Casaccia 4 Febbraio 2013 UTICT e UTTEI e il calcolo scientifico G.Bracco

2 G. Bracco UTTEI/UTICT - 4 Febbraio 2013 Contenuto ENEAGRID – L'architettura,l'utenza e le applicazioni – Le interfaccia utente e i laboratori virtuali – I Cluster CRESCO I nuovi progetti PON 2007-2013 – IT@CHA, TEDAT, LAMRECOR Le nuove infrastrutture – CRESCO3 – CRESCO4 L'utilizzo di ENEAGRID/CRESCO da parte di UTTEI – cpu, storage,licenze... – commenti..

3 G. Bracco UTTEI/UTICT - 4 Febbraio 2013 ENE Componenti strutturali “maturi” per garanzia di affidabilità e semplicità di gestione, interfaccie Web sviluppate/customizzate per una ambiente utente amichevole: – Authenticazione Kerberos 5 – File systems: AFS/OpenAFS file system geografico GPFS: file system parallelo anche WAN – Gestore delle risorse: LSF Multicluster – Interfaccie grafiche Web per l'utente: NX/FARO Jobrama: Stato dei job & Accounting – Sistema di monitoring: Zabbix – Gestione Web utenze e progetti: WARC Architettura di ENEAGRID

4 G. Bracco UTTEI/UTICT - 4 Febbraio 2013 ENE Le piattaforme di calcolo offerte all'utenza sono attualmente i sistemi Linux x86_64, (i cluster CRESCO ~ 5000 cores), i sistemi AIX SP5, (~256 cpu), sistemi speciali dedicati ( ad es. GPU), risorse virtualizzate. Le risorse sono distribuite su 6 centri. ENEAGRID : le risorse di calcolo

5 G. Bracco UTTEI/UTICT - 4 Febbraio 2013 ENE L'utenza di ENEAGRID ~200 utenti che sottomettono job seriali o a parallelismo contenuto e ~50 utenti che sottomettono job HPC altamente paralleli. Gli ambiti applicativi a cui afferiscono i principali utenti sono: – fluidodinamica della combustione – chimica computazionale – simulazioni climatiche – analisi della diffusione degli inquinanti nell'atmosfera – tecnologie nucleari – fluidodinamica per l'aereospazio – fisica della fusione nucleare – bioinformatica L'utenza e le applicazioni

6 G. Bracco UTTEI/UTICT - 4 Febbraio 2013 FARO - Fast Access to Remote Objects Accesso WEB a dati,applicazioni, macchine virtuali realizzato con una integrazione di NX e applicazioni java

7 G. Bracco UTTEI/UTICT - 4 Febbraio 2013 FARO e Laboratori Virtuali Portali tematici che integrano l'accesso ai dati e alle applicazioni specifici del settore

8 G. Bracco UTTEI/UTICT - 4 Febbraio 2013 Laboratori Virtuali

9 G. Bracco UTTEI/UTICT - 4 Febbraio 2013 Total displacement (mm ) Pos t Processo r Total displacement (mm ) Total displacement (mm ) Pos t Processo r Pos t Processo r FARO: la visualizzazione 3D Rendering 3D Remoto

10 G. Bracco UTTEI/UTICT - 4 Febbraio 2013 ENE I cluster CRESCO I cluster CRESCO x86_64 in produzione realizzati nell'ambito di PON 2000- 2006 (Portici,Brindisi,Trisaia) o con risorse interne negli ultimi due anni (Casaccia,Frascati) >Portici CRESCO1(672 cores 4U) CRESCO2(2720 blades)‏ IB CISCO 70xx, DDR Intel Clovertown,Tigerton,Nehalem,Westmere >Casaccia CRESCOC (192 cores, twin 1U)‏ IB Qlogic Silverstorm DDR, AMD 2427 Istanbul >Frascati CRESCOF (480 cores twin square 2U, GPFS)‏ IB Qlogic 12300 QDR, AMD 6172 Magnycours >Brindisi CRESCOB (80 cores, 4 U, GPFS)‏ GEthernet, Intel Tigerton >Trisaia CRESCOT (16 cores,4U) ‏ Intel Tigerton

11 G. Bracco UTTEI/UTICT - 4 Febbraio 2013 ENE CRESCO Portici - Rete IB e storage SFS-7000D(D) SFS-7000D (e) SFS 7000D SFS-7024-288P 4 X FRONT END GRAFICI 2X GPFS NODE SFS 7012-144-P 4X FRONT END FC (2) 4 4 4 (4) 42 X 3850M2 10 X 3755 340 X HS21 SECTION 2 SM (ACTIVE) SM (standby 4 4 4 X FRONT END GRAFICI 4X FRONT END 2X GPFS NODE 4) 4 4 2) (2)2) 4 BACK-UP 4 IBM DCS 9550 -180TBDDN S2A9900 120TB 2X GPFS NODE IB 24 ports 4 20 TB Server STORAGE 20 TB Server STORAGE 20 TB Server STORAGE 20 TB Server STORAGE

12 G. Bracco UTTEI/UTICT - 4 Febbraio 2013 PON 2007-2013 PON/1 Ricerca Industriale DDR MIUR 01/Ric 18/1/2010 – IT@CHA - Tecnologie Italiane per applicazioni avanzate nei Beni Culturali – LAMRECOR - Logistica avanzata per la Mobilità di persone e merci – DIRECTFOOD - Gestione integrata filiere alimentari e canali innovativi produttore -consumatore PON/2 Distretti/Laboratori Pubblico Privati DDR MIUR 713/Ric 29/10/2010 – VIS4FACTORY - Sistemi Informativi Visuali per i processi di fabbrica nel settore dei trasporti – DATABENC - Distretto ad ALta Tecnologia per i beni culturali nella regione Campania PON/3 Infrastrutture DDR MIUR 254/Ric 18/5/2011 – TEDAT - Centro di eccellenza per le Tecnologie e la diagnostica avanzata nel settore dei trasporti

13 G. Bracco UTTEI/UTICT - 4 Febbraio 2013 Progetto TEDAT Centro di Eccellenza per le TEcnologie e la Diagnostica Avanzata nel settore dei Trasporti Il progetto è dedicato al potenziamento delle tecnologie e della strumentazione per i processi, le analisi e la diagnostica avanzata dei materiali e componenti nell'ambito del settore dei trasporti (aerospaziale, automotive, ferroviario, navale) Progetto Infrastrutture interamente ENEA, localizzato principalmente a Brindisi ed in parte a Portici Quota ENEA-UTICT 2.221.000 € + 200.000 per opere edili e infrastrutturali

14 G. Bracco UTTEI/UTICT - 4 Febbraio 2013 PON 2007-2013 Progetti operativi Investimenti: IT@CHA [Ricerca industriale] ENEA-UTICT 320 k€ (UTAPRAD,UTICT) LAMRECOR [Ricerca industriale] ENEA-UTICT 548 k€ (UTICT) TEDAT [Infrastrutture] ENEA-UTICT 2.221 k€ (UTTMAT,UTTP,UTICT) – Portici (2.056 k€) – Brindisi (165 k€)

15 G. Bracco UTTEI/UTICT - 4 Febbraio 2013 ENE Portici: CRESCO3 Con risorse dai progetti IT@CHA,LAMRECOR e DIRECTFOOD è stato acquisito su Portici un cluster AMD basato su macchine Twin Square SuperMicro & Acer 2 Rack (modello wide) in sala CED CRESCO + Rack di rete Sono stati installati 84 nodi per un totale di 2016 cores; in produzione entro febbraio 2013 Infiniband QDR QLogic 12800-040 (96 porte) Test HPL: 75 % efficienza; compilatori con supporto Interlagos (Open64 flag specifiche, Intel 12 specifiche flag librerie ACML) Storage: DDN S2A9900 espanso ora a 600 TB

16 G. Bracco UTTEI/UTICT - 4 Febbraio 2013 ENE AMD Iterlagos 6234 2.4 GHz, 64 GB,24 cores,84 nodi, 2016 cores CRESCO3 : twin square

17 G. Bracco UTTEI/UTICT - 4 Febbraio 2013 ENE Portici: CRESCO4 Le risorse del progetto TEDAT sono più importanti e permettono di programmare l'acquisizione di un cluster di taglia ~80 Tflops utilizzando la tecnologia Twin Square Il sistema è attualmente in fase di acquisizione (Bando europeo,aggiudicazione provvisoria) Estate 2013? Schema di principio – ~4 Rack di nodi di calcolo per un totale di 256 nodi (4096 cores Intel) 1 rack di servizio. – Storage: DDN S2A9900 ~600 TB condiviso con CRESCO3 – Infiniband QDR ad es. QLogic/Intel 12800-180 (max 528 porte) – Nuova sala CED; nuovo UPS – Sistema di condizionamento con free-cooling

18 G. Bracco UTTEI/UTICT - 4 Febbraio 2013 ENE Portici: CRESCO4 - rete IB

19 G. Bracco UTTEI/UTICT - 4 Febbraio 2013 ENE Locali CRESCO e CRESCO4 CED CRESCO attuale CED nuovo CRESCO4

20 G. Bracco UTTEI/UTICT - 4 Febbraio 2013 ENE CED CRESCO

21 G. Bracco UTTEI/UTICT - 4 Febbraio 2013 ENE CED CRESCO

22 G. Bracco UTTEI/UTICT - 4 Febbraio 2013 ENE Locale CRESCO4

23 G. Bracco UTTEI/UTICT - 4 Febbraio 2013 ENE Schema di possibile installazione

24 G. Bracco UTTEI/UTICT - 4 Febbraio 2013 ENE Test effettuati con Ansys FLUENT Processori –Intel(R) E5620 @ 2.40GHz (Westmere) CRESCO2 –AMD 6234 @ 2.40Ghz (Interlagos) CRESCO3 –Intel(R) E5-2680 @ 2.70GHz (SandyBridge) ClusterINTEL Test ANSYS FLUENT M2: circa 250000 celle flusso turbolento, stazionario M3: circa 350000 celle flusso turbolento, stazionario, trasporto di speci chimiche L1: circa 850000 celle flusso turbolento, compressibile

25 G. Bracco UTTEI/UTICT - 4 Febbraio 2013 ENE Test effettuati con Ansys FLUENT T(s)Norm 8 coresGHzM2M3L1M2M3L1 Westmere2.415.362.81240.690.660.64 Interlagos2.422.295.3194.8111 SandyBridge2.79.839.177.30.50.460.45 24 coresGHzM2M3L1M2M3L1 Interlagos2.49.64181.6111 SandyBridge2.77.143055.20.840.820.76

26 G. Bracco UTTEI/UTICT - 4 Febbraio 2013 ENE Altri elementi Coda LSF privilegiata “combustione” (eugenio,dcecere) alta priorità 128 core Contributo UTTEI – licenze ANSYS annuale ~26k€ – sistema blade CRESCO2 2011 69Keuro ~136 cores Il gruppo della combustione è uno dei pochi gruppi in ENEA che ha una attività significativa di sviluppo codici Contributi UTTEI ai rapporti annuali CRESCO: – 2008-2009 - 2 contributi – 2009-2010 - 3 contributi – 2010-2011 - 2 contributi

27 G. Bracco UTTEI/UTICT - 4 Febbraio 2013 ENE Alcuni spunti di attività sul campo – Feed back sulla qualità di servizio,suggerimenti, osservazioni,criticità? – Esigenze di supporto numerico? – Richieste hardware specifiche (RAM? SSD? GPU?..) – Chiusura sistemi SP5/AIX: un problema? – Modalità di uso degli storage e della gestione dati: analisi comune delle esigenze. – E' in elaborazione un documento che formalizza un po' il rapporto tra gli utenti dei sistemi HPC ed UTICT: sarebbe utile un contributo di review e commento. – Rapporto CRESCO, che modifiche? [formato (LateX?), note su scalabilità?, lista delle pubblicazioni?,...] – Accesso ad altri sistemi HPC? CINECA,PRACE,...

28 G. Bracco UTTEI/UTICT - 4 Febbraio 2013 ENE Conclusioni Date le note condizioni al contorno per poter garantire la disponibilità in ENEA di risorse di calcolo allo stato dell'arte è importante coinvolgere UTICT nei meccanismi coi quali le altre unità tecniche riescono a procurarsi i fondi per le attività che loro competono. La disponibilità di sistemi HPC interni all'ENEA garantisce l'accesso a risorse indispensabili per le attività di simulazione avvanzata in modo semplice e flessibile. E' importante per UTICT che venga riconosciuto in ogni sede il contributo fornito dall'utilizzo dei sistemi di calcolo e dell'eventuale supporto dedicato al fine del raggiungimento dei risultati specifici raggiunti.