Nazionale Italian e-Science 2008 IES08 ITALIAN NATIONAL AGENCY FOR NEW TECNOLOGY, ENERGY AND THE ENVIRONMENT

Nazionale Italian e-Science 2008 IES08 Contenuto  L’Infrastruttura ENEA-GRID  Il progetto CRESCO e i “Laboratori Virtuali”  Una infrastruttura Nazionale ICT a supporto dello sviluppo del sistema “Paese” Silvio Migliori Responsabile Scientifico Andrea Quintiliani Responsabile Amministrativo ENEA-Dipartimento Tecnologie Fisiche e Nuovi Materiali (FIM) Il Progetto CRESCO ed ENEA-GRID

Nazionale Italian e-Science 2008 IES08 Evoluzione delle tecnologie e loro conseguenze Network vs. computer performance –Computer speed doubles every 18 months (now chips density) –Network speed doubles every 9 months –Difference = order of magnitude per 5 years 1986 to 2000 –Computers: x 500 –Networks: x 340, to 2010 –Computers: x 60 –Networks: x 4000 Moore’s Law vs. storage improvements vs. optical improvements. Graph from Scientific American (Jan-2001) by Cleo Vilett, source Vined Khoslan, Kleiner, Caufield and Perkins. Ian Foster 2002

Nazionale Italian e-Science 2008 IES08 Evoluzione nel tempo dei computer ad alte prestazioni ENEA (CRESCO 180°) Jack Dongarra ENEA PosizioneIstituzione 48CINECA 71CINECA 180ENEA 247ENEL 248ENEL 264CINECA ICT – SCENARIO EVOLUTIVO Italia (11/2007) CRESCO > 17 TFlops

Nazionale Italian e-Science 2008 IES08 TELEMICROSCOPY & GRID - BASED COMPUTING REMOTE ACCESS FOR DATA ACQUISITION AND ANALYSIS Cell Centered Data Base “CCDB” IMAGING-INSTRUMENTS COMP.-RESOURCESMULTI-SCALE-DATA-BASES NETWORK ADV.-COMP.-GRAPHICS DATA ANALYSIS DATA ACQUISITION By-Mark Ellisman

Nazionale Italian e-Science 2008 IES08 ENEA-GRID Sensor nets ENEA-GRID  Nasce nel 1998 con 6 cluster geografici “ Quadrics Ape100”  Principali finalità –Fornire ai ricercatori ENEA un ambiente unificato per l’utilizzo delle risorse informatiche eterogenee distribuite nei diversi centri di calcolo o Dipartimenti; –Realizzare un’infrastruttura che avesse la possibilità di distribuire i livelli di gestione e sviluppo conservandone l’unicità architetturale e di utilizzo; –Integrarsi con le principali infrastrutture ICT nazionali ed internazionali Data archives Colleagues & 3D Software catalogs Computers Application Fabric Connectivity Resource Collective User

Nazionale Italian e-Science 2008 IES08 I centri computazionali di ENEA-GRID L'ENEA, Ente per le Nuove tecnologie, l’Energia e l’Ambiente  Le principali presenze nel territorio nazionale sono rappresentate da 12 centri di ricerca di cui 6 sono corredati di infrastrutture per il calcolo scientifico e grafica 3D:  Bologna  Casaccia(Roma Nord)  Frascati  Trisaia (MT)  Portici (NA)  Brindisi  L’intera infrastruttura è progettata, sviluppata e gestita dal Dipartimento Fisica dei Materiali (FIM) Centro di Brindisi

Nazionale Italian e-Science 2008 IES08 L’ENEA gestisce in proprio le reti locali (LAN) su tutti I centri mentre la connettività fra i centri (WAN) è garantita dal “Consortium GARR” di cui l’ENEA è socio Connessioni delle LAN ENEA alla rete GARR ENEA & GARR 9 PoP, da 18 a 1000 Mbps Centri ENEA-GRID Brindisi (150 Mbps) Bologna (30 Mbps) Casaccia (100 Mbps) Frascati (135 Mbps) Portici (1000 Mbps) Trisaia (18 Mbps)

Nazionale Italian e-Science 2008 IES08 CASACCIA FRASCATI S.Teresa Saluggia Ispra BOLOGNA PORTICI TRISAIA BRINDISI Manfredonia Centri computazionali ENEA-GRID #CPU/Core 45

Nazionale Italian e-Science 2008 IES08 RISORSE COMPUTAZIONALI ENEA-GRID I centri di calcolo e suppercalcolo di Portici (NA), Brindisi e Trisaia (MT) sono stati potenziati con i progetti PON TELEGRID (Avv. MIUR 68)CRESCO (Avv. MUR 1575) Frascati(4), Portici(34),Trisaia(4), Brindisi(4) 10046Windows 32/64 Frascati(1), Trisaia(13) 6014Mac OS X Trisaia(4), Casaccia(2), Bologna(2) 108Solaris Frascati(8), Casaccia(4), Portici(1),Trisaia(8), Brindisi(1), Bologna(5) 4026IRIX Casaccia 30064Linux IA64 (Altix) Frascati(140), Casaccia(54), Portici(2700), Trisaia(20), Brindisi(84) 25000>3000 Linux x86 32/64 Frascati(258), Bologna(24), Portici(18),Brindisi(2) 3000>300AIX Gflops # CPU/Core OS

Nazionale Italian e-Science 2008 IES08 Accesso Client Accesso WEB sp4_-1.frascati.enea.it boquad.bologna.enea.it dafne.casaccia.enea.it GEANT infocal.trisia.enea.it Gateway to EGEE & GRISU Portici Brindisi Kleos.portici.enea.it ercules.brindisi.enea.it Accesso Diretto

Nazionale Italian e-Science 2008 IES08 Il progetto CRESCO (PON 1575)

Nazionale Italian e-Science 2008 IES08 Il Progetto CRESCO Centro computazionale di RicErca sui Sistemi COmplessi Linee di attività progettuali LA1 Realizzazione del Polo di calcolo e sviluppo di nuove funzionalità di GRID Computing LA2 Sviluppo di tecnologie e modelli computazionali per la descrizione di sistemi complessi di origine biologica e di materiali innovativi LA3 Sviluppo di modelli di simulazione ed analisi delle Reti Tecnologiche complesse e delle loro interdipendenze (energetiche, telecomunicazioni, trasporti,…)

Nazionale Italian e-Science 2008 IES08 Poster IES08 LA1 Realizzazione del Polo di calcolo e sviluppo di nuove funzionalità di GRID Computing 1. Visualization of 3D laser scanner data from an archaeological site using OpenSceneGraph in ENEA-GRID environment 2. Hydrogen storage in MgH2 matrices: a study of Mg-MgH2 interface using Car-Parrinello molecular dynamics code on ENEA-GRID 3. Cross checking OpenFOAM and Fluent results of CFD simulations in ENEA-GRID environment 4. Image analysis of a nuclear plasma: Frascati Tokamak Upgrade using IDL and ENEA- GRID technologies 5. On the remote operation of a Transmission Electron Microscope 6. New utilities and tools for using and monitoring ENEA-GRID environment 7. Cresco computational resources and its integration in ENEA-GRID environment 8. MAGO Monitoring All Grid Object 9. New tools and technologies for the ENEA-GRID pervasive integration 10. Advances in Interoperability between ENEA-GRID and gLite based Infrastructures 11. Particle simulation of magnetically confined fusion plasmas on the ENEA Grid

Nazionale Italian e-Science 2008 IES08 Poster IES08 LA2 Sviluppo di tecnologie e modelli computazionali per la descrizione di sistemi complessi di origine biologica e di materiali innovativi 1. PseudoBioRes: a Bioinformatic Resource for Pseudomonas 2. Single - and double - stage parallel implementations of genetic algorithms for parameters estimate of metabolic pathways 3. New hybrid materials: multiscale modeling of the organic- inorganic interaction 4. Development of numerical modelling strategies to perform complex structural analyses and to simulate sintering processes

Nazionale Italian e-Science 2008 IES08 Poster IES08 LA3 Sviluppo di modelli di simulazione ed analisi delle Reti Tecnologiche complesse e delle loro interdipendenze (energetiche, telecomunicazioni, trasporti,…) 1. ASSOCIA Application Server for Simulation Of Critical Infrastructures and data Adaption 2. An Optimization Package for Electrical Distribution Network Reconfiguration 3. Interdependences among complex networks 4. Vulnerability analysis of Complex Networks: Investigating vulnerability indicators of a Telecommunications Network by simulation 5. Modeling Interdependent Infrastructures Using Interacting System Simulators 6. Vulnerability analysis of Complex Networks: Software tools for the evaluation of stochastic and deterministic indicators of interconnected networks 7. Socio-Cognitive Modeling for Complex Socio-Technological Networks 8. SISI Sistema Informativo territoriale per la Salvaguardia delle Infrastrutture e della popolazione 9. Modelli e strumenti di supporto alla ottimizzazione e riconfigurazione delle reti 10. Realizzazione di un ambiente di simulazione per infrastrutture interdipendenti 11. REPAST- CIAB Modellazione e Simulazione di Infrastrutture mediante il paradigma ad Agenti

Nazionale Italian e-Science 2008 IES08 Stand ENEA IES08  Dimostrazione Teleoperazione Microscopio Elettronico  Visualizzazione 3D dati scientifici  Descrizioni generali attività ENEA-GRID

Nazionale Italian e-Science 2008 IES08 Il Progetto CRESCO Centro computazionale di RicErca sui Sistemi COmplessi  Potenziamento delle funzioni tradizionali dell’ENEA  la ricerca – sarà fornito supporto (di tipo sia capacity che capability), attraverso l’utilizzo dell’infrastruttura di calcolo, ad attività di ricerca già in corso di svolgimento nell’Ente nell’ambito delle linee programmatiche esistenti; tali attività potranno anche avere una focalizzazione di natura industriale;  la formazione – potranno essere potenziate le attività di formazione, in collaborazione con alcune sedi universitarie, al fine di supportare la diffusione delle metodologie sviluppate all’interno del Polo Multidisciplinare negli ambiti tematici oggetto di studio e ricerca, con positive ricadute anche nella creazione di percorsi formativi adatti al successivo reclutamento di personale;  il trasferimento tecnologico – verranno istituiti percorsi ed attivati idonei strumenti per favorire l’applicazione industriale delle tecnologie sviluppate, anche ricorrendo alla collaborazione di idonei partner (“industrial-exploitation partner”).

Nazionale Italian e-Science 2008 IES08 Macrostruttura del progetto Prof. Jack Dongarra Prof. Domenico Ferrari Prof. Agostino Mathis Direttore dipartimento FIM

Nazionale Italian e-Science 2008 IES08 Partner di progetto  Università di Salerno  Università di Catania  Università di Lecce  Università di Palermo  Università Campus Biomedico  Università del Piemonte Orientale  Università di Roma “Tor Vergata”  Università di Roma “La Sapienza”  Consorzio Interuniversitario ECONA  Consorzio Interuniversitario CASPUR  Consorzio CRIAI  Consorzio CETMA  Centro di ricerca CERI  Parco Scientifico e Tecnologico della Sicilia  Soc. Ylichron (spin-off ENEA)

Nazionale Italian e-Science 2008 IES08 Struttura a blocchi del sistema HPC CRESCO Portici LAN Interconnessione InfiniBand 4XDDR SERVER GPFS 4 Nodi IBM 3650 IBFC Sistema Dischi ad alta velocità 2 GByte/s 160 TByte IBM/DDN 9550 Sistema backup 300 TByte IBM Tape Library TS3500 con 4 drive SERVER BACKUP 3 Nodi IBM 3650 FCIB GARR (WAN) Sezione 1 (Grande Memoria) 42 Nodi SMP IBM x3850-M2 con 4 Xeon Quad-Core Tigerton E7330 (32/64 GByte RAM 2.4GHz/ 1066MHz/6MB L2) per un totale di 672 core Intel Tigerton Sezione 3 (Speciale) 4 Nodi blades IBM QS21 con 2 Cell BE Processors 3.2 Ghz each. 6 Nodi IBM x3755, 8 Core AMD 8222 con una scheda FPGA VIRTEX5 4 Nodi IBM x 3755, 8 core AMD 8222 con schede NVIDIA Quadro FX 4500 X2 4 Nodi windows 8 core 16 Byte RAM Doppia Intercconnessione a 1 Gbit 1 Rete a 1 Gbit di gestione Sezione 2 (Alto Parallelismo) 256 Nodi blades IBM HS21 con 2 Xeon Quad-Core Clovertown E5345 (2.33GHz/1333MH z/8MB L2), 16 GB RAM per un totale di 2048 core Intel Clovertown 4x10 Gbits 400 /1000 Mbits 35 Nodi di Servizio Server di : Front-end insallazione AFS … CRESCO  17 TFlops

Nazionale Italian e-Science 2008 IES08 ENEA-GRID & CRESCO Il supercalcolatore CRESCO è integrato in ENEA-GRID

Nazionale Italian e-Science 2008 IES08 ENEA-GRID & CRESCO Monitoring

Nazionale Italian e-Science 2008 IES08 Sezione 1 % Utilizzo cpu Sezione 2 % Utilizzo cpu ENEA-GRID & CRESCO Monitoring

Nazionale Italian e-Science 2008 IES08 Sala Calcolo CRESCO

Nazionale Italian e-Science 2008 IES08 Particolari HPC CRESCO Sezione 1 & 3 Sezione 2 & DDN Sala controllo Sistema backup RETI: IB/GB Corridoio Caldo Sezioni 1 &2

Nazionale Italian e-Science 2008 IES08 Le potenzialità computazionali ENEA-GRID & CRESCO Un sistema eterogeneo con più di 3000 CPU/core CodiciRisorsa serialiSezione 1 & ENEA-GRID paralleli fortemente accoppiatiSezione 2 paralleli debolmente accoppiatiSezione 1, 2, ENEA-GRID costituiti da più codici paralleliSezione 1, 2, Sezione 1+2 speciali ( FPGA, GB, CELL)Sezione 3 windows (seriali e paralleli)Sezione 3 non disponibili per LINUXENEA-GRID con Data Base di grandi dimensioni Sezione 1,2,3 e GPFS

Nazionale Italian e-Science 2008 IES08 ENEA-GRID & i Laboratori Virtuali Li ENEA Università e altri Enti di ricerca Imprese Schema concettuale dei Laboratori Virtuali supportati dall’infrastruttura ENEA-GRID potenziata dal sistema HPC del progetto CRESCO

Nazionale Italian e-Science 2008 IES08 Opzioni di sottomissione Opzioni Fluent: Esempio di utilizzo industriale di FLUENT sulla GRID-ENEA Utente presso la sede industriale Sicurezza industriale Sicurezza ENEA

Nazionale Italian e-Science 2008 IES08 Aviogroup: Guadagno in termini di Elapsed Time (Con risorse disponibili nel 2006) Considerando quindi:  L’inizializzazione delle problematiche Aviogroup.  L’interruzione dei servizi per cause di forza maggiore (problematiche ENEL).  La mancata disponibilità a tratti di licenze software per affollamento utenze. Si è impiegato comunque meno di un terzo del tempo previsto dalla disponibilità interna

Nazionale Italian e-Science 2008 IES08 Aviogroup: test di un’applicazione industriale Test per la simulazione distacco I- II stadio VEGA (Tipo di calcolo HPC) Fase 1 Fase 2Fase 3

Nazionale Italian e-Science 2008 IES08 Sperimentazione in corso sul GRID-ENEA con PMI e Consorzi Simulazione flussi di aria nei vagoni ferroviari CETMA (Tipo di calcolo HPC)

Nazionale Italian e-Science 2008 IES08 Sperimentazione in corso sul GRID ENEA con PMI e Consorzi Simulazioni particolari di un CATAMARANO (Tipo di calcolo HPC) CETMA

Nazionale Italian e-Science 2008 IES08 CRESCO per la FUSIONE EUROPEA Cresco 25 Tflops di picco Sistema per lo sviluppo e test dei codici per la fusione termonucleare controllata per ITER (Finaziamento EFDA) 1 Tflops di picco IB

Nazionale Italian e-Science 2008 IES08 DB_1 CPUS ENEA GRID WEB ICA SSH DNA Sequence system ( ABI Prism 3700) Trisaia DB_3 DB_2 Electron Microscope (Brindisi) 300 KeV (sept. 2004) ENEA GRID and experimental facilities Controlled Nuclear Fusion: FTU Frascati Tokamak Upgrade Video Acquisition

Nazionale Italian e-Science 2008 IES08 GARR PI2S2 GARR Altri Enti e realtà La ENEA-GRID interopera con altre GRID ENEA ha sviluppato la soluzione “shared proxy” Conserva l’autonomia architetturale interna Consente implementazioni multipiattaforma In produzione in EGEE In produzione per la rete GRISU Richiesto da EFDA per l’accesso ad EGEE EFDA EGEE

Nazionale Italian e-Science 2008 IES08 CASACCIA FRASCATI S.Teresa Saluggia Ispra BOLOGNA PORTICI BRINDISI Manfredonia ENEA-GRID & GRISU & IGI ENEA-GRID SPACI TRISAIA GRISU INFN-GRID IGI Italian GRID Infrastructure

Nazionale Italian e-Science 2008 IES08 Modello concettuale per il sistema produttivo Canale dedicato industria A Canale dedicato industria C Canale dedicato industria B Richieste delle imprese Sicurezza dei dati Qualità del servizio Strumenti Competitivi Proprietà Intellettuale Gestione Licenze EGEE INFN_GRID GRISU INTEROPERABILTA’ (IGI) Sistema GRID Potenziare le Competenze Sviluppare l’offerta di servizi Garantire l’Interoperabilità Infrastrutture H/S & HPC Connettività adeguata

Nazionale Italian e-Science 2008 IES08 Ringraziamenti (1)  Ministero della Ricerca e dell’Università (MUR)  Direzione dell’ENEA  Capo Dipartimento Ing. Sandro Taglienti  Comitato Scientifico: J. Dongarra, A. Mathis, D. Ferrari  Macrostruttura di progetto : Vittorio Rosato, Sandro Bologna  Collaboratori direttamente coinvolti : Giovanni Bracco, Salvatore Podda, Samuele Pierattini, Pietro D’Angelo, Daniele Remoli, Pasquale Cuomo, Francesco Beone, Antonio Perozziello, Carlo Pinto, Gazziano Furini,Cristina Baracca, Giorgio Mencuccini, Erminia Mattei, Gloria Tabili, Nadia Mencucci, CaterinaVinci, Dante Giammattei, Alessandro De Stefano,Vincenzo Colaci,, Matteo De Rosa  Il personale dell’Unità FIM-INFOGER coordinata da Roberto Guadagni

Nazionale Italian e-Science 2008 IES08 Ringraziamenti (2)  Il personale del Centro ENEA di Portici e il Direttore Ezio Terzini  I ricercatori assegnisti di ricerca del progetto CRESCO  Università, Consorzi e Società Partner di progetto  Tutti i Ricercatori ENEA ed i rispettivi responsabili coinvolti (circa 60 ricercatori dei Centri di Portici, Trisaia, Brindisi)  Il personale delle unità dell’Ufficio di Presidenza coordinate da Susanna Del Bufalo, Elisabetta Pasta e Diana Savelli  Il personale della ditta Computer Var e IBM per la realizzazione dell’infrastruttura

Nazionale Italian e-Science 2008 IES08 ITALIAN NATIONAL AGENCY FOR NEW TECNOLOGY, ENERGY AND THE ENVIRONMENT