ITALIAN NATIONAL AGENCY FOR NEW TECNOLOGY, ENERGY AND THE ENVIRONMENT

www.cresco.enea.it CRESCO – Centro Computazionale di Programma Operativo Nazionale 2000-2006 “Ricerca Scientifica, Sviluppo Tecnologico, Alta Formazione” Misura II.2 “Società dell’Informazione per il Sistema Scientifico Meridionale” Azione a – Sistemi di calcolo e simulazione ad alte prestazioni CRESCO – Centro Computazionale di RicErca sui Sistemi Complessi www.cresco.enea.it

Il Progetto CRESCO Centro computazionale di RicErca sui Sistemi COmplessi Obiettivi infrastrutturali Realizzazione di un Polo di calcolo di eccellenza presso il Centro ENEA di Portici Sviluppo di una nuova classe di funzionalità innovative di GRID Computing Obiettivi applicativi Implementazione di soluzioni innovative di GRID computing per le attività di R&S di punta dell’ENEA che richiedano l’utilizzo di risorse computazionali estremamente importanti. Studio di oggetti biologici dal punto di vista “sistemico” e di sistemi naturali secondo il paradigma dei sistemi complessi Studio di sistemi tecnologici e sociali complessi e delle loro mutue interazioni, realizzazione di strumenti per il modelling, la simulazione e il controllo

Macrostruttura del progetto Prof. Jack Dongarra Prof. Umberto Ferrari Prof. Agostino Mathis Prof. Salvatore Tucci Prof. Samuel Varnado Direttore CAMO

Cronogramma 1 aprile 2006 – 31 marzo 2009 Mesi 2 4 6 8 10 12 14 16 18 20 22 24 26 28 30 32 33 36 SP I.1 “Realizzazione del Polo di calcolo”   Progettazione degli interventi e definizione delle specifiche Acquisizione ed installazione di sistemi HW/SW Implementazione dei sistemi HW/SW, avvio sperimentazione Collaudo finale dell’intera infrastruttura Tutti gli altri Sottoprogetti Progettazione delle attività di R&S nella tematica applicativa Sviluppo di modelli e codici, realizzazione di Software applicativi Implementazione di modelli, codici, ecc. per l’utilizzo sulla piattaforma Produzione, elaborazione e pubblicazione dei risultati di R&S

Le tre linee di attività di CRESCO LA I Realizzazione del Polo di calcolo e sviluppo di nuove funzionalità di GRID Computing LA II Sviluppo di tecnologie e modelli computazionali per la descrizione di sistemi complessi di origine biologica e di materiali innovativi LA III Sviluppo di modelli di simulazione ed analisi delle reti tecnologiche complesse e delle loro interdipendenze

ENEA-GRID Born in 1998 with 6 Italian geographic clusters Main aim Give to ENEA researchers a unified environment to use in an easy way heterogeneous computers and applications software Build an homogeneous ICT infrastructure but with a distributed and delegated control Integrate the ENEA-GRID with National and International GRIDS Application Fabric Connectivity Resource Collective User Data archives Colleagues & 3D Software catalogs Computers ENEA-GRID www.afs.enea.it/project/eneagrid Sensor nets

ENEA-GRID from the user point of view Main feature: Access from any kind of connection Sharing data in world wide areas (geographical file system AFS) Access to the data from any kind of digital device client Running any kind of programs Access to National and International GRIDS Computers Computers Computers Computers Data archives ENEA-GRID Sensor nets Computers Sensor nets Software catalogs EU… Trisaia Brindisi Portici Roma-1 Roma-2 Bologna

ENEA-GRID from application point of view Potentiality: Running all Software Model for any kind of computer architecture Only one installation for each software for all geographical computers All authorized users can have access the software from local site Any application can share the data in the common geographical file system All sensors can share the data easily using the geographical file systems Computers Software Model 1 Computers Computers Rules Software Model 2 ENEA-GRID Sensor nets Software Model 3 Computers Sensor nets Software Model .. Software catalogs EU… Trisaia Brindisi Portici Roma-1 Roma-2 Bologna

Graphical User Interface ENEA GRID WEB ICA Application Portal (ICA-Protocol) Graphical User Interface User programs and commercial codes LSF multi-cluster as integrator Monitoring, Automatic recovery Quality of service Accaunting XTERM LSF AFS Geographical cross platform & File System AIX SGI … Linux Alpha SUN HP Win Linux

A Simple view of ENEA GRID Load Leveler LSF Graphic User Interface LSF multi-cluster as integrator Telnet User programs & commercial code ICA WEB Cluster 5° ( Portici) AFS Geographical cross platform& File System Load Leveler LSF Graphic User Interface LSF multi-cluster as integrator Telnet User programs & commercial code ICA WEB Cluster 2° (Casaccia) & File System Load Leveler LSF Graphic User Interface Telnet ICA WEB Cluster 6° ( Brindisi) ENEA GRID AFS Geographical cross platform& File System Load Leveler LSF Graphic User Interface LSF multi-cluster as integrator Telnet User programs & commercial code ICA WEB Cluster 1° ( Bologna) AFS Geographical cross platform& File System Load Leveler LSF Graphic User Interface LSF multi-cluster as integrator Telnet User programs & commercial code ICA WEB Cluster 3° (Frascati) AFS Geographical cross platform& File System Load Leveler LSF Graphic User Interface LSF multi-cluster as integrator Telnet User programs & commercial code ICA WEB Cluster 4° (Trisaia )

LA I Realizzazione del Polo di calcolo e sviluppo di nuove funzionalità di GRID Computing Sottoprogetti SP I.1 Realizzazione dell’infrastruttura HPCN SP I.2 Sviluppo ed integrazione dell’architettura GRID e di grafica 3D SP I.3 Sviluppo ed ottimizzazione di codici applicativi in settori di R&S di punta SP I.4 Progettazione e sviluppo di librerie per l’implementazione efficiente e parallela di nuclei computazionali su dispositivi FPGA integrati in un ambiente GRID SP I.5 Web archives

HPC CRESCO INFRASTRUCTURE 17 TFlops Backup system 300 TByte IBM Tape Library TS3500 with 4 drives SERVERS BACKUP 3 Nodi IBM 3650 FC IB Interconnections InfiniBand 4XDDR IB SERVERS GPFS 4 Nodi IBM 3650 FC High speed disc 2 GByte/s 160 TByte IBM/DDN 9550 Section 1 (Large memory) 42 Nodi SMP IBM x3850-M2 with 4 Xeon Quad-Core Tigerton E7330 (32/64 GByte RAM 2.4GHz/ 1066MHz/6MB L2) total 672 cores Intel Tigerton Section 3 (Special) 4 Nodi blades IBM QS21 con 2 Cell BE Processors 3.2 Ghz each. 6 Nodi IBM x3755, 8 Core AMD 8222 FPGA VIRTEX5 4 Nodi IBM x 3755, 8 core AMD 8222 with NVIDIA Quadro FX 4500 X2 4 Nodi windows 8 core 16 Byte RAM Double interconnection at 1 Gbit & 1 network at 1 Gbit for management Section 2 (MPP) 256 Nodi blades IBM HS21 with 2 Xeon Quad-Core Clovertown E5345 (2.33GHz/1333MHz/8MB L2), 16 GB RAM total 2048 cores Intel Clovertown 4x10 Gbits 1000 Mbits 35 Node for services Servers for : Front-end installations AFS … Portici LAN GARR (WAN) 1000 Mbits

CRESCO HPC hall

CRESCO HPC details Corridor hot Sections 1 &2 Sections 1 & 3 Section 2 & DDN Corridor hot Sections 1 &2 Control room network: IB/GB backup system

ENEA-GRID Computational & 3D Centers Ispra Saluggia BOLOGNA 30 S.Teresa #CPU/Core CASACCIA 140 400 Manfredonia FRASCATI 2750 PORTICI 90 BRINDISI 45 TRISAIA

ENEA-GRID Computational Resources OS #CPU/Core Gflops AIX >300 3000 Frascati(258), Bologna(24), Portici(18),Brindisi(2) Linux x86 32/64 >3000 25000 Frascati(140), Casaccia(54), Portici(2700),Trisaia(20), Brindisi(84) Linux IA64 (Altix) 64 300 Casaccia IRIX 26 40 Frascati(8), Casaccia(4), Portici(1),Trisaia(8), Brindisi(1), Bologna(5) Solaris 8 10 Trisaia(4), Casaccia(2), Bologna(2) Windows 32/64 46 100 Frascati(4), Portici(34),Trisaia(4), Brindisi(4) Mac OS X 14 60 Frascati(1), Trisaia(13) Computational resources of Portici (NA) , Brindisi e Trisaia (MT) have been financed by Ministry of Research PON TELEGRID (Avv. MIUR 68) CRESCO (Avv. MUR 1575)

Computational ability ENEA-GRID & CRESCO An heterogeneous system with more than 3000 CPU/cores Code Risorsa Serial Section 1 & ENEA-GRID Parallel hardly coupled Section 2 Embarrassing parallel Section 1, 2, ENEA-GRID System with several parallel codes Section 1, 2, Section 1+2 Special ( FPGA, GB, CELL) Section 3 windows (serial and parallel) Not LINUX ENEA-GRID Large date “Data Base” Section 1,2,3 e GPFS

ICT – SCENARIO EVOLUTIVO ENEA (CRESCO 125°) ENEA Previsione 500° Evoluzione nel tempo dei computer ad alte prestazioni

CRESCO in the Top500 List June 2008 Italy (06/2008) 90 CINECA 125 ENEA 131 ENI 135 CILEA 156 226 Telecom Jack Dongarra 2002

ENEA CRESCO Supercomputer N° 125 Top500 June 2008

ENEA GRID and experimental facilities DNA Sequence system ( ABI Prism 3700) Trisaia DB_2 ENEA GRID CPUS WEB ICA SSH DB_1 Controlled Nuclear Fusion: FTU Frascati Tokamak Upgrade Video Acquisition DB_3 Electron Microscope (Brindisi) 300 KeV (sept. 2004)

Stato reale di utilizzo

CRESCO for EUROPEAN FUSION IB System for development and test of computational codes for ITER (EFDA contract) 1 Tflops peak Cresco 25 Tflops peak

2 0 0 8 Gateway to Brindisi EGEE & GRISU GEANT Accesso Accesso WEB boquad.bologna.enea.it dafne.casaccia.enea.it sp5-1.frascati.enea.it Portici Kleos.portici.enea.it infocal.trisia.enea.it Gateway to EGEE & GRISU Brindisi ercules.brindisi.enea.it Accesso WEB Accesso Client Accesso Diretto www.afs.enea.it/project/eneagrid

CRESCO is totally integrate ENEA-GRID & CRESCO CRESCO is totally integrate in ENEA-GRID

Example of use of FLUENT on ENEA-GRID Sicurezza industriale Sicurezza ENEA External Users Submissions options Fluent options

ENEA-GRID & Virtual Lab architecture Li ENEA University and research institute Enterprise New collaborations ENEA-GRID

Per lavorare con CRESCO www.cresco.enea.it

SPI.2 Sviluppo ed integrazione dell’architettura GRID e di grafica 3D Compilazione multi-piattaforma di programmi seriali e paralleli (MPI). Lanciatori su GRID di programmi seriali e paralleli. Interfaccia Java alla GRID per la personalizzazione dell'ambiente di lavoro. Test RSH: E' stato realizzato un programma che permette di testare, sull’ENEA-GRID, il funzionamento del comando rsh. Network Monitoring: E' stato sviluppato un software (NeTWork RESPONSE TIME TEST) di supporto alle funzionalità di network dell'ENEA-GRID. Test HPL per misurare la potenza di calcolo di una macchina in termini di numero di operazioni floating point che si possono fare in un secondo.

SPI.2 Struttura generale dati CRESCO (operativa)

WARC: amministratori “super” e di Sito SPI.2 WARC: amministratori “super” e di Sito

AMACA (AFS Memorize And Check Application)‏ SPI.2 Strumento integrato di monitoraggio, controllo e storicizzazione di componenti ed eventi di Andrew File System (cardine dell’infrastruttura ENEA-Grid)‏ Realizzato nell’ambito del contratto CRESCO di ricerca tra ENEA e CASPUR per “analisi e realizzazione di tool innovativi a supporto delle funzionalità GRID” (SPI.2)‏ Alessio Rocchi (CASPUR)‏ Ludovico Giammarino (CASPUR)‏ Sicuro: protezione delle informazioni tramite due layer dedicati in cascata (openSSL e libreria crittografica mcrypt)‏ Esecuzione di operazioni critiche concessa solo agli appartenenti a gruppi prestabiliti Integrato: accesso garantito tramite credenziali AFS. Accessibile: fornisce numerosi strumenti user-friendly di supporto ai task di amministrazione Adattativo: consente di concentrare la visualizzazione dello stato sul solo dominio di appartenenza dell’amministratore

Software Tools for Monitoring ENEA GRID with CRESCO Cluster Integration Agostino Funel, Guido Guarnieri, Salvatore Raia, Silvio Migliori ENEA - FIM Department CRESCO - SP I.2 JOB LAUNCHERS The purpose of a GRID network is to collect a large variety of computational resources to achieve high power computing. ENEA GRID is a heterogeneous environment with many architectures and operative systems. As the CRESCO supercomputer has been fully integrated in ENEA GRID it is essential to have tools for monitorning the status of the main functionalities. From each host is possible to test the status of ENEA GRID. NETWORKING Parallel and serial job launchers make the user comfortable with the many architecture present in ENEA GRID. CRESCO MONITORING Tool designed for a fast and efficient diagnostic of the main funcionalities of the CRESCO HPC system: high speed interconnection, authentication protocols, memory, scheduler. Web archive for easy consulting. Tools for testing TCP/IP and UDP protocols.

Integrazione nella GRID ENEA di sistemi Windows SPI.2 Integrazione nella GRID ENEA di sistemi Windows LSF NON offre supporto per AFS in ambiente Windows Per integrare sono state sviluppate gettok_win (visualizza sullo standard output il token AFS) puttok_win (scrive nel kernel il token prelevato dalla standard input) E’ in corso di installazione litegrazione completa con ENEA GRID Principali risultati: Interoperabilità delle routine prototipali con quelle fornite dal kit LSF per AFS Accesso al volume AFS su sistema operativo Windows con token originato da sistema UNIX Accesso al volume AFS su sistema operativo UNIX con token originato da sistema Windows

SPI.2.1 Integrazione ENEA-GRID con altre GRID Interoperabilità 4 PON 1575 attività in corso Integrazione con EGEE GRID.IT Middleware LCG Integrazione con BEinGRID Middleware UNICORE

? EFDA EGEE Maintain the GRID internal architecture and autonomy La ENEA-GRID interoperability with others GRID EGEE ? EFDA ENEA has been developing the “shared proxy” solution Maintain the GRID internal architecture and autonomy Allow multiplatform impementations Under production on EGEE Under production on GRISU Required by EFDA for EGEE PI2S2 GARR GARR Others Entity

Italian GRID Infrastructure ENEA-GRID & GRISU & IGI IGI Italian GRID Infrastructure Ispra Saluggia INFN-GRID BOLOGNA ENEA-GRID S.Teresa CASACCIA Manfredonia FRASCATI PORTICI BRINDISI TRISAIA GRISU SPACI

SPI.2 Sviluppo ed integrazione dell’architettura GRID e di grafica 3D Tools per analisi immagine Sono stati sviluppati e sono in corso di sviluppo tools per l’analisi delle immagini dei plasmi termonucleari provenienti dalle telecamere FTU ( Frascati Tokamack Upgrade). L’insieme dei tools e la relativa documentazione è stata inserita nelle pagine web specifiche del sottoproggetto. Tutti gli applicativi sono stati sviluppati utilizzando il linguaggio ad alto livello IDL. Questi applicativi sono stati inseriti nella GRID ENEA e sono state sviluppate le procedure per sottometterli in modalità GRID ENEA. Integrazione librerie grafiche open-source Integrazione di un modulo per il Distributed Rendering Il modulo di Distributed Rendering consente di sviluppare ed eseguire applicazioni “multiple channel” sincronizzate che utilizzino più piattaforme di calcolo connesse in rete per il rendering e display multipli contigui o non contigui per la restituzione di una scena virtuale. Allo stato attuale è in fase di test un applicativo della Multigen-Paradigm, integrato nell’ambiente di visualizzazione VegaPrime, in rete sia locale che geografica. RV Customizing tools E’ in corso l’integrazione in AFS dell’applicativo sviluppato, nell’ambito dell’attività di progettazione e sviluppo di Customizing tools per applicazioni di Realta’ Virtuale che basandosi su d una architettura Client-Server, è in grado di comunicare con una scena grafica a run-time e modificarne i parametri di navigazione (path e sincronismo con file audio), senza interrompere l’esecuzione della scena virtuale. Si dovrà procedere alla sua installazione nella GRID-ENEA, nell’area del progetto CRESCO, e quindi configurare e testare l’applicativo per la distribuzione agli utenti. Applicazioni per visualizzazione scientifica 3D Film dati Le immagini e i filmati prodotti mediante applicazioni di visualizzazione scientifica saranno raccolti in un archivio visivo delle attivita’ svolte e saranno diffusi tramite pagine Web. L’obiettivo è quello di creare contenuti dimostrativi, delle applicazione e dei dati sviluppati, tramite filmati, anche in modalità stereoscopica, in modo da non utilizzare direttamente l’applicativo.

Laser scanner technologies and 3D models integration: analysis and methodological approach Dante Abate, M.Cristina Baracca, Roberto Ciavarella, Graziano Furini, Silvio Migliori, Samuele Pierattini ENEA - FIM Department The objective: the “Virtual Museum” The scanning laser systems available at ENEA allow to fullfil a wide range of diagnostic and monitoring requirements in the artistic and cultural heritage field and to produce 3D models. A test case was adopted, in order to define a methodology allowing to include 3D models in a Virtual Reality application.The objective was to develop a “Virtual Museum” in which to inser/remove 3D models produced by different laser scanner system and to navigate the 3D graphical scene by means of the VegaPrime environment orthe OpenSceneGraph toolkit available by means of the ENEA-Grid. 3D models Laser Scanner Systems in ENEA ITR (Imaging Topological Radar) developed by ArtVisLab-ENEA HDS3000 by Leica-Geosystem VIVID 900 by MINOLTA Desktop 3D Scanner by NextEngine Since each scanning device is provided with proper output file formats and software packages to integrate in a VR application, through format conversion, the 3D modelspreserving all the detected information. Conversion to OpenFlightFormat The Open Flight format (.flt) is supported by both VegaPrime and OpenSceneGraph; from the analysis of the 3D models proprietary file formats and the format conversion tools, it was possibile to define the following conversion methods:

Visualization of 3D laser scanner data from an archaeological site using OpenSceneGraph in ENEA Grid environment Dante Abate, M.Cristina Baracca, Roberto Ciavarella, Graziano Furini, Silvio Migliori, Samuele Pierattini ENEA - FIM Department Laser scanning Juvanum by HDS3000 19 Scansioni 16.589.664 punti Valori di XYZ riflettenza e colore Acquisizione di coord.GPS Point cloud elaboration After the post processing phase (manual elimination and filtering algorithms application), results a data set of 5.665.282 points VISUALIZATION OF A SET OF MILLIONS OF POINTS Accordingly with the archaeologists needs, the final database requires a processing application capable to: display a large amount of data in a relatively short time; performe mathematical operations on the points coordinates (distances between points, plant views, sections, etc.) OSG viewer: Currently there are commercial software capable to display a large amount of data in “near realtime”, but we were oriented to an “open source” solution using our ENEA-GRID, the OpenSceneGraph libraries and the powerful viewer. Distances evaluation: Integrating the ANN library in the OSG viewer code, it was possible to impolement a tool for evaluating distances between points in the 3D scene.

SPI.2 Analisi ed ottimizzazione di strumenti Software per l'utilizzo di IDL sulla GRID ENEA Sono stati sviluppati tools per l’analisi delle immagini dei plasmi termo- nucleari  provenienti dalle telecamere FTU (Frascati Tokamack Upgrade). Tools Applicazioni IDL realizzate in ENEA (Falsecolor, Brightzone, Volume rendering, Database). Tutorial IDL: gestione di batch files e esecuzione di programmi in modalità non interattiva IDL: gestione di programmi in broadcasting attraverso

SPI.2 Analisi ed ottimizzazione di strumenti Software per l'utilizzo di IDL sulla GRID ENEA

LA 1 - SP I.2.2: Tools per l’utilizzo di sistemi di Grafica Virtuale ed immersiva con sistemi di supercalcolo remoto e per il lavoro cooperativo a livello geografico. Oggetto Studio e sviluppo di tools e tutorial per l’analisi delle immagini dei plasmi termonucleari provenienti dalle telecamere FTU (Frascati Tokamack Upgrade) – sviluppo del SOFTWARE TOKAMAK Obiettivo L’obiettivo del lavoro è quello di realizzare un tool installabile che crea un database per la gestione e l’elaborazione delle immagini presenti su ENEA-GRID. L'elaborazione prevede in dettaglio: riduzione del rumore, bilanciamento dell’istogramma, identificazione dei contorni. La necessità di creare un database delle immagini di FTU nasce dall’esigenza di avere a disposizione tutte le immagini, nonché le informazioni ad esse relative, in modo da poter classificare gli scatti in base a specifici criteri. La classificazione è utile per eliminare classi di immagini che, nonostante operazioni di miglioramento (equalizzazione, restaurazione, segmentazione), non possono contribuire a ricostruire alcuni fenomeni del plasma.

Struttura Data Base Sopra viene riportata la struttura del data base utilizzando il DBMS MySQL. Le tabelle che rappresentano la struttura sono: Tabelle relative alle immagini Gli oggetti che sono compresi in cams sono i Port. Ogni Port è identificato univocamente dal nome della camera; Gli oggetti che sono compresi in folders sono le cartelle distribuite all’interno dei diversi Port; Gli oggetti che sono compresi in images sono le immagini su cui effettivamente vengono fatte le operazioni; Tabelle relative alle operazioni effettuate sulle immagini Gli oggetti compresi in tab_res sono le immagini restaurate; Gli oggetti compresi in tab_gray sono le immagini in scala di grigi e le immagini equalizzate; Gli oggetti compresi in tab_seg sono le immagini segmentate.

Interfaccia utente (GUI) ed elaborazione delle immagini Il software è stato sviluppato attraverso il linguaggio C++ integrando il codice con le librerie open source di Qt, noto tool per la realizzazione di interfacce utente (GUI). L’elaborazione delle immagini è stata gestita con MATLAB attraverso l’esecuzione di M-file creati appositamente per le operazioni richieste. Software tokamak in esecuzione:

SPI.2.3 Integrazione del controllo remoto di un microscopio TEM Realizzata l’integrazione di base, è in corso un’attività di ricerca e sviluppo per realizzare un laboratorio virtuale per la microscopia TEM Visualizzazione delle Immagini TEM Visualizzazione Ambientale Videocomunicazione Accesso remoto per il controllo Tool di allineamento dati locali/dati AFS

Codici tutti in Produzione SPI.3 Sviluppo ed ottimizzazione di codici applicativi in settori di R&S di punta Realizzata un’analisi dei codici di massimo interesse di tipo commerciale Individuato come prioritari: FLUENT** Fluidodinamica ANSYS,ABACUS ** Strutturale MpCCI ** Interazione fluido struttura NASTRAN Strutturale OpenFOAM Fluidodinamica Codici tutti in Produzione

SPI.3 Sviluppo ed ottimizzazione di codici applicativi in settori di R&S di punta MpCCI (Mesh-based parallel Code Coupling Interface): Viene utilizzato per affrontare problemi di interazione fluido-struttura accoppiando diversi tipi di codici presenti in ENEA-GRID; I codici da accoppiare sono attualmente Fluent per l'analisi fluidodinamica e Ansys per l'analisi strutturale. OpenFOAM: software opensource di analisi fluidodinamica. E' in corso uno studio di OpenFOAM ed in particolare: compatibilità  di installazione sulle diverse macchine della GRID confronto con Fluent (software commerciale generalmente impiegato sia nel settore industriale che di ricerca) in termini di accuratezza dei risultati. Per MpCCI si è ancora in una fase embrionale di studio, mentre per OpenFOAM siamo concentrati sul primo punto;il confronto con Fluent è ancora agli inizi: il confronto verte sulle potenzialità in termini di tipologie di case trattabili, sulla qualità dei risultati ottenuti da OpenFOAM e sulle prestazioni delle macchine della GRID.

SPI.3: Sviluppo ed ottimizzazione di codici applicativi in settori di R&S di punta Simulazioni Fluidodinamiche: l'uso di Fluent è stato necessario per studiare l'evoluzione dei fenomeni di combustione di diversi combustibili. Viene portato avanti uno studio di ottimizzazione delle prestazioni dell’ENEA-GRID per condurre questo tipo di analisi E' in corso uno studio di condizionamento termico della configurazione finale della sala di calcolo CRESCO in Portici. Tale studio riguarda sia la modellistica geometrica della sala calcolo sia la fenomenologia di scambio termico nella stessa attraverso i sistemi di refrigerazione presenti

Numerical Simulation of Turbulent Combustion on CRESCO Platform SP I.3 Sviluppo ed ottimizzazione di codici applicativi in settori di R&S di punta Numerical Simulation of Turbulent Combustion on CRESCO Platform Supercomputing makes feasible using powerful CFD approaches like LES (Large Eddy Simulations), which is able to meet demands for accurate models and advanced numerical methods 3D istantaneous field showing some isosurfaces of temperature Speed-up (right triangle) and efficency of the HeaRT code on CRESCO platform Turbulent combustion results obtained by means of the ENEA HeaRT code run on CRESCO. HeaRT (Heat Release and Turbulence) is a fully compressible, reactive, unsteady flow solver that implements an original LES subgrid scale model, named Fractal Model. Simulation details on different platforms

OpenFOAM and Fluent Features in CFD Simulations on CRESCO High Power Computing System Fiorenzo Ambrosino, Agostino Funel, Silvio Migliori ENEA - FIM Department CRESCO - SP I.3 Industrial collaborations: OpenFOAM Parallel and scalable CFD Solver It is available on CRESCO cluster with Infiniband interconnection. It solves CFD complex simulations using even more 1000 cores giving good scalability and efficiency performances. Open source It can simulate a lot of CFD problems and its implementation is growning. It hasn’t any license cost. It has a great support network composed of developers and users around the world. Fluent (top) and OpenFOAM (bottom) contour map of the static pressure field on a simple passenger sedan (Fluent Benchmark). Elasis in automotive research and development. Avio Group: OpenFOAM applications in supersonic CFD simulations. OpenFOAM-Fluent speed-up comparison for the passenger sedan benchmark.

SP I.3 Sviluppo ed ottimizzazione di codici applicativi in settori di R&S di punta

SPI.3 Sviluppo ed ottimizzazione di codici applicativi in settori di R&S di punta Programmazione parallela in ambiente Matlab (Libreria MatlabMPI del M.I.T) E’ stata installata su AFS per la versione 7.0.1 (R14) di Matlab. Permette l’attivazione parallella di diverse sessioni Matlab su più processori. I nodi coinvolti eseguono parallelamente lo stesso programma (SPMD). Lo scambio dei dati viene fatto tramite operazioni di lettura e scrittura da/su file. Per il funzionamento sulle macchine linux della griglia la modalità di lancio remoto (rsh/ssh) è stata sostituita con lsrun. Di seguito sono riportati i risultati di un test effettuato con le funzioni della libreria MatlabMPI che misura la velocità di comunicazione, al variare delle dimensioni dei pacchetti inviati, tra le macchine ‘Bw305-2’ e ‘Lin4p’.

Authors: G. Guarnieri, S. Migliori, S. Podda Parallel programming in Matlab environment on CRESCO cluster,interactive and batch mode Authors: G. Guarnieri, S. Migliori, S. Podda ENEA - FIM Department Matlab (MATrix LABoratory) provides an environment for numeric elaboration and an interpreted programming language widely used in science and technology. The package is equipped with specialized libraries (toolboxes) which can solve problems in several fields. For some years the implementation of parallel programming in Matlab environment has been under study. Mathworks, the producer of Matlab, distributes toolboxes with this target, but there are also third party projects with the same aim. Among them is the “MatlabMPI” library developed by Lincoln Laboratories of the Massachusetts Institute of Technology. ENEA GRID, by the introduction of CRESCO machines, has achieved a very high computational power. So, the possibility of parallel programming in Matlab on this structure becomes a meaningful aim. We have chosen to modify and install the “MatlabMPI” library for Linux machines of ENEA GRID and particularly for CRESCO cluster. The MatlabMPI functions library, written in pure Matlab language, implements a subset of the functions defined in the MPI standard and allows to run, at the same time, several Matlab processes both on multicore machines and computer clusters. Data exchange among the processes does not happen by real message sending and receiving, but via file system access operations. Some code changes were required to install MatlabMPI on ENEA GRID and to adapt the use of the library to CRESCO submission mode. To enable the launching of Matlab jobs on remote machines in interactive such as in batch mode we have resorted to the ENEA GRID submission tool. Graphic description of a message exchange between two parallel Matlab processes using MatlabMPI functions “MPI_Send” and “MPI_Recv”. The use of OpenAFS distributed file system, which allows users to access their home directory from every point of the grid, well supports the use of MatlabMPI because the parallel Matlab processes can simply share a common working directory. In order to adapt MatlabMPI library to submit jobs on CRESCO cluster in batch mode it was necessary to further modify the code. We have created some scripts to interface the library with the scheduler environment. Users can perform parallel Matlab jobs in batch using MatlabMPI submitting the script “matMPIlauncher.sh” by the LFS command “bsub” which also allows full expression of the resource request. An example of batch submission on CRESCO cluster is the following:  bsub –q small_10m -o %J.out –e %J.err –R cresco1 –n 32 matMPIlauncher.sh The script “matMPIlauncher.sh” reads some LSF environmental variables in which the scheduled resources for the request expressed in the previous command line are contained and launch Matlab with the M-File “matMPIscript.m”. The latter passes the scheduled resources and the Matlab script to be executed in parallel as arguments to MatlabMPI functions. In batch mode the launch of the parallel Matlab jobs happens by means of “blaunch” command. MatlabMPI in batch mode on CRESCO cluster. Software interface between LSF and MatlabMPI environment.

SPI.4 Progettazione e sviluppo di librerie per l’implementazione efficiente e parallela di nuclei computazionali su dispositivi , per la sezione speciale di CRESCO Sono stati effettuati porting di codici su CELL ed è stata definita una procedura per usarli in modalità parallela fa macchine cell, è un corso di sviluppo l’integrazione con il resto dell’architettura CRSCO. In particolare è stato fatto il porting di una componente del codice di climatologia usato da ENEA. Sono state integrate le schede CELL con l’architettura GRID-ENEA in particolare per quanto riguarda la rete IB, GPFS, AFS, LSF. Sono stati implementati e resi operative librerie grafiche in grado di fare rendering parallelo sulle schede grafiche della sezione speciale di CRESCO.

SPI.5 Web archive Sono continuati i test di UbiCrawler sviluppato ed integrato in ENEA-GRID: è operativa un’ installazione definitiva integrata ed in grado di adoperare più sist ENEA

SP I.5 Web archives Ubi Crawler software architecture and its integration on ENEA Grid. UbiCrawler is a scalable, fault-tolerant and fully distributed web crawler. UbiCrawler architecture is complex and to set a crawler session, we use a launcher that accepts a hosts list. High Performance of large scale crawling on ENEA Grid network: Network bandwidth is the main limit to improve performance. We let vary the number of agents and a parameter, called “URL delay”, that set the rate which any thread send http requests to web hosts. While the number of agents is arranged at bootstrap, http rate request parameter can be changed at run time. We can take snapshots of sizeable portions of the web, in reasonable time, using about 20 agents with the above mentioned requisites. Others snapshots of the web were taken spanning the agents across different hosts on ENEA Grid. Web Archive in WARC format: web pages gathered during crawling are stored in WARC (Web ARChive) format. Each agent will write data in one store file. Large scale crawling, using 20-25 agents, generate few large file of 50-60 GigaB. We combine LSF framework utilities and LAW (Laboratory for Web Algorithmics) packages to manage and retrieve informations from WARC files.

Thanks for attention ITALIAN NATIONAL AGENCY FOR NEW TECNOLOGY, ENERGY AND THE ENVIRONMENT