La presentazione è in caricamento. Aspetta per favore

La presentazione è in caricamento. Aspetta per favore

CRESCO ENEA Portici: MIUR 22 Aprile 2009 ITALIAN NATIONAL AGENCY FOR NEW TECNOLOGY, ENERGY AND THE ENVIRONMENT.

Presentazioni simili


Presentazione sul tema: "CRESCO ENEA Portici: MIUR 22 Aprile 2009 ITALIAN NATIONAL AGENCY FOR NEW TECNOLOGY, ENERGY AND THE ENVIRONMENT."— Transcript della presentazione:

1 CRESCO ENEA Portici: MIUR 22 Aprile 2009 ITALIAN NATIONAL AGENCY FOR NEW TECNOLOGY, ENERGY AND THE ENVIRONMENT

2 CRESCO ENEA Portici: MIUR 22 Aprile 2009 CRESCO – Centro Computazionale di RicErca sui Sistemi Complessi Programma Operativo Nazionale Ricerca Scientifica, Sviluppo Tecnologico, Alta Formazione Misura II.2 Società dellInformazione per il Sistema Scientifico Meridionale Azione a – Sistemi di calcolo e simulazione ad alte prestazioni

3 CRESCO ENEA Portici: MIUR 22 Aprile 2009 Il Progetto CRESCO Centro computazionale di RicErca sui Sistemi COmplessi Obiettivi infrastrutturali Realizzazione di un Polo di calcolo di eccellenza presso il Centro ENEA di Portici Sviluppo di una nuova classe di funzionalità innovative di GRID Computing Obiettivi applicativi Implementazione di soluzioni innovative di GRID computing per le attivit à di R&S di punta dell ENEA che richiedano l utilizzo di risorse computazionali estremamente importanti. Studio di oggetti biologici dal punto di vista sistemico e di sistemi naturali secondo il paradigma dei sistemi complessi Studio di sistemi tecnologici e sociali complessi e delle loro mutue interazioni, realizzazione di strumenti per il modelling, la simulazione e il controllo

4 CRESCO ENEA Portici: MIUR 22 Aprile 2009 Macrostruttura del progetto Prof. Jack Dongarra Prof. Umberto Ferrari Prof. Agostino Mathis Prof. Salvatore Tucci Prof. Samuel Varnado Direttore CAMO

5 CRESCO ENEA Portici: MIUR 22 Aprile 2009 Cronogramma 1 aprile 2006 – 31 marzo 2009 Mesi SP I.1 Realizzazione del Polo di calcolo Progettazione degli interventi e definizione delle specifiche Acquisizione ed installazione di sistemi HW/SW Implementazione dei sistemi HW/SW, avvio sperimentazione Collaudo finale dellintera infrastruttura Tutti gli altri Sottoprogetti Progettazione delle attività di R&S nella tematica applicativa Sviluppo di modelli e codici, realizzazione di Software applicativi Implementazione di modelli, codici, ecc. per lutilizzo sulla piattaforma Produzione, elaborazione e pubblicazione dei risultati di R&S

6 CRESCO ENEA Portici: MIUR 22 Aprile 2009 Le tre linee di attività di CRESCO LA I LA I Realizzazione del Polo di calcolo e sviluppo di nuove funzionalità di GRID Computing LA II LA II Sviluppo di tecnologie e modelli computazionali per la descrizione di sistemi complessi di origine biologica e di materiali innovativi LA III LA III Sviluppo di modelli di simulazione ed analisi delle reti tecnologiche complesse e delle loro interdipendenze

7 CRESCO ENEA Portici: MIUR 22 Aprile 2009 ENEA-GRID Sensor nets ENEA-GRID Born in 1998 with 6 Italian geographic clusters Main aim –Give to ENEA researchers a unified environment to use in an easy way heterogeneous computers and applications software –Build an homogeneous ICT infrastructure but with a distributed and delegated control –Integrate the ENEA-GRID with National and International GRIDS grid Data archives Colleagues & 3D Software catalogs Computers Application Fabric Connectivity Resource Collective User

8 CRESCO ENEA Portici: MIUR 22 Aprile 2009 ENEA-GRID from the user point of view Main feature: –Access from any kind of connection –Sharing data in world wide areas (geographical file system AFS) –Access to the data from any kind of digital device client –Running any kind of programs –Access to National and International GRIDS Sensor nets Data archives Computers Portic i Roma-1 Bologna EU… Brindisi Roma-2 Trisaia Software catalogs Computers Sensor nets ENEA-GRID

9 CRESCO ENEA Portici: MIUR 22 Aprile 2009 ENEA-GRID from application point of view Potentiality: –Running all Software Model for any kind of computer architecture –Only one installation for each software for all geographical computers –All authorized users can have access the software from local site –Any application can share the data in the common geographical file system –All sensors can share the data easily using the geographical file systems Sensor nets Computers Portic i Roma-1 Bologna EU… Brindisi Roma-2 Trisaia Software catalogs Computers Sensor nets ENEA-GRID Software Model 1 Software Model 2 Software Model 3 Software Model.. Rules Computers

10 CRESCO ENEA Portici: MIUR 22 Aprile 2009 AFS Geographical cross platform & File System AIX SGI SUN HP WinLinux Linux Alpha … LSF User programs and commercial codes LSF multi-cluster as integrator XTERM Graphical User Interface Application Portal (ICA-Protocol) ICAWEB Quality of service Monitoring, Automatic recovery Accaunting ENEA GRID

11 CRESCO ENEA Portici: MIUR 22 Aprile 2009 Load LevelerLSF Graphic User Interface LSF multi-cluster as integrator Telnet User programs & commercial code ICA WEB Cluster 5° ( Portici) & File System Load LevelerLSF Graphic User Interface Telnet ICA WEB Cluster 6° ( Brindisi) AFS Geographical cross platform& File System Load LevelerLSF Graphic User Interface LSF multi-cluster as integrator Telnet User programs & commercial code ICA WEB Cluster 2° (Casaccia) AFS Geographical cross platform& File System Load LevelerLSF Graphic User Interface LSF multi-cluster as integrator Telnet User programs & commercial code ICA WEB Cluster 4° (Trisaia ) AFS Geographical cross platform& File System Load LevelerLSF Graphic User Interface LSF multi-cluster as integrator Telnet User programs & commercial code ICA WEB Cluster 3° (Frascati) AFS Geographical cross platform& File System Load LevelerLSF Graphic User Interface LSF multi-cluster as integrator Telnet User programs & commercial code ICA WEB Cluster 1° ( Bologna) A Simple view of ENEA GRID 11

12 CRESCO ENEA Portici: MIUR 22 Aprile 2009 LA I Realizzazione del Polo di calcolo e sviluppo di nuove funzionalità di GRID Computing Sottoprogetti Sottoprogetti SP I.1 SP I.1 Realizzazione dellinfrastruttura HPCN SP I.2 SP I.2 Sviluppo ed integrazione dellarchitettura GRID e di grafica 3D SP I.3 SP I.3 Sviluppo ed ottimizzazione di codici applicativi in settori di R&S di punta SP I.4 SP I.4 Progettazione e sviluppo di librerie per limplementazione efficiente e parallela di nuclei computazionali su dispositivi FPGA integrati in un ambiente GRID SP I.5 SP I.5 Web archives

13 CRESCO ENEA Portici: MIUR 22 Aprile 2009 HPC CRESCO INFRASTRUCTURE Portici LAN Interconnections InfiniBand 4XDDR SERVERS GPFS 4 Nodi IBM 3650 IBFC High speed disc 2 GByte/s 160 TByte IBM/DDN 9550 Backup system 300 TByte IBM Tape Library TS3500 with 4 drives SERVERS BACKUP 3 Nodi IBM 3650 FCIB GARR (WAN) Section 1 (Large memory) 42 Nodi SMP IBM x3850-M2 with 4 Xeon Quad-Core Tigerton E7330 (32/64 GByte RAM 2.4GHz/ 1066MHz/6MB L2) total 672 cores Intel Tigerton Section 3 (Special) 4 Nodi blades IBM QS21 con 2 Cell BE Processors 3.2 Ghz each. 6 Nodi IBM x3755, 8 Core AMD 8222 FPGA VIRTEX5 4 Nodi IBM x 3755, 8 core AMD 8222 with NVIDIA Quadro FX 4500 X2 4 Nodi windows 8 core 16 Byte RAM Double interconnection at 1 Gbit & 1 network at 1 Gbit for management Section 2 (MPP) 256 Nodi blades IBM HS21 with 2 Xeon Quad-Core Clovertown E5345 (2.33GHz/1333M Hz/8MB L2), 16 GB RAM total 2048 cores Intel Clovertown 4x10 Gbits 1000 Mbits 35 Node for services Servers for : Front-end installations AFS … CRESCO 17 TFlops 1000 Mbits

14 CRESCO ENEA Portici: MIUR 22 Aprile 2009 CRESCO HPC hall

15 CRESCO ENEA Portici: MIUR 22 Aprile 2009 CRESCO HPC details Sections 1 & 3 Section 2 & DDN Control room backup system network: IB/GB Corridor hot Sections 1 &2

16 CRESCO ENEA Portici: MIUR 22 Aprile 2009 CASACCIA FRASCATI S.Teresa Saluggia Ispra BOLOGNA PORTICI TRISAIA BRINDISI Manfredonia ENEA-GRID Computational & 3D Centers #CPU/Core 45

17 CRESCO ENEA Portici: MIUR 22 Aprile 2009 ENEA-GRID Computational Resources Computational resources of Portici (NA), Brindisi e Trisaia (MT) have been financed by Ministry of Research PON TELEGRID (Avv. MIUR 68) CRESCO (Avv. MUR 1575) Frascati(4), Portici(34),Trisaia(4), Brindisi(4) 10046Windows 32/64 Frascati(1), Trisaia(13) 6014Mac OS X Trisaia(4), Casaccia(2), Bologna(2) 108Solaris Frascati(8), Casaccia(4), Portici(1),Trisaia(8), Brindisi(1), Bologna(5) 4026IRIX Casaccia 30064Linux IA64 (Altix) Frascati(140), Casaccia(54), Portici(2700), Trisaia(20), Brindisi(84) 25000>3000 Linux x86 32/64 Frascati(258), Bologna(24), Portici(18),Brindisi(2) 3000>300AIX Gflops # CPU/Core OS

18 CRESCO ENEA Portici: MIUR 22 Aprile 2009 Computational ability ENEA-GRID & CRESCO An heterogeneous system with more than 3000 CPU/cores CodeRisorsa SerialSection 1 & ENEA-GRID Parallel hardly coupledSection 2 Embarrassing parallelSection 1, 2, ENEA-GRID System with several parallel codes Section 1, 2, Section 1+2 Special ( FPGA, GB, CELL)Section 3 windows (serial and parallel)Section 3 Not LINUXENEA-GRID Large date Data BaseSection 1,2,3 e GPFS

19 CRESCO ENEA Portici: MIUR 22 Aprile 2009 Evoluzione nel tempo dei computer ad alte prestazioni ENEA ENEA (CRESCO 125°) ICT – SCENARIO EVOLUTIVO Previsione 500°

20 CRESCO ENEA Portici: MIUR 22 Aprile 2009 Jack Dongarra 2002 CRESCO in the Top500 List June 2008 Italy (06/2008) 90CINECA 125ENEA 131ENI 135CILEA 156CINECA 226Telecom

21 CRESCO ENEA Portici: MIUR 22 Aprile 2009 ENEA CRESCO Supercomputer N° 125 Top500 June 2008

22 CRESCO ENEA Portici: MIUR 22 Aprile 2009 DB_1 CPUS ENEA GRID WEB ICA SSH DNA Sequence system ( ABI Prism 3700) Trisaia DB_3 DB_2 Electron Microscope (Brindisi) 300 KeV (sept. 2004) ENEA GRID and experimental facilities Controlled Nuclear Fusion: FTU Frascati Tokamak Upgrade Video Acquisition

23 CRESCO ENEA Portici: MIUR 22 Aprile 2009 Stato reale di utilizzo

24 CRESCO ENEA Portici: MIUR 22 Aprile 2009 CRESCO for EUROPEAN FUSION Cresco 25 Tflops peak System for development and test of computational codes for ITER (EFDA contract) 1 Tflops peak IB

25 CRESCO ENEA Portici: MIUR 22 Aprile 2009 Accesso Client Accesso WEB sp5-1.frascati.enea.it boquad.bologna.enea.it dafne.casaccia.enea.it GEANT infocal.trisia.enea.it Gateway to EGEE & GRISU Portici Brindisi Kleos.portici.enea.it ercules.brindisi.enea.it Accesso Diretto grid

26 CRESCO ENEA Portici: MIUR 22 Aprile 2009 ENEA-GRID & CRESCO CRESCO is totally integrate in ENEA-GRID

27 CRESCO ENEA Portici: MIUR 22 Aprile 2009 Submissions options Fluent options Example of use of FLUENT on ENEA-GRID External Users Sicurezza industriale Sicurezza ENEA

28 CRESCO ENEA Portici: MIUR 22 Aprile 2009 ENEA-GRID & Virtual Lab architecture Li ENEA University and research institute Enterprise New collaborations

29 CRESCO ENEA Portici: MIUR 22 Aprile 2009 Per lavorare con CRESCO

30 CRESCO ENEA Portici: MIUR 22 Aprile 2009 SPI.2 Sviluppo ed integrazione dellarchitettura GRID e di grafica 3D Compilazione multi-piattaformaCompilazione multi-piattaforma di programmi seriali e paralleli (MPI). LanciatoriLanciatori su GRID di programmi seriali e paralleli. Interfaccia Java alla GRIDInterfaccia Java alla GRID per la personalizzazione dell'ambiente di lavoro. Test RSH:Test RSH: E' stato realizzato un programma che permette di testare, sullENEA-GRID, il funzionamento del comando rsh. Network Monitoring:Network Monitoring: E' stato sviluppato un software (NeTWork RESPONSE TIME TEST) di supporto alle funzionalità di network dell'ENEA-GRID. Test HPLTest HPL per misurare la potenza di calcolo di una macchina in termini di numero di operazioni floating point che si possono fare in un secondo.

31 CRESCO ENEA Portici: MIUR 22 Aprile 2009 SPI.2 SPI.2 Struttura generale dati CRESCO (operativa)

32 CRESCO ENEA Portici: MIUR 22 Aprile 2009 WARC: amministratori super e di Sito SPI.2

33 CRESCO ENEA Portici: MIUR 22 Aprile 2009 AMACA (AFS Memorize And Check Application) Strumento integrato di monitoraggio, controllo e storicizzazione di componenti ed eventi di Andrew File System (cardine dellinfrastruttura ENEA-Grid) Realizzato nellambito del contratto CRESCO di ricerca tra ENEA e CASPUR per analisi e realizzazione di tool innovativi a supporto delle funzionalità GRID (SPI.2) Alessio Rocchi (CASPUR) Ludovico Giammarino (CASPUR) Sicuro: protezione delle informazioni tramite due layer dedicati in cascata (openSSL e libreria crittografica mcrypt) Esecuzione di operazioni critiche concessa solo agli appartenenti a gruppi prestabiliti Integrato: accesso garantito tramite credenziali AFS. Accessibile: fornisce numerosi strumenti user-friendly di supporto ai task di amministrazione Adattativo: consente di concentrare la visualizzazione dello stato sul solo dominio di appartenenza dellamministratore SPI.2

34 CRESCO ENEA Portici: MIUR 22 Aprile 2009 Software Tools for Monitoring ENEA GRID with CRESCO Cluster Integration Agostino Funel, Guido Guarnieri, Salvatore Raia, Silvio Migliori ENEA - FIM Department The purpose of a GRID network is to collect a large variety of computational resources to achieve high power computing. ENEA GRID is a heterogeneous environment with many architectures and operative systems. As the CRESCO supercomputer has been fully integrated in ENEA GRID it is essential to have tools for monitorning the status of the main functionalities. From each host is possible to test the status of ENEA GRID. CRESCO - SP I.2 NETWORKING Tools for testing TCP/IP and UDP protocols. JOB LAUNCHERS Parallel and serial job launchers make the user comfortable with the many architecture present in ENEA GRID. CRESCO MONITORING Tool designed for a fast and efficient diagnostic of the main funcionalities of the CRESCO HPC system: high speed interconnection, authentication protocols, memory, scheduler. Web archive for easy consulting.

35 CRESCO ENEA Portici: MIUR 22 Aprile 2009 Integrazione nella GRID ENEA di sistemi Windows SPI.2 LSF NON offre supporto per AFS in ambiente Windows Per integrare sono state sviluppate gettok_win (visualizza sullo standard output il token AFS) puttok_win (scrive nel kernel il token prelevato dalla standard input) E in corso di installazione litegrazione completa con ENEA GRID Principali risultati: Interoperabilità delle routine prototipali con quelle fornite dal kit LSF per AFS Accesso al volume AFS su sistema operativo Windows con token originato da sistema UNIX Accesso al volume AFS su sistema operativo UNIX con token originato da sistema Windows

36 CRESCO ENEA Portici: MIUR 22 Aprile 2009 SPI.2.1 Integrazione ENEA-GRID con altre GRID Integrazione con EGEE GRID.IT Middleware LCG Integrazione con BEinGRID Middleware UNICORE Interoperabilità 4 PON 1575 attività in corso

37 CRESCO ENEA Portici: MIUR 22 Aprile 2009 GARR PI2S2 GARR Others Entity La ENEA-GRID interoperability with others GRID ENEA has been developing the shared proxy solution Maintain the GRID internal architecture and autonomy Allow multiplatform impementations Under production on EGEE Under production on GRISU Required by EFDA for EGEE EFDA EGEE ?

38 CRESCO ENEA Portici: MIUR 22 Aprile 2009 CASACCIA FRASCATI S.Teresa Saluggia Ispra BOLOGNA PORTICI BRINDISI Manfredonia ENEA-GRID & GRISU & IGI ENEA-GRID SPACI TRISAIA GRISU INFN-GRID IGI Italian GRID Infrastructure

39 CRESCO ENEA Portici: MIUR 22 Aprile 2009 SPI.2 Sviluppo ed integrazione dellarchitettura GRID e di grafica 3D Tools per analisi immagineTools per analisi immagine Sono stati sviluppati e sono in corso di sviluppo tools per lanalisi delle immagini dei plasmi termonucleari provenienti dalle telecamere FTU ( Frascati Tokamack Upgrade). Linsieme dei tools e la relativa documentazione è stata inserita nelle pagine web specifiche del sottoproggetto. Tutti gli applicativi sono stati sviluppati utilizzando il linguaggio ad alto livello IDL. Questi applicativi sono stati inseriti nella GRID ENEA e sono state sviluppate le procedure per sottometterli in modalità GRID ENEA. Integrazione librerie grafiche open-sourceIntegrazione librerie grafiche open-source Integrazione di un modulo per il Distributed RenderingIntegrazione di un modulo per il Distributed Rendering Il modulo di Distributed Rendering consente di sviluppare ed eseguire applicazioni multiple channel sincronizzate che utilizzino più piattaforme di calcolo connesse in rete per il rendering e display multipli contigui o non contigui per la restituzione di una scena virtuale. Allo stato attuale è in fase di test un applicativo della Multigen-Paradigm, integrato nellambiente di visualizzazione VegaPrime, in rete sia locale che geografica. RV Customizing toolsRV Customizing tools E in corso lintegrazione in AFS dellapplicativo sviluppato, nellambito dellattività di progettazione e sviluppo di Customizing tools per applicazioni di Realta Virtuale che basandosi su d una architettura Client-Server, è in grado di comunicare con una scena grafica a run-time e modificarne i parametri di navigazione (path e sincronismo con file audio), senza interrompere lesecuzione della scena virtuale. Si dovrà procedere alla sua installazione nella GRID-ENEA, nellarea del progetto CRESCO, e quindi configurare e testare lapplicativo per la distribuzione agli utenti. Applicazioni per visualizzazione scientifica 3DApplicazioni per visualizzazione scientifica 3D Film datiFilm dati Le immagini e i filmati prodotti mediante applicazioni di visualizzazione scientifica saranno raccolti in un archivio visivo delle attivita svolte e saranno diffusi tramite pagine Web. Lobiettivo è quello di creare contenuti dimostrativi, delle applicazione e dei dati sviluppati, tramite filmati, anche in modalità stereoscopica, in modo da non utilizzare direttamente lapplicativo.

40 CRESCO ENEA Portici: MIUR 22 Aprile 2009 Conversion to OpenFlightFormat The Open Flight format (.flt) is supported by both VegaPrime and OpenSceneGraph; from the analysis of the 3D models proprietary file formats and the format conversion tools, it was possibile to define the following conversion methods: Laser scanner technologies and 3D models integration: analysis and methodological approach Dante Abate, M.Cristina Baracca, Roberto Ciavarella, Graziano Furini, Silvio Migliori, Samuele Pierattini ENEA - FIM Department 3D models The objective: the Virtual Museum The scanning laser systems available at ENEA allow to fullfil a wide range of diagnostic and monitoring requirements in the artistic and cultural heritage field and to produce 3D models. A test case was adopted, in order to define a methodology allowing to include 3D models in a Virtual Reality application.The objective was to develop a Virtual Museum in which to inser/remove 3D models produced by different laser scanner system and to navigate the 3D graphical scene by means of the VegaPrime environment orthe OpenSceneGraph toolkit available by means of the ENEA-Grid. Laser Scanner Systems in ENEA ITR (Imaging Topological Radar) developed by ArtVisLab-ENEA HDS3000 by Leica-Geosystem VIVID 900 by MINOLTA Desktop 3D Scanner by NextEngine Since each scanning device is provided with proper output file formats and software packages to integrate in a VR application, through format conversion, the 3D modelspreserving all the detected information.

41 CRESCO ENEA Portici: MIUR 22 Aprile 2009 Visualization of 3D laser scanner data from an archaeological site using OpenSceneGraph in ENEA Grid environment Dante Abate, M.Cristina Baracca, Roberto Ciavarella, Graziano Furini, Silvio Migliori, Samuele Pierattini ENEA - FIM Department Laser scanning Juvanum by HDS Scansioni punti Valori di XYZ riflettenza e colore Acquisizione di coord.GPS Point cloud elaboration After the post processing phase (manual elimination and filtering algorithms application), results a data set of points VISUALIZATION OF A SET OF MILLIONS OF POINTS Accordingly with the archaeologists needs, the final database requires a processing application capable to: display a large amount of data in a relatively short time; performe mathematical operations on the points coordinates (distances between points, plant views, sections, etc.) OSG viewer: Currently there are commercial software capable to display a large amount of data in near realtime, but we were oriented to an open source solution using our ENEA-GRID, the OpenSceneGraph libraries and the powerful viewer. Distances evaluation: Integrating the ANN library in the OSG viewer code, it was possible to impolement a tool for evaluating distances between points in the 3D scene.

42 CRESCO ENEA Portici: MIUR 22 Aprile 2009 SPI.2 Analisi ed ottimizzazione di strumenti Software per l'utilizzo di IDL sulla GRID ENEA Sono stati sviluppati tools per lanalisi delle immagini dei plasmi termo- nucleari provenienti dalle telecamere FTU (Frascati Tokamack Upgrade). Tools Applicazioni IDL realizzate in ENEA (Falsecolor, Brightzone, Volume rendering, Database). Tutorial IDL: gestione di batch files e esecuzione di programmi in modalità non interattiva IDL: gestione di programmi in broadcasting attraverso

43 CRESCO ENEA Portici: MIUR 22 Aprile 2009 SPI.2 Analisi ed ottimizzazione di strumenti Software per l'utilizzo di IDL sulla GRID ENEA

44 CRESCO ENEA Portici: MIUR 22 Aprile 2009 LA 1 - SP I.2.2: Tools per lutilizzo di sistemi di Grafica Virtuale ed immersiva con sistemi di supercalcolo remoto e per il lavoro cooperativo a livello geografico. Oggetto Studio e sviluppo di tools e tutorial per lanalisi delle immagini dei plasmi termonucleari provenienti dalle telecamere FTU (Frascati Tokamack Upgrade) – sviluppo del SOFTWARE TOKAMAK Obiettivo Lobiettivo del lavoro è quello di realizzare un tool installabile che crea un database per la gestione e lelaborazione delle immagini presenti su ENEA-GRID. L'elaborazione prevede in dettaglio: riduzione del rumore, bilanciamento dellistogramma, identificazione dei contorni. La necessità di creare un database delle immagini di FTU nasce dallesigenza di avere a disposizione tutte le immagini, nonché le informazioni ad esse relative, in modo da poter classificare gli scatti in base a specifici criteri. La classificazione è utile per eliminare classi di immagini che, nonostante operazioni di miglioramento (equalizzazione, restaurazione, segmentazione), non possono contribuire a ricostruire alcuni fenomeni del plasma.

45 CRESCO ENEA Portici: MIUR 22 Aprile 2009 Sopra viene riportata la struttura del data base utilizzando il DBMS MySQL. Le tabelle che rappresentano la struttura sono: Tabelle relative alle immagini Gli oggetti che sono compresi in cams sono i Port. Ogni Port è identificato univocamente dal nome della camera; Gli oggetti che sono compresi in folders sono le cartelle distribuite allinterno dei diversi Port; Gli oggetti che sono compresi in images sono le immagini su cui effettivamente vengono fatte le operazioni; Tabelle relative alle operazioni effettuate sulle immagini Gli oggetti compresi in tab_res sono le immagini restaurate; Gli oggetti compresi in tab_gray sono le immagini in scala di grigi e le immagini equalizzate; Gli oggetti compresi in tab_seg sono le immagini segmentate. Struttura Data Base

46 CRESCO ENEA Portici: MIUR 22 Aprile 2009 Interfaccia utente (GUI) ed elaborazione delle immagini Software tokamak in esecuzione: Il software è stato sviluppato attraverso il linguaggio C++ integrando il codice con le librerie open source di Qt, noto tool per la realizzazione di interfacce utente (GUI). Lelaborazione delle immagini è stata gestita con MATLAB attraverso lesecuzione di M- file creati appositamente per le operazioni richieste.

47 CRESCO ENEA Portici: MIUR 22 Aprile 2009 SPI.2.3 Integrazione del controllo remoto di un microscopioTEM SPI.2.3 Integrazione del controllo remoto di un microscopio TEM Realizzata lintegrazione di base, è in corso unattività di ricerca e sviluppo per realizzare un laboratorio virtuale per la microscopia TEM Visualizzazione delle Immagini TEM Tool di allineamento dati locali/dati AFS Accesso remoto per il controllo Visualizzazione Ambientale Videocomunicazione

48 CRESCO ENEA Portici: MIUR 22 Aprile 2009 SPI.3 Sviluppo ed ottimizzazione di codici applicativi in settori di R&S di punta Realizzata unanalisi dei codici di massimo interesse di tipo commerciale Individuato come prioritari: –FLUENT** Fluidodinamica –ANSYS,ABACUS ** Strutturale –MpCCI ** Interazione fluido struttura –NASTRAN Strutturale –OpenFOAM Fluidodinamica Codici tutti in Produzione

49 CRESCO ENEA Portici: MIUR 22 Aprile 2009 MpCCI (Mesh-based parallel Code Coupling Interface): Viene utilizzato per affrontare problemi di interazione fluido-struttura accoppiando diversi tipi di codici presenti in ENEA-GRID; I codici da accoppiare sono attualmente Fluent per l'analisi fluidodinamica e Ansys per l'analisi strutturale. OpenFOAM: software opensource di analisi fluidodinamica. E' in corso uno studio di OpenFOAM ed in particolare: compatibilità di installazione sulle diverse macchine della GRID confronto con Fluent (software commerciale generalmente impiegato sia nel settore industriale che di ricerca) in termini di accuratezza dei risultati. SPI.3 Sviluppo ed ottimizzazione di codici applicativi in settori di R&S di punta

50 CRESCO ENEA Portici: MIUR 22 Aprile 2009 SPI.3: Sviluppo ed ottimizzazione di codici applicativi in settori di R&S di punta Simulazioni Fluidodinamiche: –l'uso di Fluent è stato necessario per studiare l'evoluzione dei fenomeni di combustione di diversi combustibili. Viene portato avanti uno studio di ottimizzazione delle prestazioni dellENEA-GRID per condurre questo tipo di analisi –E' in corso uno studio di condizionamento termico della configurazione finale della sala di calcolo CRESCO in Portici. Tale studio riguarda sia la modellistica geometrica della sala calcolo sia la fenomenologia di scambio termico nella stessa attraverso i sistemi di refrigerazione presenti

51 CRESCO ENEA Portici: MIUR 22 Aprile 2009 SP I.3Sviluppo ed ottimizzazione di codici applicativi in settori di R&S di punta SP I.3 Sviluppo ed ottimizzazione di codici applicativi in settori di R&S di punta Supercomputing makes feasible using powerful CFD approaches like LES (Large Eddy Simulations), which is able to meet demands for accurate models and advanced numerical methods Turbulent combustion results obtained by means of the ENEA HeaRT code run on CRESCO. HeaRT (Heat Release and Turbulence) is a fully compressible, reactive, unsteady flow solver that implements an original LES subgrid scale model, named Fractal Model. Numerical Simulation of Turbulent Combustion on CRESCO Platform 3D istantaneous field showing some isosurfaces of temperature Speed-up (right triangle) and efficency of the HeaRT code on CRESCO platform Simulation details on different platforms

52 CRESCO ENEA Portici: MIUR 22 Aprile 2009 OpenFOAM and Fluent Features in CFD Simulations on CRESCO High Power Computing System Fiorenzo Ambrosino, Agostino Funel, Silvio Migliori ENEA - FIM Department Fluent (top) and OpenFOAM (bottom) contour map of the static pressure field on a simple passenger sedan (Fluent Benchmark). OpenFOAM Parallel and scalable CFD Solver It is available on CRESCO cluster with Infiniband interconnection. It solves CFD complex simulations using even more 1000 cores giving good scalability and efficiency performances. Open source It can simulate a lot of CFD problems and its implementation is growning. It hasnt any license cost. It has a great support network composed of developers and users around the world. OpenFOAM- Fluent speed- up comparison for the passenger sedan benchmark. Elasis in automotive research and development. Industrial collaborations: Avio Group: OpenFOAM applications in supersonic CFD simulations. CRESCO - SP I.3

53 CRESCO ENEA Portici: MIUR 22 Aprile 2009 SP I.3Sviluppo ed ottimizzazione di codici applicativi in settori di R&S di punta SP I.3 Sviluppo ed ottimizzazione di codici applicativi in settori di R&S di punta

54 CRESCO ENEA Portici: MIUR 22 Aprile 2009 Programmazione parallela in ambiente Matlab ( Programmazione parallela in ambiente Matlab ( Libreria MatlabMPI del M.I.T ) E stata installata su AFS per la versione (R14) di Matlab. Permette lattivazione parallella di diverse sessioni Matlab su più processori. I nodi coinvolti eseguono parallelamente lo stesso programma (SPMD). Lo scambio dei dati viene fatto tramite operazioni di lettura e scrittura da/su file. Per il funzionamento sulle macchine linux della griglia la modalità di lancio remoto (rsh/ssh) è stata sostituita con lsrun. Di seguito sono riportati i risultati di un test effettuato con le funzioni della libreria MatlabMPI che misura la velocità di comunicazione, al variare delle dimensioni dei pacchetti inviati, tra le macchine Bw305-2 e Lin4p. SPI.3 Sviluppo ed ottimizzazione di codici applicativi in settori di R&S di punta

55 CRESCO ENEA Portici: MIUR 22 Aprile 2009 Parallel programming in Matlab environment on CRESCO cluster,interactive and batch mode Authors: G. Guarnieri, S. Migliori, S. Podda ENEA - FIM Department Matlab (MATrix LABoratory) provides an environment for numeric elaboration and an interpreted programming language widely used in science and technology. The package is equipped with specialized libraries (toolboxes) which can solve problems in several fields. For some years the implementation of parallel programming in Matlab environment has been under study. Mathworks, the producer of Matlab, distributes toolboxes with this target, but there are also third party projects with the same aim. Among them is the MatlabMPI library developed by Lincoln Laboratories of the Massachusetts Institute of Technology. ENEA GRID, by the introduction of CRESCO machines, has achieved a very high computational power. So, the possibility of parallel programming in Matlab on this structure becomes a meaningful aim. We have chosen to modify and install the MatlabMPI library for Linux machines of ENEA GRID and particularly for CRESCO cluster. The MatlabMPI functions library, written in pure Matlab language, implements a subset of the functions defined in the MPI standard and allows to run, at the same time, several Matlab processes both on multicore machines and computer clusters. Data exchange among the processes does not happen by real message sending and receiving, but via file system access operations. Some code changes were required to install MatlabMPI on ENEA GRID and to adapt the use of the library to CRESCO submission mode. To enable the launching of Matlab jobs on remote machines in interactive such as in batch mode we have resorted to the ENEA GRID submission tool. Graphic description of a message exchange between two parallel Matlab processes using MatlabMPI functions MPI_Send and MPI_Recv. The use of OpenAFS distributed file system, which allows users to access their home directory from every point of the grid, well supports the use of MatlabMPI because the parallel Matlab processes can simply share a common working directory. In order to adapt MatlabMPI library to submit jobs on CRESCO cluster in batch mode it was necessary to further modify the code. We have created some scripts to interface the library with the scheduler environment. Users can perform parallel Matlab jobs in batch using MatlabMPI submitting the script matMPIlauncher.sh by the LFS command bsub which also allows full expression of the resource request. An example of batch submission on CRESCO cluster is the following: bsub –q small_10m -o %J.out –e %J.err –R cresco1 –n 32 matMPIlauncher.sh bsub –q small_10m -o %J.out –e %J.err –R cresco1 –n 32 matMPIlauncher.sh The script matMPIlauncher.sh reads some LSF environmental variables in which the scheduled resources for the request expressed in the previous command line are contained and launch Matlab with the M-File matMPIscript.m. The latter passes the scheduled resources and the Matlab script to be executed in parallel as arguments to MatlabMPI functions. In batch mode the launch of the parallel Matlab jobs happens by means of blaunch command. MatlabMPI in batch mode on CRESCO cluster. Software interface between LSF and MatlabMPI environment.

56 CRESCO ENEA Portici: MIUR 22 Aprile 2009 SPI.4 SPI.4 Progettazione e sviluppo di librerie per limplementazione efficiente e parallela di nuclei computazionali su dispositivi, per la sezione speciale di CRESCO Sono stati effettuati porting di codici su CELL ed è stata definita una procedura per usarli in modalità parallela fa macchine cell, è un corso di sviluppo lintegrazione con il resto dellarchitettura CRSCO. In particolare è stato fatto il porting di una componente del codice di climatologia usato da ENEA. Sono state integrate le schede CELL con larchitettura GRID-ENEA in particolare per quanto riguarda la rete IB, GPFS, AFS, LSF. Sono stati implementati e resi operative librerie grafiche in grado di fare rendering parallelo sulle schede grafiche della sezione speciale di CRESCO.

57 CRESCO ENEA Portici: MIUR 22 Aprile 2009 SPI.5 Web archive Sono continuati i test di UbiCrawler sviluppato ed integrato in ENEA-GRID: è operativa un installazione definitiva integrata ed in grado di adoperare più sist ENEA

58 CRESCO ENEA Portici: MIUR 22 Aprile 2009 Ubi Crawler software architecture and its integration on ENEA Grid. UbiCrawler is a scalable, fault-tolerant and fully distributed web crawler. UbiCrawler architecture is complex and to set a crawler session, we use a launcher that accepts a hosts list. Web Archive in WARC format: web pages gathered during crawling are stored in WARC (Web ARChive) format. Each agent will write data in one store file. Large scale crawling, using agents, generate few large file of GigaB. We combine LSF framework utilities and LAW (Laboratory for Web Algorithmics) packages to manage and retrieve informations from WARC files. High Performance of large scale crawling on ENEA Grid network: Network bandwidth is the main limit to improve performance. We let vary the number of agents and a parameter, called URL delay, that set the rate which any thread send http requests to web hosts. While the number of agents is arranged at bootstrap, http rate request parameter can be changed at run time. We can take snapshots of sizeable portions of the web, in reasonable time, using about 20 agents with the above mentioned requisites. Others snapshots of the web were taken spanning the agents across different hosts on ENEA Grid. SP I.5 Web archives

59 CRESCO ENEA Portici: MIUR 22 Aprile 2009 ITALIAN NATIONAL AGENCY FOR NEW TECNOLOGY, ENERGY AND THE ENVIRONMENT


Scaricare ppt "CRESCO ENEA Portici: MIUR 22 Aprile 2009 ITALIAN NATIONAL AGENCY FOR NEW TECNOLOGY, ENERGY AND THE ENVIRONMENT."

Presentazioni simili


Annunci Google