Informatics Division INFO Coordinatore Calcolo Scientifico Ing. Silvio Migliori (12-2003) La grande ragnatela del GRID.

Presentazione sul tema: "Informatics Division INFO Coordinatore Calcolo Scientifico Ing. Silvio Migliori (12-2003) La grande ragnatela del GRID."— Transcript della presentazione:

1 Informatics Division INFO Coordinatore Calcolo Scientifico Ing. Silvio Migliori (migliori@enea.it)migliori@enea.it (12-2003) La grande ragnatela del GRID computing

2 The Grid: The Web on Steroids On-demand creation of powerful virtual computing systems http:// Web: Uniform access to HTML documents Grid: Flexible, high-perf access to all significant resources Sensor nets Data archives Computers Software catalogs Colleagues Ian Foster

3 Layered Grid Architecture (By Analogy to Internet Architecture) Application Fabric “Controlling things locally”: Access to, & control of, resources Connectivity “Talking to things”: communication (Internet protocols) & security Resource “Sharing single resources”: negotiating access, controlling use Collective “Managing multiple resources”: ubiquitous infrastructure services User “Specialized services”: user- or appln-specific distributed services Internet Transport Application Link Internet Protocol Architecture Ian Foster SC2000

4 Architettura --- > Funzioni Application Fabric Connectivity Resource Collective User Sen sor net s Data archives Computers Software catalogs Colleagues ?

5 Alcuni Criteri di scelta di una GRID F Funzioni da realizzare (calcolo, DB, dimostrativi..) F Utenza (ricercatori generici, ricercatori tematici, produzione,..) F Applicativi (disponibilità del sorgente, commerciali, paralleli, seriali, interattivi..) F Risorse economiche F Qualità di servizio F Interazione con altre GRID

6 Cosa definire Tecnologia ---- > Utente F I servizi dell’utente finale F Il patrimonio conoscitivo dell’utente F Le modalità di lavoro dell’utente F I Servizi del GRID F Protocollo di comunicazione su cui basare i servizi ( Globus, Condor, Legion…) F Risorse Software/Hardware

7 Alcune difficoltà nascoste (non tecniche) F Impatto psicologico –Utenti –Amministratori –Responsabili –……. (Sensazione della perdita del controllo/potere..) F Impatto culturale –Lavorare in termini funzionali e logici e non fisici (mi collego alla macchina pippo.enea.it --- > ho necessità di una macchina Linux ) Criteri di amministrazione Distribuiti, Coinvolgimento costante di tutti (U., A.,R, …) Formazione costante Tempo per la crescita culturale

8 Alcune difficoltà nascoste (tecniche) F Gestione delle licenze software F Gestione delle variabili di ambiente per software complessi F Gestione delle installazioni multipiattaforma F Proprietà concettuale dei dati e programmi F Gestione delle conoscenze dell’utente F Velocità di crescita e aggiornamento

9 GRID to GRID F Ogni organizzazione/Progetto, gruppo di utenza virtuale o reale tende ad avere una propria GRID F La comunicazione fra i servizi di GRID diverse è fondamentale per lo sviluppo in questo settore F Gli standard attuali sono una base ma non esauriscono le necessità

10 ENEA GRID Main Service CPUs : 500 GFlopsCPUs : 500 GFlops Main Computational Code :Main Computational Code : Nuclear, FEM, CFD, Electromagnetic, ……. Virtual reality environmentsVirtual reality environments Parallel environment for user codeParallel environment for user code Integration GRID to GRID: (DATAGRID, SPACI, EGEE)Integration GRID to GRID: (DATAGRID, SPACI, EGEE) Graphic Interface DataGrid at ESA\ESRIN ENEA GRID GigaBit-Link CNR Tor Vergata

11 Collegamenti Internazionali (linee viola sulla mappa) mappa MI-GEANT 2.5 Gbps MI-GX 2.5 Gbps RM-KQ 622 Mbps (in attivazione) Back bone (linee blu a 2.5 Gbps e rosse a 155 Mbps sulla mappa)mappa backbone a magliatura completa tra i nodi di trasporto MI, BO, RM, NA. Collegamenti tra Backbone e POP di accesso (linee arancione sulla mappa)mappa MI-MI 155 Mbps MI-TO 155 Mbps MI-TS 2 x 34 Mbps MI-GE 2 x 34 Mbps BO-BO 155 Mbps MI-PD 155 Mbps BO-PI 2 x 34 Mbps BO-FI 155 Mbps RM-RM 155 Mbps RM-Fra 155 Mbps RM-AQ 2 x 34 Mbps RM-CA 2 x 34 Mbps NA-NA 155 Mbps NA-BA 2 x 34 Mbps NA-PA 34 Mbps NA-CT 2 x 34 Mbps RM-PG 34 Mbps (in attivazione) NA-CS 34 Mbps (in attivazione) Peering Nazionali (linee azzurre sulla mappa)mappa MIX Milano 155 Mbps NAMEX Roma 100 Mbps 2.5 Gbps =>10 Gbits

12 Citrix Metafram e Citrix Nfuse ICA WEB(ICA) power3.frascati.enea.it boquad.bologna.enea.it dafne.casaccia.enea.it infocal.trisia.enea.it GEANT DataGrid at ESA\ESRIN grid0007 ENEA GRID GigaBit-Link CNR Tor Vergata

13 8 622 Mbps ENEA INFO 12 0 17 0 NEW Cray 39 Gflops 25 Gflops Cluster Linux 50 Gflops New IBM Power4 16 CPU 70 GFlops PORTICI

14 Software Conceptual Structure ITALIAN NATIONAL AGENCY FOR NEW TECHNOLOGY,ENERGY AND THE ENVIRONMENT Fig 6 AFS Geographical cross platform& File System Load LevelerLSF Graphic User Interface LSF multi-cluster as integrator Telnet User programs & commercial code ICA WEB Cluster 1° ( Bologna) AFS Geographical cross platform& File System Load LevelerLSF Graphic User Interface LSF multi-cluster as integrator Telnet User programs & commercial code ICA WEB Cluster 3° (Frascati) AFS Geographical cross platform& File System Load LevelerLSF Graphic User Interface LSF multi-cluster as integrator Telnet User programs & commercial code ICA WEB Cluster 2° (Nord Rome) AFS Geographical cross platform& File System Load LevelerLSF Graphic User Interface LSF multi-cluster as integrator Telnet User programs & commercial code ICA WEB Cluster 4° (Trisaia ) Load LevelerLSF Graphic User Interface LSF multi-cluster as integrator Telnet User programs & commercial code ICA WEB Cluster 5° ( Portici) & File System Load LevelerLSF Graphic User Interface Telnet ICA WEB Cluster 6° ( Brindisi) NEW

15 Software Conceptual Structure ITALIAN NATIONAL AGENCY FOR NEW TECHNOLOGY,ENERGY AND THE ENVIRONMENT AFS Geographical cross platform & File System AIX SGISUN Compa q NTLinux Quadric s … LSF Graphic User Interface LSF multi-cluster as integrator XTERM User programs & commercial code Application Portal (Metaframe/Nfuse) ICAWEB Qualità di servizio Monitoring di sistema e d’utilizzo, Recupero e Segnalazione Automatico anomalie, pianificazione sviluppo Load Leveler RMS

16 DB_2 DB_1 CPUS ENEA GRID WEB ICA SSH Sensors & Computational GRID DNA Sequence system ( ABI Prism 3700) “GOME” DB_3 DB_4 Electronic Microscope (Brindisi) 300 Kev

17

18 Lavorare in GRID F L’utilizzo efficace delle risorse in rete richiede una crescita nel modo di lavorare –Utente u Capire come funziona ‘’logicamente’’ la propria applicazione u Avere un’idea del flusso dei dati u Sapere se esistono versioni per più piattaforme u Provare nuovi modi di lavorare u ……... –Amministratore u Installare l’applicazione in modo efficiente sfruttando le informazioni fornite dall’utente e dai fornitori dei codici in relazione alla propria GRID u Ottimizzare le configurazioni del sistema ( Code, associazione codici- calcolatore,…..) u ……

19 Nuovi modi di lavorare Es. 1 (IGNITOR) ENEA GRID ANSALDO (GE) ENEA (ISPRA) ORNL (USA) CRIOTEC (TO) Funzioni : Condivisione Dati su area geografica Utilizzo software applicativo …..

20 Nuovi modi di lavorare Es. 2 (Yann Pouillon ) ( Louvain la Neuve )

21 Nuovi modi di lavorare Es. 2 (Yann Pouillon )

22 Es. 3 Test Program “GOME” ENEA- Geographic SUBMITION PROCEDURE Input Files LIV1 List of path Input File LIV1 IDL “GOME” Program Output File LIV2.jpg Image Input File LIV1 List of path Input File LIV1 IDL Program “GOME” Output File LIV2.jpg Image Input File LIV1 List of path Input File LIV1 Case-1 Case_2 Case n WEB User afs/home

23

24

25 Graphic environment under AFS ITALIAN NATIONAL AGENCY FOR NEW TECHNOLOGY,ENERGY AND THE ENVIRONMENT IBM SP CATIA User (AIX) FUS Project Users User Interferometri a Oligrafia Octane 2Proc Bologna Octane 2Proc Casaccia Onyx3 4Proc Frascati Cray INFO Graphic Developers Users Robotica Cluster Linux Alpha Onyx2 4Proc Casaccia new Simulazione Robotica Fig 2a

26 WEB access “ Direct to the applications ”

27 ACCESSO AI SERVIZI DELLA CELLA afs fusione.enea.it

28 Portici Brindisi Cluster Potenziamento New National and International GRIDs

29 ENEA Main activities & for EGEE Main activities & resources for EGEE Integration of EGEE-GRID to ENEA-GRID;Integration of EGEE-GRID to ENEA-GRID; 100 CPUs at 20% of time100 CPUs at 20% of time DataGrid at ESA\ESRIN Globus Based gateway GigaBit-Link EGEE GRID Globus Based gateway ENEA-GRID migliori@enea.it S-PACI GRID

30 8 622 Mbps ENEA INFO 12 0 17 0 NEW Cray 39 Gflops 25 Gflops Cluster Linux 50 Gflops HPCC Hpcc-w10 (Cosenza)

31 ITALIAN NATIONAL AGENCY FOR NEW TECNOLOGY, ENERGY AND THE ENVIRONMENT RESEARCH AND TECHNOLOGY AT THE NATION’S SERVICE

32