Workshop tematico: “Il calcolo scientifico a Padova e nel Veneto: verso la costituzione di una struttura integrata”

Presentazione sul tema: "Workshop tematico: “Il calcolo scientifico a Padova e nel Veneto: verso la costituzione di una struttura integrata”"— Transcript della presentazione:

1 migliori@enea.it www.cresco.enea.it Workshop tematico: “Il calcolo scientifico a Padova e nel Veneto: verso la costituzione di una struttura integrata” 24 giugno 2008 - Padova, Archivio Antico del Bo Contenuto  Perché una infrastruttura integrata ‘’GRID’’  IGI Una infrastruttura Nazionale ICT a supporto dello sviluppo del sistema “Paese”  La realtà IGI e l’ENEA Stato ed evoluzione dell’Italian Grid Infrastructure IGI Silvio Migliori Deputy Coordinator IGI Responsabile progetti HPC ENEA ENEA-Dipartimento Tecnologie Fisiche e Nuovi Materiali (FIM)

2 migliori@enea.it www.cresco.enea.it Workshop tematico: “Il calcolo scientifico a Padova e nel Veneto: verso la costituzione di una struttura integrata” 24 giugno 2008 - Padova, Archivio Antico del Bo TELEMICROSCOPY & GRID - BASED COMPUTING REMOTE ACCESS FOR DATA ACQUISITION AND ANALYSIS Cell Centered Data Base “CCDB” IMAGING-INSTRUMENTS COMP.-RESOURCESMULTI-SCALE-DATA-BASES NETWORK ADV.-COMP.-GRAPHICS DATA ANALYSIS DATA ACQUISITION By-Mark Ellisman

3 migliori@enea.it www.cresco.enea.it Workshop tematico: “Il calcolo scientifico a Padova e nel Veneto: verso la costituzione di una struttura integrata” 24 giugno 2008 - Padova, Archivio Antico del Bo Evoluzione delle tecnologie e loro conseguenze Network vs. computer performance –Computer speed doubles every 18 months (now chips density) –Network speed doubles every 9 months –Difference = order of magnitude per 5 years 1986 to 2000 –Computers: x 500 –Networks: x 340,000 2001 to 2010 –Computers: x 60 –Networks: x 4000 Moore’s Law vs. storage improvements vs. optical improvements. Graph from Scientific American (Jan-2001) by Cleo Vilett, source Vined Khoslan, Kleiner, Caufield and Perkins. Ian Foster 2002

4 migliori@enea.it www.cresco.enea.it Workshop tematico: “Il calcolo scientifico a Padova e nel Veneto: verso la costituzione di una struttura integrata” 24 giugno 2008 - Padova, Archivio Antico del Bo Jack Dongarra 2002 ICT – SCENARIO EVOLUTIVO Italia (06/2008) 90CINECA 125ENEA 131ENI 135CILEA 156CINECA 226Telecom

5 migliori@enea.it www.cresco.enea.it Workshop tematico: “Il calcolo scientifico a Padova e nel Veneto: verso la costituzione di una struttura integrata” 24 giugno 2008 - Padova, Archivio Antico del Bo GRID Sensor nets  Nasce intorno al 2000  Principali finalità –Fornire ai ricercatori un ambiente unificato per l’utilizzo delle risorse informatiche ‘’eterogenee’’ geograficamente distribuite –Realizzare un’infrastruttura che avesse la possibilità di distribuire i livelli di gestione e sviluppo conservandone l’unicità architetturale e di utilizzo; –Avere un protocollo internazionale Data archives Colleagues & 3D Software catalogs Computers Application Fabric Connectivity Resource Collective User

6 migliori@enea.it www.cresco.enea.it Workshop tematico: “Il calcolo scientifico a Padova e nel Veneto: verso la costituzione di una struttura integrata” 24 giugno 2008 - Padova, Archivio Antico del Bo ALCUNE GRID ITALIANE GRID IstitutiTecnologia  INFN GRID/EGEE INFN, CNAF… gLite  DAISA CINECA,….. UNICORE  ENEA-GRID ENEA AFS/LSF/…  ‘’Sicilia’’ COMETA gLite+ serv.  ‘’Sardegna’’ COSMOLAB gLite  ‘’Campus Grid’’ Federico II (NA) gLite  GRISU + SPACI gLite per interoperabilità

7 migliori@enea.it www.cresco.enea.it Workshop tematico: “Il calcolo scientifico a Padova e nel Veneto: verso la costituzione di una struttura integrata” 24 giugno 2008 - Padova, Archivio Antico del Bo CASACCIA FRASCATI S.Teresa Saluggia Ispra BOLOGNA PORTICI BRINDISI Manfredonia ENEA-GRID & GRISU & IGI ENEA-GRID SPACI TRISAIA GRISU INFN-GRID DAISA IGI Italian GRID Infrastructure

8 Mirco Mazzucato IES08 EU e-Infrastructure: una storia di successo Centinaia di M€ di Finanziamenti Europei e Nazionali (2001-08) hanno prodoto un set di Servizi Grid Open Source (es. la release gLite) che sono utilizzati ogni giorno nella più grande e-Infrastruttura ( = Internet + Grid ) del mondo quella di EGEE (Enabling Grid and E-sciencE - >EGEE II -> EGEE III) –Servizi veri e propri, non prototipi, che vengono offerti ogni giorno da Centri di Calcolo ben organizzati a migliaia di utenti di varie comunità di ricerca –Standards internazionali (Web Services, W3C, OGF, OASIS), alto livello di sicurezza (PKI, X509) L’e-Infrastruttura Europea è all’avanguardia in questo campo Gli stati membri e la Commissione Europea stanno affrontando ora il problema della sostenibilità a lungo termine del middleware e della e-Infrastruttura Europea

9 Mirco Mazzucato IES08 250 sites 45 countries 60,000 CPUs 15 PetaBytes >5000 users >100 VOs >100,000 jobs/day Applications: Archeology Astronomy Astrophysics Civil Protection Comp. Chemistry Earth Sciences Finance Fusion Geophysics High Energy Physics Life Sciences Multimedia Material Sciences … 32% EGEE Opera la piu’ grande infrastruttura Grid del mondo con qualita’ di produzione per l’e-Science DA EGEE A EGI Coordinamento CERN EGI: nuovo modello sostenibile

10 Mirco Mazzucato IES08 L’Evoluzione futura Testbed s Utility Service Routine Usage National Global European e-Infrastructure

11 Mirco Mazzucato IES08 L’European Grid Initiative EGI = EGI.Org + National Grid Initiatives (NGI) Esempi di National Grid Initiatives (NGIs) : –Austrian Grid Initiative –Belgium: BEgrid –DutchGrid –France: Institute des Grilles –Germany: D-Grid; Unicore –Greece: HellasGrid –Grid Ireland –Italy: IGI –NDGF (Nord) –Portuguese Grid –Swiss Grid –UK e-Science: National Grid Service; OMII; GridPP E’ previsto che nel giro di ~1 anno (3/2009) le NGIs diventino organizzazioni legali come il GARR e DANTE –…

12 Mirco Mazzucato IES08 L’European Grid Initiative Scopo: Garantire la sostenibilita’ a lungo termine dell’attuale Infrastruttura Grid Europea di grande scala ed il suo coordinamento Realizzare un’infrastruttura Grid di produzione– costruita su Grid nazionali- che interoperi senza interruzione a vari livelli offrendo servizi affidabili e predicibili a una grande varieta’ di applicazioni partendo da quelle critiche a quelle prototipali e di ricerca Approccio: Nuovo modello federativo che mette insieme le National Grid Initiatives (NGIs) che operano le infrastrutture Grid dei vari paesi e una nuova EGI Organisation Europea all’interno di una comune European Grid Iniziative (EGI)

13 Mirco Mazzucato IES08 Il progetto EU: EGI D esign S tudy Scopo: Definire in dettaglio il nuovo modello organizzativo EGI Partners : Johannes Kepler Universität Linz (GUP) Coord. Greek Research and Technology Network S.A. (GRNET) Istituto Nazionale di Fisica Nucleare (INFN) CSC - Scientific Computing Ltd. (CSC) CESNET, z.s.p.o. (CESNET) European Organization for Nuclear Research (CERN) Verein zur Förderung eines Deutschen Forschungsnetzes - DFN- Verein (DFN) Science & Technology Facilities Council (STFC) Centre National de la Recherche Scientifique(CNRS) -> A fine giugno la prima proposta alle NGIs (30/6-1/7 Ginevra)

14 Mirco Mazzucato IES08 Il problema del MWare Attualmente gLite (EGEE:250 centri), UNICORE( 11 Centri HPC) e ARC (60 Centri Nord Europa) sono sviluppati e mantenuti da teams appartenenti all’Accademia e alla Ricerca con co-finanziamento della Commissione Europea + altri MWare minori C’e’ consenso generale sul fatto che non e’ prevedibile che nessun prodotto commerciale con le funzionalita’ richieste possa apparire in un futuro prossimo sul mercato mondiale L’interoperabilità sarà la chiave dell’integrazione

15 Mirco Mazzucato IES08 Grid vs “Cloud Computing” “Cloud Computing” indica un’offerta vaga di risorse di calcolo e storage in un ambiente virtuale creato secondo le esigenze degli utenti in un dominio amministrativo unico Amazon, Google, IBM…. offrono gia’ in pratica questo servizio con software proprietario che fidelizza gli utenti Cloud: Qual e’ il problema da risolvere? –Rendere semplice e flessibile l’accesso ad un centro di calcolo remoto grazie a una nuova interfaccia WEB e ad un ambiente virtuale GRID = Servizi per condividire risorse ICT (anche virtuali) e/o strumenti posti in domini amministrativi diversi (tipici dell’Europa) da parte di VO dinamiche Servizi necessariamente basati su Protocolli Generali e Standard in genere Open Source: Maggiore competizione e flessibilita’ GRID: una sfida ancora formidabile Risponde ai bisogni della Ricerca e delle piccole medio imprese Europee

16 Mirco Mazzucato IES08 Un ciclo Europeo virtuoso e-Infrastruttura di Ricerca: Affidabilità Aderenza agli Standard scalabilità Aziende: Servizi Internet Specifici per la Società EU Consorzi MW: Servizi Generali per la Ricerca + Industria, Commercio, P.A.

17 Mirco Mazzucato IES08 La NGI Italiana :IGI L’Italian Grid Infrastructure (IGI) – E’ una EU Joint Research Unit – Costituita con un MoU firmato da tutti i partner in dicembre 2007  Aperto al contributo di nuovi partner – Riconosciuta e sostenuta con lettera dal MUR – Riconosciuta dalla Commissione Europea – Interfaccia unica verso l’EU a livello Italiano – Embrione per una governance comune dell’e- Infrastruttura Italiana da parte di tutti gli Enti pubblici coinvolti Entro 3/2009 deve diventare un’entita’ legale

18 Mirco Mazzucato IES08 I partners attuali di IGI Istituto Nazionale di Fisica Nucleare (INFN), Ente per le Nuove tecnologie, l’Energia e l’Ambiente (ENEA), Consiglio Nazionale delle Ricerche (CNR) Istituto Nazionale di Astrofisica (INAF), Istituto Nazionale di Geofisica e Vulcanologia (INGV), Università degli Studi di Napoli Federico II, Università degli Studi della Calabria, Sincrotrone Trieste S.C.p.A. (ELETTRA), Consorzio COMETA, Consorzio COSMOLAB, Consorzio SPACI,, Consortium GARR L’Universita’ di Perugia L’Universita’ del Piemonte Orientale

19 migliori@enea.it www.cresco.enea.it Workshop tematico: “Il calcolo scientifico a Padova e nel Veneto: verso la costituzione di una struttura integrata” 24 giugno 2008 - Padova, Archivio Antico del Bo CASACCIA FRASCATI S.Teresa Saluggia Ispra BOLOGNA PORTICI BRINDISI Manfredonia ENEA-GRID & GRISU & IGI ENEA-GRID SPACI TRISAIA GRISU INFN-GRID DAISA IGI Italian GRID Infrastructure

20 migliori@enea.it www.cresco.enea.it Workshop tematico: “Il calcolo scientifico a Padova e nel Veneto: verso la costituzione di una struttura integrata” 24 giugno 2008 - Padova, Archivio Antico del Bo Le potenzialità computazionali ENEA-GRID & CRESCO Un sistema eterogeneo con più di 3000 CPU/core CodiciRisorsa serialiSezione 1 & ENEA-GRID paralleli fortemente accoppiatiSezione 2 paralleli debolmente accoppiatiSezione 1, 2, ENEA-GRID costituiti da più codici paralleliSezione 1, 2, Sezione 1+2 speciali ( FPGA, GB, CELL)Sezione 3 windows (seriali e paralleli)Sezione 3 non disponibili per LINUXENEA-GRID con Data Base di grandi dimensioni Sezione 1,2,3 e GPFS

21 migliori@enea.it www.cresco.enea.it Workshop tematico: “Il calcolo scientifico a Padova e nel Veneto: verso la costituzione di una struttura integrata” 24 giugno 2008 - Padova, Archivio Antico del Bo I centri computazionali di ENEA-GRID L'ENEA, Ente per le Nuove tecnologie, l’Energia e l’Ambiente  Le principali presenze nel territorio nazionale sono rappresentate da 12 centri di ricerca di cui 6 sono corredati di infrastrutture per il calcolo scientifico e grafica 3D:  Bologna  Casaccia(Roma Nord)  Frascati  Trisaia (MT)  Portici (NA)  Brindisi  L’intera infrastruttura è progettata, sviluppata e gestita dal Dipartimento Fisica dei Materiali (FIM) Centro di Brindisi

22 migliori@enea.it www.cresco.enea.it Workshop tematico: “Il calcolo scientifico a Padova e nel Veneto: verso la costituzione di una struttura integrata” 24 giugno 2008 - Padova, Archivio Antico del Bo L’ENEA gestisce in proprio le reti locali (LAN) su tutti I centri mentre la connettività fra i centri (WAN) è garantita dal “Consortium GARR” di cui l’ENEA è socio Connessioni delle LAN ENEA alla rete GARR ENEA & GARR 9 PoP, da 18 a 1000 Mbps Centri ENEA-GRID Brindisi (150 Mbps) Bologna (30 Mbps) Casaccia (100 Mbps) Frascati (135 Mbps) Portici (1000 Mbps) Trisaia (18 Mbps)

23 migliori@enea.it www.cresco.enea.it Workshop tematico: “Il calcolo scientifico a Padova e nel Veneto: verso la costituzione di una struttura integrata” 24 giugno 2008 - Padova, Archivio Antico del Bo CASACCIA FRASCATI S.Teresa Saluggia Ispra BOLOGNA PORTICI TRISAIA BRINDISI Manfredonia Centri computazionali ENEA-GRID 90 2750 400 140 30 #CPU/Core 45

24 migliori@enea.it www.cresco.enea.it Workshop tematico: “Il calcolo scientifico a Padova e nel Veneto: verso la costituzione di una struttura integrata” 24 giugno 2008 - Padova, Archivio Antico del Bo Struttura a blocchi del sistema HPC CRESCO Portici LAN Interconnessione InfiniBand 4XDDR SERVER GPFS 4 Nodi IBM 3650 IBFC Sistema Dischi ad alta velocità 2 GByte/s 160 TByte IBM/DDN 9550 Sistema backup 300 TByte IBM Tape Library TS3500 con 4 drive SERVER BACKUP 3 Nodi IBM 3650 FCIB GARR (WAN) Sezione 1 (Grande Memoria) 42 Nodi SMP IBM x3850-M2 con 4 Xeon Quad-Core Tigerton E7330 (32/64 GByte RAM 2.4GHz/ 1066MHz/6MB L2) per un totale di 672 core Intel Tigerton Sezione 3 (Speciale) 4 Nodi blades IBM QS21 con 2 Cell BE Processors 3.2 Ghz each. 6 Nodi IBM x3755, 8 Core AMD 8222 con una scheda FPGA VIRTEX5 4 Nodi IBM x 3755, 8 core AMD 8222 con schede NVIDIA Quadro FX 4500 X2 4 Nodi windows 8 core 16 Byte RAM Doppia Intercconnessione a 1 Gbit 1 Rete a 1 Gbit di gestione Sezione 2 (Alto Parallelismo) 256 Nodi blades IBM HS21 con 2 Xeon Quad-Core Clovertown E5345 (2.33GHz/1333MH z/8MB L2), 16 GB RAM per un totale di 2048 core Intel Clovertown 4x10 Gbits 1000 Mbits 35 Nodi di Servizio Server di : Front-end insallazione AFS … CRESCO  17 TFlops Top500 N° 125

25 migliori@enea.it www.cresco.enea.it Workshop tematico: “Il calcolo scientifico a Padova e nel Veneto: verso la costituzione di una struttura integrata” 24 giugno 2008 - Padova, Archivio Antico del Bo Sala Calcolo CRESCO

26 migliori@enea.it www.cresco.enea.it Workshop tematico: “Il calcolo scientifico a Padova e nel Veneto: verso la costituzione di una struttura integrata” 24 giugno 2008 - Padova, Archivio Antico del Bo Particolari HPC CRESCO Sezione 1 & 3 Sezione 2 & DDN Sala controllo Sistema backup RETI: IB/GB Corridoio Caldo Sezioni 1 &2

27 migliori@enea.it www.cresco.enea.it Workshop tematico: “Il calcolo scientifico a Padova e nel Veneto: verso la costituzione di una struttura integrata” 24 giugno 2008 - Padova, Archivio Antico del Bo ICAWEB AFS Geographical multiplatform File System AIXSGISUN HP WinLinux Linux Alpha … LSF User programs and commercial codes LSF multi-cluster as integrator XTERM Graphical User Interface Web Portal Citrix Monitoring service quality Load Leveler RMS ENEA GRID Architecture

28 migliori@enea.it www.cresco.enea.it Workshop tematico: “Il calcolo scientifico a Padova e nel Veneto: verso la costituzione di una struttura integrata” 24 giugno 2008 - Padova, Archivio Antico del Bo Software Conceptual Structure ITALIAN NATIONAL AGENCY FOR NEW TECHNOLOGY,ENERGY AND THE ENVIRONMENT Fig 6 AFS Geographical cross platform& File System Load LevelerLSF Graphic User Interface LSF multi-cluster as integrator Telnet User programs & commercial code ICA WEB Cluster 1° ( Bologna) AFS Geographical cross platform& File System Load LevelerLSF Graphic User Interface LSF multi-cluster as integrator Telnet User programs & commercial code ICA WEB Cluster 3° (Frascati) AFS Geographical cross platform& File System Load LevelerLSF Graphic User Interface LSF multi-cluster as integrator Telnet User programs & commercial code ICA WEB Cluster 2° (Nord Rome) AFS Geographical cross platform& File System Load LevelerLSF Graphic User Interface LSF multi-cluster as integrator Telnet User programs & commercial code ICA WEB Cluster 4° (Trisaia ) Load LevelerLSF Graphic User Interface LSF multi-cluster as integrator Telnet User programs & commercial code ICA WEB Cluster 5° ( Portici) & File System Load LevelerLSF Graphic User Interface Telnet ICA WEB Cluster 6° ( Brindisi) NEW

29 migliori@enea.it www.cresco.enea.it Workshop tematico: “Il calcolo scientifico a Padova e nel Veneto: verso la costituzione di una struttura integrata” 24 giugno 2008 - Padova, Archivio Antico del Bo Accesso Client Accesso WEB sp4_-1.frascati.enea.it boquad.bologna.enea.it dafne.casaccia.enea.it 2 0 0 8 GEANT infocal.trisia.enea.it Gateway to EGEE & GRISU Portici Brindisi Kleos.portici.enea.it ercules.brindisi.enea.it Accesso Diretto www.afs.enea.it/project/eneagrid

30 migliori@enea.it www.cresco.enea.it Workshop tematico: “Il calcolo scientifico a Padova e nel Veneto: verso la costituzione di una struttura integrata” 24 giugno 2008 - Padova, Archivio Antico del Bo GARR PI2S2 GARR Altri Enti e realtà La ENEA-GRID interopera con altre GRID ENEA ha sviluppato la soluzione “shared proxy” Conserva l’autonomia architetturale interna Consente implementazioni multipiattaforma In produzione in EGEE In produzione per la rete GRISU Richiesto da EFDA per l’accesso ad EGEE EFDA EGEE

31 migliori@enea.it www.cresco.enea.it Workshop tematico: “Il calcolo scientifico a Padova e nel Veneto: verso la costituzione di una struttura integrata” 24 giugno 2008 - Padova, Archivio Antico del Bo Modello concettuale per il sistema produttivo Canale dedicato industria A Canale dedicato industria C Canale dedicato industria B Richieste delle imprese Sicurezza dei dati Qualità del servizio Strumenti Competitivi Proprietà Intellettuale Gestione Licenze EGEE INFN_GRID GRISU INTEROPERABILTA’ (IGI) Sistema GRID Potenziare le Competenze Sviluppare l’offerta di servizi Garantire l’Interoperabilità Infrastrutture H/S & HPC Connettività adeguata

32 migliori@enea.it www.cresco.enea.it Workshop tematico: “Il calcolo scientifico a Padova e nel Veneto: verso la costituzione di una struttura integrata” 24 giugno 2008 - Padova, Archivio Antico del Bo CRESCO per la FUSIONE EUROPEA Cresco 25 Tflops di picco Sistema per lo sviluppo e test dei codici per la fusione termonucleare controllata per ITER (Finaziamento EFDA) 1 Tflops di picco IB

33 migliori@enea.it www.cresco.enea.it Workshop tematico: “Il calcolo scientifico a Padova e nel Veneto: verso la costituzione di una struttura integrata” 24 giugno 2008 - Padova, Archivio Antico del Bo DB_1 CPUS ENEA GRID WEB ICA SSH DNA Sequence system ( ABI Prism 3700) Trisaia DB_3 DB_2 Electron Microscope (Brindisi) 300 KeV (sept. 2004) ENEA GRID and experimental facilities Controlled Nuclear Fusion: FTU Frascati Tokamak Upgrade Video Acquisition

34 migliori@enea.it www.cresco.enea.it Workshop tematico: “Il calcolo scientifico a Padova e nel Veneto: verso la costituzione di una struttura integrata” 24 giugno 2008 - Padova, Archivio Antico del Bo ITALIAN NATIONAL AGENCY FOR NEW TECNOLOGY, ENERGY AND THE ENVIRONMENT