CINECA Casalecchio di Reno (BO) Via Magnanelli 6/3, Casalecchio di Reno | | Il CINECA e il Calcolo Scientifico Giovanni Erbacci Coordinatore Gruppo Supercalcolo CINECA Il Calcolo Scientifico a Padova e nel Veneto Padova, 24 Giugno 2008

2 © CINECA -24 giugno 2008 The CINECA Consortium Consortium of 32 Italian Universities, CNR, MIUR, OGS Private non for Profit Organization Founded in 1969 by Ministry of Public Education now under the control of Italian Ministry of University and Research Main activities: –Promote the use of the most advanced information processing systems to support public and private scientific and technological research –Services both for universities and private enterprises and Ministry

3 © CINECA -24 giugno 2008 Sistemi HPC per il Calcolo Scientifico in CINECA Il sistema BCC è prevalentemente un sistema di sviluppo. Il sistema CLX, e’ uscito di produzione ad inizio 2008 Il sistema FEC è il sistema di front-end per la gestione delle licenze di scheduling, applicative, middleware… Il sistema XC4 è formalmente di proprietà di SCS srl, società partecipata da CINECA, ed è prevalentemente utilizzo per progetti per le industrie CINECA è attualmente in fase di procurement per un sistema HPC della potenza di 100TFlop/s

4 © CINECA -24 giugno 2008 Servizio di Calcolo Tecnico ModelloIBM LS21IBM HS21IBM LS21IBM HS21 ArchitetturaLinux Cluster Processore AMD Opteron Dual- Core 2.6 Ghz Intel Xeon Dual- Core 3.0 Ghz AMD Opteron Dual- Core 2.6 Ghz Intel Xeon Dual-Core 3.0 Ghz Numero di core 3x Numero di nodi 3x RAM 3x 4096 GB 8192 GB GB Rete di interconnesioneCISCO Infiniband SDR 4x Sistema operativoRedHat RHEL4 Performance di picco 3x 5.3 Tflops3x 6,1 Tflops10,6 Tflops12,2 Tflops 57 Tflops

5 © CINECA -24 giugno 2008 Sistemi per il Servizio ICT Operating system AIXLinux SolarisWindows ManufacturerIBMDellIBMSUNDellIBM ModelloBx; Fx, Hx; Px 1650; 1850; 2650; 6650 xSeriesE420; V xSeries; Blade ProcessoreP 4; P 5; PPC Intel Pentium IV; Xeon SparcIntel Xeon # of servers # of processors ClusterHAFARM / HA HAFARM/ HA ServiceDB Server Application Server FE Server; Mgmt; DB Server DB Server; Application Server MgmtFE Server; DB Server

6 © CINECA -24 giugno 2008 Configurazione Sistemi servizi storage Integrated for HCP and ICT system Technology transfer from HCP to ICT environment HPC Area scratch: TB; 10 GB/s front end bandwidth HCP repository: TB; 4 GB/s front end bandwidth NAS HDS Area Scratch + repository 400 TB ICT service: 75 TB; 5-15 TB synchronous / asynchronous replica No single point of failure Adoption of GPFS as parallel file system TIVOLI Storage manager for archiving and back up Storage Servers SVC GPFS cluster Rete IP GPFS (via IP) GPFS (via IP) Cluster A Cluster B … Cluster N NFS SAN HPCSAN ICT Brocade Silkworm2800 Storage Servers Brocade Silkworm12000 Brocade Silkworm48000 replica SVC 2x Cisco MDS9513

7 © CINECA -24 giugno 2008 Configurazione Sistemi Servizi Networking LANWAN No single point of failure; Multilayer architecture; Separated domain routing Core layer GB/s of routing capacity Internet –GARR 200 Mbps, Tiscali 30 Mbps, FastWeb 20 Mbps. Link wan –DEISA 10 Gbps (2Q07), ENI 2x1Gbps (2Q07) –2-10 Mbps: meteo, ER Region, Health Min, other private costumers

8 © CINECA -24 giugno 2008 HPC: Trend della Produzione

9 © CINECA -24 giugno 2008 Utilizzo per Modelli di Servizio

10 © CINECA -24 giugno 2008 Scuole Estive Scuola Estiva di Calcolo Parallelo Scuola Specialistica di Visualizzazione Scientifica Scuola Estiva di Visualizzazione scientifca Scuola Specialisicta di Calcolo Parallelo

11 © CINECA -24 giugno 2008 Oltre le Scuole Estive Dal 2005 il CINECA, a completamento dell’attività di formazione nell’ambito HPC, finanzia 2 borse di dottorato sui temi delle metodologie innovative del calcolo parallelo e delle scienze computazionali. Programma di Stage in CINECA della durata di 3 mesi durante il quale gli studenti, seguiti dagli esperti del gruppo Supercalcolo, hanno

12 © CINECA -24 giugno 2008 Accesso alle risorse Convenzioni con Istituti Nazionali: –INAF, –INFM-CNR, –OGS, –SISSA, –INSTM, –ICTP Contratti a forfait Programma di Grant Franchigie per le Università consorziate e CNR

13 © CINECA -24 giugno 2008 Capability computing trend per country

14 © CINECA -24 giugno 2008 Il modello di riferimento dell’ecosistema hpc EUROPEO Tier-0 Tier-1

15 © CINECA -24 giugno 2008PRACE Partnership for Advanced Computing in Europe Partnership at State Member Level Italy represented by CINECA delegated by the MUR in collaboration with CNR / INFM € 10 Mio EU funded project to define the implementation plan State Member in kind funding for the computing infrastructure implementation, EU co found the transnational access

16 © CINECA -24 giugno 2008 PRACE Consortium Members 1 (Coord.)Forschungszentrum Juelich GmbHGAUSSGermany 2Grand Equipement national pour le Calcul I.GENCIFrance 3Engineering and Phys. Sciences Research C.EPSRCUnited Kingdom 4Barcelona Supercomputing CenterBSCSpain 5CSC Scientific Computing Ltd.CSCFinland 6ETH Zürich - CSCSETHZSwitzerland 7Netherlands Computing Facilities FoundationNCFNetherlands 8Joh. Kepler Universitaet LinzGUPAustria 9Swedish National Infrastructure for Comp.SNICSweden 10CINECA Consorzio InteruniversitarioMURItaly 11Poznan Supercomputing and Networking CentrePSNCPoland 12UNINETT Sigma ASSIGMANorway 13Greek Research and Technology NetworkGRNETGreece 14Universidade de CoimbraUC-LCAPortugal

17 © CINECA -24 giugno 2008 Prace Workplane outline Preparation of the RI as a single legal entity –Legal form and governance structure, funding, procurement, and usage strategy, Peer Review process –HPC Ecosystem links: European and national HPC infrastructures e.g. DEISA, HPC-Europa, the ESFRI projects, EGEE and EGI, communities, vendors and user industries, … Prepare operation of petascale systems in 2009/2010 –Deployment and benchmarking of prototypes –Porting, optimising, petascaling of applications –Start a process of technology development and assessment for future multi-petascale systems PRACE will cooperate with other EU projects in these areas –Utilising existing technologies e.g. from DEISA –Confirmed: DEISA, HPC-Europa, EGI

18 © CINECA -24 giugno 2008 The DEISA Consortium Project Initialization in 2002 DEISA Start on 1st of May 2004 with eight partners (CSC, CINECA, EPCC, ECMWF, FZJ, IDRIS, RZG, SARA) Three new partners joined (BSC, HLRS, LRZ) eDEISA Start on 1st of June 2005 DEISA End on 30th of April 2008 eDEISA End on 31st of May 2008 Start of DEISA2 on 1st of May 2008

19 © CINECA -24 giugno 2008 DEISA Partners BSC Barcelona Supercomputing Centre Spain CINECAConsorzio InteruniversitarioItaly CSC Finnish Information Technology Centre for Science Finland EPCC University of Edinburgh and CCLRC UK ECMWFEuropean Centre for Medium-Range Weather Forecast UK (int) FZJResearch Centre JuelichGermany HLRSHigh Performance Computing Centre Stuttgart Germany IDRIS Institut du Développement et des Ressources France en Informatique Scientifique - CNRS LRZLeibniz Rechenzentrum MunichGermany RZGRechenzentrum Garching of the Max Planck SocietyGermany SARADutch National High Performance Computing Netherlands Associate KTH Kungliga Tekniska Högskolan Sweden CSCS Swiss National Supercomputing Centre Switzerland JSCC Joint Supercomputer Centre of the Russian Russia Academy of Sciences

20 © CINECA -24 giugno 2008 Current DEISA core Services Gbps network connectivity Common DEISA policies Unified Auth* WAN shared filesystem Job rerouting 1 st common production environment Workflow management 2006 Enlargement of the WAN shared filesystem Enhanced job rerouting Enlargement of workflow management with data staging tools CLI access Single monitoring system 10 Gbps network connectivity Unified accounting Fully fledged WAN shared filesystem 2 nd common production environment Portal access for life science community Data staging tools 10 Gbps Unified AAA Unified data management strategy (WAN shared fs + archive + data staging + data transfer) Enriched middleware infrastructure for interoperability Multiple way to access DEISA

21 © CINECA -24 giugno 2008 DEISA 2 _ Objectives Continuation and achievement of the persistency of the DEISA infrastructure –Network –Technology (Global file System, Middleware,…) –Operations Improvement of technologies Advance computational sciences in Europe in the supercomputing area Collaboration with other projects (PRACE, HCP-Europa) and other European HPC centres and communities (ITER, Climate Community, Europhysiome, …)

22 © CINECA -24 giugno 2008 DECI: DEISA Extreme Computing Initiative DECI call proposals, 12 European countries involved 30 mio cpu-h requested 29 proposals accepted, 12 mio cpu-h DECI call proposals, 12 European countries involved 28 mio cpu-h requested 23 proposals accepted, 12 mio cpu-h DECI call proposals, 14 European countries involved ((US, Canada, Brazil, Israel) 30 mio cpu-h requested 45 proposal accepted, 20 mio cpu-h 15 European countries so far involved in DECI: Austria FinlandFranceGermany Greece HungaryItalyNetherlands PolandPortugalRussiaSpain Sweden SwitzerlandUK

23 © CINECA -24 giugno 2008

24 © CINECA -24 giugno 2008 CINECA, ItalyCINECA, Italy Consorzio Interuniversitario di Calcolo, Bologna EPCC (HPCx), United KingdomEPCC (HPCx), United Kingdom Edinburgh Parallel Computing Centre BSC, SpainBSC, Spain Barcelona Supercomputing Centre HLRS, GermanyHLRS, Germany High Performance Computing Centre, Stuttgart IDRIS, FranceIDRIS, France Institut du Développement et des Ressources en Informatique Scientifique, Paris SARA, NetherlandsSARA, Netherlands Stichting Academisch Rekencentrum Amsterdam PSNC, PolandPSNC, Poland Poznań Supercomputing and Networking Centre PARALLAB, NorwayPARALLAB, Norway HPC Laboratory, Bergen TCD, IrelandTCD, Ireland Trinity Centre for HPC, Dublin CASPUR, ItalyCASPUR, Italy Consorzio Interuniversitario, Roma NTUA, GreeceNTUA, Greece National Technical University of Athens The HPC-Europa Consortium

25 © CINECA -24 giugno 2008 HPC-Europa: Transnational Access Actual 4 years (15 selections) Planned Applications received1067- Places offered700- Acceptance Rate (%)69%- Visits performed Visitor-months Avg. weeks/visit6,16 Access (AUs) * * Updated to the end of Y3 (Y4 global data not available yet)

26 © CINECA -24 giugno 2008 HPC-Europa and the Future FP7 Capacities: Infrastructures INFRA : Support to ensure the continuity of FP6 actions  HPC-EUROPA++ FP7-INFRASTRUCTURES November February 2008  HPC-EUROPA2  January 1, 2009 – December

27 © CINECA -24 giugno 2008 Alcuni spunti di riflessione CINECA è in fase di procurement per un sistema da 100 Tflop/s che si porrà come il sistema di riferimento nazionale per il capability computing (HPC per progetti challenge) Il sistema BCX a 5120 core sarà invece il sistema di riferimento per il Capacity Computing Finalizzazione di una azione utile a rendere disponibile al sistema nazionale della ricerca una infrastruttura per il calcolo scientifico in grado di competere con il resto del mondo e utile a riportare l’Italia in un contesto di rilevanza mondiale Mantenere una rilevanza europea in termini di potenza di calcolo in modo da cogliere le opportunità che si presenteranno nel Settimo Programma quadro: Tier0 (Calcolatore Europeo) e Tier1 (Calcolatori Nazionali alla DEISA) e Tier 2 (Centri Regionali) E’ importante l’interazione e l’integrazione sinergica con i centri HPC locali, regionali e tematici (Tier2) Nuove metodologie algoritmiche innovative e scalabili (enormi quantità di dati) Sviluppo di metodologie algoritmiche e porting di applicazioni a supporto della ricerca accademica e dell’industria Supporto alla ricerca scientifica e industriale tramite un programma di grant ad hoc Programma di formazione su metodologie innovative a supporto della ricerca accademica e industriale Favorire la partecipazione a progetti europei anche in sinergia con l’Industria