CINECA Casalecchio di Reno (BO) Via Magnanelli 6/3, Casalecchio di Reno | | CINECA: HPC Support for Italian Research The activities and the services for high performance technical and scientific computing Efficient and Excellent infrastructure for Italian Research System

2 © CINECA - May 2007 The CINECA Consortium Consortium of Ministry for University and Research, 28 Italian Universities, and CNR Private non for Profit Organization Founded in 1969 by Ministry of Public Education now under the control of Ministry of University and Research 2005 Turnover: Euro 50 Millions 6 Department managers, 23 Group coordinators, 350 Employees Main activities: Research and Services both for universities and private enterprises and Ministry

3 © CINECA - May 2007 Present day strategies / Statutory aims Promote the use of the most advanced information processing systems to support public and private scientific and technological research Provide a computer processing service to all members of the Consortium, MIUR (Ministry for University and Research) and others Ministries Extend the use of the available resources to other public and private bodies, on the basis of specific agreements Develop and manage the Networking System

4 © CINECA - May 2007 The competitive edge offered by collaboration with CINECA High Performance system and information visualization technology the most advanced high performance computing and high performance graphics resources experts able to dialogue with all potential users as a result of the combination of specific disciplinary backgrounds and high level computer skills the possibility of accessing supercomputing resources at costs which are compatible with university faculty budgets the sponsorship for research theses and doctorates a consistent training and outreach offers

5 © CINECA - May 2007 Summer school for parallel computing

6 © CINECA - May 2007 Summer school for scientific visualization and 3D graphic

7 © CINECA - May 2007 Design, development and exploitation model definition for the Italian national supercomputing facility Design, implementation and exploitation of a framework for application development and graphics user interfaces, portal gateways and web services 5 partnership with national research agencies CNR- INFM Physics of matter, INSTM material science, INAF astrophysics, SISSA, OGS geophysics 2 Major industrial contracts framework ARPA / SMR e SCS s.r.l - CINECA Spin off (ENI – Pirelli – Alenia – Lunarossa… ) 11 European funded project; among other HPC - Europa – HPC - Europa – Integrating Activity Scheme DEISA – DEISA – Communication Network Development Scheme 4 National projects in the bioinformatics domain 4 Regional projects for technology transfer actions 2 Projects for digital terrain model and city marketing CINECA Current activities and projects

8 © CINECA - May 2007 CINECA, ItalyCINECA, Italy Consorzio Interuniversitario di Calcolo, Bologna EPCC (HPCx), United KingdomEPCC (HPCx), United Kingdom Edinburgh Parallel Computing Centre BSC, SpainBSC, Spain Barcelona Supercomputing Centre HLRS, GermanyHLRS, Germany High Performance Computing Centre, Stuttgart IDRIS, FranceIDRIS, France Institut du Développement et des Ressources en Informatique Scientifique, Paris SARA, NetherlandsSARA, Netherlands Stichting Academisch Rekencentrum Amsterdam PSNC, PolandPSNC, Poland Poznań Supercomputing and Networking Centre PARALLAB, NorwayPARALLAB, Norway HPC Laboratory, Bergen TCD, IrelandTCD, Ireland Trinity Centre for HPC, Dublin CASPUR, ItalyCASPUR, Italy Consorzio Interuniversitario, Roma NTUA, GreeceNTUA, Greece National Technical University of Athens PartnershipPartnership –Six leading HPC infrastructures –Five centres of excellence –Duration: January, 1st 2004 to December, 31st 2007 ObjectivesObjectives –Transnational access service provision to HPC systems –Provision of a suitable computational environment –To allow the European researchers to remain competitive with teams elsewhere in the world. –The deployment and operation of a “virtual global infrastructure” for HPC The HPC-Europa Consortium

9 © CINECA - May 2007 The DEISA Consortium

10 © CINECA - May 2007 Signing of the MoU in Berlin

11 © CINECA - May 2007 PACE Target to build the basis for European petaflop/s centers, responding to the ESFRI Roadmap item ‘European HPC Service’ FP7 Project proposal for preparatory phase, call deadline Memorandum of Understanding: 14 countries signed and more to come PACE consortium partners (14 countries) –Austria, Finland, France, Germany, Greece, Italy, Norway, Poland, Portugal, Spain, Sweden, Switzerland, The Netherlands, United Kingdom

12 © CINECA - May 2007 CINECA Application fields Basic science: computational cosmology, electron transport in complex media, high- energy physics, and chemical reaction studies Basic science: computational cosmology, electron transport in complex media, high- energy physics, and chemical reaction studies Advanced engineering and technology: combustion processes; materials design; micro/ nano-scale systems; design of and manufacturing systems for electronic/ computer systems, aircraft and other transportation systems; critical infrastructure systems, and other complex systems Advanced engineering and technology: combustion processes; materials design; micro/ nano-scale systems; design of and manufacturing systems for electronic/ computer systems, aircraft and other transportation systems; critical infrastructure systems, and other complex systems Energy production and exploitation of renewable resources Energy production and exploitation of renewable resources Global systems and climate/weather modeling: simulation and prediction in areas such as earth system component elements in the atmosphere, oceans, and solid earth; coupled earth systems; ensemble averaged and statistically validated climate simulations and projections Global systems and climate/weather modeling: simulation and prediction in areas such as earth system component elements in the atmosphere, oceans, and solid earth; coupled earth systems; ensemble averaged and statistically validated climate simulations and projections Computation in biology and medicine: structural genomics; protein folding and protein interactions; combinatorial complexity in biological and biomedical systems and applications Computation in biology and medicine: structural genomics; protein folding and protein interactions; combinatorial complexity in biological and biomedical systems and applications Social, economic, and civil infrastructure systems: modeling and simulation. Social, economic, and civil infrastructure systems: modeling and simulation.

13 © CINECA - May 2007 Luna Rossa Technology supplier Customizations of the CFD Comet solver in collaboration with CD.Adapco User support for the deployment of supercomputing infrastructure

14 © CINECA - May 2007 Exploris Project: The virtual simulation of the Vesuvio eruption Quantitative analysis of explosive eruption risk in densely populated EU volcanic regions New simulation model, based on fundamental transport laws to describe the 4D (3D spatial co- ordinates plus time) multiphase flow dynamics of explosive eruptions has been developed and parallelized in INGV and CINECA. Parametric simulation of a 12 x 12 Km of territory in space and 8 Km in high. 200 x 200 x 200 mesh of variable resolution (from 100 to 20 m), 30 minutes of simulated time. Per run 180 hours on 450 cpu IBM SP Power TB of data.

15 © CINECA - May 2007 Organigramma S&T

16 © CINECA - May 2007 Obbiettivi del Dipartimento S&T Obbiettivo primario del Dipartimento è quello di progettare, implementare e gestire l’infrastruttura relativa al sistema informatico del CINECA Tale infrastruttura deve essere orientata alla erogazione di servizi rivolti all’esterno del Dipartimento. L’infrastruttura deve avere caratteri di eccellenza ed efficienza. Le competenze presenti all’interno del Dipartimento consentono la partecipazione ad attività di consulting e di professional service Le attività di servizio sono riferite a commesse Le attività di R&D sono riferite a progetti, tipicamente co-finanziati mediante la stipula di contratti

17 © CINECA - May 2007 Obiettivi della organizzazione L’ assetto organizzativo è uno strumento per favorire il raggiungimento dei seguenti obiettivi:  fare fronte alla maturazione del livello operativo e alle crescenti aspettative di customer care degli utenti/clienti  Misurare e incrementare la qualità dei servizi IT  Misurare e incrementare la customer satisfaction  Ridurre il rischio che il servizio IT non soddisfi i business requirements espressi dai clienti  raggiungere maggiori livelli di efficienza interna ottimizzando la nostra capacità di erogare servizi  Misurare e ridurre i costi di sviluppo ed esercizio dei servizi

18 © CINECA - May 2007 Linee guida del cambiamento Strumenti applicativi per la gestione delle tecnologie e l’erogazione dei servizi –mettere a disposizione delle strutture operative strumenti in grado di rendere più efficiente l’attività lavorativa e poter così effettivamente garantire i livelli di servizio concordati (request tracker, repository documentale,… Adozione di best practice (ITIL), per la revisione dei processi ICT –valutare e comparare il modo di lavorare già in uso presso altre organizzazioni –Adottare una “lingua universale” per codificare le interrelazioni tra i processi e favorire la cooperazione tra le differenti funzioni IT Pianificazione e realizzazione per fasi del cambiamento –Gestire in modo coerente le diverse leve del cambiamento -Strumenti applicativi di supporto -Processi e Organizzazione -Formazione e Comunicazione

19 © CINECA - May 2007 Modello per il Service Support Service reports Inc. statistics Audit reports Change Management Problem Management Incident Management Configuration Management Release Management CMDB reports CMDB statistics Policy/standard Audit reports Incidents Management Tools Incidents Customer survey reports Trend analysis Prob. statistics Prob. reports Prob. reviews Diagnostic aid Audit reports Change schedule CAB minutes Change statistics Change reviews Audit reports Release schedule Release statistic Release reviews Secure library Test standards Audit reports Changes Releases Queries Enquiries Communications Updates Work-Arounds Service Desk Business, Customers & Users Changes Releases Problems Known Errors Config. Items Relationships Incidents CMDB Players Process Inputs Outputs Functions

20 © CINECA - May 2007 Modello per il Service Delivery Business, Customers & Users Queries Enquiries Communication Updates Reports Service Level Management Requirements Targets Achievements SLA Service Reports Service Catalogue Exception Reports Audit Reports Alerts and Exceptions Changes Management Tools Financial Management Financial Plan Types & Models Costs & Charges Reports Budget Forecasts Audit Reports Capacity Management Capacity Plan CDB Targets Thresholds Capacity Reports Schedules Audit Reports Availability Management Availability Plan AMDB Design Criteria Targets Thresholds Reports Audit Reports Continuity Management IT Continuity Plan BIA Risk Analysis Requirements def Control Centers DR Contracts Reports Audit Reports Players Process Inputs Outputs

21 © CINECA - May 2007 Certificazioni  A.5 Security policy  A.6 Organizzazione della sicurezza delle informazioni A.7 Gestione delle risorse A.8 Sicurezza delle risorse umane A.9 Sicurezza fisica e ambientale A.10 Gestione delle comunicazioni e della operatività A.11 Controllo accessi A.12 Acquisizione, sviluppo e manutenzione dei sistemi informativi A.13 Gestione degli incidenti di sicurezza delle informazioni A.14 Gestione della continuità aziendale A.15 Conformità

22 © CINECA - May 2007 Overall Infrastructure

23 © CINECA - May 2007 Power distribution and energy management Power distribution up to 2400 Kw Current power consumption 1500 Kw Electricity transformer up to 4800 Kw 4 x 500 KVA UPS for a total 1500 KVA in n+1 redundancy mode 2 x electronic switching system power supplier / UPS up to 630 A 2 x Motogenerator 1750 KVA

24 © CINECA - May 2007 Sicurezza fisica Situazione energetica –Doppi impianti di alimentazione elettrica separati realizzati mediante gruppi indipendenti di UPS ridondati alimentati con linee di approvvigionamento elettrico separate di cui una con motogeneratore diesel. –Motogeneratori diesel per garantire la continuità elettrica. –Sistemi di condizionamento a temperatura ed umidità controllate con sistemi in ridondanza N+1 –Alimentazioni separate e ridondate dei rack che ospitano i sistemi attestate su UPS separati. Vantaggi –Impianti e distribuzione su due linee distinte, indipendenti e autosufficienti. –Tutte le utenze possono essere alimentate indifferentemente dall’una o dall’altra. –Possibilità di effettuare manutenzioni e riparazioni senza interrompere il servizio o riducendo al minimo eventuali interruzioni.

25 © CINECA - May 2007 Sicurezza fisica Vasca di protezione –Vasca “volano” più accumulo per l’alimentazione della rete antincendio: –70 m3 sempre disponibili per la rete antincendio (acqua piovana + eventuale integrazione con acqua dalla rete di adduzione idrica nei periodi di secca. –Alimentazione elettrica dell’impianto antincendio autonoma –Capacità massima fino 160 m3 di acqua piovana per fare defluire, in tempi controllati gli eccessi di acqua in caso di eventi meteorologici di forte intensità. –Valvole di non ritorno dalla rete fognaria pubblica verso la proprietà CINECA. Antincendio –Sistema antincendio, con rilevazione fumi ed estinzione incendi automatica con GAS ARGON, e sistema antiallagamento con sistemi di contenimento antialluvione. –Collocazione fisica a 50mt dalla stazione dei Vigili del Fuoco.

26 © CINECA - May 2007 Storage area network Integrated for HCP and ICT system Technology transfer from HCP to ICT environment HPC Area scratch: TB; 10 GB/s front end bandwidth HCP repository: TB; 4 GB/s front end bandwidth ICT service: 75 TB; 5-15 TB synchronous / asynchronous replica No single point of failure Adoption of GPFS as parallel file system TIVOLI Storage manager for archiving and back up Storage Servers SVC GPFS cluster Rete IP GPFS (via IP) GPFS (via IP) Cluster A Cluster B … Cluster N NFS SAN HPCSAN ICT Brocade Silkworm2800 Storage Servers Brocade Silkworm12000 Brocade Silkworm48000 replica SVC 2x Cisco MDS9513

27 © CINECA - May 2007 Login node Compute node ….. I / O node Compute node Metadati / SFS /scratch Metadati / SFS Intranet / lan dedicata / a / b / c I / O node Login node Altix SSI /scratch Intranet / lan dedicata STK Back up HSM Archiving Disk mgmt DB Server www server / raw i/o /tablespace /sfs staging /archive staging cp, mv,.. r/w cp, mv,.. /.. Bck, arch, hsm.. Metadata updt 200 TByte ~20 TByte ~ 5 TByte Virtual shared file system

28 © CINECA - May 2007 Networking LANWAN No single point of failure; Multilayer architecture; Separated domain routing Core layer GB/s of routing capacity Internet –GARR 200 Mbps, Tiscali 30 Mbps, FastWeb 20 Mbps. Link wan –DEISA 10 Gbps (2Q07), ENI 2x1Gbps (2Q07) –2-10 Mbps: meteo, ER Region, Health Min, other private costumers

29 © CINECA - May 2007 Sicurezza Logica La sicurezza di rete –Il CINECA è dotato di una solida infrastruttura di rete che consente di usufruire di connettività secondo l’architettura e i servizi di seguito descritti: –Connettività di rete Locale: switch ridondati con alimentazioni indipendenti in modo da garantire la connettività anche in caso di failure di un singolo componente della rete. –Connettività Internet: –I servizi rivolti alla comunità scientifica e accademica sono acceduti mediante l’integrazione nella rete GARR via doppio circuito in fibra ottica ridondata, con 2 operatori distinti, capace potenzialmente di supportare velocità sino ad 10 Gbit/sec su link Giga Bit Ethernet al pop Garr di Bologna CNAF. –Per i servizi rivolti alle Aziende ed alle Pubbliche Amministrazioni, doppio collegamento a due fra i principali ISP italiani, Tiscali e Fastweb per 30 Mbps complessivi di banda. –Routing “dinamico” con protocollo BGP per mantenere connettività anche in caso di guasto ad uno dei due link commerciali. –In sede CINECA sono inoltre presenti terminazioni in fibra ottica ed apparati dei principali operatori di comunicazioni: Telecom Italia, Wind, Fastweb, Autostrade Telecomunicazioni, Acanto

30 © CINECA - May 2007 Sicurezza Logica Segmentazione della rete. –La rete locale CINECA è suddivisa in segmenti indipendenti e tra loro “isolati” mediante l’impiego di Firewall e Access Control List, realizzando cosi’ “Security Zone” tra loro autonome. Tipicamente ogni cliente o unità organizzativa CINECA riceve una propria VLAN ed è autonoma nel definire le politiche di accesso da implementarsi sui sistemi di difesa perimetrale. Servizi Firewall e VPN. –CINECA dotato di dispositivi in grado di fornire funzionalità di firewalling avanzato (statefull packet filtering) e protezione contro i più comuni attacchi. –Tutti gli apparati di rete (router, switch, firewall) sono configurati in modalità cluster per l’alta disponibilità in grado di assicurare la connettività anche in caso di guasti hw e sw o attività di manutenzione.

31 © CINECA - May 2007 ICT infrastructure Operating system AIXLinux SolarisWindows ManufacturerIBMDellIBMSUNDellIBM ModelloBx; Fx, Hx; Px 1650; 1850; 2650; 6650 xSeriesE420; V xSeries; Blade ProcessoreP 4; P 5; PPC Intel Pentium IV; Xeon SparcIntel Xeon # of servers # of processors ClusterHAFARM / HA HAFARM/ HA ServiceDB Server Application Server FE Server; Mgmt; DB Server DB Server; Application Server MgmtFE Server; DB Server

32 © CINECA - May 2007 Computing server Logical nameBCXBCCSP5CLXXC4 (SCS s.r.l.) ModelIBM LS20 IBM p5-575IBM 1350HP BL460c ArchitectureLinux cluster IBM SPLinux cluster ProcessorAMD Opteron Dual core 2,6 GHz AMD Opteron Dual core 2,2 GHz IBM Power 5 1,9 GHz Intel Pentium IV 3,06 GHz Intel EM64T Xeon Dual core 3 GHz # of core # of node RAM GB2.192 GB1216 GB788 GB2.024GB InterconnectionCISCO Infiniband 9 Gb/s CISCO Infiniband 2,5 Gb/s IBM High Performance Switch Myricom Myrinet LAN Volterre Infiniband 9 Gb/s Operating systemRed Hat RHEL4 Red Hat RHEL4 AIX 5.2Linux SuSE SLESLinux RHAS Peak performance26.6 TFlops4,5 TFlops3.9 TFlops6.2 TFlops12.2TFlops

33 © CINECA - May 2007 Software products Services User interfaces: web – grid – proprietor's Infrastructure Service Model HTTP SOAP SSH SFTP F A A B C D E F Proprietary Protocols Web Service Grid Service

34 © CINECA - May 2007 Software products Services User interfaces: web – grid – proprietor's CINECA Infrastructure Service Model HTTP SOAP SSH SFTP F A A B C D E F Proprietary Protocols Web Service Grid Service GPFSGPFS GPFS/SFSGPFS/SFS SFS/NFSSFS/NFS To DEISA GPFS & LL MC To DEISA UNICORE,GRIDFTP, LSF MC

35 © CINECA - May 2007 Supporto ai servizi E’ attivo un service desk con personale specializzato sulla tipologia di utenti per dare supporto all’utilizzo dei sistemi ed alle problematiche applicative. Per indirizzare al meglio l’utilizzo delle risorse attraverso attività di benchmarking ed effettuare un monitoraggio pro-attivo sulle applicazioni Per erogare il servizio nella modalità che meglio soddisfa il cliente Le modalità di erogazione del servizio sono le seguenti a seconda delle esigenze del cliente: –HW dedicato al cliente –Tempo di calcolo on demand (con un fisso su base annuale) –Licenze SW di proprietà del cliente o dedicate al cliente –Licenze SW in condominio fra più clienti

36 © CINECA - May 2007 Livelli di servizio Siamo in grado di definire con il cliente dei livelli di servizio per quel che riguarda: –il tempo di risposta alle richieste effettuate al service desk –alcuni indicatori di performance del servizio: -Tempo di permanenza in coda dei job utente -Utilizzo delle risorse assegnate da parte dell’utente Gli indicatori di performance e livelli di servizio possono essere valorizzati e rendicontati periodicamente al cliente

37 © CINECA - May 2007

38 © CINECA - May 2007 CINECA in the TOP500 nov 06 RankSiteSystemProcessorsR max R peak 44 CINECA Italy eServer 326 Cluster, Opteron Dual Core 2.6 GHz, Infiniband IBM SCS S.r.l. Italy ProLiant BL460c EM64T Xeon 51xx 3 GHz Hewlett-Packard CINECA Italy eServer pSeries p GHz IBM CINECA Italy xSeries, Xeon 3.06 GHz, Myrinet IBM CINECA Italy BladeCenter LS20, Opteron 2.2 GHz Dual core, Infiniband IBM

39 © CINECA - May 2007 Ranking of CINECA in the TOP 500

40 © CINECA - May 2007 Production distribution per user category

41 © CINECA - May 2007 Produzione ICT 60 Atenei serviti dal SISTEMA INTEGRATO ATENEO –Circa 80 mila cedolini mesi –Oltre un milione di studenti serviti dalla componente Segreteria Studenti –Oltre un milione di caselle di posta elettronica (il servizio e’ in certificazione PEC) Gestione ed esercizio del SISTEMA INFORMATIVO MINISTERO (MIUR) Gestione ed esercizio del sistema informativo di AIFA, con particolare riferimento alle applicazioni di DWH e BI a supporto delle decisioni del MIN.SAN Data center commerciale. Oltre 50 server, 20 clienti, 12 rack

42 © CINECA - May 2007 Supercomputer Definitions: the CINECA point of view A modern supercomputer is an enabler for capability computing in sufficient capacity. High latency Low latency Low integration High integration Internet GRID Cluster GRID EGEE Concept Capacity cluster Capacity supercomputer Distributed supercomputing DEISA concept Capability supercomputer Enabling computing CINECA concept

43 © CINECA - May 2007 La road map del CINECA Allargare gli orizzonti: HPC, Grid e la nuova infrastruttura. La nuova infrastruttura del CINECA non può prescindere dall’avere al proprio interno elementi di HPC e elementi di Grid poiché entrambi sono funzionali agli utenti, ovvero ai ricercatori. Gli elementi di Grid aprono l’orizzonte dell’infrastruttura anche ben oltre le necessità del mondo della ricerca, prospettandosi come infrastruttura flessibile ed efficace anche per il mondo della produzione. L’infrastruttura che si intende disegnare dovrà essere aperta ed in grado di cooperare verso l’esterno, questo significa che dovrà esporre per tramite di opportune interfacce un insieme di risorse, strumenti e servizi. il dominio HPC, che per molti anni è stato vissuto come un segmento in cui impiegare tecnologie di frontiera molto specializzate, oggi è sempre più integrato nel mondo dell’ICT e ne guida l’evoluzione di molti aspetti critici

44 © CINECA - May 2007 Enhancement of an efficient and excellent infrastructure Towards 100 TFLOP 1 Petabyte of on line storage; 10 / 50 Petabyte di archive capacity 100 applications running simultaneously (1000 processes) High speed wide area network from 10 to 100 Giga bit / sec Fruition model, visual interaction and user validation and certification based on Open Grid and Web Service Global data management, data processing and information system solutions based development CINECA Development plans