EGI-InSPIRE Progetti legati all'infrastruttura GRID nazionale ed europea Luciano Gaido, Paolo Veronesi.

Presentazione sul tema: "EGI-InSPIRE Progetti legati all'infrastruttura GRID nazionale ed europea Luciano Gaido, Paolo Veronesi."— Transcript della presentazione:

1 EGI-InSPIRE Progetti legati all'infrastruttura GRID nazionale ed europea Luciano Gaido, Paolo Veronesi

2 agenda Il progetto EGI-InSpire –NA - Networking Activities –JRA1 - Joint Research Activities –Provisioning the Software Infrastructure - SA2 –Services for the Heavy User Communities - SA3 –Servizi EGI/IGI – Operations – SA1 –EGI-InSPIRE Project Extension L’infrastruttura e le attività di IGI –Utilizzo delle risorse – VO catch all gridit –Attività di supporto a nuovi utenti –HPC in IGI –IGI Portal Conclusioni 31/05/2013 Workshop CCR 20132

3 Le e-Infrastrutture a livello europeo European Data Grid (EDG) –Primo sviluppo middleware e realizzazione di testbed Enabling Grid for E-sciencE (EGEE) I-II-III –Dal prototipo all’infrastruttura di produzione European Grid Infrastructure (EGI) –L’infrastruttura Grid verso un modello regionale  ruolo chiave delle National Grid Initiative (NGI) 3 Credits: https://agenda.infn.it/materialDisplay.py?contribId=16&materialId=slides&confId=5455 31/05/2013 Workshop CCR 2013

4 The European Grid Infrastructure 4 27 National Operations Centres 9 Federations 1 EIRO (CERN) Availability/Reliability : 94.8%/95.6% 400,000 CPU cores 271,000 from EGI-Inspire partners/Council (+13%) 122 PB disk and 128 PB tape 352 Resource Centres 323 from EGI-Inspire partners/Council 108 supporting MPI (+12.5%) 56 Countries 42 EGI-Inspire partners/Council MW: ARC, gLite, Globus, UNICORE Canada Latin America and Caribbean region 31/05/2013 Workshop CCR 2013 EGI_InSPIRE: A 4 year project with €25M EC contribution 4

5 NA - Networking Activities Overall Strategy The networking activities presented in the following sections are designed to: Ensure the management of the project and the administration of the consortium. Coordinate the development of policies for a sustainable European e- Infrastructure both, internally within EGI and externally, with collaborating projects and initiatives. Liaise with EGI‘s user communities, including both, those organized within VRCs and those without, to collect feedback on the EGI services and the community‘s future infrastructure requirements. 31/05/2013 Workshop CCR 20135

6 Connessione EGI.eu - NGI In IGI queste attività sono svolte nell’Unità formazione e Supporto agli Utenti 31/05/2013 Workshop CCR 20136

7 7  NGI International Liasons (NIL) (http://www.egi.eu/about/ngis/NILs.html)http://www.egi.eu/about/ngis/NILs.html  Creazione di un network umano per lo scambio di informazioni circa le attività di User Support nell’NGI  Reportistica e aggiornamento informazioni in appositi tool  Virtual Team (VTs) (https://wiki.egi.eu/wiki/Virtual_Team_Projects)https://wiki.egi.eu/wiki/Virtual_Team_Projects  Gruppi di lavoro temporanei su temi specifici CMMST VRC: Creazione della Virtual Reasearch Community per la Computational Chemistry and Material Science and Technology (Coord) CTA User Requirements: Raccolta requirement e match con servizi EGI per il Cherenkov Telescope Array ESFRI project (Coord INAF, Claudio) Environmental & Biodiversity Collaboration between EGI/NGIs and large ESFRI project ELIXIR MPI within EGI Federated Identity Providers within the EGI ESFRI Contact List VAPOR miniproject: collaboration between IGI/COMCPHEM and France Grilles/BIOMED  Champions (http://www.egi.eu/community/egi_champions/)http://www.egi.eu/community/egi_champions/  Ambasciatori (circa 10) di EGI in comunità di riferimento per l’Italia: S. Pardi 31/05/2013 Workshop CCR 2013 Attività EGI

8 JRA1 - Joint Research Activities Objectives This activity provides for the continual evolution of the operational tools used by the production infrastructure, including: –The ongoing maintenance and further development of the deployed operational tools –The development of the operational tools to support a national deployment model (tool regionalization) –Accounting for the use of different resources within the production infrastructure –Providing an integrated operations portal for the staff running the production infrastructure Task: –TJRA1.2 Maintenance and development of the deployed operational tools –TJRA1.3 Supporting National Deployment models –TJRA1.4 Accounting for usage of different resource types –TJRA1.5 Integrated Operations Portal 31/05/2013 Workshop CCR 20138

9 Provisioning the Software Infrastructure - SA2 Objectives This activity will coordinate the external provision of software required by EGI to form the production infrastructure. It will: –Establish agreements with key software providers –Maintain the UMD Roadmap –Define general and component specific quality criteria to be applied to software components –Verify the software components against these criteria –Provide a repository for the software components within UMD and the related support tools –NEW TASK (Y4): EGI-Cloud Federation INFN/IGI partecipa con WNoDeS, con l'esperienza acquisita nelle soluzioni Cloud IaaS aperte (con Cloud Marche e PRISMA) e con il portale Con la fine del progetto EMI il software dei Product Team sarà rilasciato nella release UMD. 31/05/2013 Workshop CCR 20139

10 Services for the Heavy User Communities - SA3 Objectives This activity provides continued support for activities currently supported by EGEE while they transition to a sustainable support model within their own community or within the production infrastructure by: –Supporting the tools, services and capabilities required by different heavy user communities (HUCs) –Identifying the tools, services and capabilities currently used by the HUCs that can benefit all user communities and to promote their adoption –Migrating the tools, services and capabilities that could benefit all user communities into a sustainable support model as part of the core EGI infrastructure –Establishing e a sustainable support model for the tools, services and capabilities that will remain relevant to single HUCs The work in SA3 has many benefits to other HUCs (e.g. EIRO and ESFRI) and more broadly the general DCI community. Attività conclusa ad Aprile 2013. 31/05/2013 Workshop CCR 201310

11 –TSA1.1 Coordinamento Europeo – Internazionale –TSA1.2 Security –TSA1.3 Staged Rollout, Interoperability –TSA1.4 Operational tools GOCDB, Monitoring e Allarmistica –TSA1.5 Accounting –TSA1.6 Regional Helpdesk –TSA1.7 Supporto Comunita’ e site manager –TSA1.8 Gestione servizi Grid CORE; WMS, VOMS, TOP-BDII, LFC, MyProxy, Portale (IDP, CA ONLINE), CVMFS Servizi EGI/IGI – Operations – SA1 31/05/2013 Workshop CCR 201311

12 EGI-InSPIRE Project Extension 31/05/2013 Workshop CCR 201312 PY4PY5 WorkpackageMgmtEGINGIOtherMgmtEGINGIOther NA1 Redirected NA2 RedirectedContinues RedirectedExternal SA1 Continues RedirectedExternal SA2 Continues SA1+NA1 SA4 Continues JRA1 Continues SA1 At the EGI-InSPIRE PMB and CB meetings in Manchester in April 2014 an extension to EGI-InSPIRE for 6 months was discussed by the consortium. Redirected: Effort levels are reduced and work is focused on a revised set of activities External: Activity becomes the responsibility of national funding streams Future projects: Continued activity in this area would be dependent on new EC projects being awarded.

13 PY4 and PY5 NA1 –Technical Management will be reduced in effort by focusing on the execution of the project as opposed to its expansion. This activity will be moved to NA2 and be undertaken through Virtual Team projects as the community as required. NA2 –The Community Engagement work package will refocus its efforts around establishing and supporting EGI’s Human Networks (the NGI International Liaisons, the recently established EGI Champions, the Geek Squad (technology experts) and the NGI Operations Managers as bi-directional communication channels alongside other communication mechanisms as the website, newsletters and exhibition stands. SA1 –All NGI based activity (not linked to an EGI Global Task) becomes voluntary best effort and other EGI Global Tasks may change or stop –INFN TSA1.7 (Support Teams including DMSU) will continue with: –Ticket triage and assignment (9.0/PM @ INFN) –1st Level Support (18.3PM/year @ CESNET, INFN, JUELICH, LIU) –2nd Level Support (18.3PM/year @ INFN, JUELICH, LIU, CESNET) 31/05/2013 Workshop CCR 201313

14 IGI – The Italian Grid Infrastructure IGI N NUMBERS 55Sites 32000Cores 30 PBDisk Storage 10 PBTape Storage 1100Users 260M CPU hrs in 2012 Service Grid based on Scientific Linux Clusters: Resources are accessible to members of VOs The owner of the resources decides which VOs are authorized 50VOs 10Application Domains 2 National VOs for new users 31/05/2013 Workshop CCR 201314

15 IGI Usage (con WLCG) 31/05/2013 Workshop CCR 201315 WCT hours per VO

16 IGI Usage (No WLCG) WCT hours per VO 31/05/2013 Workshop CCR 201316

17  Recently IGI improved the support to medium size HPC applications through a collaboration between: -Grid Managers -Site Managers -user communities from different scientific domains  Increased the number of sites in production supporting MPI/OMP  Took advantage of: New multicore architectures New gLite features and attributes The effort of EGI in this field - EGI Virtual Team on MPI (link) HPC support in IGI 31/05/2013 Workshop CCR 201317

18 Sites supporting MPI jobs in IGI Workshop CCR 2013 18 31/05/2013  NAMD APOA1 Test  Using the GRIDIT national VO TEST OK TEST FAILED IB = InfiniBand

19 Unità Formazione e Servizi di Supporto agli Utenti di IGI (IGI-FUS) Unità Formazione e Servizi di Supporto agli Utenti di IGI (IGI-FUS) Coordinated by a rota of a senior chosen from the User Communities: 05/2010-04/2011 – Claudio Vuerli (INAF) 05/2011-04/2012 - Antonio Laganà (UNIPG) 05/2012-04/2013 – Laura Perini (INFN) 05/2013-04/2014 – Coordinated by a rota of a senior chosen from the User Communities: 05/2010-04/2011 – Claudio Vuerli (INAF) 05/2011-04/2012 - Antonio Laganà (UNIPG) 05/2012-04/2013 – Laura Perini (INFN) 05/2013-04/2014 – 19  Support to new user communities in Application Porting  Consultancy in building computing models  Organise the Italian User Forum  User requirements gathering  Training organisation  Reference at European level for these activities 31/05/2013 Workshop CCR 2013 IGI: Formazione e Supporto Utenti

20 20  Miglioramento del supporto ai job paralleli da parte dell’infrastruttura usando le VO general purpose - ISGC13: http://indico3.twgrid.org/indico/contributionDisplay.py?sessionId=45&contribId=184&confId=370http://indico3.twgrid.org/indico/contributionDisplay.py?sessionId=45&contribId=184&confId=370 - PDP13: http://doi.ieeecomputersociety.org/10.1109/PDP.2013.42 PDP13: http://doi.ieeecomputersociety.org/10.1109/PDP.2013.42  Supporto alla comunità della chimica computazionale (Coord UNIPG)  Creazione della VRC (VT)  Supporto al porting di varie applicazioni richieste da gruppi di università e CNR (NAMD, DL_POLY, CRYSTAL, GAUSSIAN)  Supporto alla gestione di workflow misti HPC/HTC - Interazione CINECA e XSEDE (https://indico.egi.eu/indico/contributionDisplay.py?sessionId=10&contribId=189&confId=1222)https://indico.egi.eu/indico/contributionDisplay.py?sessionId=10&contribId=189&confId=1222 0 0 HPC run Scalar or small parallel run 31/05/2013 Workshop CCR 2013 FUS: attività (1/3)

21 21  Comunità Earth Science  Supporto adll’ESFRI EMSO (infrastruttura distribuita di stazioni sperimentali sottomarine) - Coord INGV (Paolo Favali), l’INFN partecipa per l’utilizzo della stessa infrastruttura di NEMO - Attività pilota per griddificare i dati provenienti dalla stazione Western Ionian - Attività sospesa in attesa della creazione dell’EMSO ERIC, riprendiamo il 16 con una riunione a Catania  Collaborazione con CNR-ISAC Bologna per porting del loro modello di circolazione globale GLOBO -Produzione da 150k CPU hrs completata  Collaborazione con INGV (Bologna) per porting modello oceanografico NEMO - Attività sospesa  New: Collaborazione con CNR-IMATI (Genova) per porting di applicazioni di idrodinamica su macchine virtuali (WNoDES??) e applicazioni parallele per simulazioni atmosferiche (i.e. WRF) - Riunione la prossima settimana a Genova - Progetto DRIHM 31/05/2013 Workshop CCR 2013 FUS: attività (2/3)

22 22  Comunità BioComputing  Biocomputing Group UNIBO (Rita Casadio) - Porting applicazioni basate su allineamento di sequenze (BLAST) - Produzione da 750k CPU hrs iniziata (40%)  Altri contatti a Bari, Milano, Modena, Napoli che non hanno portato ad attività significative  INFN  INFN-LNL (gruppo SPES) - Porting di ANSYS, gestione licenze e creazione interfaccia portale - in produzione -Sottomesso ICCSA 2013 (accettato), varie presentazioni ai forum di EGI - Porting di MCNPX – iniziato ora  GERDA, ICARUS - Training iniziale 31/05/2013 Workshop CCR 2013 FUS: attività (3/3)

23 23  Training  Training personalizzato a utenti di varie comunità: INGV, INFN, astrofisici UNIBO, CNR-ISOF(BO)  In preparazione scuola porting per applicazioni di chimica computazionale (Settembre 2013)  Dissemination - 2012: seminario INGV seminario Mario Negri presentazione BITS scuola Grid a Sofia per evento COST ACTION CM0901 – Detailed Chemical Kinetic Models for Cleaner Combustion 31/05/2013 Workshop CCR 2013 Training & Dissemination

24 Portale di accesso E’ una delle attività innovative di IGI in EGI-InSPIRE Serve a semplificare l’accesso alla grid: –Identificazione tramite federazione di identità (IDEM e EDUGAIN) –CA online –Varie funzionalità integrate (accesso a cloud e data movement) Demo al Technical Forum di EGI-InSPIRE (Praga 17-21 settembre 2012) e all’EGI Community Forum (Manchester 8-12 Aprile 2012)  entrambe premiate come miglior demo 31/05/2013 Workshop CCR 201324

25 Solution: the IGI grid access portal CA Bridge Online CA MyProxyMyProxy Portal: Grid web access point, based on federated authentication CA Bridge: service based on federated access authentication has 3 main tasks: CA access point, Proxy creation and VO registration request MyProxy: server where the long term proxies are stored Online CA: Entity that signs certificates, accessible only through CA bridge VOMS: service for a VO registration PortalPortal VOMSVOMS 31/05/2013 Workshop CCR 201325

26 Il portale di IGI la CA online è in fase di accreditamento un prototipo è funzionante da parecchi mesi (consente di precaricare il proprio certificato X509) realizzato in primo luogo per i teorici (beneficiando del lavoro di improvement di MPI realizzato con il contributo di R. Alfieri) consente di gestire workflow (WS-Pgrade) servizio di data management integrato usato da utenti di Duck (progetto in Emilia Romagna), ANSYS, NEMO (INGV) Realizzata interfaccia basata su OCCI per accesso alle risorse cloud della TF di EGI (demo all’EGI-CF di Manchester) Partecipazione “Evaluation of Liferay Social Office and Sync for EGI ” comunita’ interessate: chimici, biocomp 31/05/2013 Workshop CCR 201326

27 Conclusioni la maggior parte delle attività di Operations non sono state menzionate in dettaglio  ma sono fondamentali per il funzionamento dell’infrastruttura Grid attività cloud non menzionate esplicitamente (vedi presentazione sui progetti cloud INFN) molte attività importanti per il supporto a nuove comunità di utenti  benefici da tool come ad es. il portale di IGI in definizione una strategia per la prosecuzione delle attività fondamentali di EGI, oltre la fine di EGI-InSPIRE e nella prospettiva dei bandi Horizon 2020 da definire la relazione INFN-GARR per la prosecuzione delle attività di IGI (anche nel quadro di DHTCS) 31/05/2013 Workshop CCR 201327