IGI: gestione dell’infrastruttura, middleware release e certificazione C.Aftimiei, S.Dalla Fina, T.Ferrari Workshop CCR-INFN Grid, Palau, 15 May 2009

Unità release e certificazione Conclusioni Sommario IGI Struttura organizzativa e servizi Unità gestione: scopi, attività e risorse IGI e WLCG Unità release e certificazione Conclusioni

Italian Grid Initiative (IGI) IGI is the future Italian NGI a multi-disciplinary infrastructure for sharing of resources across sites from multiple research institutes It is necessary to grant the sustainability of the infrastructure of EGEE-III, of regional and institutional Grids It is already officially supported by the Italian Ministry for Research and Education. The Italian JRU will represent IGI until a new legal entity is formed. The JRU partners collaboration is already formally defined by a MoU. Negotiations with the Ministry and funding agencies are currently ongoing to ensure its sustainability. Knowhow should be preserved. We expect that current skilled personnel will be employed by IGI to preserve continuity of service

IGI Services IGI is progressively taking over JRU activites IGI Grid services: Grid site-level services (CE, SE, site BDII, etc.) Grid core services (WMS, VOMS, top-level BDII, etc.) VO services: through the Scientific Support Clusters according to the EGI blueprint Funding model short term: EC funding National funding agencies IGI membership fees medium term: introduction of fees for services

Struttura organizzativa Struttura di IGI Quattro Unità con compiti tecnici: Unità Infrastruttura e Servizi Operativi Unità release mw e certificazione Unità Applicazioni e Training Unità Planning, Ricerca e Sviluppo Comitato di Coordinamento Coordinatore Responsabile amministrativo

Struttura organizzativa EGI.eu EGI Council Comitato di Coordinamento Coordinatore Responsabile Amministrativo EGI.eu units Unità di Gestione Unità Release mw e certificazione Unità User community services Unità Planning, Ricerca e Sviluppo ? ? Mw Consortia Specialized Support Centre IGI Management Structure – a Proposal 6 6

IGI e EGI.eu IGI representative Technical collaboration Es. Mw Coordination Board Technical collaboration IGI Management Structure – a Proposal 7 7

Unità di Gestione: scopi Scopo: garantire gli opportuni livelli di funzionalità della Grid italiana nel suo complesso e facilitare l’accesso e utilizzo di risorse Grid nazionali/internazionali da parte degli utenti nazionali/internazionali attraverso un controllo assiduo delle funzionalità di Grid centrali e periferiche a livello di sito assicurando agli utenti Grid la presenza di una infrastruttura a livello centrale e di sito che rispetta i parametri di qualità stabiliti dando supporto fornendo tool e servizi ausiliari per utenti e resource provider, per il controllo e la gestione dell’accesso all’infrastruttura 8

Attività e risorse 1/2 Gestione infrastruttura core - 5 FTE Gestione sistemistica e aggiornamenti middleware periodici dei Grid core services (WMS, FTS, BDII, VOMS, Myproxy) – attualmente un parco di macchine di circa 40 server distribuiti geograficamente, Turni di supervisione dei servizi middleware Grid core – secondo i livelli di qualità richieste delle comunità degli utenti, definire e implementare soluzioni di alta affidabilita’ per i servizi Pianificazione e interoperabilità - 1 FTE Certificazione di nuovi siti, dimensionamento dell’infrastruttura Grid core, allocazione di risorse per nuove VO Gestione tool operativi - 2 FTE sistema di monitoraggio Grid regionale (per esempio: SAM su Nagios), portale Grid nazionale, repository (topology e configuration DB, performance DB), portale per il controllo del livello di affidabilità di varie componenti Grid, sistema di accounting nazionale Trouble ticketing system - 1 FTE Gestione e maintenance Sviluppo sistemi gestional - 3 FTE Dashboard regionale, tool di monitoraggio, tool di monitoraggio end to end, tool di monitoraggio dei servizi centrali, sistema di ticketing

Attività e risorse 1/2 Sviluppo Accounting - 2 FTE Middleware DGAS, Definizione di nuovi modelli di accounting, Storage accounting, Contributo ad organismi di standardizzazione Supporto di primo e secondo livello per utenti e site manager - 4 FTE Turni, documentazione, mantenimento di una knowledge base Grid Security: 2 FTE Autenticazione utenti (CA) Gestione di incidenti informatici Grid, supporto, monitoraggio nel campo della sicurezza, etc. Servizi per la rete - 1 FTE Interfaccia con il GARR per troubleshooting problemi di rete complessi sperimentati da utenti e sitemanager collaborazione con GARR (trouble ticket, CERT, PERT, NOC, test nuove tecnologie di rete per data transfer in Grid, tool di monitoraggio end-to-end Collaborazioni tecniche - 1 FTE Partecipazione a gruppi di lavoro EGI, collaborazione con EGI.eu, OGF Coordinamento dell’Unità - 1 FTE TOTALE: 23 FTE

IGI e WLCG - Italy General purpose services currently provided by INFN will be gradually taken up by IGI, and run under the IGI responsibility (without service interruption) WLCG-specific services will be run under the responsibility of INFN is available for hosting IGI services as required

Changes EIS team to be reshaped into an international WLCG Specialized Support Centre LHCOPN support: a WLCG-specific activity outside the scope of EGI.eu and run under the responsibility of WLCG (sharing of tools like GGUS recommended where possible) The other operational services are general and should be run by IGI To be defined: Transition plan from EGEE-III to EGI/IGI to ensure continuity of service and personnel Maintenance and 24x7 support of Grid core services dedicated to WLCG (e.g. WMS/LB services)

IGI-TF-RELEASE Unità “Middleware Release and Certification”

Task force C. Aiftimiei - INFN V. Boccia - UNINA A. Costa - INAF L. Carracciuolo - UNINA S. Dalla Fina - INFN O. Gervasi - UNIPG A. Del Linz - ELETTRA A. Santoro - ENEA

Scopi e ambiti di competenza Adattamento di UMD (Universal Middleware Distribution) in base a specifiche richieste nazionali Integrazione e certificazione componenti aggiuntive IGI native IGI-Release Gestione sistemistica dei testbed e partecipazione alle attività sperimentali del MW UMD/IGI-Release nelle varie fasi di rilascio Collaborazione tecnica con EGI.eu (international tasks)

National requirements and tasks 1 Numerose VO attualmente già abilitate IGI-Release può essere utile per: soddisfare i requisiti di progetti nazionali e delle grid regionali che presentano richieste specifiche di utilizzo del MW UMD/IGI-Release facilitare l'integrazione di nuove tipologie di resource provider (es. centri HPC, resource provider commerciali nel medio/lungo termine) – integrazione di monitoring, del sistema informativo, ... Attuali integrazioni alla release gLite: preconfigured MPI support, DGAS, StoRM, GRIDFTP server, SecureStorage System, GrelC, ...

National requirements and tasks 2 Possibili future integrazioni: Supporto a MPI-1 e MPI-2 Supporto a MPI-1 e MPI-2 per Infiniband oltre che per Gb Eth Supporto a OpenMP, OpenMPI Supporto a SO Linux diversi da quelli ufficialmente supportati da gLite Supporto per installazione manutenzione di software di librerie scientifiche Portali grid con accesso senza certificato utente (solo tramite certificati robot) Supporto nativo delle API di gLite in Java Supporto per i job interattivi Interfaccia Grid a Database relazionali Storage sicuro (criptato) Sistema di gestione di licenze di software commerciale Framework per sviluppo di archivi digitali Supporto ai workflows (interesse da bioinformatici, usano gia' TAVERNA, P-Grade) fonte: questionario R. Barbera (14.10.2008) e discussioni in TF

Attività tecniche 1 Personalizzazione del MW UMD (input da VO/progetti/enti nazionali) → MW IGI-Release Update management (hotfix/bugblock, test, predeployment, ...) Collaborazione con gli sviluppatori dei componenti IGI nativi per tutta la durata del supporto all’interno del MW IGI-Release: il gruppo di sviluppo del componente s’impegna a fornire FTE per integrazione, aggiornamento, tests Gestione del MW IGI-Release attraverso studi di fattibilià (tecnica e risorse necessarie) per integrazione, mantenimento, rimozione dei componenti Certificazione del MW IGI-Release (testbed nazionali: centrale, ma anche distribuiti c/o altri enti o sedi)

Attività tecniche 2 Realizzazione di un testsuite di tipo applicativo (con la collaborazione delle VO/progetti/enti nazionali) Gestione dei repository centralizzati di certificazione e di produzione Documentazione: gestione/aggiornamento guide installazione, update, use cases, node tracker (stato di rilascio dei profili IGI in parallelo ai profili UMD) Supporto di secondo livello agli utenti/site-admin all'interno del sistema di ticketing nazionale (interazione con Unità Gestione/Operations) Supporto all'integrazione di componenti MW IGI-Release all'interno di UMD (international task)

International tasks Partecipazione alle varie fasi di testing delle componenti UMD di interesse per IGI in collaborazione con il MW Consortia; questo include la partecipazione ai testbed di certificazione del MW UMD IGI può candidarsi allo svolgimento dei seguenti task internazionali di EGI.eu (Unità Middleware): Maintain a repository of certified middleware components or references thereto (2 FTE) Provide and support tools to enable and monitor the processes (such as configuration management system, bug and task tracker, wiki) (1 FTE)

Modello operativo TOT: 4 FTE Task Descrizione Unità Centrale Distribuite 1 Manutenzione repository centrale MW (UMD+IGI-Release) 0.5 2 Gestione updates 3 Integrazione e manutenzione nuovi componenti IGI native; supporto all'integrazione di componenti IGI-Release in UMD 0.5/ente 4 Gestione testbeds di certificazione (centrale + distribuiti su più sedi ed enti) 0.5/testbed 5 Gestione documentazione 6 Partecipazione alle attività dell'Unità Gestione/Operations: task “helpdesk utenti/site-admin” (2nd line support) 7 Collaborazione tecnica con le altre Unità IGI/EGI.eu TOT: 4 FTE