EMI Fine progetto 30 Aprile 2013 Andamento progetto generale

Presentazione sul tema: "EMI Fine progetto 30 Aprile 2013 Andamento progetto generale"— Transcript della presentazione:

1 EMI Fine progetto 30 Aprile 2013 Andamento progetto generale
Molto bene supporto e manutenzione, alcuni obiettivi mancati nella parte di sviluppo Andamento partecipazione INFN Le attività (NA3, SA1) di cui abbiamo responsabilità hanno un buon andamento Le funzioni di cui abbiamo responsabilità (release management, gestione testbed) sono quelle maggiormente apprezzate Nessuno scostamento su supporto e manutenzione, scostamenti fisiologici sullo sviluppo Un obiettivo mancato per CE, SE e WMS Effort Necessari alcuni aggiustamenti per le numerose partenze di questo anno (Gianelle, Sgaravatto, Zappi, Dongiovanni, Manzali, Cresti)

2 Cosa Le attività connesse al middleware che regge la European Grid Infrastructure (EGI) Supporto Richieste di intervento degli sviluppatori per supporto alla gestione dei problemi degli utenti (utenti finali e amministratori di sito) Manutenzione Correttiva, richieste di bug fix a seguito di problemi degli utenti, e adattativa e perfettiva, cambiamenti di librerie, release dei sistemi operativi, etc. Sviluppo Nuove funzionalità, vedi quanto emerso dai TEG per il contesto WLCG, o i requirements del Technical Coordination Board di EGI Coordinamento Raccolta requirements, pianificazione, tracking, release management, etc

3 Per chi Per EGI le VO ed i siti WLCG le VO ed i siti INFN tutte le comunità e tutti i siti EGI Le VO WLCG rappresentano il 90% dell’utilizzo dell’infrastruttura Supportare altre VO oltre quelle WLCG non comporterà mai un enorme aumento di lavoro Fa eccezione il middleware che le VO WLCG non usano, come WMS Un 10% di traffico in più comporta più supporto e più manutenzione, ma non in misura tale da far cambiare la stima dell’effort necessario Il supporto a più comunità significa più requirements, ma anche qui non in misura tale da far cambiare significativamente la stima dell’effort necessario

4 Componenti Circa 60 componenti nella release EMI-2
Ci sono componenti che non saranno mai utilizzati, sotto-componenti spezzettata (VOMS + VOMS-Admin, CREAM LRMS modules, etc), i componenti UNICORE Accounting(APEL), Authz Service (Argus), Information Service (BDII, ARC infosys), Computing Element (CREAM, ARC CE), SE (dCache, DPM, StoRM), File Transfer(FTS), GFAL/lcg_util, Mapping (LCAS/ LCPMAPS/gLexec), File Catalog (LFC), VO Management (VOMS), Workload Management System (WMS), WNoDeS EMI-UI, EMI-WN, gLite CLUSTER, gLite MPI, ARC Clients delegation-java, gLite-gSoap/gss, glite-proxyrenewal, gridsite, LB, trustmanager, yaim

5 Chi Responsabilità componenti
5 INFN Argus, CREAM, StoRM, VOMS, WMS, WNoDeS 4 CERN BDII, DPM, FTS, GFAL/lcg_util, LFC 1 DESY dCache 1 NIKHEF LCAS/LCMAPS/gLexec 1 SWITCH Argus 1 RAL APEL CESNET, HIP sviluppano componenti Distribuzione dell’effort nelle collaborazioni gLite collaboration CERN 33%, INFN 29%, altri 12 partner tutti con effort sotto il 7% EMI INFN 19%, CERN 12, altri 12 partner tuti con effort sotto il 9%

6 Cosa facciamo noi VOMS Argus CREAM StoRM WMS WNoDeS DGAS
Ulteriore ruolo coordinamento del supporto e manutenzione e della release, e manutenzione del testbed

7 Necessita e adozione altri componenti
WLCG INFN EGI Mantenuto APEL x RAL BDII X (solo parte statica) CERN solo parte statica dCache DESY DPM CERN? FTS CERN GFAL Mapping NIKHEF LFC

8 VOMS Necessario per le VO WLCG Necessario per le VO INFN
Necessario per tutti, 27 NGIs lo ritenevano high priority nel survey di EGI di inizio anno 63 richieste di supporto e 49 Request for Change (RfC, bug fix) nel 2011 Potenziale sviluppo integrazione con infrastrutture di autenticazione federata Effort attuale Per WLCG Per INFN Per tutti 1 1.5

9 Argus Necessario per le VO WLCG Non indispensabile per le VO INFN
deployment raccomandato e monitorato dal GDB WLCG; considerato il metodo raccomandato per l’identity switching nella sottomissione con multi user pilot jobs Non indispensabile per le VO INFN che non usano il meccanismo dei pilot jobs Non indispensabile per tutti 19 richieste di supporto, 33 RfC nel 2011 Non previsto sviluppo Effort attuale Per WLCG Per INFN Per tutti 1 1.5

10 StoRM Necessario per ATLAS, CMS, ed LHCb tra le VO WLCG
Necessario per le VO INFN È usato al Tier-1 Necessario per tutti, 8 NGIs lo ritenevano high priority nel survey di EGI di inizio anno 25 richieste supporto e 127 RfC nel 2011 Sviluppo emerso dai TEG, superamento di SRM, separazione tape/disk, Cloud Storage Effort attuale Per WLCG Per INFN Per tutti 2.5 3

11 CREAM Necessario per le VO WLCG Necessario per le VO INFN
Necessario per tutti, 26 NGIs lo ritenevano high priority nel survey di EGI di inizio anno 74 richieste supporto e 118 RfC nel 2011 Sviluppo emerso dai TEG, supporto agli stream per i pilot jobs e dei job multi-core Effort attuale Per WLCG Per INFN Per tutti 4.5 4

12 WMS Superfluo per le VO WLCG a breve Necessario per per le VO INFN?
Uso residuo più o meno importante, ma attività avviate verso la dismissione Necessario per per le VO INFN? Fino a che non esisterà un alternativa per chi non ha framework propri Necessario per tutti, 25 NGIs lo ritenevano high priority nel survey di EGI di inizio anno 59 richieste di supporto, 89 RfC nel 2011 Nessuno sviluppo per WLCG, supporto ai workflow richiesto da alcune comunità e ricevuto dal TCB EGI Effort attuale Per WLCG Per INFN Per tutti 2.5 2 3

13 DGAS Necessario per ATLAS, non citato dalle altre VO WLCG allo scorso CDgA Trasparente per le altre VO INFN Trasparente per le altre VO Dibattito sulla sua utilità e diversità da APEL, credo che sia noto a tutti Supporto e bug fixing non tracciato in EMI Sviluppo potenziale per l’accounting dello storage Effort attuale Per WLCG Per INFN Per tutti 1.5 1

14 WNoDeS Non menzionato dalle VO WLCG allo scorso CDgA
Lo usa auger tra le VO INFN Interesse di wenmr ed altre VO come paradigma di computazione alternativo alla sottomissione di job Interessante per i siti, facilita l’amministrazione e permette di razionalizzare le risorse Deploiato solo al Tier-1, ancora non molto traffico di supporto e bug fixing solo effort IGI, aggiungere circa 2FTE INFN Effort attuale Per WLCG Per INFN Per tutti 2

15 Riepilogo Effort attuale Per WLCG Per INFN Per tutti VOMS 1 1.5 Argus
StoRM 2.5 3 CREAM 4.5 4 WMS 2 DGAS WNoDeS 15 11 16

16 Attività 2013 Dal 1 Maggio 2013 siamo liberi da impegni di progetto
Riorganizzare il lifecycle management e sopperire alla mancanza degli strumenti messi a disposizione da EMI Continuos integration, attività già in corso Repositories Proposta di WLCG sul lifecycle management, forse qualcosa da EGI, non dovrebbero esserci iniziative dei partner EMI in questo senso Coordinamento Raccolta requirements e coordinamento dei product team Dovrebbe arrivare una proposta del PO EMI in questo senso

17 Attività 2013 Consolidamento
Concentrare gli sforzi nel ridurre al minimo le risorse necessarie al mantenimento dei componenti attualmente Posticipare qualsiasi sviluppo che non sia assolutamente necessario rispetto al consolidamento (review, testing) Uso di componenti comuni Attività già iniziata ma resa molto difficile dagli impegni di EMI

18 Necessità Al momento sono impegnate 15 persone
Il rapporto IGI aveva collocato all’incirca tra 5 e 10 la necessità per le attività appena descritte