Richieste, eredità infngrid, motivazioni

Presentazione sul tema: "Richieste, eredità infngrid, motivazioni"— Transcript della presentazione:

1 Richieste, eredità infngrid, motivazioni
WLCG in CCR Richieste, eredità infngrid, motivazioni CCR 25 Ottobre 2012 L.Perini

2 Motivazione Coprire le attività ex-infngrid centrate su Tier2 e Tier1, e intese alla partecipazione ad attività internazionali (WLCG, EGI,etc.) non specifiche del singolo esperimento, ma in cui esperimenti LHC sono coinvolti fortemente Richieste soprattutto Missioni e Consumo, calcolate con parametri standard ( come si faceva in infngrid, con qualche riduzione) CCR 25 Ottobre 2012 L.Perini

3 WLCG internazionale Progetto World LHC Computing Grid a cui partecipano tutti gli esperimenti LHC con MoU fin dal Management Board con rappresentanti Tier1, esperimenti, CERN riunioni mensili Mensili anche Grid Deployment Board, piu’ tecnico, anche Tier2, open. WG specifici vedi piu’ avanti CCR 25 Ottobre 2012 L.Perini

4 Prin “Calcolo LHC” Il PRIN ha molta sinergia con le attività WLCG
“Sviluppo di tecnologie per l'ottimizzazione dell'accesso ai dati di LHC, trasferibili ad altri domini scientifici, mediante l'approccio del grid e del cloud computing” 12 sedi inclusa una unità INFN (responsabile G. Maron, per CNAF, LNF, LNL, Pisa), tutti Tier2 in, P.I. L. Perini MIUR vede questi PRIN come preparazione Horizon2020 Da ieri sappiamo che è finanziato Circa 900 kE su circa 1400 kE richiesti, soprattutto A/R, dottorati..., no ME Fondi disponibili probabilmente (ottimisticamente?) da febbraio-marzo prossimo CCR 25 Ottobre 2012 L.Perini

5 CCR 25 Ottobre 2012 L.Perini Struttura A carico di altri enti interno
A carico dell'I.N.F.N. A carico di altri enti interno estero consumo inventario manutenzione manutenzione-HW licenze-SW linee-dati TOTALI BA 1.00 2.00 4.00 BO 7.00 9.00 CNAF 1.50 18.00 19.50 CT LNF 5.00 LNL MI 2.50 6.50 NA 8.00 PD PI 6.00 13.50 RM1 TO 3.00 11.00 Totali 51.00 94.50 CCR 25 Ottobre 2012 L.Perini

6 Missioni Intese a permettere la partecipazione a workshop in ambito WLCG EGI, IGI, GARR etc. per due categorie di persone Personale dei servizi che collabora alle attività Tier2 senza fare parte degli esperimenti LHC, tipicamente circa 1 FTE per sede, spalmati su più individui. Allocazione fondi 1.5 kE MI e 1.5 kE ME per sede Membri di un esperimento che hanno specifiche responsabilità nel calcolo e nelle federazioni dei Tier2, in WLCG e gruppi di lavoro connessi (+2.5 ME, 0.5 MI) CCR 25 Ottobre 2012 L.Perini

7 Fondi Per le spese di consumo WLCG eredita la richiesta metabolismo farm Tier2 ( 2 kE ) per sede che veniva proposta in INFNGRID. Per il materiale inventariabile sono stati incluse solo sostituzioni di hw necessario per i servizi grid di sito ( un solo caso, CE a Pisa). Nella slide seguente il personale di cui al punto b precedente che motiva la richiesta missioni CCR 25 Ottobre 2012 L.Perini

8 Missioni per Tier2 in WLCG
BO: Daniele Bonaccorsi , Claudio Grandi , Vincenzo Vagnoni, tutti impegnati in gruppi lavoro WLCG, Grandi inoltre deputy di Boccali ( vedi Pisa) MI : 1 kE ME in piu’ per responabile nazionale WLCG NA: Gianpaolo Carlino, rappresentante in WLCG della federazione Tier2 ATLAS Italia PI: Tommaso Boccali, rappresentante in WLCG della federazione Tier2 CMS Italia Roma1: Alessandro DeSalvo deputy di G. Carlino TO: Massimo Masera e Stefano Bagnasco, rappresentante e Deputy in WLCG della federazione Tier2 ALICE Italia CCR 25 Ottobre 2012 L.Perini

9 WG in WLCG Fine estate 2011 istituiti Technical Evolution Groups: Mandato To reassess the implementation of the grid infrastructures that we use in the light of the experience with LHC data, and technology evolution, but never forgetting the important successes and lessons, and ensuring that any evolution does not disrupt our successful operation. Data Management, Storage Management, Workload Management, DataBases, Security, Operations hanno concluso la prima fase dei lavori per CHEP2012, ma hanno generato vari spin-off la cui attività si prolungherà almeno fino all’estate 2013. CCR 25 Ottobre 2012 L.Perini

10 Da WLCG TEG Mandate Long term support and sustainability of the solutions; Achieving commonalities between experiments where possible; Achieving commonalities across all WLCG supporting infrastructures (EGI-related, OSG, NDGF, etc). Deliverables Assessment of the current situation with middleware, operations, and support structure. Strategy document setting out a plan and needs for the next 2-5 years. CCR 25 Ottobre 2012 L.Perini

11 CNAF in WLCG CNAF e’ particolarmente coinvolto in WLCG e non ha finanziamenti via esperimenti Luca Dell’Agnello rappresenta il CNAF nel MB WLCG e partecipa (con Davide Salomoni) alle riunioni mensili del GDB. Stefano Zani e’ coinvolto nei progetti di rete LHCOPN/LHCONE In particolare nei WG WLCG riguardanti lo Storage sono impegnati al CNAF: Vladimir Sapunenko e Michele di Benedetto (IGI), in quelli Operations Alessandro Cavalli. CCR 25 Ottobre 2012 L.Perini

12 Da WLCG workshop (fine maggio)
Da presentazione Claudio Grandi in EBL Rapporto TEG CCR 25 Ottobre 2012 L.Perini

13 Summary of TEG outcomes
First cut of a prioritisation/categorisation Ian Bird, CERN WLCG Workshop, New York May 20th 2012 L.Perini CCR 25 Ottobre 2012

14 Introduzione Goal: semplicita’ d’uso e manutenzione
Identificato in Computing as a Service Migliorare il monitoring (incluso il network) Proposta la creazione di un WLCG monitoring group L.Perini CCR 25 Ottobre 2012

15 Storage Storage: separazione disco-nastro ma anche disco per data placement e disco per cache Non necessariamente SRM deve scomparire ma FTS puo’ non usarlo, le federazioni xroot non lo usano. Considerare interfacce cloud storage Richiesto supporto per gridftp e xrootd a tutti i siti Passare a FTS 3 Serve Storage Accounting, IO benchmarking Da valutare: local vs remote IO, sparse vs sequential access, vector reads, modalita’ d’uso delle federazioni, letture dirette da storage vs copia sul WN Proposta una relaxed AA per lettura dati serve analisi della sicurezza coi pilot L.Perini CCR 25 Ottobre 2012

16 Workload management Uso di glexec sui WN (urgente per CMS)
Abbandono di gLite WMS; adozione di glidein-WMS? WMS decommissioning group? Contestate le conclusioni del TEG su estensione dell’interfaccia del CE. Proposta l’eliminazione. Feedback dal TEG: CE serve ma non si puo’ comunque assumere una implementazione unica Proposto modello banale per il supporto di multicore e per l’ottimizzazione IO-bound vs CPU-bound “job wakes up, determines what is available, runs” totalmente ignorata la resource allocation Collaborazione con HEPiX per virtualizzazione, clouds, altre ottimizzazioni... dove c’e’ ancora molto da fare Information System solo per resource discovery (semi-statico) Proposta la creazione di un WLCG working group L.Perini CCR 25 Ottobre 2012

17 Database / Operazioni / Security
Supporto per COOL/CORAL da IT e esperimenti Frontier/squid come servizio WLCG (incluso monitoring) Serve anche un meccanismo di squid discovery Creare working group? NoSQL: proposto follow up nel GDB Operazioni: focus sul ruolo di coordinamento di WLCG Formalizzazione del processo di staged roll-out Valutazione della sustainability del middleware Richiesto statement su software management policies Security: necessaria full traceability (anche UI e WN) e appropriata autorizzazione (central banning, etc...) Consolidamento di security practices Affrontare il problema della delega fino al WN Prossimo Pre-GDB su AAI sul WN L.Perini CCR 25 Ottobre 2012

18 Discussion/work group topics
TEG WG / Liaison Purpose WLM HEPiX Liaison(s) with HEPiX (and others) on CPU pinning and “cloud” computing “CE” At least one WG to define CE extensions (and/or alternatives) in more detail: scoping work, defining timescales, testing and deployment plans Several IS IS WG to (re-) define requirements, their implementation and deployment DSM Topical storage groups e.g. R/O placement layer; SRM alternates; liaison with ROOT I/O wg; Separation of R/O & R/W data incl. R/O caches; Federation as “repair mechanism” OPS m/w services & configuration WGs to review m/w services and m/w configuration tools / mechanisms (not clear how useful now) Coordination Not a WG per se, but still a body that will continue and will monitor / coordinate other efforts Service Commissioning A “virtual team” created (and disbanded) as required – and with targeted expertise – to validate, commission and trouble-shoot DB “user group” To share experiences All Monitoring Coordinate all monitoring activities, including missing functions (e.g. network traffic), + monitoring analysis Data access security Define/agree data access/placement security model HEPiX? Technology watch: storage interfaces, protocols, etc., etc. L.Perini CCR 25 Ottobre 2012