HSF and the Community White Paper

Presentazione sul tema: "HSF and the Community White Paper"— Transcript della presentazione:

1 HSF and the Community White Paper
D. Menasce, C. Grandi, D. Bonacorsi Thanks to Michel Jouvin, Peter Elmer et al. 31/01/2017 HSF and the Community White Paper

2 HSF and the Community White Paper
HSF Motivations: HL-LHC Software Challenges Nei prossimi 10 anni il software HEP avrà da risolvere un certo numero di sfide Scala: HL-LHC produrrà un fattore 100 in più dei dati attuali, con maggiore pile-up ed aumentata complessità dei rivelatori Performance/costi: Una stima delle necessità di computing power eccede la legge di Moore di un fattore da 3 a 30 Technology/Market evolution: si torna a soluzioni eterogenee (HPC/HTC, GPU, ASIC, FPGA,…); l’evoluzione tecnologica non può essere sfruttata senza un adeguata evoluzione nel sofware (algoritmi, parallelizzazione, ottimizzazione, ….) Sostenibilità: Buona parte dei codici oggi in uso e che definiscono le nostre potenzialità SW (ROOT e Geant inclusi) hanno ormai più di 20 anni. Modernizzazione, ottimizzazione, nuovi algoritmi richiedono sforzo considerevole, cognizioni e capacità specialistiche e pongono una sfida nella sfida. Fondamentale l’economia di scala (e quindi gestione condivisa dei problemi) 31/01/2017 HSF and the Community White Paper

3 HSF and the Community White Paper
HSF Motivations: HL-LHC Software Challenges Nei prossimi 10 anni il software HEP avrà da risolvere un certo numero di sfide Scala: HL-LHC produrrà un fattore 100 in più dei dati attuali, con maggiore pile-up ed aumentata complessità dei rivelatori Performance/costi: Una stima delle necessità di computing power eccede la legge di Moore di un fattore da 3 a 30 Technology/Market evolution: si torna a soluzioni eterogenee (HPC/HTC, GPU, ASIC, FPGA,…); l’evoluzione tecnologica non può essere sfruttata senza un adeguata evoluzione nel sofware (algoritmi, parallelizzazione, ottimizzazione, ….) Sostenibilità: Buona parte dei codici oggi in uso e che definiscono le nostre potenzialità SW (ROOT e Geant inclusi) hanno ormai più di 20 anni. Modernizzazione, ottimizzazione, nuovi algoritmi richiedono sforzo considerevole, cognizioni e capacità specialistiche e pongono una sfida nella sfida HC-LHC salvation will come from improvements in SW development and maintanance, not from HW 31/01/2017 HSF and the Community White Paper

4 HSF and the Community White Paper
Il ruolo di HSF HSF ( è stata creata agli inizi del 2015 come strumento propositivo per dare organizzazione alla nostra comunità nell’affrontare le sfide nel campo del software poste da HL-HLC (ma anche da discipline contigue come ad es CTA) Obiettivi principali: Catalizzare nuovi progetti in modo comune e condiviso (Open Source) Promuovere quanto più possibile la collaborazione nello sviluppo per ridurre duplicazione di sforzi, approcci divergenti e fornire significativa economia di scala Fornire una infrastuttura logistica e pratica per convogliare gli sforzi e supportare i progetti (per la quale occorreranno ovviamente risorse), oltre a gestire training e riconoscimenti di carriera nel campo del sofware applicato ad HEP Fornire una struttura condivisa nella quale discutere e proporre priorità e obiettivi (governance minimale, scettro delle decisioni sempre in mano alle rispettive FA, specialmente risorse infrastr.) 31/01/2017 HSF and the Community White Paper

5 HSF and the Community White Paper
Obiettivi di HSF Facilitare il coordinamento e gli sforzi condivisi nel SW in campo HEP (non solo LHC) Acquisire competenze avanzate e implementare soluzioni evolutive (training riveste ruolo fondamentale) Il panorama globale del computing è in sempre più rapida evoluzione (long implementation latency) “No more free-lunch thanks to Moore’s Law: SW must use efficiently built-in HW parallelism, in particular Instruction-Level Parallelism (ILP)” La soluzione non potrà più essere l’acquisto di maggiore HW: budget and energy constraint Occorre imparare ad utilizzare (e valorizzare) tutte le expertise disponibili (difficili da acquisire) nella nostra comunità (e fuori), facendolo in modo sostenibile, efficiente e collaborativo Quasi tutti gli esperimenti (HEP e non HEP) hanno la necessità di affrontare questa sfida Altre comunità (fuori HEP) hanno competenze/esperienze avanzate nel parallelismo (interagire con esse) Non si tratta solo di un problema di tecniche di calcolo: molti algoritmi sono apparentemente sequenziali: l’individuazione di possibile parallelismo è cosa complessa (occorre anche lavoro su algoritmi e design- patterns e quindi sensibilità specifica sul tema, cosa che richiede tempi lunghi e adeguato supporto) Sforzi duplicati o individuali (per singolo esp) non scalano e non saranno sostenibili: questo vale per i framework (on e off-line), algoritmi di ricostruzione, software di calibrazione, infrastruttura analisi, …. 31/01/2017 HSF and the Community White Paper

6 Focus principale dell’iniziativa
L’HW è ormai sostanzialmente materiale di consumo. Il software è ciò per cui investiamo lo sforzo maggiore (e sempre più investiremo) e che diventa parte integrante dei rivelatori per molti anni a venire (vale anche per il software infrastrutturale, grid/cloud, oltre che i DAQ, l’analisi, i frameworks, i DB, …). Si tratta di sviluppi SW dai costi molto ingenti ma difficilmente valutabili (e spesso poco rendicontati, real costs hidden), spesso affrontati from scratch da gruppi con esigenze similari 31/01/2017 HSF and the Community White Paper

7 Come affrontare la situazione?
Il Community White Paper Il CWP cercherà di identificare e prioritarizzare lo R&D SW necessario assieme ai costi ed investimenti relativi (fondamentale l’input delle FA) oltre a studiare modi per gestire la sostenibilità temporale sul lungo periodo dei vari progetti: Per raggiungere i necessari traguardi in efficienza, scalabilità e performance nell’uso delle nuove tecnologie di calcolo (GPU), di storage distribuito e di rete Per favorire la ricerca di nuovi approcci al computing (SW) che possano radicalmente estendere il physics reach degli esperimenti (tramite ad es machine learning) e garantire la sostenibilità sul lungo periodo HSF sta catalizzando la comunità HEP nel produrre questo CWP tramite un processo condiviso tra soggetti disparati (LHC, neutrino program, IF, Belle II, linear collider ma in futuro anche CTA, SKA e altre comunità) 31/01/2017 HSF and the Community White Paper

8 HSF and the Community White Paper
The Workshop San Diego (23-27 January 2017) Ampia varietà di argomenti 31/01/2017 HSF and the Community White Paper

9 HSF and the Community White Paper
FA americane erano presenti di persona!! A questo credo sia importante prestare particolare attenzione… 31/01/2017 HSF and the Community White Paper

10 Argomenti in vari campi e discipline
31/01/2017 HSF and the Community White Paper

11 HSF and the Community White Paper
Attività concreta suddivisa in WG (sia nel WS che nelle attività ordinare di HSF) L’aspettativa era che ogni WG producesse due cose per la fine del WS: Un WG-charge che specifichi lo scopo del medesimo, le sfide da affrontare e le risposte da dare per affrontarle (food-for-thought per il CWP finale) Un piano di massima per le attività nei seguenti 6 mesi: raccolta degli input necessari (da esperimenti, comunità e FA), istituzione di videconferenze, meeting, workshops e attività comunitarie Scopo dei WG è dare inizio al processo di raccolta informazioni: l’azione si è svolta in sessioni parallele. È importante, come INFN, partecipare ai WG, perchè i temi (con le opportune raccomandazioni) che appariranno nel CWP verranno messi a punto in quei contesti. Occorre almeno un rappresentante per tematica (per WG) che noi consideriamo critica per l’ente. 31/01/2017 HSF and the Community White Paper

12 Le sessioni parallele dei WG
31/01/2017 HSF and the Community White Paper

13 Due le domande fondamentali
Che impatto si pensa avranno le soluzioni identificate come opportune, per vincere le sfide indicate, sui computing model degli esperimenti? Come si può organizzare il processo di stesura del CWP per includere gli scopi di di ogni WG? In particolare ci sono molte sovrapposizioni tra WG (ad es. uso di GPU comune a molti approcci, sostenibilità pure,…): HSF deve in qualche modo mettere le sovrapposizioni a fuoco ed evitare le duplicazioni di effort (ruolo di coordinamento concettuale, operativo) Questo dovrebbe generare uno sviluppo armonico e condiviso tra comunità delle possibili soluzioni (in pratica mai fatto nel passato) 31/01/2017 HSF and the Community White Paper

14 Computing Models, Facilities, and Distributed Computing
Punti chiave della discussione: Riduzione del numero di siti Valutazione complessiva dei costi (ad es. Il network non è facilmente valutabile) per confrontare soluzioni on-premise versus on-cloud Necessità di costruire prototipi per valutare le soluzioni Costruire preliminarmente una “visione” del modello Prossimi passi: Ian Bird e persone selezionate di WLCG preparano una prima versione del documento assieme ai computing coordinator di LHC 31/01/2017 HSF and the Community White Paper

15 Challenges – 1 NB: We are starting from a working system
Technical challenges: Optimization of the physics output vs cost Software, algorithms, computing models, distributed infrastructure  and implications (e.g. on networks needed) Integration of all available resources: HPC, Cloud, opportunistic, traditional, etc. Technology evolution – will it be as much as we need? Opportunity to re-think the computing models – may be very different than today Sociological challenges: Remove the “online-offline” boundary – there is a computing challenge from detector to physics Must ensure that Computing and Software careers are seen as Physics careers – essential to build and maintain the skills we need This requires change in the collaborations & in the Universities Consolidation of resources (e.g. storage) must not be interpreted as removing the need for a global community and global contributions Must find a path to reducing cost while maintaining the most broad and open contributing community 8 October 2016 Ian Bird

16 Attività di HSF in corso
Training: identificata come un’attività critica nel breve/medio periodo. Non ancora produttiva come si vorrebbe Online trainings: approntata una utile lista di riferimenti online sul sito Link a WikiToLearn ( Software Project Visibility and Interactions Software Knowledge Base: aiutate a popolare il sito con informazioni utili! Incubator: alcuni progetti hanno aderito al relativo WG man on è chiara la sostenibilità dato l’attuale manpower (problema comune a TUTTE le iniziative) Software Packaging: volto a rendere facile l’utilizzo pei package esistenti in modo indipendente dal build-tool adottato WG molto attivo: fatti progressi nell’identificare soluzioni promettenti (Spack) Software Licensing: prodotta una nota tecnica un anno fa, nuovo round di discussione inizia in Febbraio Technical Forum: condivisione di expertise Technical Notes: nel 2016 ne sono state prodotte un certo numero Development Tools and Services Nessun prodotto specifico da HSF: ci si affida a strumenti Open Source (GitHub, Accesso aperto al CERN TechLab: possibile testare e impratichirsi con nuove tecnologie HW! 31/01/2017 HSF and the Community White Paper

17 HSF and the Community White Paper
Attività proposte DAQ: proposta mia (utente interessato) Scopo del WG è raccogliere la comunità di utenti che hanno necessità di sviluppare un DAQ (dalla scala di un test-stand, passando a un test-beam fino ad un rivelatore delle dimensioni di CMS) ma non hanno le risorse e/o l’expertise necessaria. FNAL ha sviluppato un interessante progetto ( ormai in produzione alla test-beam facility Adottato dalla comunità IF (esperimenti neutrino) Dall’Outer Tracker di CMS Di interesse potenziale per CMS Upgrade Pixel Phase II Valutato per HGCAL Credo valga la pena pubblicizzare l’esistenza di questo WG in ambito INFN: possibili utenti iniziali gli esperimento di GRII (poco man-power software-oriented, poche risorse, necessità similari) 31/01/2017 HSF and the Community White Paper

18 HSF and the Community White Paper
HSF: Calendario Prossimi step: incontri mensili (o on-demand) per i vari WG Per fine Giugno deve essere pronta una prima stesura del CWP Conclusioni Mie impressioni personali L’iniziativa di HSF nel SW è la strada giusta: buona l’idea, ragionevole la strada proposta È però ancora da verificare che le sinergie dichiarate indispensabili funzionino (sociologia) Sindrome del gatto-che-si-mangia-la-coda: FA non contribuiscono finchè non ci sono dimostrazioni che il principio funziona, ma il principio funziona solo se c’è attività concreta (che senza fondi è difficile). Occorre sforzo vero di buona volontà… 31/01/2017 HSF and the Community White Paper