Belle II Computing: Accesso alle risorse di storage via http/webdav

Presentazione sul tema: "Belle II Computing: Accesso alle risorse di storage via http/webdav"— Transcript della presentazione:

1 Belle II Computing: Accesso alle risorse di storage via http/webdav
Dr. Silvio Pardi CCR 16-20 May 2016 Labiodola Isola d'Elba

2 THE BELLE II COLLABORATION

3

4 Alcune attività del gruppo di Computing Italiano
Raw-Data Center (CNAF) Regional Data Center MC Site Stima delle risorse di CPU, Disco, Tape e Network Management della configurazione degli Storage Sistemi per la configurazione e gestione semplificata di risorse Cloud R&D Studio http/webdav. Dynamic data federation.

5 Supporto di http per ROOT
CHEP 2015: “Protocol benchmarking on DPM - Use cases for HTTP and Xrootd” otocolComparison.pdf Conclusioni del lavoro. Gli autori dimostrano che Http e xrootd raggiungono prestazioni molti simili utilizzando uno storage DPM Root e Davix Tutorial

6 Dynamic Federations The Dynamic Federations system allows to aggregate remote storage. The aggregation is performed on the fly, by distributing quick WebDAV queries towards the endpoints and scheduling, aggregating and caching the responses. HTTP and WebDAV clients can browse the Dynamic Federation as if it were a unique partially cached name space, which is able to redirect them to the right host when they ask for a file replica. LHCB testbed (14 storages) ATLAS testbed (~50 storages)

7 Obiettivi dell’attività di R&D
Studiare le problematiche nell’utilizzo di http con il software di belle II Basf2 Promuovere l’attivazione e il tuning dell’ interfaccia HTTP/WEBDAV dei Grid Storage di Belle II Implementare un primo servizio di federazione dinamica per belle II Eseguire test di performance Creare un know-how su questi argomenti Le attività in corso coordinate da INFN-Napoli e sono svolte con il prezioso aiuto di molti siti di Belle II e dei teams di DPM, dCache e SToRM.

8 Basf2 con supporto Davix
Dopo un analisi delle librerie di ROOT I/O usate dal software basf2 è stato individuata la mancanza della specifica libreria Davix. Chiesta la ricompilazione, a partire dalla release di marzo distribuita presso I siti via CVMFS, basf2 supporta http/webdav grazie all’introduzione della libreria TDavixFile.h . …… filelistSIG=[' inputMdstList(filelistSIG)

9 Testbed infrastructure
STORGE DIRAC NAME HOSTNAME TYPE DESY-DE dcache-belle-webdav.desy.de DCACHE GRIDKA-SE f e.gridka.de NTU-SE bgrid3.phys.ntu.edu.tw SIGNET-SE dcache.ijs.si UVic-SE charon01.westgrid.ca Adelaide-SE coepp-dpm-01.ersa.edu.au DPM CESNET-SE dpm1.egee.cesnet.cz CYFRONNET-SE dpm.cyf-kr.edu.pl Frascati-SE atlasse.lnf.infn.it HEPHY-SE hephyse.oeaw.ac.at Melbourne-SE b2se.mel.coepp.org.au Napoli-SE belle-dpm-01.na.infn.it CNAF-SE ds cr.cnaf.infn.it STORM McGill-SE gridftp02.clumeq.mcgill.ca A gennaio 2016 è partita un attività di studio delle performance di http/webdav Attualmente 14 storage dei 23 SRM di Belle II hanno aderito attivando l’interfaccia webdav 3 Differenti tecnologie di storage dCache, DPM, STORM

10 DYNAFED Server di Napoli https://dynafed01.na.infn.it/myfed/
Aggregate view of all the storages PerSiteView that shows the file system of each storage

11 Performance Tests Software used: bsaf2 Skim used: D+rho_skim.py
50 replicati in tutti gli storage nello stesso path 6 test svolti su un singolo file (1000 events, size 10MB) Local input (download via http) Local input (download via xrootd) Local input (download via lcg-cp) Input via http streaming Input via xrootd streaming Dynafed access 5 ripetizioni I test sono svolti tramite Grid Job da più siti vs tutti gli storage che supportano xrootd e http. WN Site X WN Site Y Storage-A Storage-B Storage-N

12 Analysis 1. File download con Http, Xrootd and Lcg-cp
Description Prestazioni di http, xrootd e lcg-cp in funzione della latenza tra client e server, nel caso di file download Commenti http, xrootd mostrano prestazioni molto simili e in ogni caso migliori di lcg-cp Average time from CLIENT grid-wn0358.desy.de (DESY) Average time from CLIENT recas-bellewn06.na.infn.it (RECAS-NAPOLI)

13 Analysis 2. Http vs Xrootd Streaming
Descrizione Performance di file streaming in funzione della latenza da tre siti diversi (RootInput function) Commenti http, xrootd in alcuni casi mostrano prestazioni molto simili in altri casi la differenza va anche otre il 50%. Tale comportamento dipende anche dalla configurazione degli storage. FROM DESY FROM RECAS-NAPOLI FROM McGILL

14 Analysis 2. Http vs Xrootd Streaming
Description File streaming performances in funzione della latenza, divisi per tecnologie (McGILL case study) dCache Storages DPM Storages

15 Analysis 3. Dynafed performances
Grazie alle funzionalità di aggregazione di Dynafed, possiamo accedere a repliche dello stesso file con un unica http URL: Attivando il geoip-plugin, Dynafed sarà altresi in grado di selezionare la replica più vicina al client. From McGill From Napoli

16 Conclusioni Il software di Belle II supporta http/webdav grazie all’utilizzo della libreria TDavixFile.h Ad oggi 14 SE della collaborazione Belle II hanno attivato l’interfaccia http/webdav. Altri siti sono pronti ad aderire. E’ stata creata una prima istanza di dynafed server a Napoli. Attualmente è in corso un intensa attività di analisi delle prestazioni. Ci sono molti aspetti sia lato client che lato server da studiare. L’attività, svolta in ambito Belle II, ha comunque un interesse generale per la valutazione di tecnologie trasversali agli esperimenti.

17 BACKUP

18 Download vs Streaming Descrizione
Tempo totale per analizare un singolo file. Confronto tra strategia di file download e file streaming, in funzione della latenza (Test from Desy) Local Client Storage in the same Region Storage in an other Region