ONEDATA - distributed data caching - Doina Cristina Duma (INFN - CNAF) Daniele Spiga (INFN – PG)
Outline “problem” First results with Onedata Global Distributed Data Access System INDIGO-DataCloud
history Thanks to Davide!!
Prossime slide per gentile concesisone di Tommaso Boccali (INFN-PI) “Proposta per una cache distribuita a livello italiano”
problema A differenza del Run I, nel Run II Esempio: RunI vs RunII le risorse a disposizione degli esperimenti LHC NON sono sufficienti per una gestione comoda dello spazio disco Esempio: RunI vs RunII Trigger rate 2-3x (includendo parking su nastro) Event complexity (PU) 2x Pulizia degli eventi peggiorata (25 ns vs 50 ns) – maggiore tempo di ricostruzione In generale una stima per il Run II usando lo stesso modello del Run I dava nel 2015 un fattore ~10x di aumento di risorse necessario Nello stesso periodo (2012 vs 2015) la legge di Moore dava a malapena un fattore 2x di miglioramento tecnologico Quindi, 10x risorse nel 2015 costano 5x piu’ di quanto speso nel 2012
soluzioni …
Effetti attesi
Soluzioni possibili
CMS, ATLAS, ALICE – Sit. Attuale
Costo “operazionale”
Caching locale …
Di più ???
grandezza
Realizzazione
preparazione
1
Oneprovider@pg : the cache before the usage Status of Oneprovider@PG soon after joining the cms_mc1 space Replicated the structure Replicated all file with size 0
CMS Analysis jobs & input data “from onedata” Excerpt of CMS Trivial File Catalog: Excerpt of a CMS job log file : Checking the Oneprovider@PG (the cache)
Oneprovider@pg : the cache while jobs run As soon as file are accessed by jobs (through one client), accessed files are cached on the provider at Perugia
Next Steps Just started … promising results We need to define a suitable storage setup (such as Backend for Oneprovider @ PG?) We need to define a benchmark to make comparison tests with XrootD Make an on-demand disckless site demonstrator using the national cache
https://www.indigo-datacloud.eu Better Software for Better Science. Thank you https://www.indigo-datacloud.eu Better Software for Better Science. October 2016 Patrick Fuhrmann - The INDIGO-DataCloud MidnightBlue Release