ONEDATA - distributed data caching -

Presentazione sul tema: "ONEDATA - distributed data caching -"— Transcript della presentazione:

1 ONEDATA - distributed data caching -
Doina Cristina Duma (INFN - CNAF) Daniele Spiga (INFN – PG)

2 Outline “problem” First results with Onedata
Global Distributed Data Access System INDIGO-DataCloud

3 history Thanks to Davide!!

4 Prossime slide per gentile concesisone di Tommaso Boccali (INFN-PI)
“Proposta per una cache distribuita a livello italiano”

5 problema A differenza del Run I, nel Run II Esempio: RunI vs RunII
le risorse a disposizione degli esperimenti LHC NON sono sufficienti per una gestione comoda dello spazio disco Esempio: RunI vs RunII Trigger rate 2-3x (includendo parking su nastro) Event complexity (PU) 2x Pulizia degli eventi peggiorata (25 ns vs 50 ns) – maggiore tempo di ricostruzione In generale una stima per il Run II usando lo stesso modello del Run I dava nel 2015 un fattore ~10x di aumento di risorse necessario Nello stesso periodo (2012 vs 2015) la legge di Moore dava a malapena un fattore 2x di miglioramento tecnologico Quindi, 10x risorse nel 2015 costano 5x piu’ di quanto speso nel 2012

6 soluzioni …

7 Effetti attesi

8 Soluzioni possibili

9 CMS, ATLAS, ALICE – Sit. Attuale

10 Costo “operazionale”

11 Caching locale …

12 Di più ???

13

14 grandezza

15 Realizzazione

16

17

18 preparazione

19

20

21

22

23

24

25 1

26

27 Oneprovider@pg : the cache before the usage
Status of soon after joining the cms_mc1 space Replicated the structure Replicated all file with size 0

28 CMS Analysis jobs & input data “from onedata”
Excerpt of CMS Trivial File Catalog: Excerpt of a CMS job log file : Checking the (the cache)

29 Oneprovider@pg : the cache while jobs run
As soon as file are accessed by jobs (through one client), accessed files are cached on the provider at Perugia

30

31 Next Steps Just started … promising results
We need to define a suitable storage setup (such as Backend for PG?) We need to define a benchmark to make comparison tests with XrootD Make an on-demand disckless site demonstrator using the national cache

32 https://www.indigo-datacloud.eu Better Software for Better Science.
Thank you Better Software for Better Science. October 2016 Patrick Fuhrmann - The INDIGO-DataCloud MidnightBlue Release