ONEDATA - distributed data caching -

Slides:



Advertisements
Presentazioni simili
Cache Memory Prof. G. Nicosia University of Catania
Advertisements

1.E un algoritmo ricorsivo: Tutti le istanze di oggetti raggiungibili da un oggetto persistente diventano anchessi persistenti.
ALICE-Italia: IL CALCOLO
LHCf Status Report Measurement of Photons and Neutral Pions in the Very Forward Region of LHC Oscar Adriani INFN Sezione di Firenze - Dipartimento di Fisica.
S. Bolognesi (1) from CMS A. Di Simone (2) from ATLAS 1 Università di Torino ed INFN Torino 2 Università di Roma Tor Vergata ed INFN Roma 2 V workshop.
Last quarter work and future activities
Project Review Novembrer 17th, Project Review Agenda: Project goals User stories – use cases – scenarios Project plan summary Status as of November.
Che ora e’/ Che ore sono?.
I giorni della settimana
CMS RPC R&D for phase 2 Two types of upgrades proposed for the CMS RPC muon system: 1.Aging and longevity: installed in 2007, must continue to operate.
CMS RPC R&D for phase 2 Two types of upgrades proposed for the CMS RPC muon system: 1.Aging and longevity: installed in 2007, must continue to operate.
THE LIGHT How does the light propagate?. 1)To verify that light propagates in straight lines 2)To compare an object with its projection on a rigid screen.
CSN M. Diemoz CMS – RRB24 SOLDI INVESTITI BENE...
Timing and pixel Diamond Plans for phase I and II
P5  2009 shifts VS shifts until the end of 2009  2010 plan.
Project Review Novembrer 17th, Project Review Agenda: Project goals User stories – use cases – scenarios Project plan summary Status as of November.
1 6 maggio 2009Attivita' e richieste CSM Frascati - Stefano Bianco 1 Closed Loop e Gas Gain Monitoring Il Closed Loop e’ in operazione stabile dopo lo.
Proposta per una cache distribuita a livello italiano ALESSANDRO DE SALVO (RM1) TOMMASO BOCCALI (PI)
Michele Punturo INFN Perugia 1. Riunione di oggi Mattina: problemi immediati – Trasferimento dati da LIGO (Luca Rei) – Trasferimento dati da.
Firmware per il Trigger del RICH Cristiano Santoni Università degli studi di Perugia INFN - Sezione di Perugia Meeting generale GAP 13/01/2014.
Calcolo a LHC Concezio Bozzi, INFN Ferrara per il gruppo di referaggio: F. Bossi, CB, R. Ferrari, D. Lucchesi, D. Martello, [M. Morandin], S. Pirrone,
SUMMARY Checking RIEPILOGO Verifiche RIEPILOGO Verifiche.
STMan Advanced Graphics Controller. What is STMan  STMan is an advanced graphic controller for Etere automation  STMan is able to control multiple graphics.
Esigenze di Rete degli Esperimenti LHC e di Gr1 G. Carlino – INFN Napoli CCR – Roma 8 Settembre 2014.
Sommario richieste CSN1 Consiglio di Sezione 28/06/2013 Attilio Andreazza.
Domenico Elia1 Calcolo ALICE: stato e richieste finanziarie (aggiornamenti) Domenico Elia Riunione Referee Calcolo LHC / Bologna, Riunione con.
Do You Want To Pass Actual Exam in 1 st Attempt?.
Applicazione di INDIGO a CMS per creazione di dynamic on-demand analysis clusters su risorse opportunistiche. INDIGO-DataCloud MidnightBlue Tutorials Days.
Riunione ALICE Italia - Referee stato e richieste finanziarie
Riunione INFN – Bologna, 17 January 2013
Lepton Flavour MEG A. Baldini CSN1 22 Nov. 2011: GGI.
CMS.
Present progressive Past progressive verbs. Present progressive Present progressive: formula positive; subject + ___/___/___ + verb+ ing + complimentary.
MONBOX Federico Bitelli bitelli<at>fis.uniroma3.it
G.Alimonti INFN, Milano 12 Gennaio 2011
Risultati ultimi mesi Piano di lavoro prossimi mesi Reclutamento
Calorimetro LAR ATLAS Italia Roma 28 novembre 2008
Richieste 2017 HMPID e LHC_IF
Alberto Masoni EU-IndiaGrid Project Manager INFN Sezione di Cagliari
Commissione Scientifica III stato e richieste finanziarie
Gruppo storage CCR Nuove attivita’ 2007 Alessandro Brunengo CCR - Roma
From 8 to 80 boxes. From FBSNG to Condor CPU Satura !
Assegnazione risorse Stato INFN CNAF,
Esercizi finali Roberto Barbera Università di Catania e INFN
INFN Il calcolo scientifico presso la sede INFN di Padova e di Legnaro
Estensioni elastiche CNAF – un po’ di idee e status report
Analisi dei dati dell’Esperimento ALICE
CNAF e Nuvole Comitato Tecnico del CNAF
R&D fase 2 – RPC 4st meeting
Belle II Computing: Accesso alle risorse di storage via http/webdav
Gigi Cosentino - LNL 20 ottobre 2016
CMS.
Riunione con Referee Calcolo LHC stato e richieste finanziarie
PI2S2 Regional Operation Centre Sistema di Supporto Sistema di Monitoring Rita Ricceri Consorzio Cometa Tutorial per Site Administrator Messina,
Distributed cache proposal
INFN Il calcolo scientifico presso la sede INFN di Padova e di Legnaro
Job Application Monitoring (JAM)
PhD Theses Institutional Archive Unitn-eprints PhD Upload, mandatory deposit and copyright issues at Unitn Highlights DRSBA. Ufficio Anagrafe della ricerca,
Highlights del meeting ESPP di Cracovia Settembre 2012 (FISICA DI G1)
SuperB – Richieste Sblocchi 2008
La richiesta si basa sulle seguenti considerazioni:
The Limadou project on the CSES space mission:
I materiali metallici sono perfetti?
Study of Bc in CMSSW: status report Silvia Taroni Sandra Malvezzi Daniele Pedrini INFN Milano-Bicocca.
Preliminary results of DESY drift chambers efficiency test
Accesso al corpus it. / ing. parola cercata sintagmi preposizioni.
REALIZZARE UN’ANIMAZIONE: Il conto alla rovescia
CdS 2017: embargo fino a TAUP2017
A comparison between day and night cosmic muons flux
Tommaso Boccali (INFN-Pisa / CERN)
Transcript della presentazione:

ONEDATA - distributed data caching - Doina Cristina Duma (INFN - CNAF) Daniele Spiga (INFN – PG)

Outline “problem” First results with Onedata Global Distributed Data Access System INDIGO-DataCloud

history Thanks to Davide!!

Prossime slide per gentile concesisone di Tommaso Boccali (INFN-PI) “Proposta per una cache distribuita a livello italiano”

problema A differenza del Run I, nel Run II Esempio: RunI vs RunII le risorse a disposizione degli esperimenti LHC NON sono sufficienti per una gestione comoda dello spazio disco Esempio: RunI vs RunII Trigger rate 2-3x (includendo parking su nastro) Event complexity (PU) 2x Pulizia degli eventi peggiorata (25 ns vs 50 ns) – maggiore tempo di ricostruzione In generale una stima per il Run II usando lo stesso modello del Run I dava nel 2015 un fattore ~10x di aumento di risorse necessario Nello stesso periodo (2012 vs 2015) la legge di Moore dava a malapena un fattore 2x di miglioramento tecnologico Quindi, 10x risorse nel 2015 costano 5x piu’ di quanto speso nel 2012

soluzioni …

Effetti attesi

Soluzioni possibili

CMS, ATLAS, ALICE – Sit. Attuale

Costo “operazionale”

Caching locale …

Di più ???

grandezza

Realizzazione

preparazione

1

Oneprovider@pg : the cache before the usage Status of Oneprovider@PG soon after joining the cms_mc1 space Replicated the structure Replicated all file with size 0

CMS Analysis jobs & input data “from onedata” Excerpt of CMS Trivial File Catalog: Excerpt of a CMS job log file : Checking the Oneprovider@PG (the cache)

Oneprovider@pg : the cache while jobs run As soon as file are accessed by jobs (through one client), accessed files are cached on the provider at Perugia

Next Steps Just started … promising results We need to define a suitable storage setup (such as Backend for Oneprovider @ PG?) We need to define a benchmark to make comparison tests with XrootD Make an on-demand disckless site demonstrator using the national cache

https://www.indigo-datacloud.eu Better Software for Better Science. Thank you https://www.indigo-datacloud.eu Better Software for Better Science. October 2016 Patrick Fuhrmann - The INDIGO-DataCloud MidnightBlue Release