13-may-031 Calcolo CDF Richiesta sblocco s.j. per Accelerare migrazione farm (analisi e MC) da FNAL al CNAF incluso piccolo status report ed uno sguardo.

Slides:



Advertisements
Presentazioni simili
E835 & Hera-B Concezio Pisa, 21/12/2004. E835 (aka Jet-FNAL) timeline dell'esperimento –Presa dati conclusa nel Alcune analisi tuttora in corso.
Advertisements

Luglio 2004Storage Resource Management1 STORAGE RESOURCE MANAGEMENT (SRM) Luglio 2004.
Luglio 2004Tape1 TAPE Luglio Tape2 Storage hyerarchy nanosec sec $/GB Solid state memory memory Hard Disk OpticalDisk TAPE ,5 50 ns 50.
23/01/01Alberto Masoni – GR1 - Roma1 I MODELLI DI CENTRI REGIONALI POSIZIONE DI ALICE ITALIA CENTRO ITALIANO: CPU 450 KSI95, DISCO 400 TB (INSIEME TIER-1.
CSN1 - Roma 28 Gennaio 2002 Calcolo per CDF Stefano Belforte - INFN Trieste1 Sommario Novita da Settembre 2001 Critica dellesistente: Review CDF Central.
EDITORIA ON-LINE INDAGINE FRA I SOCI ANES settembre - dicembre 2006 A cura della Segreteria ANES.
Computing: Attività 2009 Reprocessing e ri-simulazione dati Run7 Extra-production di dati MC alla Y(4S) 10 x cross section bb e cc, 2 x cross section u.
Computing: Attività 2011 Limitate produzioni di MC e skim E il dataset finale (rel24/26) Grosso sforzo per il Long Term Data Access project: cluster di.
Progetto Speciale Prototipo Tier1 F. Ruggieri INFN – CNAF I Workshop CMS Italia del SW e Computing Roma 22 Novembre 2001.
1 La farm di ATLAS-Napoli 1 Gb/s 7 nodi con 2 CPU PIII a 1 GH, RAM 512 MB, 2 schede di rete a 100 Mb/s. Server con 2 CPU PIII a 1 GH, RAM 1 GB, 2 schede.
Aspetti critici rete LAN e WAN per i Tier-2
ASSIA Relazione del referee Maria Curatolo CSN1 Assisi 24/9/2004.
Zeus proposte di asseganzione in corso danno Sebastiano Albergo Giovanni Chiefari Raffaello Dalessandro CSN1 - Pisa 21 Giugno 2004.
Test del Monitoraggio del Tracker usando un Tier2 M.S. Mennea, G. Zito, N. De Filippis Università & INFN di Bari Riunione Consorzio – Torino 18 Novembre.
La facility nazionale Egrid: stato dell'arte Egrid-Team Trieste, 9 ottobre 2004.
Progetto Videoconferenze relazione dei referees Luciano Barone Stefano Belforte Roberto Stroili Commissione Calcolo - 16 Maggio 2000.
Michele Michelotto INFN-Padova
1 Riunione Testbed - 17 gennaio Agenda - stato del testbed di INFN-GRID (L. Gaido) - le risorse del CNAF (A. Italiano) - report sullo stress test.
LNL CMS M.Biasotto, Firenze, 22 maggio Hardware e tools di installazione Massimo Biasotto INFN – Lab. Naz. di Legnaro.
1 M. Biasotto – Legnaro, 22 Dicembre 2005 Prototipo Tier 2 di Legnaro-Padova INFN Legnaro.
CDF Meeting - Pisa 29 agosto 2003 Calcolo Stefano Belforte - INFN Trieste1 Stato e prospettive calcolo nazionale Cosa ce Cosa ci sara per il 2004 Cosa.
5 Feb 2002Stefano Belforte – INFN Trieste calcolo per CDF in Italia1 Calcolo per CDF in Italia Prime idee per lanalisi di CDF al CNAF Numeri utili e concetti.
Meeting: CDF - Referees 8 settembre 2003 Calcolo CDF Stefano Belforte - INFN Trieste1 Calcolo 2003/4: bottom lines 2003 abbiamo analizzato i dati ! Risorse.
Stefano Belforte INFN Trieste 1 necessita' CDF al Tier1 2 feb 2004 CDF stato e necessita Poco cambiato dal 18 Dicembre 2003.
Stefano Belforte INFN Trieste 14 Sep 2004 CDF Referee's meeting 1 Calcolo per CDF 1)Rivediamo le richieste 2005 Le 4 slides che ho circolato a Luglio con.
15 Aprile 1999Stefano Belforte - INFN Pisa1 Piano per il Calcolo di CDF Meeting con Referees di Gr. I 15 Aprile 1999.
Benvenuti a Un incontro informativo di grande valore ed alto contenuto sulla Virtualizzazione e sistemi ad alta disponibiltà per le PMI.
EGEE is a project funded by the European Union under contract IST Using SRM: DPM and dCache G.Donvito,V.Spinoso INFN Bari
WP 2.3 Dr.Stefania Amici. Ottobre 2011-Gennaio 2012: task Si verificherà la disponibilità dei dati, la loro qualità tramite un analisi preliminare.
Alessia Tricomi Università & INFN Catania
Manutenzioni e Mezzi di Calcolo Paolo Morettini – INFN Genova Valerio Vercesi – INFN Pavia CSN1 - Catania Settembre 2002.
20 Settembre 2005CSN1 - Napoli - Zeus: proposte dei referee ZEUS: proposte dei referee Sebastiano Albergo Giovanni Chiefari Raffaello Dalessandro.
CCR 14-15/03/2006 Status Report Gruppo Storage CCR.
L. Perini Riunione CSN1, Frascati Il Calcolo di CDF: Relazione dei referees Fabrizio Gagliardi, Laura Perini e Valerio Vercesi.
L. Perini Riunione CSN1, Catania Il Calcolo di CDF: Relazione dei referees Laura Perini e Valerio Vercesi.
COMPASS Richieste 2004 P. Bagnaia, P. Cenci, S. Zucchelli Lecce, Settembre Compass 2004  Stato dell’esperimento;  Upgrade elettronica RICH1; 
Workshop sulle problematiche di calcolo e reti nell’INFN Paestum,9-12 giugno 2003 Report sull’ultimo HEPiX e proposte per le prossime edizioni Roberto.
Test Storage Resource Manager per SC4 Giacinto Donvito Vincenzo Spinoso.
24 settembre 2003Stefano Belforte - INFN Trieste1 Calcolo per CDF-2 Revisione annuale 2003 Evoluzione piano di calcolo CDF ( 10min ) Stato e Piano CDF-italy.
6 Febbraio 2006CSN1 - Roma1 MEG : relazione dei referees P. Cenci R. Contri P. Morettini M. Sozzi.
COMPASS Gruppo 1 P.Bagnaia, P. Cenci, S. Zucchelli Roma, Maggio COMPASS : STATO ESPERIMENTO  COMPASS sta analizzando i dati 2002 e preparando il.
1 CSN1 - Lecce 22/09/2003 Babar Relazione e proposte finanziarie Referee: M. de Palma, P. Lubrano, C. Luci, L. Perini,A. Staiano.
LNL CMS M.Biasotto, Roma, 22 novembre I Tier2 in CMS Italia Massimo Biasotto - LNL.
Attivita` di TileCal 2013 C.Roda Universita` e INFN Pisa Riunione referees ATLAS Roma 1 C.Roda Universita` e INFN Pisa.
CSN Maggio 2005 P. Capiluppi Il Computing Model (LHC) nella realta’ italiana u I Computing models degli esperimenti LHC gia’ presentati a Gennaio.
Installation and evaluation of the Globus toolkit Massimo Sgaravatto INFN Padova.
CSN1-Assisi L.Perini1 BaBar Calcolo L. Perini per i referees: L.Perini,A.Staiano…
COMPASS Richieste 2005 P. Bagnaia, P. Cenci, S. Zucchelli, S.Belforte, R.D’Alessandro Assisi, Settembre Compass 2005  Stato dell’esperimento; 
Cosa cambia per CDF  S.Belforte mantiene per ora 20% (1 day/week) su CDF: il necessario per una attivita’ di coordinamento e transizione verso un nuovo.
Stato del calcolo in BaBar e richieste per il 2004, F. Galeazzi, Giugno 2003 Calcolo in BaBar Stato e richieste al CSN1 per il 2004 presentato da F. Galeazzi.
8 May 2002 CCR workshop – La Biodola Stefano Belforte – INFN Trieste Computing needs for CDF and BaBar1 Computing needs for running experiments Look at.
Il calcolo LHC in Italia: commenti Gruppo di referaggio Forti (chair), Belforte  Bossi, Menasce, Simone, Taiuti, Ferrari, Morandin, Zoccoli.
CDF Relazione dei Referee G. Bruni, P. Giubellino, L. Lista, P. Morettini, L. Moroni, V. Vercesi CSN1 – Maggio 2006.
Gruppo 1 - Catania 16/09/2002 – R. Fantechi, P. Lubrano, S. Zucchelli (R. Fantechi, P.Lubrano, L. Perini per il calcolo) KLOE - Richieste aggiuntive 2002.
CDF I referee Roma, 16 Maggio Tevatron OK Fisica Stanno pubblicando –Bene Nostre principali preoccupazioni su B s -mixing –Sulla base dei loro.
CDF Calcolo Another brick in the wall Paolo Morettini CSN1 Lecce Valerio Vercesi Settembre 2003.
Referaggio CALCOLO Esperimenti non LHC G. Carlino, D. Lucchesi, V. Vagnoni CSN1 – Lecce 30 Settembre 2015.
Domenico Elia1Riunione PRIN STOA-LHC / Bologna Attività per ALICE: sommario e prospettive Domenico Elia Riunione PRIN STOA-LHC Bologna, 18 Giugno.
1 referee-BaBar CSN I, LNF giugno 2007 RELAZIONE DEI REFEREE DI BaBar M.De Palma, C.Luci, C.Troncon, B.Gobbo(calcolo) 26 giugno 2007.
CCR - Frascati 29 settembre 2008 Gruppo storage CCR Status Report Alessandro Brunengo.
Presentazione WS del 23/10/2013 al CNAF: 0&resId=0&materialId=slides&confId=6920
1 referee-BaBar CSN I, Roma Gennaio 2008 RELAZIONE DEI REFEREE DI BaBar e SuperB M.De Palma, C.Luci, C.Troncon, B.Gobbo(calcolo),D. Pedrini
1 ALICE I ITER2 DI ALICE IN ITALIA Bologna, 6 marzo 2007 M. Masera
20-21/03/2006Workshop sullo storage - CNAF Storage nei Servizi Calcolo delle sezioni INFN Alessandro Brunengo.
The INFN Tier-1: progetto di ampliamento Cristina Vistoli – INFN CNAF Referee Meeting Sep
ATLAS Italia – Sestri Levante, 15 Giugno 2010 G. Carlino – Richieste Run Efficiency = time for physics / total time LHC Efficiency = time with colliding.
Gruppo Server Commissione Calcolo e Reti 15 Marzo 2006.
1 Le macchine di questo pool fanno parte di una lan privata (la 125 illustrata a pag.2), di cui t2cmcondor è il gateway. Sono presenti 3 macchine su rete.
Esigenze di Rete degli Esperimenti LHC e di Gr1 G. Carlino – INFN Napoli CCR – Roma 8 Settembre 2014.
From 8 to 80 boxes. From FBSNG to Condor CPU Satura !
Transcript della presentazione:

13-may-031 Calcolo CDF Richiesta sblocco s.j. per Accelerare migrazione farm (analisi e MC) da FNAL al CNAF incluso piccolo status report ed uno sguardo allevoluzione del piano finanziario multiennale Stefano Belforte INFN – Trieste

CSN1 13-may-03 Stefano Belforte – INFN Trieste CDF computing2 Stato farms analisi CDF FNAL Funziona ~30% delle risorse sono non-FNAL Difficolta con accesso ai dati limite a quante cpu possono accedere un (NFS) file server ha frenato anche la utilizzazione delle ns. cpu dCache dovrebbe risolvere tutto per lestate Bisogni fino a fine 2004 coperti con assegnazioni Catania Ma estate 2003 (200+ pb-1) con lo stesso hw di 70pb-1 CNAF Funziona prima del previsto (con hw in prestito da Tier1) Alcune funzionalita ancora da implementare Troppo piccola per essere veramente attraente Ma comincia a piacere

CSN1 13-may-03 Stefano Belforte – INFN Trieste CDF computing3 Evoluzione calcolo )Dynamic, hierarchical, disk cache per importazione dati (SAM) Funziona. In uso a TS su cluster di desktops con disco NFS Stiamo testando configurazioni piu flessibili/scalabili 2)Saranno disponibili data set statici skimmati O(TB) Possibile (e UTILE) rendere CNAF competitivo con FNAL per spostare lavoro senza perdere efficienza gia dallestate TB di cache per high PT (accesso a tutti e/mu 20GeV) 2TB di data set statici selezionati per B (vs 10TB all incl) CPU in base ai dati PROPOSTA: ridirigere in Italia le risorse che nel piano erano state destinate a FNAL (e messe s.j. a Catania) Si intravede la possibilita di seguire la stessa strategia per il 2004: dirottare alcune attivita dal FNAL al CNAF assieme alle risorse previste, evitando duplicazioni

CSN1 13-may-03 Stefano Belforte – INFN Trieste CDF computing4 La richiesta CDF non puo crescere quanto necessario con risorse in prestito. E il momento perche la CSN1 definisca quantitativamente la nostra presenza al CNAF, finora solo 10 duals finanziati per MC, da ordinare (serve nuova sala) Chiediamo di dedicare al CNAF i 122KEu s.j. 122KEuro corrispondono circa a: 4TB disco (30K, CNAF predilige grandi NAS) 33 dual nodes 2.8K luno se il disco costa meno, ben lieti di avere piu CPU Che vanno bene per il 2003 (circa 50% di

CSN1 13-may-03 Stefano Belforte – INFN Trieste CDF computing5 Analysis Farms: USA vs. ITALIA FNAL (totale 2003, including test systems, spares etc.) 323 duals 184TB disco 30% non-FNAL-owned FNAL (INFN 2003) 62 duals 14TB FNAL (INFN 2004 approx) 100 duals 20TB CNAF-CDF (attuale) 5 duals 0.9TB CNAF-CDF (proposed 2003, approx) 43 duals 4TB CNAF-CDF (2004) To be defined

CSN1 13-may-03 Stefano Belforte – INFN Trieste CDF computing6 The Plan (as presented 24 Jun 02 in CSN1) evolving… Only analysis farm. No MC. No interactive. CNAF needs in are not covered here But 40% contingency next years. Will cover up to 3.5 fb-1 with money indicated last year for 2 Future CNAF farm may cost 2x to deal with 5x the data. Discuss 2004 in September (based on 2003 experience) Hope to expand farm at FNAL or CNAF but not both No resource duplication. Do some task here, some there Discuss 2005-… in 2004 (Jun or Sep) ?

13-may-037 SPARE SLIDES

CSN1 13-may-03 Stefano Belforte – INFN Trieste CDF computing8 Stato farm a FNAL (dettaglio) Assegnazioni 2002: 62 dual nodes e 14TB (totale 320/120) Vitali per le analisi invernali Lo saranno ancora di piu quelle estive Nuovi acquisti a FNAL in estate (gara laboratorio) installazione in autunno utenti da dicembre Dovranno coprire il bisogno fino a fine 2004 Assumendo data rate costante, x5 i dati di questo inverno Usare tutte le assegnazioni 2003 per CPU x2 + disco x 1.3 Il resto da ottimizzazione della procedura di analisi e dCache funzionante a FNAL (speriamo !)

CSN1 13-may-03 Stefano Belforte – INFN Trieste CDF computing9 FNAL Uso nellinverno limitato da problemi di datahandling BW disco cpu = IL problema delle farms di analisi Paradossalmente abbiamo usato le 20CPU in CAF1 piu delle 60 in CAF2 (grazie ai nostri dischi che hanno permesso di replicare i dati del B adronico) Finalmente dCache inizia a funzionare Le 114 CPU attuali saranno preziose per lestate (picco !)

CSN1 13-may-03 Stefano Belforte – INFN Trieste CDF computing10 Stato CNAF (dettaglio) Richiesta a Catania 2002: 29 duals + 7TB Proposta referees: <20duals + <5B (a carico Tier1) Realta 2003: 6duals + 0.9TB Clone CAF di FNAL funzionante (in anticipo sulle previsioni) Importazione data set statici by hand Autenticazione via K5 (get fnal, cnaf) Gestione code e batch da parte di CDF (sb+A.Sidoti) Una farm di analisi che il fisico di CDF usa in modo transparente rispetto a quella di FNAL a parte la locazione dei files… Uso per MC immediato e banale. 10duals per MC finanziati a Sett2002 ancora da ordinare (spazio) Utilita per analisi e MC limitata da scarsita risorse

CSN1 13-may-03 Stefano Belforte – INFN Trieste CDF computing11 Farm al CNAF (cnafcaf) E ancora un esperimento Ci sono preoccupazioni non banali che possono essere risolte solo sul campo ed in collaborazione col team Tier1: Data handling (file-server cpu) Stabilita hw (hang del gateway il venerdi sera) Supporto sw (una persona dedicata a CDF promessa ) Difficile trattare dettagli con Tier1 senza un segnale chiaro da CSN1 su quanto vale CDF Timing ideale per un serio investimento al CNAF Dati in arrivo, analisi mature, MC in partenza e.g. MC per D (march 03): 100cpu x 1 week Tier1 in decollo, LHC trattabile