Stato del calcolo in BaBar e richieste per il 2004, F. Galeazzi, Giugno 2003 Calcolo in BaBar Stato e richieste al CSN1 per il 2004 presentato da F. Galeazzi.

Presentazione sul tema: "Stato del calcolo in BaBar e richieste per il 2004, F. Galeazzi, Giugno 2003 Calcolo in BaBar Stato e richieste al CSN1 per il 2004 presentato da F. Galeazzi."— Transcript della presentazione:

1 Stato del calcolo in BaBar e richieste per il 2004, F. Galeazzi, Giugno 2003 Calcolo in BaBar Stato e richieste al CSN1 per il 2004 presentato da F. Galeazzi (http://www.pd.infn.it/~fgaleazz/Gruppo1/richiesteCalcolo2004_pres.sxi.pdf)

2 Stato del calcolo in BaBar e richieste per il 2004, F. Galeazzi, Giugno 2003 Novita' rispetto all'attuale modello di calcolo Dalla definizione del modello di calcolo nel 2000, parecchie novita' sono state introdotte: ➢ Abbandono del formato “raw” e “rec” ➢ Introduzione del formato “mini” Event display dai mini 

3 Stato del calcolo in BaBar e richieste per il 2004, F. Galeazzi, Giugno 2003 Il nuovo modello di calcolo Incremento di luminosita' integrata previsto: nel 2003 160 fb -1, nel 2004 250 fb -1 La soluzione: il nuovo modello di calcolo (CM2)! – Introduzione del formato “reduced mini”, che sostituisce il “micro” estendendone la funzionalita' ma mantenendone l'interfaccia Inizio dello sviluppo del CM2 a Ottobre 2002, implementazione a Gennaio 2003, la transizione avverra' entro Ottobre 2003: molti test gia' fatti o in corso, altri attesi durante l'estate (su vasta scala, praticamente tutte le funzionalita' disponibili)

4 Stato del calcolo in BaBar e richieste per il 2004, F. Galeazzi, Giugno 2003 Il nuovo modello di calcolo: implicazioni Novita' nell'analisi (italiani impegnati: M.Bondioli, G.DeNardo, L.Lista) : nuovo formato “reduced-mini” ➢ accesso ai dati a 1 kHz (sia interattivo che via Framework), ➢ possibilita' di aggiungere informazioni (es. sui compositi), ➢ reskimming ogni 3 mesi a partire dai mini Migrazione Event Store ➢ Conversione Objy – Kanga ➢ Sviluppo server avanzato Xrootd per accesso ai dati (A.Dorigo, F.Furano) ➢ Test modifiche sistema controllo PR (Padova) Bookkeeping (italiani impegnati: A. Ceseracciu) ➢ Sviluppo strumenti per gestione grandi dataset (collezioni, tcl, ntuple, istogrammi,...)

5 Stato del calcolo in BaBar e richieste per il 2004, F. Galeazzi, Giugno 2003 Farm di reprocessing In breve: un successo! :-) 4 farm, 30 dual-CPU ciascuna (P III, 1.26 Ghz) 62 fb -1 processati tra Ottobre 2002 e meta' Maggio 2003 ➢ Shifters forniti da Ferrara, Genova, Milano, Padova, Torino e Trieste (e Napoli) per turni in orario 7-23, 7/7 Produzione complessiva a regime: 4 fb -1 /settimana ➢ Tutti i dati riprocessati di Run1/Run2 disponibili in event- store per analisi (milestone) Ad Aprile evoluzione al nuovo sistema di controllo (sviluppato da F. Safai Tehrani, A. Ceseracciu, M. Piemontese) ➢ Nuove funzionalita', scalabilita', semplicita' gestione

6 Stato del calcolo in BaBar e richieste per il 2004, F. Galeazzi, Giugno 2003 Perche' questo reprocessing? Ad esempio: molti miglioramenti nel codice di ricostruzione (es. Tracking) “mini” con piene funzionalita' Migliore efficienza ricostruzione: (  soft, e quindi D * )

7 Stato del calcolo in BaBar e richieste per il 2004, F. Galeazzi, Giugno 2003 Farm di reprocessing (2) Il prossimo futuro: ● Giugno: Test PR per CM2 ● Settembre: Inizio processing Run4 ● Ottobre: Inizio skimming Run4 ● Dicembre: Reprocessing Run4? Da settembre, il processing (non le Prompt Calibration) sara' esclusivamente a PD! ✰ Saranno inoltre disponibili risorse aggiuntive per produzione MonteCarlo “parassita” (15 Meventi/mese con una farm) ✰ Produzione MonteCarlo (SP5) iniziata il 19 Giugno! Fine Run3 Fine Run1/2

8 Stato del calcolo in BaBar e richieste per il 2004, F. Galeazzi, Giugno 2003 Farm di analisi Impegnati: C. Bulfon, F. Safai Tehrani Disponibili dati Kanga e MC fino Ottobre 2002 Numero di job e percentuale uso CPU

9 Stato del calcolo in BaBar e richieste per il 2004, F. Galeazzi, Giugno 2003 Farm di analisi (2) Attivita': L'analisi completa (inclusa selezione eventi) che ha portato alla scoperta del D s (2317) è stata fatta usando questa farm di analisi L'analisi completa (inclusa selezione eventi) che ha portato alla scoperta del D s (2317) è stata fatta usando questa farm di analisi Produzione MonteCarlo “parassita” Produzione MonteCarlo “parassita” Da Novembre 2002 la farm e' ospitata dal Dipartimento di Roma1 nei locali ex-CASPUR. Conseguenze interruzione contratto CASPUR: Allungamento tempi risoluzione problemi e aggiornamenti Disagi per gli utenti! Spostamento al CNAF previsto per Settembre: supporto CNAF analogo a CASPUR (1 FTE) disponibilita' dati in formato reduced-mini (consistente frazione di AllEvents + qualche deep- skim)

10 Stato del calcolo in BaBar e richieste per il 2004, F. Galeazzi, Giugno 2003 Farm di MonteCarlo Impegnati: C. Bozzi, C. Bulfon, G. Della Ricca, F. Safai Tehrani - 1 server Linux, dual CPU, Xeon 2 GHz, 2 GB (NFS and Objy lock servers, batch queues) - 8 (+2) Linux clients, dual CPU, PIII 800 MHz, 1 GB - 17 Linux clients, dual CPU, PIII 1.27 GHz, 1 GB - 1 Linux client, dual CPU, PIII 800 MHz, 1 GB (DBs and LOGs export) - 2 Array RAID EIDE : 2x0,5 = 1 TB Produzione articolata in due fasi: - 15/08/01 - 06/03/03 : SP4 (Objy 6.0, RedHat 6.2) - 06/03/03 - ….…oggi.… : SP5 (Objy 7.1, RedHat 7.2)

11 Stato del calcolo in BaBar e richieste per il 2004, F. Galeazzi, Giugno 2003 Farm di MonteCarlo (2) we are here ! 3.9 % 0.6 % 58.5 + 9.6 Meventi SP4 dal 15 agosto 2001 al 24 marzo 2003 MEDIA: 42.6 Meventi/anno, 3.6 Meventi/mese Produzio ne SP4

12 Stato del calcolo in BaBar e richieste per il 2004, F. Galeazzi, Giugno 2003 Farm di MonteCarlo (3) we are here ! 5.8 % 17.7 + 1.0 Meventi SP5 dal 9 marzo 2003 al 25 maggio 2003 (efficienza ~90%) estrapolazione: 88.3 Meventi/anno, 7.2 Meventi/mese Per raggiungere 20 Meventi/mese (milestone): produzione parassita su farm reprocessing (15 Meventi/mese) produzione parassita su farm reprocessing (15 Meventi/mese) Installazione macchine gara 2003 (12 Meventi/mese) Installazione macchine gara 2003 (12 Meventi/mese) Produzio ne SP5

13 Stato del calcolo in BaBar e richieste per il 2004, F. Galeazzi, Giugno 2003 MonteCarlo: sviluppi legati a GRID Sezioni impegnate: Ferrara, Napoli BaBar necessita di ~1.5 Geventi adronici simulati per 100 fb -1 di luminosità integrata La produzione di un numero così elevato di eventi simulati necessita di risorse di calcolo ingenti, non disponibili a SLAC o in qualsiasi altro sito singolo La produzione è quindi distribuita in una “Grid” di circa 25 siti, ognuno dei quali è amministrato e gestito localmente Situazione ideale per l’utilizzo della Grid vera e propria. La gestione e la produzione di eventi simulati sarebbe molto più semplice ed efficiente.

14 Stato del calcolo in BaBar e richieste per il 2004, F. Galeazzi, Giugno 2003 MonteCarlo: sviluppi legati a GRID (2) E a breve... Stress test (giugno) Integrazione del software in EDG (estate) e LCG (fine anno) Integrazione nel CM2 (autunno) Farm di testbed INFN-Grid di Ferrara ( 1 Computing Element, 1 Storage Element, 6 Worker Nodes, EDG 1.4.11) La farm è visibile dal RB utilizzato da Babar (Imperial College) I membri della VO BaBar possono sottomettere job sulla farm anche dal RB del CNAF (Bologna)

15 Stato del calcolo in BaBar e richieste per il 2004, F. Galeazzi, Giugno 2003 Prospettive 2003-2004 Farm reprocessing ✔ Upgrade secondo luminosita' integrata ✔ processing dati appena acquisiti + (reprocessing, skimming, MC,...) Farm analisi ✔ Notevole upgrade risorse disponibili (inclusi disk- server temporaneamente installati a PD) ✔ Graduale apertura ad utenti della collaborazione Farm MonteCarlo ✔ Upgrade secondo luminosita' integrata ✔ Obiettivo: mantenere quota produzione del 18% (anche grazie a contributo farm di analisi e di reprocessing)

16 Stato del calcolo in BaBar e richieste per il 2004, F. Galeazzi, Giugno 2003 Gara 2003 Lotto 1: clienti Lotto 2: server Lotto 3: dischi Lotto 4: nastri Gara 2003 (dettagli nelle prossime trasparenze): ➢ Maggior risparmio su acquisto server, disco, nastro (LTO2) ➢ Costo della CPU superiore al previsto, causa prestazioni processori Xeon ➢ Nessun margine per acquisto nastri ➢ La transizione al CM2 (eliminazione server Objy) ha permesso di non penalizzare troppo la farm di MonteCarlo ✗ ma ha comportato l'acquisto di disco aggiuntivo (per buffer)

17 Stato del calcolo in BaBar e richieste per il 2004, F. Galeazzi, Giugno 2003 Gara 2003 (2) Parte dell'hardware e' in installazione......ma per il lotto 1 e 3 ci sono difficolta'... Nuova libreria Nuovi Server

18 Stato del calcolo in BaBar e richieste per il 2004, F. Galeazzi, Giugno 2003 Gara 2003 (3) Tempi di esecuzione della gara: ➢ fine Luglio 2002: sblocco soldi ➢ 9 Ottobre 2002: indizione gara ➢ 25 Ottobre 2002: nomina commissione ➢ 20 Novembre 2002: lettera di invito ➢ 15 Gennaio 2003: termine presentazione offerte ➢ 10 Febbraio 2003: termine lavori commissione ➢ Direttivo ➢ 20 Marzo 2003: richiesto parere su cessione contratto NAOS ➢ 17 Giugno 2003: risposta (negativa) dall'Amministrazione Centrale su cessione contratto Tutto da rifare per i lotti 1 e 3?

19 Stato del calcolo in BaBar e richieste per il 2004, F. Galeazzi, Giugno 2003 Gara 2003 e previsioni 2004 ➢ Gara 2004: prevista diminuzione costo CPU (30%) e disco (33%) estrapolando secondo diminuzione osservata tra le gare 2002 e 2003. Introdotta contingency=10% dovuta a: ✗ Introduzione nuove tecnologie? ✗ Affermazione nuove tecnologie? ✗ Oscillazioni di cambio?

20 Stato del calcolo in BaBar e richieste per il 2004, F. Galeazzi, Giugno 2003 Confronto con MoU Impegni soddisfatti, con margine per significativi ampliamenti farm MonteCarlo...anche grazie a CM2! Anche le stime del budget per computing 2004 che verranno presentate all'IFC di Giugno 2003 saranno basate sul vecchio modello di calcolo: ➢ Fino all'approvazione (Gennaio 2004) ci sara' tempo per verificare i risparmi portati dal CM2

21 Stato del calcolo in BaBar e richieste per il 2004, F. Galeazzi, Giugno 2003 Conclusioni Richieste: ✓ sblocco completo del s.j. a Padova (650 k€) per acquisti gara 2004 ✓ sblocco di 19 k€ dal s.j. per consumo a Padova Testo completo del documento per il CSN1: http://www.pd.infn.it/~fgaleazz/Gruppo1/richiesteCalcolo2004.pdf