1 Roberto Stroili – 16 settembre 2002 – Commissione I Stato del calcolo di BaBar Roberto Stroili Università di Padova & INFN Commissione I 16 settembre.

Presentazione sul tema: "1 Roberto Stroili – 16 settembre 2002 – Commissione I Stato del calcolo di BaBar Roberto Stroili Università di Padova & INFN Commissione I 16 settembre."— Transcript della presentazione:

1 1 Roberto Stroili – 16 settembre 2002 – Commissione I Stato del calcolo di BaBar Roberto Stroili Università di Padova & INFN Commissione I 16 settembre 2002

2 1 Roberto Stroili – 16 settembre 2002 – Commissione I Outline ● Calcolo di BaBar – Computing Review – nuovo Computing Model ● Calcolo di BaBar in Italia ● CASPUR ● Stato attuale del calcolo – farm di analisi – farm di produzione MC – farm di reprocessing ● Evoluzione del calcolo – farm di analisi – farm di produzione MC – farm di reporcessing

3 1 Roberto Stroili – 16 settembre 2002 – Commissione I Stato del Calcolo di BaBar ● farm L3 migrata su Linux ● OPR finalmente in grado di stare al passo con la luminosità ● introdotti mini pienamente funzionali – permettono di rifare le calibrazioni senza ripartire dai dati RAW – permettono il riprocessamento (almeno parziale) diretto – possibilità di un Event Display completo ● analisi principali: risultati sempre con gli ultimi dati ● sviluppo dei TierA (Lione + RAL + INFN): parte integrante delle risorse disponibili ● eliminati i RAW e i REC come output in Objectivity ● problemi – nel reperire manpower, soprattutto per mantenere Objectivity – ultime migrazioni molto penose per la collaborazione ● hanno ritardato di alcuni mesi la disponibilità della release di produzione

4 1 Roberto Stroili – 16 settembre 2002 – Commissione I Computing Review 2002 ● Svolta ad Aprile con membri sia interni che esterni a BaBar ● Raccomandazioni: – valutare Kanga come soluzione per Event Store a lungo termine ● migliorare il supporto ● introdurre indici per gestire sottoinsiemi di eventi – rimandare progetti a lungo termini su Objectivity e concentrarsi sui problemi immediati – definire una strategia per la distribuzione dei dati ai Tier A, B e C – preparare un piano di emergenza per sostituire Objectivity – incrementare la produzione Monte Carlo ● un raddoppio viene considerato necessario (vedi Belle) – sviluppare un fast Monte Carlo in previsione di upgrade di apparato – portare avanti la separazione delle calibrazioni dalla ricostruzione – preparare un nuovo modello di calcolo ● scegliere un unico event store – troppo pesante mantenerne due

5 1 Roberto Stroili – 16 settembre 2002 – Commissione I Nuovo Computing Model ● Obiettivi: – In revising the Model, the Working Group is asked to address: ● the plans now underway for scaling of the Online and Prompt Reconstruction systems to much higher data rates. ● the long-term data storage strategy for the experiment, taking into account that disruption and manpower costs must be kept to a minimum ● the Monte-Carlo requirements to match the future analysis needs of BaBar, and to recommend a plan and methods for producing them. ● all other aspects of BaBar computing having an impact on the Computing Model, including but not limited to GRID development/deployment, data distribution and code development. – The above considerations need to be examined within the expected future limitations of manpower[3] and computing resources[4], and must allow the highest priority physics goals of the experiment to be achieved ● SLAC si aspetta anche un piano finanziario del modello

6 1 Roberto Stroili – 16 settembre 2002 – Commissione I Computing Model: tempi ● Comitato composto da 25 persone – 4 INFN (Bianchi, Lanceri, Morandin, Walsh) ● Tempi: – primo draft: metà Ottobre – draft finale: metà Novembre – revisione interna alla collaborazione: per il Collaboration Meeting di Dicembre – presentazione all'IFC di Gennaio 2003 – revisione esterna: Febbraio 2003

7 1 Roberto Stroili – 16 settembre 2002 – Commissione I Calcolo di BaBar in Italia ● Tier B per l'analisi dei dati – situato al CASPUR – dati in formato Kanga (ROOT/IO) ● farm di produzione Monte Carlo – situata a Roma1 ● farm di reprocessing – situata a Padova

8 1 Roberto Stroili – 16 settembre 2002 – Commissione I CASPUR ● originariamente il calcolo di BaBar era stato collocato al CASPUR ● nel 2001 era stato deciso di toglierlo dal CASPUR alla fine del 2002 ● migrazione della farm di produzione Monte Carlo effettuata il 15 Giugno del 2002 – spostata a Roma1 ● risorse richieste sono limitate ● conoscenza del sistema in loco ● il CASPUR trasloca a breve – cosa succede della farm di analisi?

9 1 Roberto Stroili – 16 settembre 2002 – Commissione I Trasloco farm di analisi ● a Giugno si era deciso di spostare la farm di analisi a Padova ● i locali utilizzati attualmente dal CASPUR saranno disponibili fino a Giugno 2003 ● il CNAF ha dichiarato di essere in grado di accogliere la farm in Aprile/Maggio 2003 – se si trovasse un supporto per un tempo limitato la farm potrebbe rimanere nei locali dove si trova fino ad Aprile e quindi si potrebbe spostare al CNAF – ci aspettiamo che il CNAF fornisca un servizio almeno pari a quello fornito dal CASPUR – buona occasione per iniziare la collaborazione con il CNAF spostando una farm funzionante – per Marzo 2003 si dovrebbe avere l'indicazione dell'Event Store finale

10 1 Roberto Stroili – 16 settembre 2002 – Commissione I Farm di Analisi – 5 SUN E450, 4x400 Mhz, 2 GB file servers) – 15 clients Linux, bi-processori, PIII 1 GHz, 1 GB – 1 SUN Ultra 10: lockserver – 1 SUN 10: monitoring – spazio disco:11 TB (9 TB per Kanga) ● set completo di dati 99-02 – AllEvents + 8 streams – Monte Carlo: 650 M eventi disponibili – Monte Carlo privati e Toy MC ● la farm di analisi funziona anche come seconda farm di produzione Monte Carlo (ovviamente a bassa priorità) ● la farm viene utilizzata in modo soddisfacente Utilizzo della CPU

11 1 Roberto Stroili – 16 settembre 2002 – Commissione I Farm di Analisi (cont.) ● Nuove risorse (finanziate nel 2001) – 17 bi-processori 1.26 GHz (già disponibili) – 14 TB di disco (21 in totale) ● acquisto di 7 TB (4 già ordinati) ● 7 da Padova ● dismissione di 4 TB obsoleti

12 1 Roberto Stroili – 16 settembre 2002 – Commissione I Farm di produzione Monte Carlo – 1 server Linux, bi-prcessore, PIII 800 MHz, 512 MB RAM (lockserver di Objectivity, NFS, code batch, MocaEspresso) – 14 clienti Linux: bi-prcessore, PIII 800 MHz, 768 MB RAM – disco: 2 array RAID EIDE da 0.5 TB l'uno ● il rate di produzione è di 3.5 M eventi/mese ● efficienza di produzione molto buona ● prodotti 30 M eventi in un anno – solo il 3.5% del Monte Carlo prodotto dalla collaborazione ● nuove risorse (finanziamento 2001): ● 17 bi-processori 1.26 GHz (si stanno installando) ● 1 TB di disco aggiuntivo + server ordinati – con queste risorse aggiuntive e con l'utilizzo della farm di analisi, quando questa risulta disponibile, si pensa di poter incrementare la produzione a 9-10 M eventi/mese

13 1 Roberto Stroili – 16 settembre 2002 – Commissione I Farm di produzione Monte Carlo: produzione ● Produzione di tutto BaBar INFN

14 1 Roberto Stroili – 16 settembre 2002 – Commissione I Farm di reprocessing ● L'anno scorso eravamo a questo punto...

15 1 Roberto Stroili – 16 settembre 2002 – Commissione I Farm di reprocessing (cont.) ● ora la situazione è un pò migliorata:

16 1 Roberto Stroili – 16 settembre 2002 – Commissione I Farm di reprocessing: inventario ● Nel 2001 sono stati acquistati: – gara ● 111 bi-processori 1U 1.26 GHz IBM, dischi IDE ● 20 bi-processori 1U 1.26 GHz IBM, dischi SCSI ● 5 bi-processori 3U 1.26 GHz IBM, ~400 GB dischi SCSI ● 18 bi-processori 4U 1.26 Ghz, 1 TB disco IDE/3Ware ● 1 libreria StorageTek L700e con 4 drives LTO ● 400 nastri – integrazione gara ● array SCSI ● Si è avuto un risparmio sul disco grazie alla eliminazione di RAW e REC (spinta dall'INFN) e alla scelta di dischi EIDE

17 1 Roberto Stroili – 16 settembre 2002 – Commissione I Farm di reprocessing: stato ● 3 farm di produzione, ognuna con 40 clienti, installate e funzionanti ● 1 farm di test con 15 clienti (le macchine di test acquistate l'anno scorso) – serve sia per eventuali test durante la produzione sia per il QA dei database prodotti ● in funzione da Agosto in modo continuativo ● ricostruzione completa con rolling calibrations

18 1 Roberto Stroili – 16 settembre 2002 – Commissione I Farm di reprocessing: stato (cont.) ● architettura della farm affidabile ● running dei clients efficiente ● performance dei dischi EIDE/3Ware soddisfacenti – anche grazie alla eliminazione di RAW e RE ● primo sistema di produzione con Objectivity tutto su Linux e su macchine cheap ● processati ~150 pb -1 al giorno per farm in media (senza considerare alcuni problemi che vanno risolti) Client AMS server

19 1 Roberto Stroili – 16 settembre 2002 – Commissione I Farm di reprocessing: monitor ● sviluppato dei tool di monitor sofisticato per tenere sotto controllo le performance del sistema generale CPU Disk I/O

20 1 Roberto Stroili – 16 settembre 2002 – Commissione I Import ● copiatura dei dati in corso – 60 TB importati su 73 ● link a 155 Mbps attivo da Giugno – trasferimento autolimitato di giorno perchè il traffico creava problemi con l'Università – dal 4/09/02 attivo nuovo link 155 Mbps INFN Pd-Bo ● Banda Effettiva di Accesso: 135 Mbps ● Banda Garantita di Accesso: 98 Mbps

21 1 Roberto Stroili – 16 settembre 2002 – Commissione I Uso della rete ● 2/3 del traffico in ingresso da Geant diretto a BaBar/Padova INFN Padova INFN – Geant

22 1 Roberto Stroili – 16 settembre 2002 – Commissione I Export dei dati ● rate atteso inferiore ai 400 GB/giorno – Dovrebbero bastare 60 Mbps per traferire i dati a SLAC ● attualmente stiamo finalizzando i tool di export automatico ● il buffer attuale è sufficiente per 3 settimane di produzione – Abbiamo un po' di margine per eventuali problemi Import XTC Export dati ricostruiti autolimitazione diurna

23 1 Roberto Stroili – 16 settembre 2002 – Commissione I Export dei dati (cont.) Reprocessing farm QA test farm Analysis farm SLAC analysis farm

24 1 Roberto Stroili – 16 settembre 2002 – Commissione I Reprocessing: stato attuale ● release di produzione non ancora pronta, ma ormai imminente – implementazione di mini completamente funzionali – sostituzione della libreria RogueWave con STL – nuovo Conditions DB (risolve alcuni problemi di scalabilità) – miglioramenti nella ricostruzione ● molti bachi trovati a Padova durante il processamento a campione su tutta la statistica ● con questi test estensivi la produzione dovrebbe avere molti meno problemi nuova release vecchia release Monte Carlo

25 1 Roberto Stroili – 16 settembre 2002 – Commissione I Problemi ● hardware: – baco hardware su macchine con dishi IDE – qualche rottura varia – qualche incompatibilità tra hardware diversi ● comunque questi problemi non influenzano il funzionamneto della farm ● software: – combinazione di Objectivity e sistema di controllo del sistema di reprocessing molto delicato ● porting finale più complicato del previsto – trasferimento di conoscenze degli esperti da SLAC a Padova molto lento ● mancanza di documenti – sistema operativo stressato in modo estensivo mostra alcuni limiti di Linux ● soprattutto per quanto riguarda i dirver di rete ● supporto di qualche hardware problematico

26 1 Roberto Stroili – 16 settembre 2002 – Commissione I Produzione ● siamo pronti per partire con la produzione – in attesa che l'Online passi al nuovo Conditions DB ● il riprocessamento di tutta la statistica 1999-2001, pari a ~67 TB di dati, dovrebbe richiedere meno dei 6 mesi previsti inizialmente ● tra un reprocessing e l'altro la farm potrà essere utilizzata – per produzione Monte Carlo – per l'analisi – per altri compiti? ● creazione di event store selezionati

27 1 Roberto Stroili – 16 settembre 2002 – Commissione I Evoluzione ● L'incremento di luminosità integrata di quest'anno è del 40% ● quella 2003 è del 60% 67 100 190 300 400 ● MoU: approvato dall'INFN – risorse da mettere a disposizione in un TierA

28 1 Roberto Stroili – 16 settembre 2002 – Commissione I Upgrades ● Monte Carlo: – 2003 – 2003: potenziamento per arrivare a produrre il 15-18 % della statistica (vicino alla percentuale di FTE) – 2004 – 2004: crescita proporzionale alla luminosità ● Reprocessing: – 2003 2004 – 2003 e 2004: crescita secondo luminosità ● Analisi: – rimanendo nel budget previsto dall'MoU si incrementa notevolmente la farm di analisi per attuare il piano di graduale costituzione del TierA

29 1 Roberto Stroili – 16 settembre 2002 – Commissione I GRID ● BaBar si sta muovendo per entrare in GRID – cominciata un pò di attività in questo campo – Ferrara principalmente coinvolta in questa attività – definire e implemetare uno schema di produzione Monte Carlo distribuito basato su GRID – installazione e test sul testbed INFN-GRID di Ferrara

30 1 Roberto Stroili – 16 settembre 2002 – Commissione I Manpower ● Ferrara: – D. Andreotti, V. Azzolini, C. Bozzi, E. Luppi (+ studenti di informatica) ● Padova: – F. Bredo, A. Ceseracciu, A. Crescente, A. Dorigo, F. Galeazzi, M. Marzolla, M. Morandin, T. Pulliam, R. Stroili, G. Tiozzo, G. Vedovato ● Roma: – C. Bulfon, F. Safai Tehrani ● Trieste: – G. Della Ricca

31 1 Roberto Stroili – 16 settembre 2002 – Commissione I Conclusioni ● BaBar ha notevoli risorse di calcolo in Italia – compiuto un notevole sforzo negli ultimi 12 mesi per avere una farm di reprocessing pronta per essere impiegata ● c'è un piccolo ritardo sull'inizio del reprocessing, non dovuta ai problemi locali ● c'è stato un notevole sforzo da parte di tutto BaBar per far partire il reprocessing a Padova in tempo – farm Monte Carlo utilizzata in modo molto efficiente ● attualmente il rate di produzione è limitato dalle risorse disponibili, non all'efficienza di esercizio – farm di analisi utilizzata in modo ragionevole ● si potrebbe sfruttare un pò meglio, ma la parte difficile è convincere gli utenti

32 1 Roberto Stroili – 16 settembre 2002 – Commissione I Farm di Analisi: utilizzo ● Utenti: SUN Linux I client linux sono entrati in produzione a Gennaio 2002

33 1 Roberto Stroili – 16 settembre 2002 – Commissione I Farm di Analisi: utilizzo (cont.) ● Jobs in coda Linux Utilizzo della CPU Jobs in esecuzione Jobs in attesa

34 1 Roberto Stroili – 16 settembre 2002 – Commissione I Farm di produzione Monte Carlo: utilizzo ● CPU: Problema sui dischi Cambio versione di produzione

35 1 Roberto Stroili – 16 settembre 2002 – Commissione I Farm di produzione Monte Carlo: utilizzo (cont.) ● Disco e rete: Disco Rete

36 1 Roberto Stroili – 16 settembre 2002 – Commissione I Farm di produzione Monte Carlo: produzione (cont.)

37 1 Roberto Stroili – 16 settembre 2002 – Commissione I Farm di produzione Monte Carlo: produzione (cont.) 29.6 M eventi in un anno

38 1 Roberto Stroili – 16 settembre 2002 – Commissione I Farm di Analisi: upgrade ● 2003: – incrementare la potenza di calcolo di un fattore 3 ● 210 CPUunits (30 SpecInt95) ● 12 TB di disco (33 TB in totale) – dati: 6 kB/evento,  = 12nb, 200 fb -1 → 14.4 TB – MC:9 kB/evento, 2x10 9 eventi → 18 TB – manteniamo il formato Kanga fino alla fine del reprocessing (primavera 2003) – aspettiamo il nuovo Computing Model per pianificare oltre

39 1 Roberto Stroili – 16 settembre 2002 – Commissione I Farm di produzione Monte Carlo: upgrade ● 2003: – incrementare la produzione a 25 M eventi/mese ● aggiungere CPU (150 CPUunits) ● utilizzare la farm di reprocessing quando questa è disponibile

40 1 Roberto Stroili – 16 settembre 2002 – Commissione I Farm di reprocessing: upgrade ● 2002 ● 2002 (per il 2003): – + 330 CPUunits (clients & servers) – +1 libreria StorageTek L700e – + 700 cassette – schede per switch Cisco ● 2003 ● 2003 (per il 2004): – + 330 CPUunits – + 6 TB di disco – + 4 drive LTO – + 400 cassette – +1 switch di rete