BaBar: stato ed utilizzo delle farms, F. Galeazzi, Settembre 2004, pag. 1 BaBar: stato ed utilizzo delle farms presentato da Fulvio Galeazzi a nome del gruppo di Computing BaBar Italia

BaBar: stato ed utilizzo delle farms, F. Galeazzi, Settembre 2004, pag. 2 Sommario Il gruppo Italiano di Computing di BaBar Computing in BaBar nel 2004 Attivita' 2004 e sviluppi futuri ➢ Farm di Prompt Reconstruction ➢ Farm Analisi ➢ Farm(s) MonteCarlo ✔ Attivita' GRID Conclusioni

BaBar: stato ed utilizzo delle farms, F. Galeazzi, Settembre 2004, pag. 3 Il gruppo Italiano di Computing di BaBar Il TierA italiano di BaBar e' suddiviso in tre nuclei: ➢ Farm Prompt Reconstruction: Padova ✔ Sezioni: Padova (+ servizio da varie Sezioni) ➢ Farm Analisi: Bologna (CNAF) ✔ Sezioni: CNAF, Padova, (Roma1) ➢ Farm MonteCarlo: Roma ✔ Sezioni: Roma1, Trieste ✔ GRID: Ferrara, Napoli, Padova,...

BaBar: stato ed utilizzo delle farms, F. Galeazzi, Settembre 2004, pag. 4 Il gruppo Italiano di Computing di BaBar Computing in BaBar nel 2004 Attivita' 2004 e sviluppi futuri ➢ Farm di Prompt Reconstruction ➢ Farm Analisi ➢ Farm(s) MonteCarlo ✔ Attivita' GRID Conclusioni

BaBar: stato ed utilizzo delle farms, F. Galeazzi, Settembre 2004, pag. 5 Computing in BaBar nel La principale novita' del periodo appena concluso (Run4, da Settembre/03 a Luglio/04) e' costituita dalla transizione al nuovo modello di calcolo (CM2): ➢ Abbandono di Objy per EventStore e passaggio a ROOT ✔ Evoluzione del software per la produzione MC (SP) e la ricostruzione beam-data (PR) per Run4 ✔ Migrazione dell'Event-Store per MC e dati Run1-Run3 ➢ Sviluppo del nuovo Bookkeeping ➢ Primo round di Skimming (produzione su tutta la statistica di sottocampioni di eventi a partire dai dati riprocessati, con possibilita' di aggiunta di user-data: es. BFourBody, BToDlnu, InclEta,...) ✔ Lo skimming e' previsto ripetersi fino a 4 volte l'anno

BaBar: stato ed utilizzo delle farms, F. Galeazzi, Settembre 2004, pag. 6 Computing in BaBar nel La transizione a CM2 e' stata un successo! ➢ Dati ricostruiti sempre prontamente disponibili: ✔ Es. dataset “BlackDiamond” (99.5 fb -1 ): ✗ Ultimo run: 13/07 ✗ Processato il: 15/07 ✗ Data Quality: 18/07 ✗ Disponibile: 18/07 ➢ Introdotto controllo di qualita' settimanale prima di rendere disponibili i dati ➢ Skimming partito in ritardo ma ha recuperato velocemente

BaBar: stato ed utilizzo delle farms, F. Galeazzi, Settembre 2004, pag. 7 Computing in BaBar: sviluppi Aggiornamenti software: ➢ Upgrade di macchine Linux da RH72 a ScientificLinux3 (clone di RedHat Enterprise) ✔ Compilatore gcc 3.X, ma permette test compilatore Intel,... ➢ Migrazione a Objy8.0, ROOT V4.0, MySQL 4.X,... Allo studio alternative per abbandono di Objy, almeno al di fuori di SLAC: ➢ Attualmente, utilizzo Objy limitato a database Condition/Configuration (e Ambient, per quantita' relative a IR- 2) ➢ SLAC e' un caso speciale, essendo l'unico sito in cui si aggiornano le condizioni

BaBar: stato ed utilizzo delle farms, F. Galeazzi, Settembre 2004, pag. 8 Il gruppo Italiano di Computing di BaBar Computing in BaBar nel 2004 Attivita' 2004 e sviluppi futuri ➢ Farm di Prompt Reconstruction ➢ Farm Analisi ➢ Farm(s) MonteCarlo ✔ Attivita' GRID Conclusioni

BaBar: stato ed utilizzo delle farms, F. Galeazzi, Settembre 2004, pag. 9 Farm di PR Dal 1 Settembre 2003, tutta l'attivita' di Event Reconstruction dei nuovi dati e' stata svolta a Padova ➢ A SLAC solo 1 (o 2) piccole farms per PromptCalibration ➢ Con CM2, la complessita' del sistema e' aumentata (per la produzione, non per gli utenti!): ✔ Aggiunti operazioni e controlli un tempo demandati a Objy, ad esempio aggiunta farm di PostProcessing per “merging” collezioni prodotte da singoli nodi Attivita' svolta oltre al processing: ➢ Da Febbraio a Maggio, anche reprocessing primi dati di Run4 ✔ Previsto, per convergere su release e condizioni ➢ Da Maggio a Luglio, skimming (in produzione da fine Giugno) ✔ Ritardo necessario per “adattare” il codice per Padova

BaBar: stato ed utilizzo delle farms, F. Galeazzi, Settembre 2004, pag. 10 Farm di PR: inventario Sblocco di Maggio 2004: ➢ Completato acquisto server e switch ➢ Da acquisire terminal server e rack Disponibilita' a oggi: ➢ 20 clienti biproc. PIII 1.0GHz per farm test ➢ 130 clienti biproc. PIII 1.26GHz ➢ 53 clienti biproc. Xeon2.4GHz ➢ 8 server PR (di cui uno per farm di test) ➢ ~20 server (Objy, Export, tape-server, servizio) ➢ 25 TB disk buffer (import, PR, skimming, merging, export) Finanziato: ➢ 230 kSI2000 (~100 macchine client) ➢ 4 macchine server ➢ 12 TB disk buffer

BaBar: stato ed utilizzo delle farms, F. Galeazzi, Settembre 2004, pag. 11 Farm di PR: bilancio Bilancio attivita' PR: ➢ Ricostruiti tutti i ~100 fb -1 di Run4: ✔ Dati disponibili agli utenti sempre entro pochi giorni ✔ Totale: >170 fb -1 includendo reprocessing ➢ Pochi problemi legati a management condizioni Objy, il sistema ha ora parecchi controlli automatici ➢ Da migliorare la parte di import XTC (dati raw) ✔ IR2 nel 2004: L = 9.2·10 33, 680 pb -1 /giorno ✔ IR2 estate 2005: L = 1.5·10 34 ➢ Da migliorare la parte di PostProcessing ✔ Velocizzare “merging” (cioe', riconfigurare parallelizzando maggiormente il lavoro) ✔ Ottimizzare tempo morto tra due run: guadagno ~5% Run4 700 GB/giorno

BaBar: stato ed utilizzo delle farms, F. Galeazzi, Settembre 2004, pag. 12 Farm di PR: bilancio Import dati “raw”: utilizzo della rete in ingresso a Padova Run

BaBar: stato ed utilizzo delle farms, F. Galeazzi, Settembre 2004, pag. 13 Farm di PR: bilancio Bilancio attivita' Skimming: ➢ Tanti problemi per setup bookkeeping e programma skimming ✔ Grazie ad Antonio Ceseracciu e Guglielmo De Nardo! ➢ C'e' ancora lavoro da fare per rendere operazioni automatiche ✔ A SLAC e' in corso lo sviluppo dei tool ➢ Complessivamente ~4 fb -1 “skimmed and merged” Luminosita' processata giornalmente: in verde e' evidenziato quanto e' stato in seguito soggetto a reprocessing: ● Fino a 1.4 fb -1 /giorno ● Di norma > 1.1 fb -1 /giorno

BaBar: stato ed utilizzo delle farms, F. Galeazzi, Settembre 2004, pag. 14 Farm di PR: bilancio Tutte le macchine sono state utilizzate al 100% dall'inizio di Run4 Il ritardo nella consegna delle macchine da gara 2003 non ha permesso di produrre in modo “parassita” la quantita' di MonteCarlo aspettata Sembra che una situazione analoga si stia configurando anche per le macchine della gara ➢ Gara per l'upgrade chiusa ad Aprile, ma i contratti non sono stati ancora firmati ➢ Non e' piu' realistica la partecipazione al re-skimming in partenza ad Ottobre

BaBar: stato ed utilizzo delle farms, F. Galeazzi, Settembre 2004, pag. 15 Farm di PR: situazione manpower Da inizio anno hanno lasciato o sono in scadenza: ➢ Padova: Alvise Dorigo (import XTC, MySQL, Objy, Perl, ecc.) ➢ SLAC: Martino Piemontese (sviluppo sistema PR) e ➢ SLAC: Antonio Ceseracciu (sviluppo sistema PR), contratto in scadenza a fine anno New entry: ➢ Padova: 1 Borsista INFN da inizio Ottobre (2 anni) Mantenere la possibilita' di contratti temporanei di media durata e' essenziale per le operazioni del sito

BaBar: stato ed utilizzo delle farms, F. Galeazzi, Settembre 2004, pag. 16 Farm di PR: programmi 2005 IR2, inizio Run5 il 15 Ottobre: ➢ Attesi ~15 fb -1 /mese a Febbraio e ~20 fb -1 /mese entro l'estate Fino a febbraio 2005 (cioe' prima dell'inizio del reprocessing) : ➢ Risorse disponibili: 250 kSI2000 ✔ Processing nuovi dati: impegnera' ~60% risorse ✔ Risorse rimanenti destinate allo skimming dei dati Run5 Da febbraio 2005: inizia il reprocessing Run1-Run5, da completare entro fine 2005 per conferenze invernali 2006 ➢ Necessaria capacita' ulteriore per almeno 30 fb -1 /mese ➢ Risorse disponibili: ~500 kSI2000 (con macchine gara 2004) ✔ Processing e Reprocessing: fino a ~75% risorse ✔ Skimming: risorse rimanenti molto probabilmente insufficienti ✗ Skimming in altri siti: SLAC? CNAF?

BaBar: stato ed utilizzo delle farms, F. Galeazzi, Settembre 2004, pag. 17 Il gruppo Italiano di Computing di BaBar Computing in BaBar nel 2004 Attivita' 2004 e sviluppi futuri ➢ Farm di Prompt Reconstruction ➢ Farm Analisi ➢ Farm(s) MonteCarlo ✔ Attivita' GRID Conclusioni

BaBar: stato ed utilizzo delle farms, F. Galeazzi, Settembre 2004, pag. 18 Farm Analisi Alcune date: ➢ : ➢ : Completata installazione macchine ➢ : apertura della farm agli utenti italiani ✔ Inizialmente utilizzata essenzialmente per ToyMC ➢ : primi job di analisi ➢ : apertura a tutti i membri della Collaborazione ✔ Creati ~50 account: di questi, 10 “attivi”, ma in aumento! Code batch Dal 1 luglio16 Sett.

BaBar: stato ed utilizzo delle farms, F. Galeazzi, Settembre 2004, pag. 19 Farm Analisi: attivita' Enorme mole di lavoro fatta in pochi mesi: ➢ Installazione e configurazione macchine da ex farm CASPUR ➢ Installazione e configurazione macchine da gara 2003 ➢ Familiarizzato con setup farm BaBar ➢ Piu' in generale, dimostrata sempre grande disponibilita' verso ogni nostra richiesta A tutto il personale del CNAF: GRAZIE! La farm di BaBar oggi:

BaBar: stato ed utilizzo delle farms, F. Galeazzi, Settembre 2004, pag. 20 Farm di Analisi: inventario Disponibilita' a oggi: ➢ 30 clienti biproc. PIII 1GHz o 1.26GHz ➢ 23 clienti biproc. Xeon ➢ 3 server biproc. Xeon + server disco SUN ➢ 25 TB disco per dati ➢ 5 TB disco per /home, scratch,... Finanziato: ➢ 225 kSI2000 (~100 biproc. Xeon) ✔ + ulteriori 150 kSI2000 nel 2005 ➢ 6 server dati (via Xrootd) ➢ = 62 TB disco ✔ + ulteriori 30 TB nel 2005

BaBar: stato ed utilizzo delle farms, F. Galeazzi, Settembre 2004, pag. 21 Farm Analisi: attivita' L'import dei dati ha richiesto un certo lavoro di sviluppo ➢ Abbiamo importato anche 1.2 TB/giorno ➢ Non ancora del tutto automatico, lo sara' per Run5 Dati disponibili: tutti i beam-data relativi ai dataset Run1-Run4 definiti per conferenze estive ➢ CNAF e' l'unico sito oltre SLAC ad avere una copia degli AllEvents Micro per beam-data ➢ Alcuni datamover in manutenzione, e soprattutto ritardo nella disponibilita' di 32 TB disco IBM non consentono import MC

BaBar: stato ed utilizzo delle farms, F. Galeazzi, Settembre 2004, pag. 22 Farm Analisi: bilancio Nel complesso l'esperienza con la farm del CNAF e' per il momento abbastanza buona: ➢ Qualche aspetto della configurazione va migliorato in vista di maggiore ridondanza, fault-tolerance, automatizzazione operazioni, monitoring delle macchine, segnalazione problemi CNAF sta andando verso servizio assistenza sistemistica 24/24 7/7, contattabile attraverso sistema di “ticketing”: ➢ BaBar ha bisogno di 1 FTE, che di fatto attualmente coincide con 1 persona ✔ Fondamentale, soprattutto in questa fase iniziale, reagire prontamente e con efficacia ai problemi: non si puo' pretendere troppo dalla pazienza degli utenti! ✔ Necessario accelerare la diffusione delle conoscenze relative alla farm di BaBar tra i sistemisti del CNAF

BaBar: stato ed utilizzo delle farms, F. Galeazzi, Settembre 2004, pag. 23 Farm Analisi: problemi Problemi: ➢ Qualche caso di ritardo nella creazione degli account ✔ Situazione migliorata recentemente ➢ Hardware “in produzione” inferiore a quanto promesso come disponibile a Luglio 2004 all'IFC ➢ Rispetto a risorse esistenti oggi, pari a 90 kSI2000 e 30 TB disco mancano ancora: ✔ 225 kSI2000: ✗ Ad oggi le macchine non sono disponibili ed inoltre il CNAF non e' pronto a fornire macchine (con ScientificLinux) con il proprio sistema di installazione ✔ 32 TB disco: ✗ Necessario per iniziare import dati MC ✗ Limita gravemente possibilita' di uso della farm

BaBar: stato ed utilizzo delle farms, F. Galeazzi, Settembre 2004, pag. 24 Il gruppo Italiano di Computing di BaBar Computing in BaBar nel 2004 Attivita' 2004 e sviluppi futuri ➢ Farm di Prompt Reconstruction ➢ Farm Analisi ➢ Farm(s) MonteCarlo ✔ Attivita' GRID Conclusioni

BaBar: stato ed utilizzo delle farms, F. Galeazzi, Settembre 2004, pag. 25 Farm MonteCarlo Sito ufficiale: farm di Roma presso SICR ✔ Macchine pre-2003: ✗ Dedicata a produzione SP5 (Run1-Run3): recentemente, unico sito oltre SLAC dedicato a produzione segnale ✔ Macchine da gara 2003: ✗ Dedicata a produzione SP6 (Run4) ✗ Avvio graduale a partire da Maggio 2004 ➢ Recentemente risolti alcuni problemi di interazione Objy/NFS: l'efficienza del sito e' adesso >95% ➢ Da Luglio, prodotti almeno 22·10 6 eventi/mese SP6 agli sgoccioli, in totale gia' prodotti 1.3·10 9 eventi (SP6 goal =1.5·10 9 eventi)

BaBar: stato ed utilizzo delle farms, F. Galeazzi, Settembre 2004, pag. 26 Farm di MC: inventario Installato: ➢ 15 biproc. clienti PIII 1.26GHz ➢ 25 biproc. clienti Xeon 2.4GHz ➢ 3 server ➢ 3 TB disco Finanziato: ➢ 110 kSI2000 per CPU client (~40 client biproc. Xeon) ➢ 3 TB disco

BaBar: stato ed utilizzo delle farms, F. Galeazzi, Settembre 2004, pag. 27 Farm MonteCarlo Da meta' Giugno 2003 a fine Gennaio 2004, anche produzione parassita (SP5) su farm Padova (infnta) ➢ Subordinata alle esigenze prioritarie del processing ✔ Mediamente, una farm dedicata a produzione MC ➢ Prodotti complessivamente 77.7·10 6 Eventi Infn

BaBar: stato ed utilizzo delle farms, F. Galeazzi, Settembre 2004, pag. 28 Farm MonteCarlo: bilancio Produzione complessiva INFN: ➢ SP5: complessivamente 224·10 6 eventi / 2260·10 6 eventi (~10%) ✔...ma farm di Roma dedicata a produzione di segnale! ✗ Molti modi per molti periodi, operazioni piu' complesse ✔ Produzione parassita a PD consistente (1/3 totale INFN) ✔ Tra Roma e Padova, prodotti 48+11=59·10 6 eventi nel 2004 ➢ SP6: dal 30/05 a 10/09 61·10 6 eventi (totale salira' a 87·10 6 eventi) ➢ SP6 INFN SP5 INFN-2004 ~ 10% SP6 goal ✔ Inferiore alla milestone (18%) ✔ Condizionata da ritardo consegna e da problemi di installazione macchine gara 2003 ✔ “On track” per soddisfare la milestone: ✗ Da Luglio, produzione proiettata su base annuale ~270·10 6 eventi

BaBar: stato ed utilizzo delle farms, F. Galeazzi, Settembre 2004, pag. 29 Farm MonteCarlo: sviluppi futuri Pronti a partire con la produzione SP7 appena possibile ➢ Nessuna “migrazione” o modifica nella configurazione Aumento delle risorse disponibili nel 2005 ➢ Produzione parassita in altri siti del TierA, piu' probabilmente CNAF

BaBar: stato ed utilizzo delle farms, F. Galeazzi, Settembre 2004, pag. 30 Il gruppo Italiano di Computing di BaBar Computing in BaBar nel 2004 Attivita' 2004 e sviluppi futuri ➢ Farm di Prompt Reconstruction ➢ Farm Analisi ➢ Farm(s) MonteCarlo ✔ Attivita' GRID Conclusioni

BaBar: stato ed utilizzo delle farms, F. Galeazzi, Settembre 2004, pag. 31 Attivita' legate a GRID Progetto basato su LCG 2.0 Molte sezioni coinvolte, anche non legate a BaBar Condition Database Objy a Ferrara, Napoli, Padova BackgroundTriggers a Ferrara, distribuiti via xrootd Job sottomessi da RB a Ferrara (vede sia risorse italiane che straniere di interesse per BaBar)

BaBar: stato ed utilizzo delle farms, F. Galeazzi, Settembre 2004, pag. 32 Attivita' legate a GRID Attivita' completate o in corso ➢ Sviluppato sistema di distribuzione del software di esperimento indipendente da release del middleware GRID ➢ Integrazione con ProdTools (pacchetto di BaBar per produzione MC) ➢ Validazione della produzione SP6! Sviluppi futuri: breve-medio termine ➢ Completare integrazione in ProdTools per SP6 ➢ Iniziare produzione “vera” con SP7 ➢ Test scalabilita' Sviluppi futuri: lungo termine ➢ Mantenere SP-grid a livello di produzione ➢ Esaminare problemi legati all'analisi su GRID

BaBar: stato ed utilizzo delle farms, F. Galeazzi, Settembre 2004, pag. 33 Il gruppo Italiano di Computing di BaBar Computing in BaBar nel 2004 Attivita' 2004 e sviluppi futuri ➢ Farm di Prompt Reconstruction ➢ Farm Analisi ➢ Farm(s) MonteCarlo ✔ Attivita' GRID Conclusioni

BaBar: stato ed utilizzo delle farms, F. Galeazzi, Settembre 2004, pag. 34 Conclusioni Sviluppo e messa in produzione del CM2: un successo! Per quanto riguarda il contributo italiano, in particolare: ➢ Molto lavoro svolto su vari fronti (installazioni, sviluppo, “operations”) ✔ Professionalita' del Computing italiano riconosciuta a livello della Collaborazione ➢ Farm Processing: ✔ Milestone pienamente raggiunta (e anche qualcosa in piu'...) ➢ Farm Analisi: ✔ Risorse previste sono frazione importante del computing BaBar ✔ Ancora lavoro da fare perche' CNAF sia una “scommessa vinta” ✔ Manpower e' elemento potenzialmente critico ➢ Farm MonteCarlo: ✔ Ottima gestione delle risorse

BaBar: stato ed utilizzo delle farms, F. Galeazzi, Settembre 2004, pag. 35 Conclusioni: inventario risorse