CSN1 - 6/4/2004 S.Falciano - INFN Roma1 ATLAS High Level Trigger/DAQ S.Falciano - INFN Roma1.

Presentazione sul tema: "CSN1 - 6/4/2004 S.Falciano - INFN Roma1 ATLAS High Level Trigger/DAQ S.Falciano - INFN Roma1."— Transcript della presentazione:

1 CSN1 - 6/4/2004 S.Falciano - INFN Roma1 ATLAS High Level Trigger/DAQ S.Falciano - INFN Roma1

2 CSN1 - 6/4/2004 S.Falciano - INFN Roma1 La presentazione è rivolta essenzialmente ad illustrare il piano finanziario 2004-2009 del sistema HLT/DAQ di ATLAS, discusso con i Referee della CSN1 negli ultimi mesi (se ne chiede l’approvazione in vista del RRB di Aprile).

3 CSN1 - 6/4/2004 S.Falciano - INFN Roma1 Outline Breve riassunto delle caratteristiche del TDAQ di ATLAS : rates, bandwidth, performance, etc. Criteri che hanno portato al disegno attuale : TDR “Baseline architecture” Scenari di LHC per lavorare per il TDR -> Trigger menu Cosa è cambiato Presentazione del piano di spesa HLT/DAQ “Baseline architecture” e Costi Globali Piano finananziario CORE proposto per l’INFN –Addendum al MoU per il RRB del 26 Aprile 2004 Problema dei “deferrals” e documenti disponibili Risposte alle domande dei Referee Meeting telefonico del 20 febbraio 2004 Incontro del 16 e 17 marzo 2004 Aggiornamento sul piano di lavoro per il 2004 Conclusioni

4 CSN1 - 6/4/2004 S.Falciano - INFN Roma1 ATLAS Trigger / DAQ Architecture Detectors Front-end Pipelines Readout Buffers Event Builder Buffers & Processing Farms Data Storage Readout Drivers RoI Pointers 1 GHz interaction rate / <75 (100) kHz O (1) kHz output rate O (100) Hz output rate 2  s latency O (10) ms latency ~ seconds latency 40 MHz bunch-crossing rate HLT LVL2 RoI Region-of- Interest (RoI) concept Specialized algorithms Fast selection with early rejection EF  Full event available  Offline derived algorithms  Seeding by LVL2  Best calibration / alignment  Latency less demanding LVL1  Hardware based (FPGA and ASIC)  Coarse calorimeter granularity  Trigger muon detectors

5 CSN1 - 6/4/2004 S.Falciano - INFN Roma1 DATAFLOWDATAFLOW EB ROS HLTHLT LV L1 D E T RO ROD LVL2 TriggerDAQ ARCHITECTURE 2.5  s ~ 10 ms 40 MHz 75 kHz ~2 kHz ~ 200 Hz Calo MuTrCh Other detectors SFI SFO EBN EFN FE Pipelines Read-Out Drivers Read-Out Sub-systems Dataflow Manager Sub-Farm Input Sub-Farm Output Event Filter N/work ROIB L2P L2SV L2N Event Filter DFM EFP RoI Builder L2 Supervisor L2 N/work L2 Proc Unit RoI RoI data = 1-2% RoI requests Lvl2 acc = ~2 kHz Event Building N/work ~ sec Lvl1 acc = 75 kHz 40 MHz 120 GB/s ~ 300 MB/s ~2+4 GB/s Event Filter Processors 120 GB/s ~4 GB/s EFacc = ~0.2 kHz Read-Out Buffers Read-Out Links ROB Event Builder

6 CSN1 - 6/4/2004 S.Falciano - INFN Roma1 Strategia di selezione online degli eventi (1) Il trigger di ATLAS si basa sul concetto di “physics objects” (muoni, elettroni, jet, …) Oggetti “candidati” sono tipicamente identificati prima al LVL1 dove si ricostruiscono localmente (Calorimetri e Spettrometro per Muoni) Gli HLT raffinano la ricostruzione, rigettano i “fake” e migliorano la precisione sui parametri misurati dell’oggetto (p T, …) Gli oggetti vengono ricostruiti sia a livello di singolo rivelatore (come nel LVL1) sia attraverso una ricostruzione combinata di più rivelatori (HLT) Gli oggetti vengono combinati insieme (Trigger menus) per formare delle “ipotesi di fisica”. La derivazione dei Trigger Menus e delle soglie parte da un’analisi dei requirements di fisica, seguita da una verifica della capacità di reiezione ai vari livelli e infine prende in considerazione stime della bandwidth totale disponibile negli HLT (procedura iterativa).

7 CSN1 - 6/4/2004 S.Falciano - INFN Roma1 Strategia di selezione online degli eventi (2) Differenti Trigger Menus sono previsti per il programma iniziale alla luminosità di picco di 2x10 33 cm -1 s -1 : Inclusive physics triggers : formano il bulk della selezione online e sono scelti per garantire la copertura di gran parte del programma di fisica Pre-scaled physics trigger : estendono la copertura del programma di fisica di Atlas includendo selezioni inclusive con soglie più basse al fine di allargare i sample di eventi utili per lo studio del fondo e delle performance dei rivelatori. Exclusive physics triggers : estendono anche essi la copertura del programma di fisica. Dedicated monitor & calibration triggers

8 CSN1 - 6/4/2004 S.Falciano - INFN Roma1 Gli scenari per lo “start-up” di LHC (2002) Fino al 2001 (base per l’elaborazione del TP per HLT/DAQ/DCS) –3 anni a 1x10 33  “low luminosity” –più anni a 10 34  “design luminosity” Approccio semplificato, ma ipotesi di lavoro stabili Nel 2001 e 2002 : –Nuovi scenari proposti a ritmi sempre più frequenti Scenario di Ottobre 2002 ( LHCC minutes, R. Cashmore note ) –Statistica: ~10 fb -1 ottenibili dal primo run di fisica –Durata: ~200 giorni di presa dati –Duty cycle: ~60% (14 h di durata di un fill, 10 h per refill) –Luminosità: 2x10 33

9 CSN1 - 6/4/2004 S.Falciano - INFN Roma1 LVL1 Trigger menus Adjusting of some thresholds to obtain similar output rate at 2x10 33 as was foreseen at 1x10 33

10 CSN1 - 6/4/2004 S.Falciano - INFN Roma1 HLT rates for 2x10 33 Selection 2  10 33 cm -2 s -1 Rates (Hz) Electrone25i, 2e15i ~40 Photon  60i, 2  20i ~40 Muon  20i, 2  10 ~40 Jetsj400, 3j165, 4j110 ~25 Jet & E T miss j70 + xE70 ~20 tau & E T miss  35 + xE45 ~5 b-physics2  6 with m B /m J/  ~10 Others pre-scales, calibration, … ~20 Total ~200

11 CSN1 - 6/4/2004 S.Falciano - INFN Roma1 Selection signatures @ L = 2·10 33 cm -2 s -1 ObjectExamples of physics coverageNomenclature Electrons Higgs (SM, MSSM), new gauge bosons, extra dimensions, SUSY, W, top e25i, 2e15i PhotonsHiggs (SM, MSSM), extra dimensions, SUSY  60, 2  20i Muons Higgs (SM, MSSM), new gauge bosons, extra dimensions, SUSY, W, top  20i, 2  10 Rare b-decays (B  X, B  J  (  ’)X)2  6 +  +  - + mass cut JetsSUSY, compositeness, resonancesj400, 3j165, 4j110 Jet+missing E T SUSY, leptoquarksj70 + xE70 Tau+missing E T Extended Higgs models (e.g. MSSM), SUSY  35i + xE45 + pre-scaled, monitor, calibration triggers

12 CSN1 - 6/4/2004 S.Falciano - INFN Roma1 Lo scenario di “deferral/staging” (2002) “Staging” iniziale del detector –Alcune componenti rilevanti per le trigger performance mancheranno layer medio dei pixel, wheels più esterni del TRT, parte dei readout drivers (ROD) del LAr, … –Significanza ridotta per la scoperta dell’ Higgs leggero (~ -10%) Compensata da un aumento di ~ 20% di luminosità integrata –Massima rate al LVL1 di 50 kHz (LAr RODs) Al TDAQ è stato chiesto nel 2002 cosa succederebbe se si operassero tagli drastici alle proprie spese per finanziare gli extra- costi dei progetti comuni –Comporterebbe tagli drastici al sistema iniziale di HLT/DAQ (rimarrebbe solo 1/3- 1/2 del CORE budget) Rimandare l’acquisto di componenti commerciali di network / processori –Restringerebbe in maniera severa la capacità di rate/bandwidth Meno di 1/2 di design rate capability (30-35 kHz peak LVL1 rate) –limiterebbe la B-physics & metterebbe a rischio parte della fisica di high-p T Meno di 1/5 di design rate capability (10-15 kHz peak LVL1 rate ) –comporterebbe tagli drastici al programma di fisica di high-p T

13 CSN1 - 6/4/2004 S.Falciano - INFN Roma1 Preparazione del TDR Si è assunto uno scenario di start-up ed evoluzione di LHC tale che : 2007 – start-up a 2x10 33 cm -2 s -1 per un anno 2008 – luminosità nominale di 1x10 34 cm -2 s -1 Si è assunto che il piano di spesa dovesse tenere conto del “Completion Plan” di Atlas

14 CSN1 - 6/4/2004 S.Falciano - INFN Roma1 Evoluzione del sistema e staging Il sistema TDAQ è stato disegnato tale che dimensioni e performance evolvano in funzione della disponibilità delle risorse. Le performance finali corrispondono ad una trigger rate di Livello-1 di 100 kHz. La stima dei costi del TDAQ di ATLAS è basata su un modello dettagliato del numero di componenti in funzione della rate di trigger di Livello-1 (e.g. 37.5 kHz, 75 kHz, 100 kHz). Fattori di sicurezza sono applicati soprattutto nel tenere conto delle performance degli HLT (tempo di processamento degli eventi e fattori di reiezione) e del costo di componenti “custom” (come ad esempio i ROBin) e “commerciali” (come ad esempio i processori). Si è arrivati a definire un profilo temporale di spesa che è un’evoluzione del sistema a partire dal commissioning del detector fino alla realizzazione di un TDAQ con le sue performance finali

15 CSN1 - 6/4/2004 S.Falciano - INFN Roma1 Part 1 - Global View 1. Overview 2. Parameters 3. System Operations 4. Physics selection strategy 5. Architecture 6. Fault tolerance and error handling 7. Monitoring Part 2 - System Components 8. Data-flow 9. High-level trigger 10. Online Software 11. DCS 12. Experiment Control Part 3 - System Performance 13. Physics selection and HLT performance 14. Overall system performance and validation Part 4 - Organisation and Plan 15. Quality assurance and development process 16. Costing 17. Organisation and resources 18. Workplan and schedule

16 CSN1 - 6/4/2004 S.Falciano - INFN Roma1 TDR “Baseline architecture” La scelta dell’architettura si è basata sui seguenti criteri : La copertura del programma di fisica prevista da ATLAS L’esistenza di prototipi funzionanti Misure di “performance” che soddisfano o le specifiche finali di ATLAS o possono essere tranquillamente estrapolate alle performance richieste sulla scala dei tempi reali (CPU speed dei PC, ….) La chiarezza di come evolvere dallo scenario iniziale di set-up ridotto, quale quello utilizzato su testbeam, al sistema completo ad alta luminosità Uno scenario dei costi che parte dallo “staged detector” fino al completamento del sistema La possibilità di trarre vantaggio dall’evoluzione della tecnologia mentre l’esperimento è in corso L’architettura proposta potrebbe essere costruita oggi con le tecnologie attuali e raggiungere le performance richieste. Poichè sono previsti avanzamenti significativi nel campo del networking e computing, ciò ci aiuterà a semplificare ulteriormente alcuni aspetti complessi del sistema.

17 CSN1 - 6/4/2004 S.Falciano - INFN Roma1 CERN/LHCC 2003-069/G-067: ‘The LHCC finds both the technology adopted and the procedures proposed for the ATLAS HLT/DAQ/DCS to be adequate to achieve the physics goals stated in the Technical Proposal, and congratulates the ATLAS Collaboration on the quality of the work presented in the TDR.’ ‘The LHCC therefore recommends general approval of the ATLAS HLT/DAQ/DCS TDR.’ Una milestone importante per ATLAS è stata la conclusione positiva del processo di review del TDR di HLT/DAQ/Control alla fine del 2003

18 CSN1 - 6/4/2004 S.Falciano - INFN Roma1 Cosa non è cambiato rispetto al TP L’architettura TDAQ di Atlas è basata su tre livelli di trigger Il primo Livello (LVL1) è un trigger implementato in hardware, il secondo (LVL2) e terzo (Event Filter) sono trigger software Il secondo Livello funziona sul concetto di Region-of-Interest

19 CSN1 - 6/4/2004 S.Falciano - INFN Roma1 C’è una corrispondenza semplice tra :  region ROB number(s) (per ciascun rivelatore) -> per ciascuna RoI, i processori di LVL2 possono identificare rapidamente la lista dei ROB con i correspondenti dati di ciascun rivelatore Questo meccanismo fornisce un modo potente ed economico per avere un importante fattore di reiezione prima dell’ Event Building completo 4 RoI  addresses ==> ATLAS RoI-based Level-2 trigger … ~ ReadOut network più piccolo di un ordine di grandezza … … al costo di un maggiore traffico di controllo … Meccanismo delle RoI - Implementazione

20 CSN1 - 6/4/2004 S.Falciano - INFN Roma1 Level-2 Trigger Three parameters characterise the RoI-based Level-2 trigger: the amount of data required : 1-2% of total the overall CPU time : 10 ms average the rejection factor: x 30

21 CSN1 - 6/4/2004 S.Falciano - INFN Roma1 Cosa è cambiato (1) L’implementazione della parte di Read-out accoppiata ai Rivelatori : ROS, ReadOut System –ROD Crate (responsabilità Hw/Sw : Rivelatore) –ROS (responsabilità Hw/Sw : DAQ) –Nuova implementazione Hw del ROS basata su PC invece che VME –Nuova implementazione del Sw del ROD Crate (ROD Crate DAQ) ora di responsabilità DAQ. Ciò uniforma la DAQ Locale nel ROD Crate per tutti i Rivelatori (supporto centralizzato per local processing, configurazione, event sampling, etc.)

22 CSN1 - 6/4/2004 S.Falciano - INFN Roma1 VME bus Total number of ROD crates: 90 Total number of ROS PCs : 144 Total number of racks : ~15” ==> All in USA15 (underground) F.E. Electronics … ROD Crates ROD Crate Workstation LAN (GbEth.) GbEth. … ROS PCs ROD Fragments ROB Fragments ROS Fragments Event Fragments (Detector specific) L2 & Event Builder Networks ROLs RCD and ROS … PCI bus Config & Control Event sampling & Calibration data NIC ROBIN RCPRCP RODROD RODROD RODROD RODROD Config & Control Event sampling & Calibration data

23 CSN1 - 6/4/2004 S.Falciano - INFN Roma1 The ROBin Prototype

24 CSN1 - 6/4/2004 S.Falciano - INFN Roma1 Cosa è cambiato (2) L’ I/O path del ReadOut System (ROS) –Opzione 1 : Bus Based path (il BUS è il PCI) –Opzione 2 : Switched Based path (GEth) –La preoccupazione è quella di aggiungere scalabilità al sistema

25 CSN1 - 6/4/2004 S.Falciano - INFN Roma1 I/O path for Read-Out System In TDR (30 June 2003): –“The optimisation of the ROS architecture will be the subject of post-TDR studies” using a Read-Out Buffer (ROBIN) prototype implementing bus-based (PCI) and switched-based (GEth) I/O paths Schedule and milestones to match ATLAS commissioning –ROBIN Final Design Review completed LHCC31.05.04 –Final decision on ROS Input/Output path EB 31.12.03 ROBIN S-Links GbE PCI bus

26 CSN1 - 6/4/2004 S.Falciano - INFN Roma1 I/O path for Read-Out System On 11 Dec 2003, TDAQ decision was made: Bus-Based (BB) with Switch-Based (SB) as option for increased scalability –ROBIN : 3 Slink input - PCI and GEth output Max input retaining max output functionality High potential for scalability and upgrades –The baseline implementation of the ROS would be BB with an upgrade path to combined BB and SB I/O or only SB I/O for future upgrades. Full assessment of the potential of the SB Read-Out will be done as soon as possible (planning in preparation), so as to be ready with a viable upgrade if and when needed. PCI bus ROBIN GbEthernet L2 & Event Builder Networks NIC Increased scalability if/when needed ROBIN S-Links GbE PCI bus

27 CSN1 - 6/4/2004 S.Falciano - INFN Roma1 Cosa è cambiato (3) -Organization & resources

28 CSN1 - 6/4/2004 S.Falciano - INFN Roma1 Contributi italiani al TDR Studio e validazione delle componenti DAQ –Data Flow (Data Collection e Event Filter) –Online software (Configurazione, Monitoring, Run Control) –Detector software (ROD Crate DAQ, Data Format, Monitoring) Studio e validazione degli HLT –Software framework (Athena) –Algoritmi di livello-2 (Pixel e Muoni) –Algoritmi di filtro e calibrazione ottenuti dai programmi offline (e.g. MOORE per la ricostruzione e CALIB per la calibrazione dei muoni) –Uso online dello schema di acceso ai dati dei rivelatori e alla loro geometria secondo l’Event Data Model (definizione e sviluppo software dei formati ByteStream dei dati dei rivelatori utilizzati e della loro definizone ad oggetti, Raw Data Objects utile per gli algoritmi di trigger) Contributo alla scrittura e al coordinamento di importanti capitoli del TDR (vedi PESA) Sono state prodotte dai gruppi italiani o in collaborazione con altri gruppi più di 20 note ATLAS quali documenti di supporto al TDR.

29 CSN1 - 6/4/2004 S.Falciano - INFN Roma1 Presentazione del piano di spesa L’INFN si era impegnato a dare 3.3 MCHF per il sistema HLT/DAQ. Al RRB del 26 Aprile si chiederà all’INFN di mantenere questo impegno a fronte del lavoro svolto dai gruppi italiani e di una definizione abbastanza dettagliata dell’architettura, delle sue componenti e dei suoi costi presentata nel recente TDR. A fronte di questa richiesta i gruppi italiani si sono impegnati nella preparazione di un documento che mostra la congruità di questa cifra e presenta una suddivisione in categorie di spesa versus gli impegni della collaborazione. Questo documento è stato presentato e discusso prima nel TDAQ Resource Committee (Resource Coordinator + Rappr. delle FAs) e poi presentato ai Referee e al Presidente della CSN1. I profili di spesa globali e i finanziamenti delle FAs sono parte integrante dell’Addendum al MoU che verrà presentato al RRB di Aprile.

30 CSN1 - 6/4/2004 S.Falciano - INFN Roma1 New MoU table HLT/DAQ (Initial System) HLT/DAQ funds required by ATLAS Completion Plan HLT/DAQ Total HLT/DAQ (Initial System) HLT/DAQ funds required by ATLAS Completion Plan HLT/DAQ Total ArmeniaMorocco AustraliaNetherlands325 650 Austria300 Norway AzerbaijanPoland160 BelarusPortugal300 BrazilRomania CanadaRussia China (NSFC+MST)JINR100 Czech Republic40 Serbia Denmark500 1000Slovak Republic France IN2P3Slovenia France CEASpain GeorgiaSweden Germany BMBF9558401795Switzerland2000 4000 Germany MPITaipei GreeceTurkey Israel60 United Kingdom1110 2220 Italy1650 3300US DoE + NSF1983 3965 Japan750 1500CERN2950 5900 Total131831210825290

31 CSN1 - 6/4/2004 S.Falciano - INFN Roma1 HLT/DAQ system cost profile (unit is kCHF) as published in the TDR Up to 2003 200420052006200720082009Total DCS 2961624489294422003125 Pre-series 0104800000 Detector R/O 003049606040504060 LVL2 RoI 00400230238868161752 LVL2 Proc 00045089913488993596 Event Builder 001005262749102742084 Event Filter 000137528634351286211451 Online 00208622000830 Infrastructure 000508 2032 Total 29626724246461152048390455929978 Total (no DCS) 010483757431747828390455926853

32 CSN1 - 6/4/2004 S.Falciano - INFN Roma1 Costi HLT/DAQ Architettura scalabile -> implementazione ottimale del piano di deferral dei finanziamenti e di upgrade futuri

33 CSN1 - 6/4/2004 S.Falciano - INFN Roma1 Premessa La Collaborazione italiana HLT/DAQ è costituita da 230 membri : 32 di questi sono di istituti italiani (firme TDR) e rappresentano il 14% del totale. Consideriamo dunque appropriato un contributo finanziario al progetto proporzionale a questa frazione e infatti 3.3 MCHF rappresentano circa il 14% del costo totale del sistema.

34 CSN1 - 6/4/2004 S.Falciano - INFN Roma1 “Aree di attività” dei gruppi italiani Algoritmi di trigger di Livello-2 Studi di performance del Livello-2 su Testbeds Algoritmi di Event Filter Studi di performance dell’Event Filter su Testbed e sviluppo dell’Event Filter Data Flow DAQ Detector Monitoring (anche su EF farm) per Pixel, Lar, Tile, MDT e RPC. Trigger Monitoring per LVL1 e HLT Detector/TDAQ integration ai Test Beam e nei Test Labs.

35 CSN1 - 6/4/2004 S.Falciano - INFN Roma1 Criteri per la selezione di aree funzionali e componenti da finanziare (1) L’attività italiana è fortemente Detector-oriented. Il lavoro sui Test Beam ha rafforzato questo concetto poiché diversi step d’integrazione Detector-Readout-TDAQ sono stati portati avanti insieme. Il lavoro sui Testbeds per sviluppare e testare prototipi DAQ e HLT è stato per noi molto importante. Inoltre l’implementazione di algoritmi di trigger basati sui rivelatori in costruzione in Italia è stata una frazione molto grande della nostra attività. Infine va ricordato che l’implementazione della simulazione completa di una slice verticale del trigger di muoni (LVL1-LVL2-EF) è stata possibile anche grazie al lavoro portato avanti nell’INFN sul trigger di muoni di primo livello.

36 CSN1 - 6/4/2004 S.Falciano - INFN Roma1 Criteri per la selezione di aree funzionali e componenti da finanziare (2) La scelta delle aree da finanziare deve tenere conto di tutto ciò. Perciò sembra appropriato finanziare le seguenti categorie di spesa: –Pre-serie (partecipazione ai test di validazione del sistema finale HLT/DAQ) –Detector Read-Out (Rack based, PC based, un rack contiene 11 PCs, un local file server, un local switch, un rack controller, power e cooling distribution. Il costo di un rack è di 110 kCHF. Vogliamo finanziare : 11 ROSes per i Pixel 16 ROSes per lo Spettrometro a Muoni 8 ROSes per il Tile Per un totale di 5 racks (5 x 110 kCHF = 550 kCHF, 13% del R/O totale). –Processori di LVL2 e EF (Rack mounted, PC sono Dual-CPUs con Linux, 18% di contributo per il LVL2, 11.4% per l’EF)

37 CSN1 - 6/4/2004 S.Falciano - INFN Roma1 Pre-serie di HLT e DAQ Include una versione su piccola scala del sistema allo scopo di validare l’implementazione del TDAQ (e.g. 10% di Detector R/O, 1 switch per LVL2, 1 switch per EF, 2 sub-farm nella loro versione a “rack” di ATLAS e 5% del sistema online) Il dimensionamento è stato fatto essenzialmente su criteri di “funzionalità” E’ un sistema di dimensioni superiori ai testbed di cui disponiamo attualmente utilizzati per fare sviluppi e misure di performance. All’uopo si possono aggregare i due switch e le due sub-farm per provare solo il LVL2 o solo l’EF in una configurazione più estesa Si basa sulle tecnologie finali Userà il software finale del Data Flow e dell’Online L’uso previsto è in laboratorio, ma in caso di necessità si potrà utilizzare per far partire il commissioning del Tile Calorimeter (primo rivelatore ad installarsi) Richiesta sblocco s.j. a settembre.

38 CSN1 - 6/4/2004 S.Falciano - INFN Roma1 Criteri per la selezione di aree funzionali e componenti da finanziare (3) –EF I/O (gli SFI sono PC come quelli dell’EF, rack mounted. La partecipazione italiana al Data Flow e al Monitoring giustifica un contributo del 13%) –Online (include le farm di processori per l’Online software, ossia Run_control, inizializzazione, etc. e dovrebbe rappresentare anche la frazione di monitoring dei rivelatori. Proposta di contributo del 20%) –Infrastruttura – Common items (si considera ragionevole fissare un piccolo fondo per item comuni che difficilmente ricadono nelle categorie precedenti quali licenze software, link al centro di calcolo, etc. Si pensa che esso debba essere di circa il 6% per l’INFN).

39 CSN1 - 6/4/2004 S.Falciano - INFN Roma1 Requested INFN funds for the HLT/DAQ system (unit is kCHF) TDRItaly Percentage (%) More details on funded items Pre-series 104814013.4 Detector R/O 406055013.5Detector R/O - ROS racks only LVL2 Proc 359665018.1LVL2 racks Event Builder 208428013.4EB - EFIO (SFI, SFO) Event Filter 11451130011.4EF racks Online 83018021.7 Online racks - Control & Monitoring Infrastructure 20322009.8~ 6% of total INFN funds Total 25101330013.1 HLT/DAQ (no DCS) is 26853 kCHF

40 CSN1 - 6/4/2004 S.Falciano - INFN Roma1 200420052006200720082009Total Pre-series 14000000 Detector R/O * 0275 000550 LVL2 Proc 0065195230160650 Event Builder 0050 11070280 Event Filter 001701805703801300 Online 045135000180 Infrastructure 0080 20 200 INFN Total 1403207755059306303300 TDR Total 10483357408745447522454325101 INFN Percentage(%) 13.49.519.011.112.413.913.1 INFN cost profile (unit is kCHF) for the chosen categories (*) The funds for the staged part of the detectors (such as the Pixels) should fall in the year 2008. Therefore they might be subtracted from those of the years 2005-2006, which correspond to the full detector, and moved in 2008.

41 CSN1 - 6/4/2004 S.Falciano - INFN Roma1 Documenti disponibili (alla CSN1 e al RRB del 26 aprile 04) INFN funds for ATLAS HLT/DAQ –INFN Genova, LNF, Lecce, Napoli, Pavia, Pisa*, Roma1, Roma3 Addendum to MoU HLT/DAQ Common Items ATLAS Agreement N°144/03 –Recognition and Use of the TDAQ Deferral Funding HLT/DAQ Funding Profiles DCS Cost Sharing * Al momento la Sezione di Pisa non è inclusa nella collaborazione TDAQ.

42 CSN1 - 6/4/2004 S.Falciano - INFN Roma1 Infrastructure - “Common Items” Documento che stabilisce le regole di spesa degli items di infrastruttura Fondi gestiti attraverso un Team account speciale al CERN Si richiede alle FAs di approvare la spesa Il TDAQ Resource Coordinator informa le FAs e l’IB sulle spese del Team. Approvato all’IB del 25 feb. 2004.

43 CSN1 - 6/4/2004 S.Falciano - INFN Roma1 Documento che stabilisce un meccanismo di controllo sui “deferral” (agreement tra ATLAS e Funding Agency) : -Obligations of the Parties -Return of deferred funds to TDAQ (decided by the TDRC, in line with the work plan defined in the TDR and in agreement with the TDIB and ATLAS management).

44 CSN1 - 6/4/2004 S.Falciano - INFN Roma1 Risposte ad alcune domande dei Referee (1) Costo di HLT/DAQ del TDR vs MoU –Saclay e Turchia si sono ritirate portando via rispettivamente 3.9 MCHF+CFs e 150 kCHF. –Queste mancanze non sono state ripristinate e quindi il costo inferiore del sistema deve essere riassorbito dalle altre FAs –I 27000 kCHF sono la somma di 25500 kCHF delle FAs e 1500 kCHF di CFs

45 CSN1 - 6/4/2004 S.Falciano - INFN Roma1 Risposte ad alcune domande dei Referee (4) Chiarimenti sui costi del DCS –Atlas-Italia non contribuisce al DCS centrale. –Il costo del DCS e' rimasto invariato rispetto al passato (1800 kCHF + Common Funds). Poiche' nel TDR sono stati riportati anche i Common Funds allocati al DCS (e non nel capitolo TDAQ del MoU), cio' appare come un aumento. –In conclusione, la divisione dei fondi per il DCS e', ed e' sempre stata: CERN 1600. kCHF, NIKHEF 200. kCHF, Common Funds 1325. kCHF.

46 CSN1 - 6/4/2004 S.Falciano - INFN Roma1 Risposte ad alcune domande dei Referee (2) Criteri per la scelta del profilo temporale di spesa –Abbiamo disegnato un sistema che evolve in funzione delle risorse disponibili, che va da un sistema iniziale con una rate massima di LVL1 di circa 40 kHz ad uno finale con una rate massima di 100 kHz 2004 : Acquisto e messa in opera della pre-serie fatta con le componenti finali del TDAQ (commissioning del Tile?) 2005 : Inizia il commissioning dei detector e di HLT/DAQ. Ai detector serve il 75% dei Detector Readout. 2006 : Commissioning. Run di cosmici. 2007 : LHC start-up. 37% circa delle farm HLT disponibili. 37.5 kHz è la rate di LVL1 sostenibile. Mancano il 25% dei ROD. 2008 : LHC alla lminosità nominale, 75 kHz di rate di LVL1. Questo è il momento in cui cominciano a tornare indietro i deferral. 2009 : Sistema completo con le performance per cui è stato disegnato, ossia rate di LVL1 di 100 kHz. Nota : nella fase iniziale la priorità viene data agli aspetti DAQ perche’ essi servono per il commissioning del rivelatore, mentre le farm HLT e in particolare il LVL2, vengono dimensionate al minimo.

47 CSN1 - 6/4/2004 S.Falciano - INFN Roma1 Workplan and schedule (TDR)

48 CSN1 - 6/4/2004 S.Falciano - INFN Roma1 Risposte ad alcune domande dei Referee (3) Stabilità dei costi –Abbiamo lavorato tenendo conto delle migliori stime, ad oggi, sull’evoluzione dei processori. –Il progetto GRID e il gruppo Cern di technology tracking ha osservato che il comportamento delle performance dei processori è sotto la curva aspettata. –Poiché anche i tempi e le modalità di funzionamento della macchina sono indicativi ed esistono incertezze sui tempi di processamento degli eventi, si è scelto di fissare la potenza dei processori a un valore indicativo che rappresenta la media delle prestazioni aspettate nell’intervallo 2006-2009. –Si è assunto una Dual-CPU (high-end) a 8 GHz al costo indicato nel rapporto GRID del Cern, ossia 4 kCHF. E’ stato applicato un fattore di sicurezza del 30% per tenere conto delle incertezze.

49 CSN1 - 6/4/2004 S.Falciano - INFN Roma1 Risposte ad alcune domande dei Referee (5) Chiarimenti sui costi M&O-A e Common Items Nel documento : "Memorandum of Understanding for Maintenance and Operation of the ATLAS Detector", ATLAS LHC Meeting 14. CERN-RRB-2002-035, CERN 5 April 2002 (disponibile sul web). In esso, all'Annex 9 : Category A Headings for ATLAS M&O, Cost Categorization, troviamo: Online Computing (no recording media) System management Data storage, (temporary on disk) Detector controls Computer/processors/LANs Software licences Common desktop infrastructure

50 CSN1 - 6/4/2004 S.Falciano - INFN Roma1 Risposte ad alcune domande dei Referee (5 cont) –La differenza sta nel fatto che i costi dei nostri Common Items sono "costi iniziali", mentre quelli di M&O-A sono "costi ricorrenti", ossia le possibili integrazioni/sostituzioni/update/etc. che saranno sicuramente necessarie per il sistema. –I fondi M&O non possono essere utilizzati per comprare inizialmente un sistema o una parte di esso, ma servono per mantenerlo funzionante nel tempo con le stesse prestazioni.

51 CSN1 - 6/4/2004 S.Falciano - INFN Roma1 Programmi di HLT/DAQ nel 2004 ROD Crate DAQ per tutti i rivelatori (H8 e Commissioning) Integrazione completa di tutte le componenti del LVL1 ad H8 (Muon+MUCTPI, Calo, CTP) Integrazione del LVL2 e EF nel Test Beam Combinato ad H8 Integrazione ad H8 di LVL1+LVL2+EF con elx dei rivelatori e il DAQ; run a 25 ns con trigger di primo livello generato dall’elettronica che funzionerà in ATLAS (LVL1 Calo+Muon + CTP) (“pipelined” mode). Test finali in laboratorio utilizzando la pre-serie. In parallelo : Sviluppi degli algoritmi di trigger per Muoni (Muon Slice) e Pixel Studi di Trigger Performance (rates, capacità di reiezione del fondo, etc.)

52 CSN1 - 6/4/2004 S.Falciano - INFN Roma1 GE data switch SBCSBC SLink CDR FE ctrl switch ROS PC CERNnet OnlWS Tilecal RODROD SFIO PC DFM CBTB Tilecal Combined RODROD SBCSBC ADCADC TIMIDTIMID TDCTDC ROS PC SBCSBC ADCADC TDCTDC SLink LASER Crate Common Calo Crate

53 CSN1 - 6/4/2004 S.Falciano - INFN Roma1 Timing, Trigger, Control (TTC) ROD_BUSYLTP Central Trigger Processor (CTP) Timing, Trigger, Control (TTC) ROD_BUSYLTP Beam Pick-ups: Filled-bunch signal Endcap  trigger Interaction-trigger signal (if available) LHC machine: Clock, Orbit Calorimeter trigger DAQ LVL2 MUCTPI Barrel  trigger LVL1: Muon + Calo + CTP

54 CSN1 - 6/4/2004 S.Falciano - INFN Roma1 Combined Test Beam Readout (DAQ) RCCRCC RODROD 2*ROL ROS Tile RCCRCC RODROD ROL ROS MDT RODROD ROL RCCRCC RODSRODS 8*ROL 2*ROS LVL1 Calo RCCRCC RBRB ROL ROS RPC RCCRCC RODROD ROL ROS Pixel RCCRCC RODROD ROL ROS SCT RCCRCC RODROD ROL ROS TRT RCCRCC RODROD 4*ROL ROS LAr RODROD 4*ROL RCCRCC RODROD TGC RCCRCC RODSRODS ROL ROS LVL1MUCTPI RCCRCC RODSRODS ROL LVL1CTP DFM SFI SFO SFI SFO RCCRCC T/ADCT/ADC ROL Mu-Beam R/OBR/OB Mini-MAGNI RODROD 2*ROL RCCRCC ROL ROS Tile-LASER RCCRCC T/ADCT/ADC ROL Calo-Beam T/ADCT/ADC Remote Farms ROS

55 CSN1 - 6/4/2004 S.Falciano - INFN Roma1 Readout, DAQ and EF setup MAGNI cluster

56 CSN1 - 6/4/2004 S.Falciano - INFN Roma1 EF Data Flow EFP EFD Input Task Sorting Task ExtPTs Task ExtPTs Task Output Task Counting Task Histogr. Task PreProc. Task PostProc. Task PT SFISFO Input Handler Event Selection Threads LVL1 Result LVL2 Processing Task Event Queue LVL2 Result LVL1 Result LVL2Supervisor LVL2 Processing Unit

57 CSN1 - 6/4/2004 S.Falciano - INFN Roma1 LVL1-LVL2-EF-DAQ vertical slice Event FilterMAGNI cluster CTP RoIB LVL1A HLT mini-rack RCCRCC RODROD RODROD … ROL RCCRCC RODROD RODROD … … ROS SFISFO DFM FileServer L2 Supervisors L2 Processors EF Processors pROS Switch L1 MuonL1 Calo LVL1 Detector LVL2 Event Filter Control+ EB EF

58 CSN1 - 6/4/2004 S.Falciano - INFN Roma1 Conclusioni La collaborazione italiana HLT/DAQ ha contribuito in maniera sostanziale alla scrittura del TDR di questo sistema (sviluppo di algoritmi di trigger, studi di physics performance e sviluppi DAQ) e ha un programma di lavoro per l’immediato futuro che prevede la validazione del sistema finale prima su Testbeam e poi su Testbed (“pre-serie”) prima di affrontare la fase di commissioning del TDAQ e dei rivelatori in costruzione. La richiesta è di mantenere gli impegni finanziari (3.3 MCHF) verso il sistema HLT/DAQ di ATLAS. Il profilo di spesa mostrato, nella percentuale del 13% del totale, è necessario per contribuire all’acquisto della “pre-serie” nel 2004, all’acquisto del “sistema iniziale” per gli anni 2005-2007 e, successivamente nel 2008-2009, a “completare il sistema” per affrontare il più ampio programma di fisica alla luminosità di disegno di LHC. Il piano finanziario da noi elaborato in termini di “deliverables” non tiene conto della richiesta di ATLAS di anticipare i “deferral” al 2004 (50% dei costi), richiesta che verrà discussa nel RRB di aprile tra ATLAS e le Funding Agencies.

59 CSN1 - 6/4/2004 S.Falciano - INFN Roma1 Riserve

60 CSN1 - 6/4/2004 S.Falciano - INFN Roma1 Definizione dei sub-system HLT e DAQ DAQ : –Detector R/O : ROBin, ROS, Infrastruttura –Event Builder : Data Flow Manager, Switch Farm Interface, EB network, Switch Farm Output con local storage –Online (Farm di processori per il software di controllo e monitoring, Network centrale, Infrastruttura relativa) –Infra-structure (switch, link, prodotti software, network management tools, etc.) HLT : Livello-2 (ROIBuilder, LVL2 Supervisor, Farm di processori di LVL2, Network, Infrastruttura) –Event Filter (Farm di processori EF, Network interno, Infrastruttura) Pre-serie di HLT e DAQ : –include una versione su piccola scala del sistema allo scopo di validare l’implementazione del TDAQ (e.g. 10% di Detector R/O, 1 switch per LVL2, 1 switch per EF, 2 sub-farm e 5% del sistema online). La maggior parte delle componenti è basata su COTS : commodity computer e communication hardware (e.g. PCs e Gigabit Ethernet) e strumentazione relativa.

61 CSN1 - 6/4/2004 S.Falciano - INFN Roma1 Attività italiane Trigger di Livello-1 muoni (barrel) (Napoli, Roma1, Roma2) Trigger di Livello-2 muoni (barrel) (Pisa, Roma1) Trigger di Livello-2 pixel (Genova) Event Filter (Lecce, Napoli, Pavia, Roma3) DAQ (LNF, Pavia, Roma1) DAQ testbeam (TDAQ + gruppi detector)

62 CSN1 - 6/4/2004 S.Falciano - INFN Roma1 Operator IF Data Viewer Alarm IF Config DB Conditions DB DCS_IS DIP Magnet CERN LHC DSS DAQ IS DAQ MRS DAQ RC DCS Back-End Architecture CIC Global Control Station (GCS) Tile PixelSCTTRTLArMDTTGCRPC(CSC) OPC LCS EB- LCS B- LCS B+ LCS EB+ CoolingLVHVMisc. LCS HEC HV OPC LCS Temp OPC LCS ISEG HV OPC LCS FE Crates OPC HV/ LV OPC PC Purity OPC PVSS CAN DDC Local Control Stations (LCS) Subdetector Control Stations (SCS)