Calcolo AMS Bruna Bertucci Università & INFN sezione di Perugia.

Presentazione sul tema: "Calcolo AMS Bruna Bertucci Università & INFN sezione di Perugia."— Transcript della presentazione:

1 Calcolo AMS Bruna Bertucci Università & INFN sezione di Perugia

2 AMS-02 B.Bertucci - CSN2 29/11/2012 Spettrometro magnetico per lo studio della radiazione cosmica nello spazio  antimateria primordiale (anti-nuclei)  antimateria da sorgenti esotiche (dark matter, astrofisiche?)  misura di precisione dei flussi  gamma

3 AMS : la collaborazione internazionale B.Bertucci - CSN2 29/11/2012 US A FLORIDA A&M UNIV. JOHNS HOPKINS UNIV. MIT - CAMBRIDGE NASA GODDARD SPACE FLIGHT CENTER NASA JOHNSON SPACE CENTER NASA KENNEDY SPACE CENTER FLORIDA STATE UNIVERSITY (NAT. HIGH MAG. FIELD LAB) TEXAS A&M UNIVERSITY UNIV. OF FLORIDA UNIV. OF MARYLAND UNIV. OF TEXAS YALE UNIV. - NEW HAVEN MEXIC O UNA M DENMAR K UNIV. OF AARHUS FINLAN D HELSINKI UNIV. UNIV. OF TURKU FRANC E GAM MONTPELLIER LAPP ANNECY LPSC GRENOBLE GERMAN Y RWTH-I RWTH-III MAX-PLANK INST. UNIV. OF KARLSRUHE ITAL Y NETHERLAND S ESA- ESTEC NIKHEF NLR ROMANI A ISS UNIV. OF BUCHAREST RUSSIA I.K.I. ITEP KURCHATOV INST. MOSCOW STATE UNIV. SPAI N CIEMAT - MADRID I.A.C. CANARIAS. SWITZERLAN D ETH-ZURICH UNIV. OF GENEVA CHINA BISEE (Beijing) IEE (Beijing) IHEP (Beijing) SJTU (Shanghai) SEU (Nanjing) SYSU (Guangzhou) SDU (Jinan) KORE A EWHA KYUNGPOOK NAT.UNIV. PORTUGA L LAB. OF INSTRUM. LISBON ACAD. SINICA (Taiwan) AIDC (Taiwan) CSIST (Taiwan) NCU (Chung Li) NCKU (Tainan) NCTU (Hsinchu) NSPO (Hsinchu) TAIWA N

4 Milano Pisa Bologn a Perugia Roma 1 (+ASDC) AMS in Italia Trento

5 AMS-02: il rivelatore B.Bertucci - CSN2 29/11/2012 TRD TOF Tracker TOF RICH ECAL TRD Silicon Tracker ECAL Permanent Magnet RICH TOF 1 2 7-8 3-4 9 5-6

6 AMS-02: il rivelatore B.Bertucci - CSN2 29/11/2012 TRD Silicon Tracker ECAL Permanent Magnet RICH TOF

7 6 5m x 4m x 3m 7.5 tons Silicon layer 7 Silicon layers Silicon layer TRD TOF 1, 2 TOF 3, 4 RICH ECAL Magnet 300,000 electronic channels 650 processors Radiators 11,000 Photo Sensors B.Bertucci - CSN2 29/11/2012

8 AMS-02: 19 Maggio 2011 B.Bertucci - CSN2 29/11/2012

9 AMS-02 : la statistica 25 miliardi di eventi B.Bertucci - CSN2 29/11/2012

10 AMS-02 : la statistica in TB.. B.Bertucci - CSN2 29/11/2012

11 Il flusso dei dati : dal commissioning al lancio MSFC POIC, AL AMS GSC KSC, FL AMS POCC (August 2010 to May 2011) JSC, TX AMS POCC, (February-June 2011) now backup POCC for CERN POCC CERN AMS POCC Main operations centre (from June 23, 2011) During testing at KSC, on the launch pad and on the ISS NASA channels POCC network (KSC only) Internet AMS B.Bertucci - CSN2 29/11/2012

12 ISS position White Sands - NM Marshall Shuttle Flight Control CERN AMS-MIB/MIT CNAF-IT Reg. CENTERS AMS-MIB POCC: JSC/CERN Postazione DATA SOCC -CERN B.Bertucci - CSN2 29/11/2012 Il flusso dei dati

13 Postazione Data ISS position White Sands - NM Marshall Shuttle Flight Control CERN AMS-MIB/MIT B.Bertucci - CSN2 29/11/2012

14 AMS Payload Operation Control Center @ CERN Jun.23, 2011 B.Bertucci - CSN2 29/11/2012

15 Science Operation Centre Shift Takers @ POCC

16 Science Operation Center: SOC B.Bertucci - CSN2 29/11/2012  Segue e coordina del diverse fasi della produzione dei dati  Step 0: frame ai raw  Step 1: raw ai.root non calibrati  Step 2: dai.root non calibrati ai dati per l’analisi fisica [n- iterazioni !! ]  Step 3: dai.root calibrati alle stream specializzate [fotoni, elettroni etc..]  Segue e coordina la produzione MC nei centri regionali

17 Il processamento dei dati step 0) B.Bertucci - CSN2 29/11/2012  Deframing & organizzazione dei dati raw in “runs”

18 Il processamento dei dati: Step 1) B.Bertucci - CSN2 29/11/2012 La ricostruzione standard (STD stream)  Runs 24/7 on freshly arrived data  Includes initial Data Validation and Indexing  Produces Data Summary Files and Event Tags for fast events selection  Requires ~ 70 CPU cores to cope with data rate  Reconstructed data are available for the collaboration in average less than 3 hrs after flight data arrived at POCC and are used to produce various calibrations for the second production as well as quick AMS performance evaluation

19 AMS Production Schematics: Runs Automatically, Operator Assisted for Monitoring

20 Il processamento dei dati B.Bertucci - CSN2 29/11/2012 Step 2) La produzione dei dati per l’analisi (pass-xx) Second/Physics Production  Uses all the available Calibrations, Alignments, Ancillary data from the ISS as well as Slow Control Data (Temperatures, Pressures, Voltages) to produce physics analysis ready set of reconstructed data. Step 3) Lo streaming in canali di fisica (pass-xx, stream)  Uses Event Summary tags (64bit word/event) to reprocess separate streams of Data like Charge >1 (stream zg1) EcalShower (stream ecal) Unbiased Trigger (stream unb) …

21 Risorse di calcolo @ CERN B.Bertucci - CSN2 29/11/2012  Step 0 production farm ≈ HW “vicino” al POCC  Step 1-2-3 ≈ 700 cores integrati in CERN-IT + code pubbliche [ supporto dai centri esterni..]  Disk Storage : 400 TB/anno (R/W production team, R users) + 100 TB/anno (R/W users), CASTOR + xrootd  Sistema in evoluzione …

22 Flusso ininterrotto di dati: -dati ricostruiti ≈ 200 TB/anno -dati raw ≈ 35 TB/anno STD production : from raw data to root files : Vxxx.PASS2: after 1 st calibration (TRD, Alignment..) Vyyy.PASS-n: after n-th calibration (TRD, Alignment..) Vzz.ECAL, BIGZ, : test calibrations (TRD, Alignment..) Full size 10-15% data size @ CNAF PER ANALISI In estrema sintesi… B.Bertucci - CSN2 29/11/2012 Durante il periodo della ri-produzione overlap tra I sample di dati 

23 Produzione Monte Carlo AMS web server @CERN Ui-03 @CNAF Mi DT system AMS MC data @CERN lsf job submiss. Virtual nodes request MC jobs Replica del sistema già operante al CNAF : Download del exe (gbatch) e database aggiornati (se necessario) 1. job submission. 2.I job terminati scrivono su una specifica directory monitorata dal sistema di DT 3.I files vengono inviati al CERN per la validazione centrale in AMS 4.Goto 1 B.Bertucci - CSN2 29/11/2012

24 MC & Analisi : Dove? I Centri Regionali B.Bertucci - CSN2 29/11/2012 @ CERN SOC + analysis facility NLAA (RPC) SEU (RPC MC simu/reco CIEMAT (ES) Lione (FR) MC simu/reco CNAF (IT) MC simu/reco Analysis + Data reproduction ASDC (IT) Streams from CNAF (Analysis) Germany Data reproduction [50 gg/day] Data transfer & DT monitoring tools INFN-MIB™ ˚ ˚ Taiwan MC simu/reco Data reproduction

25 Calcolo AMS : Italia B.Bertucci - CSN2 29/11/2012 Facility comune : CNAF  Master copy dei dati (frames+raw) [Tape]  MC production [CPU+Tape per MC raw]  Data Reconstruction (specific “stress” periods) [CPU+disco per staging dei raw data]  Analisi [CPU, disco per i dati ricostruiti, disco per gli utenti] + Farm di sezione (non finanziate da CSN2)  Pisa  Milano B. (+HW per la gestione del data transfer)

26 Risorse @ CNAF B.Bertucci - CSN2 29/11/2012 Finanziate dalla CSN2 fino al 2012  CPU : 5532 HS06  DISCO: 343 TBN  TAPE: 150 TBN Richieste/assegnate per il 2013:   CPU: + 1000 HS06   DISCO: + 400 TBN   TAPE: + 120 TBN

27 Esperienza @ CNAF B.Bertucci - CSN2 29/11/2012 Il bilancio è positivo….anche se tutto può essere migliorato !!! Pro:  feedback in caso di problemi e disponibilità del personale  continuità del servizio Problemi:  tempistica con cui vengono rese disponibili le risorse [nonostante i quadrupli salti mortali per cercare di trovare una soluzione insieme…]

28 Stato di utilizzo delle risorse B.Bertucci - CSN2 29/11/2012 Jobs running….: molti in coda, ma limite effettivo ≈ 500-800 OGGI sulla coda di analisi….OGGI sulla coda di analisi…. nell’anno..

29 CPU coda AMS B.Bertucci - CSN2 29/11/2012 On average: ≈ 814 AMSPROD ≈ 3236 AMS ≈ 4000 HEPSPEC-DAY

30 Stato di utilizzo delle risorse B.Bertucci - CSN2 29/11/2012  storage/gpfs_superb/ams/users/ ≈ 15 TB  300 TB /storage/gpfs_ams/ ≈ 270 TB usati *  36 TB /storage/gpfs_02/ams/ ≈ 19 TB usati  la scarsità dello spazio disponibile e la frammentazione dei dati su più filesystem [quelli in prestito, non direttamente accessibili al DT ] crea un overhead non piccolo nella gestione dei dati

31 AMS02: Data Transfer al CNAF Stato DT CERN ↔ CNAF Giugno/Novembre 2012 Il DT avviene dal CERN tramite LCG/SRM DT dati RAW (su tape):  Nessun problema  Interventi “trasparenti”  34 TB (230k files) trasferiti senza problemi Il DT di dati MC e/o REC avviene su disco, accessibile anche agli utenti tramite gpfs. DT dati MC  18 TB (67k files) trasferiti DT dati ricostruiti  287 TB (240k files) [summary from M.Boschini]

32 AMS02: Data Transfer al CNAF Il DT su disco ha avuto un certo numero di problemi nel periodo in esame: Alcuni dovuti all'insufficienza dello spazio disco allocato ad AMS  Non trascurabile lavorio da parte di CNAF e AMS  Tuttavia downtime generato solo dell'ordine dell'1% (elapsed)  Problemi di provisioning CNAF ? Altri dovuti a problemi di gpfs/srm/quote  Non trascurabile lavorio da parte di CNAF e AMS  Downtime generato dell'ordine dell'7% (elapsed) [summary from M.Boschini]