Interfacce SRM: l'utilizzo di STORM - Overview e prospettive (ALICE)

Slides:



Advertisements
Presentazioni simili
Test Storage Resource Manager per SC4 Giacinto Donvito Vincenzo Spinoso.
Advertisements

Attivita' Grid in BaBar Workshop sulle Problematiche di Calcolo e Reti nell'INFN Maggio 2004.
L. Servoli - CCR Roma 15 marzo Il progetto High Availability D. Salomoni - CNAF L. Servoli - INFN Perugia.
BOLOGNA Prin-STOA Report L. Rinaldi Bari – 12/11/2015.
Domenico Elia1Riunione PRIN STOA-LHC / Bologna Attività per ALICE: sommario e prospettive Domenico Elia Riunione PRIN STOA-LHC Bologna, 18 Giugno.
20-21/03/2006Workshop sullo storage - CNAF Storage nei Servizi Calcolo delle sezioni INFN Alessandro Brunengo.
ALICE Computing Readiness Workshop Tier-2 CNAF Jan 17-18, ALICE Computing Readiness 1) ALICE Italia: Persone & organizzazione 2) Test & commisioning.
CCR - Roma 15 marzo 2007 Gruppo storage CCR Report sulle attivita’ Alessandro Brunengo.
ALICE Computing Readiness Workshop Tier-2 CNAF Jan 17-18, ALICE Computing Readiness 1) ALICE Italia: Persone & organizzazione 2) Test & commisioning.
Esigenze di Rete degli Esperimenti LHC e di Gr1 G. Carlino – INFN Napoli CCR – Roma 8 Settembre 2014.
Computing CMS Richieste 2010 M.Paganoni, 22/7/09.
FESR Catania, Trigrid Open Day, Trinacria Grid Virtual Laboratory PROGETTO “ISOSPIN” Supporters : AnnaMaria Muoio, Marcello IaconoManno.
Dynamic Farm Espansione Dinamica di una Farm Vincenzo Ciaschini CCR 31/3/2015.
PRIN NAPOLI Enzo Capone, Gianpaolo Carlino, Alessandra Doria, Rosario Esposito, Leonardo Merola, Silvio Pardi, Arturo Sanchez Pineda.
ATLAS computing Roberto Carlin Commissione I Roma 1/7/08 F. Bossi, C.Bozzi, R. Carlin, R. Ferrari, D. Lucchesi, D. Martello, M. Morandin, M. Taiuti.
KLOE - Referee Luca Lista, Andrea Perrotta, Vincenzo Vagnoni.
AFS NELLA SEZIONE DI PADOVA aree_utenti: attualmente nessuno ha la proria home in AFS e quasi nessuno utilizza l'area utenti di AFS. /usr/local: si preferisce.
Torino, Andrea Dainese 1 Andrea Dainese (INFN – LNL) Stato del Tier-2 ALICE a Legnaro.
Acquisti TIER T2 team e Pistoni per la consulenza sull’hardware.
Calcolo LHCb Umberto Marconi INFN Sezione di Bologna Riunione CSN1, 18/09/2008.
20-21/03/2006Workshop sullo storage - CNAF Alessandro Brunengo.

Valutazione proposte di corsi di formazione S. Arezzini, L
SCoPE - Stato dei Lavori
Cms.
Status Report Gruppo Storage CCR CCR 14-15/03/2006.
Gruppo storage CCR Status Report Alessandro Brunengo CCR - Frascati
dCache Test effettuati al CNAF
D. Martello, F. Ricci, F. Ruggieri
CALCOLO CSN B.Bertucci.
Monitoring e loadbalancing dei servizi Grid
Massimo Masera CSNIII Roma, 20 marzo 2012
Commissione Calcolo e Reti
Reparto Storage: attivita’ 2010
Attività su middleware Grid e sua evoluzione
Risultati ultimi mesi Piano di lavoro prossimi mesi Reclutamento
Richieste di upgrade dei link di accesso alla rete Geografica
Collegamento a Garr-X Il collegamento alla nuova rete Garr-X dovrà garantire il massimo della efficienza nella gestione della banda. Per identificare opportunamente.
Commissione Calcolo e Reti
HLRmon: visualizzazione di dati di accounting
Michele Punturo INFN Perugia
PRIN Roma1 – status Luciano Barone, Alessandro De Salvo
Richieste preliminari calcolo non LHC
GridFlex: gestione di software
Introduzione alla sessione sull’analisi per gli esperimenti LHC
Metriche SE monitoring G.Donvito G.Cuscela INFN Bari
INDIGO-DataCloud MidnightBlue Tutorial Days
INFN Il calcolo scientifico presso la sede INFN di Padova e di Legnaro
Aggiornamento sullo stato del Tier-2 di Catania
Nuove funzionalità e futura implementazione nella Sezione di Trieste
ATLAS-Italia Tier-3 Dario Barberis Università e INFN Genova
Attvità Computing – Inverno 08/09
Portal Architecture Data Management
Belle II Computing: Accesso alle risorse di storage via http/webdav
Tier2 Milano Gli acquisti di fine 2008 saranno installati in 10 giorni circa Nuovo Storage Element vicino a commissioning No RFIO, cache, GPFS based, usato.
Gruppo WebTools Workshop CCR – 12 Giugno 2008 Dael Maselli – INFN LNF.
INDICO Parte 1 01/07/2018 Francesco Serafini.
CMS.
Luciano Gaido (INFN - Torino) Workshop CCR/INFNGRID – Palau
INFN Il calcolo scientifico presso la sede INFN di Padova e di Legnaro
Calcolo “locale” ATLAS-Mi
Report 15/11/2007 Giovanni d’Angelo
PROGETTO “COMDO” Supporters : AnnaMaria Muoio, Marcello IaconoManno
Risultati del questionario sui servizi middleware aggiuntivi
PROGETTO “ISOSPIN” Supporters : AnnaMaria Muoio, Marcello IaconoManno
AUDITING DEI SISTEMI DI POSTA ELETTRONICA Prima fase: definizione della procedura, politiche di sicurezza Workshop maggio 2009 Ombretta Pinazza,
Recupero polizze assicurative
Gruppo WebTools Workshop CCR – 12 Giugno 2008 Dael Maselli – INFN LNF.
RELATORE: CANDIDATO: SONIA BERGAMASCHI FRANCESCO RIZZO
Storage and Data management Vladimir Sapunenko
Transcript della presentazione:

Interfacce SRM: l'utilizzo di STORM - Overview e prospettive (ALICE) Francesco Noferini INFN – CNAF ALICE experiment Workshop CCR e INFN-GRID 2009 - Palau

SUMMARY Motivazioni per l’uso di StoRM da parte di ALICE al Tier-1 Prestazioni di Xrootd su gpfs Stato attuale Conclusioni

Dal Computing Model di ALICE L’interfaccia SRM presso i Tier1-ALICE è richiesta per i trasferimenti T0 -> T1. Per tutti gli altri tipi di accesso ai file il modello di calcolo di ALICE prevede l’utilizzo di XROOTD. Requisiti al Tier1: SRM + Xrootd che condividano l’accesso allo stesso set di dati. Soluzione: gpfs (filesystem) + StoRM (interfaccia SRM) + Xrootd (accesso utenti) Tape: TSM inoltre permette di gestire la replica su nastro a partire da StoRM/gpfs.

XROOTD su GPFS (I) Recentemente abbiamo fatto dei test al CNAF (presentazione CHEP09 di F. Furano) per studiare le prestazioni Xrootd vs. gpfs per job di analisi nel modello di calcolo di ALICE e BaBar(A. Fella e L. Li Gioi). Le tre configurazioni che sono state confrontate prevedevano: Xrootd puro, gpfs puro e Xrootd su gpfs. I risultati riportati di seguito sono stati ottenuti nella farm del CNAF in produzione. Il confronto tra xrootd puro e xrootd su gpfs dei tempi di esecuzione ha mostrato una perdita di efficienza dell’ordine del 10%-15%.

XROOTD su GPFS (II) Osservando il throughput ottenuto nei diversi run si può ritrovare la stessa perdita di efficienza in termini del flusso di dati. L’integrale del throughput per tutti i run che coinvolgevano xroot è stato esattamente lo stesso (per gpfs puro è stato leggermente superiore). Le prestazioni Xrootd su gpfs sono state comunque buone nonostante il calo di efficienza (che comunque ci si deve aspettare) che potrebbe essere limitato attraverso un tuning di alcuni parametri. gpfs inoltre garantisce automaticamente ridondanza a livello server.

StoRMonGPFS per ALICE@CNAF GridFTP SRM Storage server DISKSERVER-1 GPFS XROOTD-server DISKSERVER-2 GPFS XROOTD-server FTS Tier-0 SRM DISKSERVER-3 GPFS XROOTD-server DISKSERVER-4 GPFS XROOTD-server WN WN XROOTD redirector WN WN

XROOTD – gpfs - StoRM XROOTD StoRM GPFS Verifica le autorizzazioni degli utenti (r/w) e serve i file agli utenti. Accede all’area gpfs sempre come utente “aliprod” StoRM Gestisce il canale SRM per FTS da Tier-0 vs. CNAF Scrive i file come utente “storm” GPFS Le ACL su gpfs permettono la condivisione dei file da parte di StoRM e XROOTD sullo stesso mount point https://tier1.cnaf.infn.it/wiki/index.php?title=Xroot/StoRM

Stato Storage al CNAF XROOTD su GPFS si sta comportando molto bene al CNAF. Attualmente i job utenti di analisi hanno analizzato molti dei dati MC trasferiti al CNAF con alcuni picchi che hanno saturato la banda. Questo storage nell’ultima settimana ha avuto una availability del 100%.

Stato integrazione I test di compatibilità XROOT+StoRM sono stati buoni e hanno dato una prima validazione della configurazione. Nelle prossime settimane ci dovrebbero essere dei trasferimenti massicci via FTS per verificare l’efficienza del canale T0-T1 (che quindi è ancora sotto test). Al termine di questi ultimi test la configurazione finale sarà messa in produzione.

Conclusioni Xrootd+StoRM buona soluzione per ALICE: compromesso esigenze SRM e Xrootd. Test comparativi accettabili (migliorabili attraverso tuning), buona stabilità osservata in questo mese. Configurazione piuttosto semplice e conflitti risolti con semplici configurazioni delle ACL. Attesa test FTS massici prima di mettere in produzione il sistema. TSM: replica su nastro: da T0D1 a T1D0 o T1D1.