CCR 14-15/03/2006 Status Report Gruppo Storage CCR.

Slides:



Advertisements
Presentazioni simili
Progetto Speciale Prototipo Tier1 F. Ruggieri INFN – CNAF I Workshop CMS Italia del SW e Computing Roma 22 Novembre 2001.
Advertisements

P.Capiluppi I Workshop CMS Italia del Computing & Software Roma Novembre 2001 Qualche conclusione e pianificazione per il prossimo futuro.
Proposta di integrazione e consolidamento delle risorse presenti nellinfrastruttura Grid dellItalia Meridionale (L. Merola, )
Aspetti critici rete LAN e WAN per i Tier-2
Workshop CCR Otranto - maggio 2006 General Parallel File System: caratteristiche, prestazioni ed esempi di utilizzo in produzione Alessandro Brunengo -
Giornata di incontro con i Borsisti GARR, Roma, Andrea Petricca Problematiche di rete nella sperimentazione di file-system distribuiti su WAN.
1 Riunione del 29 Marzo 2007 IL PROGETTO SCoPE Prof. Guido Russo I lavori Le apparecchiature Il portale.
Test del Monitoraggio del Tracker usando un Tier2 M.S. Mennea, G. Zito, N. De Filippis Università & INFN di Bari Riunione Consorzio – Torino 18 Novembre.
Attività del gruppo di lavoro VPN Provare: – Sistemi: BOX commerciali Sistemi gratuiti – Collegamenti: fra siti INFN da ISP a INFN Valutare: – Difficoltà
Istituto Nazionale di Fisica Nucleare Roma,12 febbraio 2001 Netgroup meeting Situazione attuale e attivita futura - R.Gomezel 1 Netgroup meeting Situazione.
1 Riunione Testbed - 17 gennaio Agenda - stato del testbed di INFN-GRID (L. Gaido) - le risorse del CNAF (A. Italiano) - report sullo stress test.
LNL M.Biasotto, Bologna, 13 dicembre Installazione automatica Massimo Biasotto – INFN LNL.
1 Il testbed di LCG Riunione Testbed – CNAF, 17 gennaio 2003 L. Gaido.
Conclusioni M. Paganoni workshop CMS Italia, Napoli 13-14/2/07.
LNL M.Biasotto, Bologna, 18 ottobre La farm CMS di Padova - Legnaro Proposta di acquisto hardware 2° semestre 2001.
LNL CMS M.Biasotto, Firenze, 22 maggio Hardware e tools di installazione Massimo Biasotto INFN – Lab. Naz. di Legnaro.
1 M. Biasotto – Legnaro, 22 Dicembre 2005 Prototipo Tier 2 di Legnaro-Padova INFN Legnaro.
E. Ferro / CNAF / 14 febbraio /13 GRID.it servizi di infrastruttura Enrico Ferro INFN-LNL.
5 Feb 2002Stefano Belforte – INFN Trieste calcolo per CDF in Italia1 Calcolo per CDF in Italia Prime idee per lanalisi di CDF al CNAF Numeri utili e concetti.
1 Installazione da rete Introduzione Configurazione del server NFS Cosa serve sul client Configurazione kickstart.
Stefano Zani e Pierpaolo Ricci (INFN CNAF)
Architettura di storage ad alta affidabilita e bilanciamento di carico per volumi centrali e di esperimento A.Brunengo, M.Corosu INFN Sezione di Genova.
Riunione CCR 20/10/2005 Gruppo Storage Relazione attivita primo semestre 2005 e pianificazione 2006 Alessandro Brunengo.
EGEE is a project funded by the European Union under contract IST Using SRM: DPM and dCache G.Donvito,V.Spinoso INFN Bari
Alessia Tricomi Università & INFN Catania
* * Data Challenge 04 Stato dei centri di produzione in Italia.
C. Aiftimiei 1, S. Andreozzi 2, S. Dal Pra 1, G. Donvito 3, S. Fantinel 4, E. Fattibene 2, G. Cuscela 3, G. P. Maggi 3, G. Misurelli 2, A. Pierro 3 1 INFN-Padova.
7 ottobre 2002P. Checchia Padova Cons. di sezione1 Resoconto CSN1 Lecce settembre 2003 Cosiderazioni generali Bilancio 2004: 28 M€ (era 38.5 compreso l’anticipo.
Analysis unibo una proposta. Work flow di una tipica analisi 1.Simulazione di piccoli campioni di eventi per studio segnale 2.Generazione in grande.
Riunione gruppo storage – Roma 05/05/2005 Test di affidabilita’ e performance a Genova Alessandro Brunengo.
Workshop sulle problematiche di calcolo e reti nell’INFN Paestum,9-12 giugno 2003 Report sull’ultimo HEPiX e proposte per le prossime edizioni Roberto.
Test Storage Resource Manager per SC4 Giacinto Donvito Vincenzo Spinoso.
LNL CMS M.Biasotto, Roma, 22 novembre I Tier2 in CMS Italia Massimo Biasotto - LNL.
Calcolo LHC - F. Ferroni, P. Lubrano, M. SozziCSN1 - Catania Calcolo LHC 2003 (F. Ferroni, P. Lubrano, M. Sozzi)
Attivita' Grid in BaBar Workshop sulle Problematiche di Calcolo e Reti nell'INFN Maggio 2004.
L. Servoli - CCR Roma 15 marzo Il progetto High Availability D. Salomoni - CNAF L. Servoli - INFN Perugia.
Workshop CCR Otranto - giugno 2006 Gruppo storage CCR Status Report Alessandro Brunengo.
Grid nelle sezioni: Milano Luca Vaccarossa INFN – Sezione di Milano Workshop sulle Problematiche di Calcolo e Reti nell'INFN.
Situazione RedHat R. Gomezel Workshop sulle Problematiche di Calcolo e Reti nell'INFN Maggio 2004 Sant' Elmo Beach Hotel, Castiadas (CA)
CMS 1 M. Biasotto – Bologna 20/01/2005 Infrastruttura di calcolo per CMS-Italia M.Biasotto – INFN Legnaro e i gestori dei centri CMS Italia.
LNL CMS M.Biasotto, Bologna, 28 maggio Upgrade farm a RH-7.3  Due anni fa la farm era stata installata usando una versione customizzata di ANIS.
Riunione CCR 21/12/2005 Gruppo Storage Relazione sulla analisi di infrastrutture Fibre Channel e presentazione attivita’ per il 2006 Alessandro Brunengo.
Storage (ieri, oggi e domani) Luca dell’Agnello INFN-CNAF.
BOLOGNA Prin-STOA Report L. Rinaldi Bari – 12/11/2015.
Report R.Gomezel CCR dicembre 2006 Roma.
Roberto Covati – Roberto Alfieri INFN di Parma. Incontri di lavoro CCR dicembre Sommario VmWare Server (in produzione dal 2004) VmWare ESX.
Riunione PRIN STOA - Bologna - 18 Giugno 2014 Testbed del T2 distribuito Napoli-Roma Dr. Silvio Pardi INFN-Napoli Riunione PRIN STOA – Bologna 18 Giugno.
Domenico Elia1Riunione PRIN STOA-LHC / Bologna Attività per ALICE: sommario e prospettive Domenico Elia Riunione PRIN STOA-LHC Bologna, 18 Giugno.
Brunengo - Padova - 18/12/2007 Infrastrutture di storage per Tier2 Gruppo storage CCR.
Stato di GARR-X Claudia Battista Workshop CCR INFN - Isola d’Elba 17 maggio 2011.
CCR - Frascati 29 settembre 2008 Gruppo storage CCR Status Report Alessandro Brunengo.
Referaggio sigla CALCOLO D. Bonacorsi, G. Carlino, P. Morettini CCR – Roma 9 Settembre 2014.
17 GennaioTier2 Milano G. Costa 1 17-Gennaio-2006.
Progetto iSCSI Report alla CCR 12-13/12/2006 Alessandro Tirel – Sezione di Trieste.
11 Richieste di banda Anno 2010 T.Ferrari, M.Morandin CCR, Roma, 30 settembre 2009.
Uso della rete geografica e richieste di upgrade CCR 31/3/2015 (Roma) S.Zani.
Stato e previsione rete nelle sedi INFN Survey ed ipotesi di sviluppo fino al 2018 CCR 8-10 Settembre 2018 (Roma) 1 S.Zani (Netgroup)
Test di storage a 10 Gbps proposta. Storage server a 10Gbps Si vuole vedere quali prestazioni si possano ottenere da server connessi a 10 GE –capacita’
20-21/03/2006Workshop sullo storage - CNAF Storage nei Servizi Calcolo delle sezioni INFN Alessandro Brunengo.
CCR - Frascati 29 settembre 2008 Gruppo storage CCR Status Report Alessandro Brunengo.
ALICE Computing Readiness Workshop Tier-2 CNAF Jan 17-18, ALICE Computing Readiness 1) ALICE Italia: Persone & organizzazione 2) Test & commisioning.
CCR - Roma 15 marzo 2007 Gruppo storage CCR Report sulle attivita’ Alessandro Brunengo.
Alessandro Tirel - Sezione di Trieste Storage servers & TCP Tuning Proposta di studio delle problematiche connesse alla fornitura di servizi di storage.
Tier1: stato del servizio Pietro Matteuzzi e Luca Dell’Agnello.
1 Le macchine di questo pool fanno parte di una lan privata (la 125 illustrata a pag.2), di cui t2cmcondor è il gateway. Sono presenti 3 macchine su rete.
Aggiornamento AFS R.Gomezel Commissione Calcolo e Reti Presidenza 5/10/2010-7/10/2010.
Esigenze di Rete degli Esperimenti LHC e di Gr1 G. Carlino – INFN Napoli CCR – Roma 8 Settembre 2014.
20-21/03/2006Workshop sullo storage - CNAF Alessandro Brunengo.
Status Report Gruppo Storage CCR CCR 14-15/03/2006.
Transcript della presentazione:

CCR 14-15/03/2006 Status Report Gruppo Storage CCR

GPFS Completata installazione sulle infrastrutture del Tier1: –600 nodi, 4 server con file system di 22 TB su una testa StorageTek Flexline connessa in FC Problemi: –integrazione della installazione con i sistemi automatizzati del Tier1 (quattor) –problemi intrinseci di sicurezza di GPFS Release installata: su kernel 2.4.x Eseguiti test preliminari di accesso al file system. Nelle prossime due settimane sono programmati test di prestazioni di accesso diretto al file system dalla intera farm

StoRM (SRM/GPFS) Rilasciata versione (fine gennaio), prevista la (migliorie, stesse funzionalita’) in settimana Sviluppatori nella task force (WLCG ed SC4) per l’interoperabilita’ con altre implementazioni (dCache e DPM) Testate le funzionalita’ principali SRM v2 (preallocazione, rilettura con pinning) sulla infrastruttura di GPFS al Tier1 (limitata ad 80 client) Entro due settimane saranno eseguiti test su larga scala (vedi GPFS) Da pianificare test StoRM-StoRM via WAN (installazione in corso a Bari) Richiesta disponibilita’ ad effettuare test di interoperabilita’ via WAN: Mi, LNL, Pi e Ba disponibili, accordi da prendere nella prossima settimana Osservazione importante: SC4 richiede SRM V1, mentre V2 e’ opzionale. StoRM non implementa la SRM V1 (che non verra’ sviluppata), quindi i siti di SC4 dovranno implementare dCache o DPM (eventualmente StoRM in affiancamento).

dCache Installata versione (upgrade da problematico per conversione database e LCG) al Tier1 (4 server, 50 TB via FC, 35 client), e Bari (3 server, 6 TB 3ware, 40 client) –problemi nell’upgrade per conversione db e successivo upgrade LCG –problemi evidenziati sotto carico prolungato su XFS, risoloti con upgrade kernel (2.4.32) Effettuati test sia con tool specifici per prestazioni ed apertura files che con job sviluppati a partire da un applicativo di CMS (saturazione della banda verso i server) Test su WAN (LNL-CNAF e Ba-CNAF): saturata banda Ba (100 Mbps), non LNL (fino a 400 Mbps): risuiltato da capire Test anche su link verso CERN e FNAL: saturazione verso CERN, con FNAL la latenza maggiore abbassa le prestazioni. Vanno ripetuti i test con LNL per identificare il problema (prossima settimana) Vanno eseguiti test sulla completa infrastruttura al Tier1 (da definire la tempistica) Si ritengono interessanti test write/read concomitanti

DPM Installazione minimale a BA, piu’ grande a LNL (1 server, 4 TB, 20 client), versione Testate le funzionalita’ SRM v2, che presentano diversi problemi (PrepareToGet non fa pinning, AbortRequest durante una preallocazione non rilascia lo spazio allocato se non dopo un restart del pool) sia a Ba che a LNL Test di prestazioni a LNL (quasi saturo il GE) con I/O sequenziale. DPM strategico per alcuni (tutti?) Tier2 –Mostrato interesse LNL, Mi, Pi, Na(*) e Ba a test di scala al Tier1 (da prendere accordi al workshop) –I test di prestazioni proseguiranno sui siti candidati Tier2 di Pi, LNL, Ba

Revisione tempistiche progetto realizzazione di tool di misura delle prestazioni di accesso allo storage sia diretto che attraverso interfaccia SRM realizzazione di un tool di verifica delle funzionalita’ delle implementazioni della interfaccia SRM per la versione 2 realizzazione di applicazioni simili a job di analisi dati di un esperimento LHC, finalizzate allo stress dell’accesso alla infrastruttura di storage test di misura di prestazioni e funzionalita’ in scala ridotta per le soluzioni di storage basate su dCache, DPM, StoRM/GPFS test di misura di scalabilita’ delle soluzioni, per le prestazioni e per le funzionalita’, ad una scala di ~1000 worker node su uno storage di qualche decina di TB test di misura di prestazioni e funzionalita’ sulla stessa scala ottenuti attraverso l’accesso allo storage da parte di job di tipologia simile ad una analisi dati di un esperimento LHC La tempistica deve essere necessariamente rivista dopo il workshop del 20/03/2006 (dipende da accordi con personale Tier1 e disponibilita’ delle loro risorse)

iSCSI Due settimane di ritardo –problemi di porting di tool di misura –anticipazione attivita’ valutazione prodotti in conto visione (occasione di avere un Promise VTrack M500i) in corso

Nuove attivita’ attivita’ in collaborazione con netgroup per valutare impatto configurazioni di TCP/IP sulle prestazioni (in particolare via WAN) –da discutere con netgroup alla prossima riunione del netgroup attivita’ in collaborazione con gruppo HA –interesse per ridondanza sui servizi di database e servizi di export (NFS, demoni SRM) –e’ attivita’ specifica di gruppo HA: il gruppo storage collaborera’ in quella sede (23 marzo la prima riunione del gruppo)