I testbed ed il loro uso 1 I testbed ed il loro uso L. Gaido, A.Ghiselli CSN1, Perugia 11-12 novembre 2002.

Slides:



Advertisements
Presentazioni simili
STATO DEL PROTOTIPO DI SCoPE E DELL’INTEGRAZIONE TRA I 4 PON
Advertisements

1 La farm di ATLAS-Napoli 1 Gb/s 7 nodi con 2 CPU PIII a 1 GH, RAM 512 MB, 2 schede di rete a 100 Mb/s. Server con 2 CPU PIII a 1 GH, RAM 1 GB, 2 schede.
Proposta di integrazione e consolidamento delle risorse presenti nellinfrastruttura Grid dellItalia Meridionale (L. Merola, )
1 STATO DELLINTEGRAZIONE TRA I 4 PROGETTI AVVISO 1575/2004 Riunione del Comitato Tecnico sullInteroperabilità MUR, 20/12/2007 S.Pardi.
Testbed release: processo di integrazione e validazione A. Ghiselli, L. Gaido.
Meeting WP 1 (Globus) 11 Gennaio 2001 Massimo Sgaravatto INFN Padova.
Proposta di integrazione e consolidamento delle risorse presenti nellinfrastruttura Grid dellItalia Meridionale (L. Merola, )
La facility nazionale Egrid: stato dell'arte Egrid-Team Trieste, 9 ottobre 2004.
Flavia DonnoCommissione I, Perugia Novembre I progetti di integrazione di GRID EU-US Flavia Donno INFN Sezione di Pisa Riunione Comm. I sul.
Istituto Nazionale di Fisica Nucleare Roma,12 febbraio 2001 Netgroup meeting Situazione attuale e attivita futura - R.Gomezel 1 Netgroup meeting Situazione.
Gruppo Directory Services Rapporto dell'attivita' svolta - Marzo 2000.
Alessandro Italiano INFN - CNAF Grid.it 14 Febbraio 2003 Servizi Generali: RB, UI, RC Information System Alessandro Italiano Grid.it 16 febbraio 2003.
1 Riunione Testbed - 17 gennaio Agenda - stato del testbed di INFN-GRID (L. Gaido) - le risorse del CNAF (A. Italiano) - report sullo stress test.
25 ottobre 2002infn1 FIRB-Grid WP3,5 Grid deployment.
Il Tutorial INFN-GRID/EDG di Torino Testbed INFN-GRID.
INFN-GRID WP1 11 gennaio 2001 GridFTP: stato dellarte Luciano Gaido 1 Progetto INFN-GRID GridFTP: stato dellarte Riunione WP1 (GLOBUS) Cnaf, 11 gennaio.
LNL M.Biasotto, Bologna, 13 dicembre Installazione automatica Massimo Biasotto – INFN LNL.
INFN-GRID WP1 20 novembre 2000 Sperimentazione GridFTP Luciano Gaido 1 Progetto INFN-GRID Sperimentazione GridFTP Riunione WP1 (GLOBUS) Cnaf, 20 novembre.
Execution benchmarks Obiettivi Test dettagliati e ben caratterizzati Esecuzione di benchmark standard Test di applicazioni dell'esperimento ALICE 20 Novembre.
1 Il testbed di LCG Riunione Testbed – CNAF, 17 gennaio 2003 L. Gaido.
Il calcolo distribuito in ATLAS
GridICE attività in corso e sviluppi futuri Gennaro Tortone Bologna, 4 marzo Technical Board INFNGRID
M.Biasotto, Padova, 18 gennaio Sviluppo futuro di LCFG per la Release 2 di Datagrid Massimo Biasotto - LNL.
LNL CMS M.Biasotto, Firenze, 22 maggio Hardware e tools di installazione Massimo Biasotto INFN – Lab. Naz. di Legnaro.
1 M. Biasotto – Legnaro, 22 Dicembre 2005 Prototipo Tier 2 di Legnaro-Padova INFN Legnaro.
E. Ferro / CNAF / 14 febbraio /13 GRID.it servizi di infrastruttura Enrico Ferro INFN-LNL.
* * Data Challenge 04 Stato dei centri di produzione in Italia.
Claudio Grandi INFN Bologna IFAE Torino 15 Aprile 2004 Uso di griglie computazionali per il calcolo degli esperimenti LHC Claudio Grandi INFN -
C. Aiftimiei 1, S. Andreozzi 2, S. Dal Pra 1, G. Donvito 3, S. Fantinel 4, E. Fattibene 2, G. Cuscela 3, G. P. Maggi 3, G. Misurelli 2, A. Pierro 3 1 INFN-Padova.
LNL GM, CNAF, 18 ottobre INFN-Farm Management Toolkit 1.Fabric Management per DataGrid e INFNGrid 2.Definizione dei requisiti degli esperimenti.
CNAF 18/11/2004 Federica Fanzago INFN Padova a/grape... BAT... BATMAN...o? M.Corvo, F.Fanzago, N.Smirnov (INFN Padova) + tutte le persone che fanno i test.
AFS Working Group R.Gomezel CCRWS Verso la sfida di LHC Otranto (Lecce), 6-9 Giugno 2006.
Infrastruttura GRID di produzione e i T2 Cristina Vistoli Cnaf.
3 Aprile CSN1 P. Capiluppi Tier2 CMS Italia.
Test Storage Resource Manager per SC4 Giacinto Donvito Vincenzo Spinoso.
16 Maggio CSN1 Computing-Software-Analysis CMS-INFN TEAM Analisi in CMS: stato e prospettive del supporto italiano.
LNL CMS M.Biasotto, Roma, 22 novembre I Tier2 in CMS Italia Massimo Biasotto - LNL.
Calcolo LHC - F. Ferroni, P. Lubrano, M. SozziCSN1 - Catania Calcolo LHC 2003 (F. Ferroni, P. Lubrano, M. Sozzi)
CSN Maggio 2005 P. Capiluppi Il Computing Model (LHC) nella realta’ italiana u I Computing models degli esperimenti LHC gia’ presentati a Gennaio.
Attivita' Grid in BaBar Workshop sulle Problematiche di Calcolo e Reti nell'INFN Maggio 2004.
1 LHCb Computing Angelo Carbone, INFN-CNAF CSN1, 21/9/06 Aggiornamento richieste Tier Richiesta Tier-2 al CNAF Stato e risultati DC06.
Installation and evaluation of the Globus toolkit Massimo Sgaravatto INFN Padova.
Draft planning of the report Massimo Sgaravatto INFN Padova.
CSN1-Assisi L.Perini1 BaBar Calcolo L. Perini per i referees: L.Perini,A.Staiano…
Flavia DonnoCommissione I, Perugia Novembre I progetti di integrazione di GRID EU-US Flavia Donno INFN Sezione di Pisa Riunione Comm. I sul.
Layered Grid Architecture. Application Fabric “Controlling elements locally”: Access to, & control of, resources Connectivity “Talking to Grid elements”:
TIER 2 M.L. Ferrer Atlas Meeting March 19, LCG software Informazioni da parte di Laura Perini del 11 Febbraio Attendere 2 o 3 settimane un ulteriore.
Grid nelle sezioni: Milano Luca Vaccarossa INFN – Sezione di Milano Workshop sulle Problematiche di Calcolo e Reti nell'INFN.
Calcolo esperimenti LHC 2004 F. Ferroni, P. Lubrano, A. Martin, M. Morandin, M. Sozzi.
Report HEPiX Spring meeting 2002 Workshop sulle problematiche di calcolo e reti nell'INFN 6-9 Maggio 2002 La Biodola - Isola d'Elba Silvia Arezzini.
CMS 1 M. Biasotto – Bologna 20/01/2005 Infrastruttura di calcolo per CMS-Italia M.Biasotto – INFN Legnaro e i gestori dei centri CMS Italia.
BOLOGNA Prin-STOA Report L. Rinaldi Bari – 12/11/2015.
Il Servizio Calcolo e Reti e le attività grid della Sezione INFN di Torino Luciano Gaido.
1 Attività per la formazione Scuole INFN Grid Edizione 2008 Valeria Ardizzone INFN Catania.
Domenico Elia1Riunione PRIN STOA-LHC / Bologna Attività per ALICE: sommario e prospettive Domenico Elia Riunione PRIN STOA-LHC Bologna, 18 Giugno.
1 referee-BaBar CSN I, LNF giugno 2007 RELAZIONE DEI REFEREE DI BaBar M.De Palma, C.Luci, C.Troncon, B.Gobbo(calcolo) 26 giugno 2007.
Referaggio sigla CALCOLO D. Bonacorsi, G. Carlino, P. Morettini CCR – Roma 9 Settembre 2014.
Overview del middleware gLite Guido Cuscela INFN-Bari II Corso di formazione INFN su aspetti pratici dell'integrazione.
17 GennaioTier2 Milano G. Costa 1 17-Gennaio-2006.
Il futuro della infrastruttura Grid INFN : le risorse economiche e le competenze ” Workshop CCR INFN GRID 2011.
1 ALICE I ITER2 DI ALICE IN ITALIA Bologna, 6 marzo 2007 M. Masera
SCOPE: stato e piano di integrazione Phd. Silvio Pardi CNAF
Riunione WP 1 (Globus) 20 Novembre, 2000 Massimo Sgaravatto INFN Padova.
EGEE is a project funded by the European Union under contract IST Il pre-production service in EGEE e in INFN-GRID D. Cesini - INFN-CNAF IV.
E. Ferro, F. Fanzago - CNAF, Bologna - 1/07/2004 Release LCG & INFN-GRID Enrico Ferro INFN - Padova.
L’infrastruttura del progetto ReCaS Paolo Lo Re on behalf of ReCaS collaboration.
Attività Gruppo Virtualizzazione Andrea Chierici CNAF Riunione CCR
Esigenze di Rete degli Esperimenti LHC e di Gr1 G. Carlino – INFN Napoli CCR – Roma 8 Settembre 2014.
EGEE is a project funded by the European Union under contract IST L'infrastruttura di produzione attuale A. Cavalli - INFN- CNAF D. Cesini.
Servizi per CCRC, INFN Grid release, stato dei servizi centrali e T2
Transcript della presentazione:

I testbed ed il loro uso 1 I testbed ed il loro uso L. Gaido, A.Ghiselli CSN1, Perugia novembre 2002

I testbed ed il loro uso 2 Scopi del testbed L’infrastruttura del testbed è stata realizzata per i seguenti scopi: - test del middleware prodotto da DataGrid - validazione del middleware utilizzando le applicazioni degli esperimenti - test dei servizi di grid in un ambiente molto distribuito - fornire una “palestra” per la formazione di site manager e utenti - prototipo di un testbed di produzione - test modifiche middleware (DataTAG, Glue) All’interno del Testbed di INFN-GRID sono stati sviluppati tools per la gestione di alcuni servizi per la grid (autorizzazione, monitoring, etc,) ed organizzati incontri formativi. Inoltre sono state organizzate demo in varie occasioni.

Il testbed e progetti di INFN-Grid DataGRIDDataTAG WP1 WP2 WP4 WP2 WP6 - TESTBED WP7 iVDGL GLUE FIRB WP3WP5 LCG INFN-Grid

I testbed ed il loro uso 4 Il testbed in InfnGrid e Datagrid Il Testbed0 (prima metà del 2001) Software utilizzato: Globus toolkit con le personalizzazioni per l’INFN Infrastruttura: - 5 siti INFN (CNAF, MI, PD, PI e TO) - vari siti in europa (CERN, PPARC, IN2P3)

I testbed ed il loro uso 5 Il Testbed1 (fine 2001) E’ basato su EDG release 1, rilasciata ad ottobre 2001 Come viene prodotta la EDG release: - ciascun WP di sviluppo produce una parte del middleware - l’Integration Team: - assembla il tutto in una versione integrata, - risolve le dipendenze - inserisce i tool necessari al funzionamento - produce la lista degli rpm ed i profili LCFG per l’installazione i site manager installano ed effettuano il primo livello di debug della release - il validation team effettua la validazione con le applicazioni degli esperimenti - la release viene rilasciata ufficialmente

I testbed ed il loro uso 6 L’infrastruttura del Testbed1 (fine 2001) L’INFN ha partecipato con 4 siti: CT, CNAF, PD e TO Altri siti EDG: CERN, Lyon, RAL, NIKHEF Validazione della Release1 e del Testbed1: - Deliverable Deliverable 6.4 Contributo INFN: - sistema di autorizzazione (aggiornamento automatica gridmapfile) - contributo all’Integration Team - definizione dei profili degli elementi che compongono la grid - debug di LCFG dei site manager italiani

I testbed ed il loro uso 7 Grid aspects covered by EDG testbed 1 VO servers LDAP directory for mapping users (with certificates) to correct VO Storage Element Grid-aware storage area, situated close to a CE User Interface Submit & monitor jobs, retrieve output Replica Manager Replicates data to one or more CEs Job Submission Service Manages submission of jobs to Res. Broker Replica Catalog Keeps track of multiple data files “replicated” on different CEs Information index Provides info about grid resources via GIIS/GRIS hierarchy Information & Monitoring Provides info on resource utilization & performance Resource Broker Uses Info Index to discover & select resources based on job requirements Grid Fabric Mgmt Configure, installs & maintains grid sw packages and environ. Logging and Bookkeeping Collects resource usage & job status Network performance, security and monitoring Provides efficient network transport, security & bandwidth monitoring Computing Element Gatekeeper to a grid computing resource Testbed admin. Certificate auth.,user reg., usage policy etc.

I testbed ed il loro uso 8 EDG Services EDG Services SE (GDMP) CE / WN (PC Cluster) Replica ReplicaCatalogue LCFG server VO VO userLdap server userLdap server User Interface Resource Broker II LB CA Ldap Tree mkgridmap MDS MDS CVS

I testbed ed il loro uso 9 I servizi per il Testbed1 Al CNAF sono stati installati: - i Replica Catalog per ATLAS e CMS - i server LDAP per le Virtual Organization: INFN-GRID, DataTAG VIRGO e CDF - un Resource Broker ed un Information Index - un repository CVS per il software prodotto Formazione: Tutorial per i site manager (aprile 2002): - caratteristiche della EDG Release - installazione con LCFG

I testbed ed il loro uso 10 La situazione attuale (Testbed 1.2) Le risorse del Testbed INFN sono distribuite su 19 siti e sono configurate con la EDG Release 1.2.x L’INFN ha realizzato (o partecipa a ) 3 infrastrutture di testbed diverse: - Testbed di sviluppo EDG - Testbed di produzione EDG - Testbed di produzione INFN-GRID Testbed di sviluppo EDG (5 siti, di cui 1 INFN) Il CNAF partecipa con 1 RB (grid004f.cnaf.infn.it) + II, 1 CE, 1 SE, 1 WN e 1 UI.

I testbed ed il loro uso 11 Testbed di produzione EDG (circa 10 siti, di cui 4 INFN) L’infrastruttura fa uso di due Resource Broker (al CERN e al CNAF) L’INFN partecipa con quattro siti: –Catania –Cnaf –Padova –Torino Le risorse sono registrate nell’Information Index del CNAF e possono essere utilizzate per mezzo del Resource Broker del CNAF (grid010g.cnaf.infn.it) e, in parte, anche da quello del CERN (lxshare0382.cern.ch) Utilizzo: - validazione EDG release da parte degli esperimenti - Data Challenges - prove produzione

I testbed ed il loro uso 12 RBII RBII CERN CNAF/Bologna site CE SE CE SE CE SE CE SE CESE CE SE RAL (UK) NIKHEF (NL) IN2P3 (FR) INFN (IT) CESE Catania site CESE Torino site Padova site

I testbed ed il loro uso 13 Testbed di produzione INFN-GRID (19 siti) Le risorse si trovano nelle sezioni o laboratori seguenti: Catania, CNAF, Bari, Bologna, Cagliari, Ferrara, Genova, Lecce, Legnaro, Milano, Napoli, Parma, Pavia, Padova, Pisa, Roma1, Roma3, Torino and Trieste Siti in rosso: si tratta delle stesse risorse del testbed di produzione EDG. In alcuni siti (quelli in rosso + MI e PI) è stato installato il set completo dei grid elements (UI, SE, CE e WNs), negli altri un sottoinsieme. L’Information Index ed il RB per il testbed di produzione INFN-GRID (grid009g.cnaf.infn.it) si trovano al CNAF Utilizzo: - Data Challenges - prove produzione - test di topologie distribuite per i servizi (RB, ad es.)

I testbed ed il loro uso 14 Dominio di una Virtual Organization una VO puo’ essere un esperimento o una parte Risorse nei siti T0 T1 e T2 Risorse Dell’esperimento

I testbed ed il loro uso 15 Alice VO CMS VO Dominio di grid per Virtual organization

I testbed ed il loro uso 16 Sui testbed di produzione sono supportati gli ambienti di esperimento: ATLAS, ALICE, CMS e LHCB (+ EO e BIOMED). In alcuni siti VIRGO e BABAR. Esiste una ulteriore infrastruttura, il Certification Testbed, che verrà utilizzata per certificare le risorse ed i siti mediante l’utilizzo di test suites. Il gruppo Testing di INFN-GRID ha prodotto la prima release delle test suite per i primi due livelli di test (installazione e configurazione). Al momento nel Certification Testbed ci sono risorse soltanto al CERN. Il processo di certificazione coinvolge anche il progetto LCG. Alcune risorse del Testbed sono state utilizzate per: -attività di sviluppo del WP1 e WP2 -attività DataTAG, Glue, iVDGL (CNAF, MI e PD, PI)  vedi pres. F. Donno

I testbed ed il loro uso 17 Evoluzione del testbed L’evoluzione segue il rilascio delle nuove Release EDG. Il Release Plan di EDG prevede il rilascio progressivo di nuove release con nuove funzionalità. Non sono più previste le Major release L’upgrade delle infrastrutture di testbed verrà effettuato in modo “non distruttivo”, ogni volta che una release verrà ufficialmente rilasciata per il deployment.

I testbed ed il loro uso 18 Il futuro.... Testbed di produzione LCG La partecipazione dell’INFN al testbed di produzione LCG è la naturale evoluzione del Testbed di produzione INFN-GRID. Per la sperimentazione di prototipi Tier-2 sono state finanziate farm, costituite da 25 biprocessori con 3 Terabyte di spazio disco, nelle sedi di CNAF (Tier-1), Legnaro, Milano e Torino. Le risorse nelle sedi che partecipano al Testbed di INFN-GRID potranno entrare a far parte di questa infrastruttura per la sperimentazione dei prototipi Tier-3. I prototipi di Tier-2 saranno operativi all’inizio del prossimo anno  milestone di LCG vedi presentazioni di A. Masoni e C. Grandi

I testbed ed il loro uso 19 Il futuro.... Progetto Grid-FIRB L’infn partecipa con i WP3 e WP5 che hanno come tema lo studio e la definizione del deployment e management di una grid per alcune comunità scientifiche italiane in collaborazione con l’Istituto Nazionale di AstroFisica, l’Istituto Nazionale di Geologia e Vulcanologia, alcuni centri di biologia dell’univ. di Genova, Padova e del CNR di Milano (Unita’ di Ricerca n.4 coordinata dall’INFN). vedi presentazione di M.Mazzucato Il contributo di INFN-GRID a questo progetto riguarda gli aspetti architetturali del management di una grid, la pianificazione del deployment di una grid per una Virtual Organization e i relativi aspetti operativi.

I testbed ed il loro uso 20 Il futuro.... Installazione automatica delle risorse E’ stato sviluppato, ed è in fase di test, LCFGng, un nuovo sistema per l’installazione automatica delle risorse. evoluzione di LCFG con il supporto per RedHat 7.2 tutorial per i site manager a dicembre/gennaio Un nuovo sistema di installazione automatica, basato su HLDL, è in fase di sviluppo al CERN. E’ previsto per l’uscita della EDG Release 2.0 Formazione Il 5 e 6 dicembre 2002 si svolgerà a Torino un tutorial per gli utenti