I testbed ed il loro uso 1 I testbed ed il loro uso L. Gaido, A.Ghiselli CSN1, Perugia 11-12 novembre 2002.

Presentazione sul tema: "I testbed ed il loro uso 1 I testbed ed il loro uso L. Gaido, A.Ghiselli CSN1, Perugia 11-12 novembre 2002."— Transcript della presentazione:

1 I testbed ed il loro uso 1 I testbed ed il loro uso L. Gaido, A.Ghiselli CSN1, Perugia 11-12 novembre 2002

2 I testbed ed il loro uso 2 Scopi del testbed L’infrastruttura del testbed è stata realizzata per i seguenti scopi: - test del middleware prodotto da DataGrid - validazione del middleware utilizzando le applicazioni degli esperimenti - test dei servizi di grid in un ambiente molto distribuito - fornire una “palestra” per la formazione di site manager e utenti - prototipo di un testbed di produzione - test modifiche middleware (DataTAG, Glue) All’interno del Testbed di INFN-GRID sono stati sviluppati tools per la gestione di alcuni servizi per la grid (autorizzazione, monitoring, etc,) ed organizzati incontri formativi. Inoltre sono state organizzate demo in varie occasioni.

3 Il testbed e progetti di INFN-Grid DataGRIDDataTAG WP1 WP2 WP4 WP2 WP6 - TESTBED WP7 iVDGL GLUE FIRB WP3WP5 LCG INFN-Grid

4 I testbed ed il loro uso 4 Il testbed in InfnGrid e Datagrid Il Testbed0 (prima metà del 2001) Software utilizzato: Globus toolkit con le personalizzazioni per l’INFN Infrastruttura: - 5 siti INFN (CNAF, MI, PD, PI e TO) - vari siti in europa (CERN, PPARC, IN2P3)

5 I testbed ed il loro uso 5 Il Testbed1 (fine 2001) E’ basato su EDG release 1, rilasciata ad ottobre 2001 Come viene prodotta la EDG release: - ciascun WP di sviluppo produce una parte del middleware - l’Integration Team: - assembla il tutto in una versione integrata, - risolve le dipendenze - inserisce i tool necessari al funzionamento - produce la lista degli rpm ed i profili LCFG per l’installazione -....... - i site manager installano ed effettuano il primo livello di debug della release - il validation team effettua la validazione con le applicazioni degli esperimenti - la release viene rilasciata ufficialmente

6 I testbed ed il loro uso 6 L’infrastruttura del Testbed1 (fine 2001) L’INFN ha partecipato con 4 siti: CT, CNAF, PD e TO Altri siti EDG: CERN, Lyon, RAL, NIKHEF Validazione della Release1 e del Testbed1: - Deliverable 8.2 - Deliverable 6.4 Contributo INFN: - sistema di autorizzazione (aggiornamento automatica gridmapfile) - contributo all’Integration Team - definizione dei profili degli elementi che compongono la grid - debug di LCFG dei site manager italiani

7 I testbed ed il loro uso 7 Grid aspects covered by EDG testbed 1 VO servers LDAP directory for mapping users (with certificates) to correct VO Storage Element Grid-aware storage area, situated close to a CE User Interface Submit & monitor jobs, retrieve output Replica Manager Replicates data to one or more CEs Job Submission Service Manages submission of jobs to Res. Broker Replica Catalog Keeps track of multiple data files “replicated” on different CEs Information index Provides info about grid resources via GIIS/GRIS hierarchy Information & Monitoring Provides info on resource utilization & performance Resource Broker Uses Info Index to discover & select resources based on job requirements Grid Fabric Mgmt Configure, installs & maintains grid sw packages and environ. Logging and Bookkeeping Collects resource usage & job status Network performance, security and monitoring Provides efficient network transport, security & bandwidth monitoring Computing Element Gatekeeper to a grid computing resource Testbed admin. Certificate auth.,user reg., usage policy etc.

8 I testbed ed il loro uso 8 EDG Services EDG Services SE (GDMP) CE / WN (PC Cluster) Replica ReplicaCatalogue LCFG server VO VO userLdap server userLdap server User Interface Resource Broker II LB CA Ldap Tree mkgridmap MDS MDS CVS

9 I testbed ed il loro uso 9 I servizi per il Testbed1 Al CNAF sono stati installati: - i Replica Catalog per ATLAS e CMS - i server LDAP per le Virtual Organization: INFN-GRID, DataTAG VIRGO e CDF - un Resource Broker ed un Information Index - un repository CVS per il software prodotto Formazione: Tutorial per i site manager (aprile 2002): - caratteristiche della EDG Release - installazione con LCFG

10 I testbed ed il loro uso 10 La situazione attuale (Testbed 1.2) Le risorse del Testbed INFN sono distribuite su 19 siti e sono configurate con la EDG Release 1.2.x L’INFN ha realizzato (o partecipa a ) 3 infrastrutture di testbed diverse: - Testbed di sviluppo EDG - Testbed di produzione EDG - Testbed di produzione INFN-GRID Testbed di sviluppo EDG (5 siti, di cui 1 INFN) Il CNAF partecipa con 1 RB (grid004f.cnaf.infn.it) + II, 1 CE, 1 SE, 1 WN e 1 UI.

11 I testbed ed il loro uso 11 Testbed di produzione EDG (circa 10 siti, di cui 4 INFN) L’infrastruttura fa uso di due Resource Broker (al CERN e al CNAF) L’INFN partecipa con quattro siti: –Catania –Cnaf –Padova –Torino Le risorse sono registrate nell’Information Index del CNAF e possono essere utilizzate per mezzo del Resource Broker del CNAF (grid010g.cnaf.infn.it) e, in parte, anche da quello del CERN (lxshare0382.cern.ch) Utilizzo: - validazione EDG release da parte degli esperimenti - Data Challenges - prove produzione

12 I testbed ed il loro uso 12 RBII RBII CERN CNAF/Bologna site CE SE CE SE CE SE CE SE CESE CE SE RAL (UK) NIKHEF (NL) IN2P3 (FR) INFN (IT) CESE Catania site CESE Torino site Padova site

13 I testbed ed il loro uso 13 Testbed di produzione INFN-GRID (19 siti) Le risorse si trovano nelle sezioni o laboratori seguenti: Catania, CNAF, Bari, Bologna, Cagliari, Ferrara, Genova, Lecce, Legnaro, Milano, Napoli, Parma, Pavia, Padova, Pisa, Roma1, Roma3, Torino and Trieste Siti in rosso: si tratta delle stesse risorse del testbed di produzione EDG. In alcuni siti (quelli in rosso + MI e PI) è stato installato il set completo dei grid elements (UI, SE, CE e WNs), negli altri un sottoinsieme. L’Information Index ed il RB per il testbed di produzione INFN-GRID (grid009g.cnaf.infn.it) si trovano al CNAF Utilizzo: - Data Challenges - prove produzione - test di topologie distribuite per i servizi (RB, ad es.)

14 I testbed ed il loro uso 14 Dominio di una Virtual Organization una VO puo’ essere un esperimento o una parte Risorse nei siti T0 T1 e T2 Risorse Dell’esperimento

15 I testbed ed il loro uso 15 Alice VO CMS VO Dominio di grid per Virtual organization

16 I testbed ed il loro uso 16 Sui testbed di produzione sono supportati gli ambienti di esperimento: ATLAS, ALICE, CMS e LHCB (+ EO e BIOMED). In alcuni siti VIRGO e BABAR. Esiste una ulteriore infrastruttura, il Certification Testbed, che verrà utilizzata per certificare le risorse ed i siti mediante l’utilizzo di test suites. Il gruppo Testing di INFN-GRID ha prodotto la prima release delle test suite per i primi due livelli di test (installazione e configurazione). Al momento nel Certification Testbed ci sono risorse soltanto al CERN. Il processo di certificazione coinvolge anche il progetto LCG. Alcune risorse del Testbed sono state utilizzate per: -attività di sviluppo del WP1 e WP2 -attività DataTAG, Glue, iVDGL (CNAF, MI e PD, PI)  vedi pres. F. Donno

17 I testbed ed il loro uso 17 Evoluzione del testbed L’evoluzione segue il rilascio delle nuove Release EDG. Il Release Plan di EDG prevede il rilascio progressivo di nuove release con nuove funzionalità. Non sono più previste le Major release L’upgrade delle infrastrutture di testbed verrà effettuato in modo “non distruttivo”, ogni volta che una release verrà ufficialmente rilasciata per il deployment.

18 I testbed ed il loro uso 18 Il futuro.... Testbed di produzione LCG La partecipazione dell’INFN al testbed di produzione LCG è la naturale evoluzione del Testbed di produzione INFN-GRID. Per la sperimentazione di prototipi Tier-2 sono state finanziate farm, costituite da 25 biprocessori con 3 Terabyte di spazio disco, nelle sedi di CNAF (Tier-1), Legnaro, Milano e Torino. Le risorse nelle sedi che partecipano al Testbed di INFN-GRID potranno entrare a far parte di questa infrastruttura per la sperimentazione dei prototipi Tier-3. I prototipi di Tier-2 saranno operativi all’inizio del prossimo anno  milestone di LCG vedi presentazioni di A. Masoni e C. Grandi

19 I testbed ed il loro uso 19 Il futuro.... Progetto Grid-FIRB L’infn partecipa con i WP3 e WP5 che hanno come tema lo studio e la definizione del deployment e management di una grid per alcune comunità scientifiche italiane in collaborazione con l’Istituto Nazionale di AstroFisica, l’Istituto Nazionale di Geologia e Vulcanologia, alcuni centri di biologia dell’univ. di Genova, Padova e del CNR di Milano (Unita’ di Ricerca n.4 coordinata dall’INFN). vedi presentazione di M.Mazzucato Il contributo di INFN-GRID a questo progetto riguarda gli aspetti architetturali del management di una grid, la pianificazione del deployment di una grid per una Virtual Organization e i relativi aspetti operativi.

20 I testbed ed il loro uso 20 Il futuro.... Installazione automatica delle risorse E’ stato sviluppato, ed è in fase di test, LCFGng, un nuovo sistema per l’installazione automatica delle risorse. evoluzione di LCFG con il supporto per RedHat 7.2 tutorial per i site manager a dicembre/gennaio Un nuovo sistema di installazione automatica, basato su HLDL, è in fase di sviluppo al CERN. E’ previsto per l’uscita della EDG Release 2.0 Formazione Il 5 e 6 dicembre 2002 si svolgerà a Torino un tutorial per gli utenti http://www.grid-tutorial.to.infn.it