Flavia DonnoCommissione I, Perugia 11-12 Novembre 2002 1 I progetti di integrazione di GRID EU-US Flavia Donno INFN Sezione di Pisa Riunione Comm. I sul.

Presentazione sul tema: "Flavia DonnoCommissione I, Perugia 11-12 Novembre 2002 1 I progetti di integrazione di GRID EU-US Flavia Donno INFN Sezione di Pisa Riunione Comm. I sul."— Transcript della presentazione:

1 Flavia DonnoCommissione I, Perugia 11-12 Novembre 2002 1 I progetti di integrazione di GRID EU-US Flavia Donno INFN Sezione di Pisa Riunione Comm. I sul calcolo a LHC Perugia, 11-12 Novembre 2002

2 Flavia DonnoCommissione I, Perugia 11-12 Novembre 2002 2 I progetti e le iniziative GOAL: Costruire una grid transatlantica sperimentale basata sulla interoperabilita tra la grid europea (EDG) e quella americana (VDT), con lo scopo di fornire un accesso trasparente alla infrastruttura di calcolo massivamente distribuita, necessaria per far fronte alla richiesta delle moderne applicazioni data- intensive. DataTAG (middleware EDG) The DataTAG project will create a large-scale intercontinental Grid testbed that will focus upon advanced networking issues and interoperability between these intercontinental Grid domains, hence extending the capabilities of each and enhancing the worldwide programme of Grid development. The project will address the issues which arise in the sector of high performance inter-Grid networking, including sustained and reliable high performance data replication, end-to-end advanced network services, and novel monitoring techniques. The project will also directly address the issues which arise in the sector of interoperability between the Grid middleware layers such as information, security services, data access and job scheduling. The advance made will be disseminated into each of the associated Grid projects.

3 Flavia DonnoCommissione I, Perugia 11-12 Novembre 2002 3 I progetti e le iniziative iVDGL (middleware VDT) The iVDGL is a global Data Grid that will serve forefront experiments in physics and astronomy. Its computing, storage and networking resources in the U.S., Europe, Asia and South America provide a unique laboratory that will test and validate Grid technologies at international and global scales. Sites in Europe and the U.S. will be linked by a multi-gigabit per second transatlantic link funded by the European DataTAG project. GLUE The Grid Laboratory Uniform Environment (GLUE) initiative was created in Feb. 2002 to provide a focused effort to achieve interoperability between the U.S. (iVDGL, GriPhyN and PPDG) and the European (EDG, DataTAG) physics Grid projects. The scope includes the definition of a set of software, configuration recommendations, documentation and test suites cover the basic interoperability requirements. Software will be deployed and tested on a Grid testbed set up for this specific purpose. GLUE management and activities are provided by the iVDGL (U.S. side) and DataTAG (European side) projects specifically. The project reports to and gets guidance from the High Energy Physics Intergrid Coordination Board (HICB) and its Joint Technical Board (JTB). Since LCG has endorsed the effort as bringing benefit to the project goals of deploying global production grids for LHC experiments, commitment to deliver worth to LCG is part of the GLUE program.

4 Flavia DonnoCommissione I, Perugia 11-12 Novembre 2002 4 DataTAG: gli obiettivi L INFN e responsabile delle attivita del WP4: Trovare le soluzioni per i problemi di interoperabilita e/o integrazione.Trovare le soluzioni per i problemi di interoperabilita e/o integrazione. Lo scenario comune ha portato alla definizione di requirements molto simili per i progetti di middleware. Un risultato che ne e derivato e ladozione di software comune per i servizi di base quali Globus e Condor. Questa situazione ha facilitato il tipo di approccio adottato per studiare il problema: – definizione di un set minimo di core services che devono essere comuni a tutte le grid –Studio di integrazione o coesistenza per i servizi di alto livello

5 Flavia DonnoCommissione I, Perugia 11-12 Novembre 2002 5 Schema dei servizi di grid Globus Core Services GRAM, GSI, GRIS, Basic Data Access Replica Catalog, GDMP, Condor basic components Grid Resources and Local Services Compute Element, Storage Element, Network, Local Authorization Service, Local Scheduler DataGRID Grid Scheduler Replica Manager R-GMA DataGRID VO AA Services VOMS GriPhyN/PPDG Planner/Executor Replica Manager MDS, SRB GriPhyN/ PPDG VO AA Services CAS

6 Flavia DonnoCommissione I, Perugia 11-12 Novembre 2002 6 DataTAG: gli obiettivi In particolare, il primo e piu importante requisito per garantire linteroperabilita e la necessita di accedere alle risorse sulla griglia utilizzando: – protocolli comuni – meccanismi base di sicurezza, autenticazione e autorizzazione comuni – un modo omogeneo di descrivere le informazioni relative alle risorse grid Il Globus Toolkit fornisce protocolli di accesso (GRAM), di pubblicazione delle informazioni (GIS) e una infrastruttura di sicurezza basata su chiavi pubbliche (PKI), la Globus Security Infrastructure (GSI).

7 Flavia DonnoCommissione I, Perugia 11-12 Novembre 2002 7 DataTAG: il programma di WP4 Lattivita di WP4 si divide in: Resource discovery and GLUE schema (task 4.1) Resource access policy, authentication, authorization and security (task 4.2) Collective services : evaluation/selection/integration (task 4.3) Distribution and Configuration Conventions and Tools Application GRID integration (task 4.4) First testbed prototypes and demos

8 Flavia DonnoCommissione I, Perugia 11-12 Novembre 2002 8 DataTAG: autenticazione e autorizzazione I Tools EDG sono stati proposti per luso ai collaboratori iVDGL EDG Certification Authorities VO LDAP server VO GroupMAN edg-mkgridmap Questi tools (sviluppati dallINFN) sono ora parte della distributione ufficiale VDT. VOMS e studiato dai collaboratori americani iVDGL. VOMS architettura definita Accordo sulla struttura del database (MYSQL) Accordo sulle ACLs per gli amministratori del database i dati ritornati contengono il soggetto del certificato utente e gli attributi(user's role...) e informazioni membership (VO, group, subgroup..) che vengono aggiunti alla proxy. Pronta prima versione del VOMS server. Collaborazione INFN - FNAL su KCA/X509

9 Flavia DonnoCommissione I, Perugia 11-12 Novembre 2002 9 DataTAG: Resource discovery e GLUE schema CE : la struttura logica e stabile CE : la struttura logica e stabile SE: la struttura logica e stabile SE: la struttura logica e stabile Limplementazione LDAP e stata rilasciata! Limplementazione LDAP e stata rilasciata! Lo Schema Glue e incluso in Globus MDS 2.2 Lo Schema Glue e incluso in Globus MDS 2.2 Gli Information Providers Globus e EDG Info Providers sono Gli Information Providers Globus e EDG Info Providers sono inclusi in VDT. inclusi in VDT. Primo testbed di test transatlantico con TOP GIIS Primo testbed di test transatlantico con TOP GIIS Testato con successo il Resource Broker Glue-aware! Testato con successo il Resource Broker Glue-aware!

10 Flavia DonnoCommissione I, Perugia 11-12 Novembre 2002 10 DataTAG: Middleware selection Per il primo prototipo di testbed intercontinentale e stato condotto uno studio per identificare il middleware che permette di far interoperare I domini GRID americano (iVDGL) e Europeo (EDG): Componenti Globus standard Componenti Globus standard Resource Broker e EDG User Interface Resource Broker e EDG User Interface Replica Manager e Replica Catalogue Replica Manager e Replica Catalogue EDG Schema e Information Providers EDG Schema e Information Providers EDG Authorization and Authentication system EDG Authorization and Authentication system

11 Flavia DonnoCommissione I, Perugia 11-12 Novembre 2002 11 DataTAG: Distribution and Configuration Tools Goals: Contribuire a una distribuzione che : Contribuire a una distribuzione che : E conforme a entrambe le distribuzioni EDG e VDT Include componenti EDG e VDT Permette linteroperabilita dei testbeds Stabilisce regole di configurazione comuni e flessibili. Cosa e stato fatto: Creato una software repository comune per la creazione di rpms e PACMAN. Creato una software repository comune per la creazione di rpms e PACMAN. La repository WorldGrid cache contiene una distribuzione stabile che puo La repository WorldGrid cache contiene una distribuzione stabile che puo essere assorbita da VDT e EDG. essere assorbita da VDT e EDG. Proposta una strategia di configurazione a VDT e EDG Proposta una strategia di configurazione a VDT e EDG Lavoriamo su una strategia comune per il versioning EDG-VDT Lavoriamo su una strategia comune per il versioning EDG-VDT Cerchiamo di convergere su un tool di distribuzione comune Cerchiamo di convergere su un tool di distribuzione comune

12 Flavia DonnoCommissione I, Perugia 11-12 Novembre 2002 12 DataTAG: First testbed prototypes and demos IST20024-6 November, Copenhagen SC2002 16-22 November, Baltimore SC2002 16-22 November, Baltimore Goals: Dimostrare: Collaborazione tra progetti Grid Europei e US. Interoperability tra domini grid per applicazioni sottomesse da utenti di diverse organizzazioni virtuali. Uso controllato di resorse condivise soggette a una policy stabilita Uso integrato di risorse eterogenee di domini testbed iVDGL e EDG Infrastructure: WEB site: http://datatag-demo.pi.infn.it, http://www.ivdgl.org/demo WEB site: http://datatag-demo.pi.infn.it, http://www.ivdgl.org/demo GLUE testbed with common schema GLUE testbed with common schema VO (DataTAG and iVDGL) LDAP Servers in EU and US VO (DataTAG and iVDGL) LDAP Servers in EU and US Central Repository with software distribution (DataTAG or iVDGL) Central Repository with software distribution (DataTAG or iVDGL) Planning document outline Planning document outline

13 Flavia DonnoCommissione I, Perugia 11-12 Novembre 2002 13 DataTAG: First testbed prototypes and demos IST20024-6 November, Copenhagen SC2002 16-22 November, Baltimore SC2002 16-22 November, Baltimore La demo IST2002 ha riscosso un notevole successo. Centinaia di applicazioni di simulazione di CMS e ATLAS sono state sottomesse ed eseguite con successo.

14 Flavia DonnoCommissione I, Perugia 11-12 Novembre 2002 14 DataTAG: Application GRID integration Lattivita di WP4 deve tenere conto quello che e stato gia adottato e usato dagli esperimenti LHC e delle loro necessita. Un piano coordinato deve essere stabilito per integrare e sviluppare ulteriormente i tools disponibili (che vengono sia dai Progetti GRID e sia dal software degli esperimenti specifici) in soluzioni comuni. Un piano coordinato deve essere stabilito per integrare e sviluppare ulteriormente i tools disponibili (che vengono sia dai Progetti GRID e sia dal software degli esperimenti specifici) in soluzioni comuni. Piani individuali sono stati discussi con ogni esperimento ed e stata adottata una strategia comune. Necessita ad alto livello e aree di intervento sono state identificate attraverso svariate discussioni e riunioni con tutti gli esperimenti LHC. Piani individuali sono stati discussi con ogni esperimento ed e stata adottata una strategia comune. Necessita ad alto livello e aree di intervento sono state identificate attraverso svariate discussioni e riunioni con tutti gli esperimenti LHC. Esistono testbed operanti gia per CMS e ATLAS. Anche ALICE sta per seguire. Esistono testbed operanti gia per CMS e ATLAS. Anche ALICE sta per seguire.

15 Flavia DonnoCommissione I, Perugia 11-12 Novembre 2002 15 DataTAG: Conclusioni Lattivita di DataTAG nel campo della interoperabilita dei domini GRID e fondamentale. Lattivita di DataTAG nel campo della interoperabilita dei domini GRID e fondamentale. La sperimentazione in corso viene seguita con particolare interesse a livello internazionale e presa come punto di partenza per il deployment del testbed di produzione LCG. La sperimentazione in corso viene seguita con particolare interesse a livello internazionale e presa come punto di partenza per il deployment del testbed di produzione LCG. Molte delle attivita in corso parte del programma GLUE verranno assorbite da LCG in fase di produzione. Molte delle attivita in corso parte del programma GLUE verranno assorbite da LCG in fase di produzione. LINFN, responsabile per il WP4, ha svolto un ottimo lavoro con risultati tangibili. LINFN, responsabile per il WP4, ha svolto un ottimo lavoro con risultati tangibili. Il testbed internazionale oggi operante conta 137 CPUs e circa 20 siti in Europa e America. LCG intende collaborare allesperimento con un prototipo di tale testbed al CERN e intende partecipare alle produzioni CMS in programma. Il testbed internazionale oggi operante conta 137 CPUs e circa 20 siti in Europa e America. LCG intende collaborare allesperimento con un prototipo di tale testbed al CERN e intende partecipare alle produzioni CMS in programma.