INFN-Grid DI PRODUZIONE grid-use-model grid.infn.it

Presentazione sul tema: "INFN-Grid DI PRODUZIONE grid-use-model grid.infn.it"— Transcript della presentazione:

1 INFN-Grid DI PRODUZIONE grid-use-model grid.infn.it
Antonia Ghiselli INFN-CNAF Bologna Workshop di INFN-Grid 25-27 ottobre 2004 Bari

2 content Framework di produzione VO oriented Come si accede a INFN-grid
Cosa identifica una grid Come una VO accede a una grid Come si accede a INFN-grid Framework multi-grid EGEE come una multigrid EGEE e INFN-Grid Come si puo’ accedere ad EGEE conclusioni

3 Framework di produzione
Cosa identifica una grid? Un insieme di risorse ‘amministrate’ da un comitato espressione dell’ownership, per es. EB di INFN-Grid Risorse e servizi che ‘operano’ con lo stesso middleware distribuito con una propria release, TB di INFN-Grid Risorse e servizi ‘Gestiti’ da una organizzazione di management e supporto, Grid-it (o ROC+CIC) Utenti, rappresentati come VO Risorse Di esperimento e disponibili ad altri quando non sono usate Di esperimento e disponibili ad altri in bassa priorita’ Condivise, ma da gestire secondo la priorita’ degli esperimenti Non condivise ……….

4 Framework di produzione VO oriented
Come si accede a una grid? I fase preparatoria Richiesta formale all’EB Gli utenti chiedono di essere identificati e autorizzati come VO RA, CA, certificati, VO server ; supporto VO (da perfezionare) Fase di studio e sperimentazione delle loro applicazioni sulla grid Definizione dei servizi di VO specifici I punti 3,4 vengono discussi con un gruppo ad hoc composto da esperti e da utenti della VO sotto il coordinamento del TB. II fase di calcolo Allocazione delle risorse (EB): richiesta di una certa capacita’ di calcolo (crediti) identificazione delle risorse e definizione delle politiche di uso delle risorse (priorita’, durata, spazio su disco….): a questo punto sono prioritari i servizi di accounting e Policy management e nell’attesa si configurano le code a diverse priorita’… Configurazione delle policy e crediti (CMT e sitemanager)… e inizio calcolo (monitoring, accounting, supporto….)

5 Come si accede a INFN-Grid
Richiesta formale all’EB Authentication/authorization, seguire le istruzioni sul web VO server set up and management, persone per il supporto del VO server del team VO-support VO-grid planning: gruppi TB-esperimenti (per es. ora e’ attivo quello per CDF) Allocazione delle risorse (crediti) e definizione delle policy (priorita’…) all’ EB deployment dei servizi della VO, delle policy e dei crediti, CMT calcolo , monitoring, controllo della grid e VO-support

6 VO oriented grid access : layering model
Fase preparatoria Fase di calcolo VO administrator VO - users S E R V I C P O L I C Y Grid administrator Grid Services Resource administrator Local resources

7 Framework multigrid Supponiamo che una VO voglia usare INFN-Grid e Grid-PP I caso: le due grid hanno lo stesso middleware Vanno ripetuti gli step politici ai rispettivi amministration board: richiesta di utilizzo della grid, allocazione delle risorse…. Gli step tecnici possono essere unificati e devono essere coordinati. coordinamento per il set up dei servizi di VO Numero e sedi dei VO server Sede del replica catalogue Numero e sede dei RB Configurazione di backup Coordinamento per le operations e support Un problema sottomesso a INFN-Grid deve poter essere trasferito a GridPP Raccolti gli account della VO da entrambe le grid Poter monitorare gli stessi parametri (VO monitoring) Permettere l’application monitoring e le statistiche dei JoB >>tutto quello che riguarda l’utente deve essere il piu’ possibile uniformato, trasparente

8 Framework multigrid Supponiamo che una VO voglia usare INFN-Grid e Grid3 II caso: le due grid hanno middleware diverso Vanno ripetuti gli step politici ai rispettivi amministration board: richiesta di utilizzo della grid, allocazione delle risorse…. Vanno trovate soluzioni ad hoc di interoperabilita’ La grid puo’ essere vista come un CE La grid puo’ essere vista come un unico RB …………………………… Coordinamento per le operations e support e’ necessario ma difficile Un problema sottomesso a INFN-Grid deve poter essere trasferito a Grid3 Raccolti gli account della VO da entrambe le grid Poter monitorare gli stessi parametri (VO monitoring) Permettere l’application monitoring e le statistiche dei JoB >>la trasparenza nei confronti dell’utente diventa molto piu’ difficile e va messo in conto manpower per studiare la interoperabilita’ a livello di servizi di middleware e di operation e support.

9 Framework: EGEE come multigrids
normalmente un esperimento e’ interessato a risorse distribuite in diversi domini di grid (risorse proprie, risorse condivise nazionali, risorse condivise internazionali). EGEE nasce dall’esigenza delle VO di accedere a piu’ Grid nazionali in modo il piu’ possibile trasparente per il singolo utente della VO. Poiche’ le Grid nazionali hanno gia’ proprie organizzazioni (INFN-Grid, GridPP, NorduGrid, Grid3, ….) EGEE deve costruire una gestione basata su tali organizzazioni avendo come scopo prioritario quello della trasparenza all’utente indipendentemente dalla sua sede di sottomissione dei JOB. Quindi EGEE va considerata una interconnessione di Grid (non una grid sola) con il compito di fornire una release software di base e di definire come mettere insieme le diverse strutture organizzative, garantendo l’autonomia delle strutture nazionali e la trasparenza agli utenti. I suoi compiti operativi sono: Grid virtuale dell’esperimento Trovare Accordo e Applicazione delle Politiche di uso delle risorse per ogni dominio di Grid Supporto distribuito e coordinato

10 EGEE come multigrids Board politico per la richiesta di utilizzo della grid, allocazione delle risorse che rappresenti i singoli board nazionali: esiste in EGEE o LCG? Board tecnico con rappresentanti delle varie grid nazionali (esperti) e delle VO per la definizione della grid virtuale specifica per VO: esiste? Numero e sedi dei VO server Sede del replica catalogue Numero e sede dei RB Configurazione di backup……… Coordinamento per le operations e il supporto: CIC+ROC Un problema sottomesso a INFN-Grid deve poter essere trasferito a GridPP Raccolti gli account della VO da tutte le grid di EGEE Poter monitorare gli stessi parametri (VO monitoring) Permettere l’application monitoring e le statistiche dei JoB Ogni grid deve dimostrare che controlla il buon funzionamento delle proprie risorse e servizi.

11 EGEE EGEE framework: VO-Virtual Grid on top of Multi-Grids
Coordinated operations, monitoring and support VO-User VO-User VO-User (UI) VO-monitoring VO-RLS VOMS RB/II RB/II Coordinated VO-support NorduGrid INFN-Grid Risorse private GridPP same middleware, for es. LCG-2 -> glite

12 Come si accede a EGEE Richiesta formale all’EB -- Grid Allocation Board ? Authentication/authorization, seguire le istruzioni sul web delle grid nazionali VO server set up and management, persone per il supporto del VO server del team VO-support - VO support dentro al CIC? VO-grid planning: gruppi TB-esperimenti  NA4??, come ci partecipiamo? Allocazione delle risorse (crediti) e definizione delle policy (priorita’…) all’ EB -- GAB deployment dei servizi della VO, delle policy e dei crediti, CMT  CIC + ROC managers calcolo , VO-support  CIC+ROC

13 Amministrazione gerarchica delle policy
VO PBOX VO Admins Grid1 PBOX Grid1 PBOX Grid2 PBOX Grid Admins Site PBOX Site PBOX Site PBOX Local Admins SubSite PBOX SubSite PBOX

14 Resource or Core services Grid Resources and Local Services layer
Global Grid services and operations view Grid management Operation Support Grid use planning Release&doc users Users: WMS-UI, Genius General Services CA services VOMS G-Policy and G-Accounting Monitoring Applications and WMS-API Collective services WMS(Grid scheduler) , replica consistency Resource or Core services GRAM Storage allocation, Advance reservation, network service Grid Resources and Local Services layer Compute Element, Storage Element, Network, Local Authorization Service, Local policy Service, Local Scheduler Network Layer

15 Conclusions I servizi Grid sono pronti per calcolo di produzione e gia’ in uso in LCG in EU, INFN-Grid in Italia e altri sedi. Per ogni esperimento, oltre al framework software, e’ necessario definire il “framework di produzione”, interagendo con i diversi domini di grid coordinati tra loro. I coordinamenti europei devono essere una estrapolazione delle organizzazioni nazionali(bottom-up) o viceversa(top-down), comunque salvaguardando l’autonomia nazionale e garantedndo la trasparenza per l’utente; va trovata l’organizzazione migliore! Warning: il successo dell’utilizzo della Grid da parte degli esperimenti passa anche dall’interazione con l’organizzazione della grid di produzione ‘nazionale’, per assicurarsi il massimo di sinergia per il funzionamento delle risorse e servizi, e il massimo del supporto per identificare e risolvere velocemente i problemi.