Unita’ Progettazione in IGI Report dei lavori della TF – Progettazione D. Talia (unical), G.Bracco(enea), A.Lagana’(unipg), A.Curri(elettra), C.Vuerli.

Presentazione sul tema: "Unita’ Progettazione in IGI Report dei lavori della TF – Progettazione D. Talia (unical), G.Bracco(enea), A.Lagana’(unipg), A.Curri(elettra), C.Vuerli."— Transcript della presentazione:

1 Unita’ Progettazione in IGI Report dei lavori della TF – Progettazione D. Talia (unical), G.Bracco(enea), A.Lagana’(unipg), A.Curri(elettra), C.Vuerli (inaf), G.Laccetti(unina), A.Ghiselli(cnaf), A.Candiello(infn), F.Massaioli(caspur) A.Ghiselli Workshop INFN-Grid e CCR Palau, 11-15 maggio 09

2 ARC Consortium Contesto EGI Council EGI Director Central Tech Officer MW maintenance MW Unit MW-Coord. Board IGI Council planning Unit gLite Consortium Unicore Consortium Others MW devel? Op. Unit Mngt Unit SSC Unit SSC

3 Contesto nazionale Ampia diffusione geografica –Apertura a nuovi utenti pubblici e privati –Aperture a nuove architetture di calcolo Inclusione di esperienze esistenti Questi processi di espansione avranno un forte impatto innovativo sui servizi di Grid e andranno disegnati scenari e linee guida all’interno dei quali questi processi potranno avvenire  Unita’ di progettazione

4 obiettivi Obiettivi 1.Pianificazione dell’evoluzione dei servizi di Grid sulla base di: esigenze dell’utenza scientifica e a seguito di aperture verso nuovi settori e privati esigenze dei resource provider (apertura ai centri di calcolo e a nuove architetture computazionali) esigenze che provengono dal managemen della Grid Evoluzione delle tecnologie informatiche e tecnologiche 2.R&D Definizione e/o partecipazione a progetti nazionali ed europei su nuovi modelli e tecnologie (prototipizzazione) 3.Standardizzazione dei servizi 1.Partecipazione a gruppi di OGF e in generale ad attivita’ e/o progetti finalizzati alla standardizzazione di interfacce e protocolli

5 Modo di lavorare E’ stato organizzato un workshop per capire le problematiche iniziali di una Grid nazionale Principali temi affrontati: –Calcolo HPC e centri di calcolo –Apertura a utenza di altre comunita’ e privata –la confidenzialità dei dati trattati e delle elaborazioni eseguite (per applicazioni industriali, medicali, di gestione delle emergenze), – la necessita' di un accounting di tipo economico –l'importanza dei servizi applicativi estesi anche a settori privati –necessita' di inserire meccanismi per la misura della Qualità dei Servizi (QoS) e della Qualita' degli Utenti (QoU) in un’ottica di sostenibilità. –Esperienze di altre grid italiane Ovviamente il workshop non voleva essere esaustivo sui temi ma soprattutto delineare un modo di procedere.

6 Risultati del workshop L’integrazione di risorse HPC, con architetture hardware e software non mainstream (coprocessori GPU o FPGA, reti di comunicazioni ad alta velocità e bassa latenza che richiedono stack software specifici e non virtualizzabili, RAM di dimensioni maggiori dell’ordinario, file server paralleli, DBMS, etc. mirati a richieste di alto livello) cui indirizzare preferenzialmente i relativi calcoli richiede: –JDL piu’ espressivi –Glueschema con una maggiore granuralita’ HW e SW –Passaggio di parametri JDL ai batch system locali –Necessita’ di monitoraggio finalizzato all’efficienza dell’uso delle risorse da parte del job –………………….

7 Meccanismi per la misura della Qualità dei Servizi (QoS) e della Qualita' degli Utenti (QoU) in un’ottica di sostenibilità. QoS, questa prima misura consente di: –(i) fornire elementi di valutazione del fornitore in base ai servizi ed alle risorse offerte; –(ii) realizzare un meta-servizio di ranking dei servizi di alto livello dove, ad esempio, le richieste del consumatore possano essere specificate in termini di affidabilità/velocità/scadenza in contrasto con le richieste ordinarie di basso livello come quelle espresse in termini di storage/cpu/memoria. –(iii) sviluppare modelli e algoritmi innovativi per la trasformazione della valutazione in un pacchetto di crediti da assegnare.

8 Qualità degli Utenti (QoU) e loro profilo realizzare degli strumenti in grado di misurare la qualità degli utenti Grid e quindi assegnare loro un profilo di valutazione in base alla capacità di fruizione dei servizi questa misura + accounting consentono di: – (i) individuare classi di utenti relativamente alla funzione consumatore e fornitore, assegnando loro un punteggio; –(ii) assegnare policy di esecuzione differenti per ogni classe/utente –(iii) sviluppare modelli e algoritmi innovativi per la trasformazione delle classi individuate e dei punteggi prodotti in peso dei giudizi prodotti.

9 Estensione del servizio di accounting Oltre all’uso di DGAS in ogni sito con possibilita’ di definire filtri locali  –Accounting economico in grado di gestire informazioni sul costo dei job eseguiti su ogni singola risorsa –Price Authority per tenere traccia dei costi assegnati alle diverse risorse di calcolo

10 Security (semplificazione e sicurezza) Nuova utenza via –Application services (certificati Robot…) –Utenti Shib sulla Grid confidenzialita’: come offrire su Grid servizi certificati quanto ad affidabilità dei risultati, e confidenzialità dei dati trattati e delle elaborazioni eseguite (per applicazioni industriali, medicali, di gestione delle emergenze).

11 Application Services Le attivita’ a livello applicativo delle varie comunita’ scientifiche (che si organizzeranno come SSC (Specific Support Centre)) giocheranno un ruolo importante per l’espansione della Grid. Le SSC avranno un peso crescente nel guidare lo sviluppo di nuovi servizi (specialmente quelli che aumentino la sostenibilità della grid) e nel rendere l’accesso alla Grid sempre piu’ semplice attraverso nuove interfacce e strumenti di supporto. E’ fondamentale il coordinamento fra le SSC, le unita’ di progettazione delle varie NGI e i consorzi di MW sia per la ricaduta degli ‘application services’ verso i servizi MW sia per la condivisione di soluzioni comuni. Sono stati presentati sviluppi da parte di Compchem, A&A, eLab

12 Semplificazione e ambienti software Richieste: –Minimizzare l’impatto del MW sui WN –Estendere il MW a piu’ piattaforme Soluzioni –Gateway (SPAGO adottato da ENEA e Grid- FVG) –Virtualizzazione (in alcuni casi non e’ possibile)

13 Organizzazione dell’unita’ di progettazione Cosa deve assicurare –Che l’output dell’unita’ abbia un efficace e rapido processo di approvazione collocazione del coordinatore e a chi rende conto Contatti e flusso dell’informazione con EGI(link diretto con l’MCB e con l’unita’ MW di EGI ?) –Contesto di competenze in grado di definire specifiche di progetti esecutivi e prototipizzazione ( esperienza nel design di servizi di Grid, comunita’ di utenti, resource provider, esperienza di gestione di servizi). –Stretta collaborazione con i consorzi di sviluppo del sw Struttura inclusiva, formata da un core + rappresentanti dei partner.

14 Struttura Grid application services CORE Data Management Job management security Information Service Partners Virtualizzazione Infrastructure as a service… Partners 1 responsabile Core structure 1 Glueschema 2 JSDL/BES 1 Accounting 1 Security 2 data/metadata ? Altre NGI P.U. EGI MCB EGI MW U. Standards Working group gLite cons. altri cons.? Accounting Partner esperti Utenti Risorse Grid management Partner