Www.consorzio-cometa.it Consorzio COMETA - Progetto PI2S2 UNIONE EUROPEA Attività di sviluppo di servizi middleware in PI2S2 Prof. Antonella Di Stefano.

Presentazione sul tema: "Www.consorzio-cometa.it Consorzio COMETA - Progetto PI2S2 UNIONE EUROPEA Attività di sviluppo di servizi middleware in PI2S2 Prof. Antonella Di Stefano."— Transcript della presentazione:

1 www.consorzio-cometa.it Consorzio COMETA - Progetto PI2S2 UNIONE EUROPEA Attività di sviluppo di servizi middleware in PI2S2 Prof. Antonella Di Stefano Università di Catania Facoltà di Ingegneria Dipartimento Ingegneri Informatica e Telecomunicazioni Conferenza Italiana di e-Scienza (IES’08) ‏ Napoli, 27-29.05.2008

2 Napoli, Conferenza Italiana di e-Scienza (IES’08), 27-29.05.2008 2 Sommario Obiettivo principale del WP2 in PI2S2 Elenco delle attività svolte dai partner – Componenti sw e servizi a supporto di security, accounting – Servizi per la creazione e gestione di archivi digitali – Integrazione avanzata di MPI in gLite – Negoziazione di SLA in una grid – Servizi garantiti – Composizione dei servizi – Attività di integrazione con realtà industriali

3 Napoli, Conferenza Italiana di e-Scienza (IES’08), 27-29.05.2008 3 Obiettivo principale del WP2 in PI2S2 Realizzazione di servizi e componenti sw per una maggiore flessibilità, robustezza e sicurezza nell’accesso e management alle risorse Potenziare ed estendere l’applicabilità di infrastrutture grid – Scenari con requisiti di qualità del servizio - garanzie nel tempo di risposta, availability – Scenari e-business Integrazione di gLite con importanti realtà industriali

4 Napoli, Conferenza Italiana di e-Scienza (IES’08), 27-29.05.2008 4 servizi e componenti sw per fornire flessibilità, robustezza e sicurezza nell’accesso alle risorse Servizi per la security, accounting – servizio Secure Storage per gLite [INFN] – SAGE: Accounting of Storage Resources [INFN] Servizi per la gestione di information repository – Attività transazionali - TGSAF [INFN] – Digital library -gLibrary/DRY [INFN] – GESTIONE REPLICHE DI EMILIANO [DMI - Univ. Catania] Integrazione avanzata di MPI in gLite [INFN]

5 Napoli, Conferenza Italiana di e-Scienza (IES’08), 27-29.05.2008 5 servizio Secure Storage per gLite Fornisce agli utenti gLite strumenti per memorizzare dati confidenziali negli SE in modo sicuro e trasparente (risolvendo l’insider abuse problem). Il servizio è composto dai seguenti componenti: interfaccia Command Line: comandi integrati nella gLite User Interface per criptare/salvare e decriptare/scaricare file negli storage elements. Application Program Interface: interfaccia per gli sviluppatori di applicazione, che garantisce la gestire sicura di dati confidenziali. Keystore: repository ad-hoc per salvare e recuperare le chiavi degli utenti. – Quando un utente cerca di recuperare una chiave, il keystore controlla se la richiesta è autorizzata

6 Napoli, Conferenza Italiana di e-Scienza (IES’08), 27-29.05.2008 6 comando lcg-scr: cripta e salva un file su uno Storage Element

7 Napoli, Conferenza Italiana di e-Scienza (IES’08), 27-29.05.2008 7 references Diego Scardaci, Giordano Scuderi, “A Secure Storage Service for the gLite Middleware”, IAS 2007 - The Third International Symposium on Information Assurance and Security, Weston Conference Centre, Manchester, United Kingdom, August 29-31, 2007 (http://www.ias07.org/). Diego Scardaci, Giordano Scuderi, “Managing confidential data in the gLite middleware”, Fourth International Workshop on Emerging Technologies for Next-generation GRID (ETNGRID 2007) at 16th IEEE International Workshops on Enabling Technologies: Infrastructures for Collaborative Enterprises (WETICE-2007), GET/INT Paris, France, June 18-20, 2007 (http://etngrid.diit.unict.it/2007/index.html).

8 Napoli, Conferenza Italiana di e-Scienza (IES’08), 27-29.05.2008 8 SAGE: Accounting of Storage Resources Accounting in gLite: –CPU: DGAS effettua l’accounting del tempo di CPU usato dai job. –Storage: Attualmente nessun sistema misura lo spazio disco usato dagli utenti. SAGE: Storage Accounting for Grid Environment s –Misura lo spazio disco usato dai file tramite opportune scansioni e intercettando gli accessi a tali file. –Si integrerà in futuro con il DB di account info di DGAS (HLR)‏ –utenti e amministratori possono sapere l’uso che stanno facendo della risorsa tramite portale Web, Unità di misura: –Considera la dimensione e il tempo di permanenza dei file –Il consumo della risorsa è definito come l’integrale della dimensione del file (MBs) lungo il tempo (ore). http://sage.gilda-forge.ct.infn.it/

9 Napoli, Conferenza Italiana di e-Scienza (IES’08), 27-29.05.2008 9 Esempio di Report tramite Web Report generato per un admin di VO ! Per questo storage Per queste VO (N.B.: consentito ai VO-Admin registrati nel VOMS)‏ In questo intervallo temporale Dettaglia sugli utenti Cumulativo del sito Cumulativo delle VO Billing degli utenti (qui della VO trigrid)‏ Utilizzo del disco in MB*ore

10 Napoli, Conferenza Italiana di e-Scienza (IES’08), 27-29.05.2008 10 references F. Scibilia, “Accounting of Storage Resources in gLite Based Infrastructure”, Proceedings of the Sixteenth IEEE International Workshop on Enabling Technologies: Infrastructure for Collaborative Enterprises (WET-ICE), Paris, June 2008

11 Napoli, Conferenza Italiana di e-Scienza (IES’08), 27-29.05.2008 11 Servizi per la creazione e gestione di archivi digitali – TGSAF [INFN] – gLibrary [INFN] – GESTIONE REPLICHE [DMI - Univ. Catania]

12 Napoli, Conferenza Italiana di e-Scienza (IES’08), 27-29.05.2008 12 GSAF – Grid Storage Access Framework –Risolve il problema dell’API fragmentation: ogni aggiornamento di un file richiede l’aggirnalento di SE, Logical Data catatalog, e Metadata catalog –colleziona e implementa funzionalità condivise tra le applicazioni in accordo con il principio “write once use anywhere” –Nasconde la complessità e la frammentazione delle numerose API sottostanti –Espone una interfaccia unica allo sviluppatore (design patterns) atraendo dai dettagli dei Grid Services (API syntaxes) –Agisce come una black box fornendo  classi e relativi metodi per le applicazioni client  Interfacce per estendere il framework implementando nuove funzionalità GSAF è sviluppato sopra i Grid Metadata e Data Service

13 Napoli, Conferenza Italiana di e-Scienza (IES’08), 27-29.05.2008 13 Transaction GSAF Transaction Manager –Fornisce agli sviluppatori il Transaction Pattern –Esegue differenti manipolazioni di dati in modo Atomico –Gestire le “Runtime Exceptions” per limitare l’inconsistenza tra i dati –Fornire un meccaniscmo di “System Crash Recovery” per evitare/ridurre la perdita dei dati GSAF implementa il modello compensativo –ogni operazione Opj contempla una azione compensativa Cj (Cj=Opj -1 )‏ –Se occorre una Eccezione viene eseguita la catena delle operazioni compensative

14 Napoli, Conferenza Italiana di e-Scienza (IES’08), 27-29.05.2008 14 piattaforma per l’implementazione di Digital Repository su Glite – Digital Repository: insieme di “annotated digitalized data” forniti in maniera organizzata agli utenti – Obiettivo: ridurre i costi in termini di tempo e sforzi che un repository provider impiega per il deployment del proprio repository su grid Caratteristiche: – Gestione di repository eterogenei (definiti dai repository provider) ‏ – Specifiche e API (Java) per la definizione del data model, dello storage model e presentation model dei repository da gestire – Architettura basata completamente su Grid  Autenticazione e autorizzazione basate sul modello GSI  File memorizzati sulle risorse di storage dell’infrastruttura grid  Annotazioni registrate su Metadata Services o su Databases  Possibilità di eseguire algoritmi sui dati sulle risorse di calcolo della grid – Semplicità d’uso: front-end basato su tecnologie Web 2.0 (AJAX) per il browsing e la fruizione dei contenuti dei repository ospitati

15 Napoli, Conferenza Italiana di e-Scienza (IES’08), 27-29.05.2008 15 gLibrary/DRI front-end Es: repository di mammografie

16 Napoli, Conferenza Italiana di e-Scienza (IES’08), 27-29.05.2008 16 references Presentazione di gLibrary/DRI al EGEE User Forum III a Clermont- Ferrand –https://glibrary.ct.infn.it/glibrary/downloads/DRI/gLibraryDRI-UF3.pdf https://glibrary.ct.infn.it/glibrary/downloads/DRI/gLibraryDRI-UF3.pdf Articolo sottomesso al 21st International Symposium on Computer Based Medical Systems (CBMS 2008)‏ –https://glibrary.ct.infn.it/glibrary/downloads/DRI/gLibraryDRI-CBMS08.pdf https://glibrary.ct.infn.it/glibrary/downloads/DRI/gLibraryDRI-CBMS08.pdf Capitolo sottomesso per the “Handbook of Research on Computational Grid Technologies for Life Sciences, Biomedicine and Healthcare” –https://glibrary.ct.infn.it/glibrary/downloads/DRI/gLibraryDRI-chapter.dochttps://glibrary.ct.infn.it/glibrary/downloads/DRI/gLibraryDRI-chapter.doc Poster presentato al EGEE User Forum III –https://glibrary.ct.infn.it/glibrary/downloads/DRI/poster_glibraryDRI%20final. pdfhttps://glibrary.ct.infn.it/glibrary/downloads/DRI/poster_glibraryDRI%20final. pdf Server Web della piattaforma gLibrary/DRI: –https://dri-dev.ceta-ciemat.es/index.phphttps://dri-dev.ceta-ciemat.es/index.

17 Napoli, Conferenza Italiana di e-Scienza (IES’08), 27-29.05.2008 17 Strategie per Bilanciare Risorse che gestiscono Repliche Obiettivi Supportare gli utenti che richiedono repliche di file gestite da un sistema Grid tramite la selezione automatica e trasparente dell’host che tiene la replica – Minimizzare il tempo di risposta percepito dagli utenti (la latenza potrebbe incidere significativamente) ed ottimizzare l’uso della banda – Mantenere il carico degli host sotto una soglia accettabile – Massimizzare il throughput complessivo degli host su Grid Risultati Le simulazioni hanno mostrato che il tempo di servizio diminuisce (fino al 50%) quando si usa la strategia di selezione proposta rispetto ad una scelta random

18 Napoli, Conferenza Italiana di e-Scienza (IES’08), 27-29.05.2008 18 references R. Giunta, G. Pappalardo, E. Tramontana. Handling Replica Management Concerns by means of Aspects. Proceedings of IEEE WETICE. Giugno 2007 R. Giunta, F. Messina, G. Pappalardo, L. Toscano, E. Tramontana. Resource Balancing Strategies in Handling Replicated Files. Proceedings of Grid Open Days at the University of Palermo. Dic. 2007

19 Napoli, Conferenza Italiana di e-Scienza (IES’08), 27-29.05.2008 19 Attualmente in gLite – Non è possibile indicare le librerie MPI da utilizzare con l'applicazione – L'ambiente di esecuzione deve essere configurato manualmente con script ad- hoc Questo implica che – Gli utenti devono farsi carico di configurare e gestire l'ambiente di esecuzione per ogni job MPI – La ricerca di nodi con le librerie MPI richieste è a carico degli utenti Sono stati “portati” con successo – Modifica al WM gLite 3.0 / 3.1 per l'integrazione di tag opportuni per meglio caratterizzare i job MPI e migliorare uso delle risorse (es. MPIGranularity) ‏ – Gestione dell'ambiente di esecuzione MPI integrata nel CE, col supporto di code con diversi attributi – Crezione dei wrapper con l'uso di template per meglio adattare l'implementazione a nuove librerie Integrazione avanzata di MPI in gLite

20 Napoli, Conferenza Italiana di e-Scienza (IES’08), 27-29.05.2008 20 Schema di funzionamento JDL JobType=”MVAPICH_GCC4”; InputSandBox={“mpi.pre”, “mpi.post”};................ WorkloadManager MatchMaker BDII CE JobWrapper MPIWrapper MPI Powered WNs MPI Version CE ID MPI Application mpi.pre mpi.post WN Il JobType è stato esteso per contenere il tipo di librerie MPI Viene creato al volo un job wrapper in grado di gestire l'applicazione Ricerca gli host che supportano le librerie richieste

21 Napoli, Conferenza Italiana di e-Scienza (IES’08), 27-29.05.2008 21 Negoziazione di SLA in una grid – Service Level Agreement Manager [DIIT - unict] – Servizi garantiti e Advance Resource Manager [DIIT - unict] – Integrazione G-PBox e SLAM [CNAF - infn, DIIT - unict] – Service composition [DIIT & DMI -unict]

22 Napoli, Conferenza Italiana di e-Scienza (IES’08), 27-29.05.2008 22 Scenario attuale dei grid middleware  limitata capacità di interoperare uso di uno stesso middleware (es. gLite) - eventuali gateway locali Le grid gLite di produzione oggi non recepiscono WS, è una prospettiva “a breve” VO intrinsecamente orientate a perdurare immutate per tutto il loro lifetime (lungo) ‏ risorse Underloaded  non assicurano servizi garantiti – attività e-science onerose ma best effort – per far fronte ad esigenze più stringenti spesso si ricorre a sovradimensionamento che comunque non garantisce

23 Napoli, Conferenza Italiana di e-Scienza (IES’08), 27-29.05.2008 23..ma le esigenze crescono La grid deve poter affrontare in maniera adeguata Impatto di una sottomissione di attività in condizioni di carico/occupazione delle risorse “meno favorevole” Garanzie di servizio - es. esigenza di garantire la consegna di risultati in tempi prestabiliti (simulazioni dell'emissione di polveri vulcaniche dall'ETNA fatte dall'INGV su COMETA) Una utenza e-business che non è rappresentata dalle policy previste per le VO e richiede maggiore dinamicità e flessibilità La QoS tende a focalizzare la percezione diretta che l’utente ha del servizio (waiting time di un job, tempo di risposta ad una query ad info service

24 Napoli, Conferenza Italiana di e-Scienza (IES’08), 27-29.05.2008 24 Trend dei middleware grid di oggi requisiti diversi da quelli tipici delle comunità e-science orientamento ad un approccio WS ‏ Interoperabilità (es. omii-uk, globus,..) ‏ Esigenza di servizi garantiti, per rispettare vincoli applicativi, ad es. deadline prefissate favorire l’uso nel settore e-business offrire un supporto all’uso on-demand di servizi per i singoli utenti - approccio user centric service marketplace

25 Napoli, Conferenza Italiana di e-Scienza (IES’08), 27-29.05.2008 25 il Service Level Agreement in una grid  Oggi, nelle grid, le regole di SLA di una VO sono configurate alla creazione della VO rigide ma robuste e “sicure”  Le politiche di gestione delle risorse da assegnare ai job influenzano le performance ma sono in ogni caso best effort  Si può agire on-demand sulle priorità ma non sulle policy di scheduling del CE In uno scenario in cui gli utenti hanno ciascuno il suo obiettivo  E’ possibile che un consumer negozi dinamicamente con singolo provider un Service Level Agreement?  È possibile una gestione dinamica di QoS?  È posibile garantire su richiesta l’uso di una risorsa o servizio?

26 Napoli, Conferenza Italiana di e-Scienza (IES’08), 27-29.05.2008 26 Concetto di Service Level Agreement Un SLA è un contratto che sancisce in modo stabile gli accordi presi tra consumer e provider di una risorsa/servizio Un SLA è descritto in un documento che contiene tutte le informazioni sulla fruizione dello specifico servizio Un SLA negoziato può essere ritrattato solo da un nuovo accordo comune tra le parti in gioco Un SLA specifica requisiti – funzionali – non funzionali: QoS

27 Napoli, Conferenza Italiana di e-Scienza (IES’08), 27-29.05.2008 27 Azioni di ricerca in corso sul SLA gestione dinamica di SLA per singole user request con differenti esigenze di QoS - SLAM – Negoziazione (client - broker) di un Service Level Agreement  documenti ws-agreement – Supporto alla garanzia dei servizi – Advance reservation strategie di supporto ad una utenza business – Service composition guaranteed services e-business

28 Napoli, Conferenza Italiana di e-Scienza (IES’08), 27-29.05.2008 28 Service Level Agreement Management framework, basato su WS, per introdurre in gLite meccanismi per creare, monitorare, gestire e negoziare dinamicamente Service Level Agreement tra singoli client e provider (broker) di servizi applicativi l'utente può richiedere servizi con specifici requisiti – Funzionali e non funzionali (QoS) ‏ interfaccia comune d'interrogazione di diversi index service (come BDII, MDS, RGMA..) ‏ glue schema per scambio dati con tutte le sorgenti informative ricerca e selezione di risorse disponibili che soddisfano requisiti utente interfaccia comune per la prenotazione di diversi tipi di risorse gestite da RMS differenti negoziabilità del contratto di SLA

29 Napoli, Conferenza Italiana di e-Scienza (IES’08), 27-29.05.2008 29 principali componenti del framework Componenti di alto livello (WS based, platform independent) ‏ ClientProxy SLAM ‏ resourcesFinder resourcesChooser resourceBooker Componenti di basso livello (Middleware dependent) ‏ resoureFinderAdapter, per interrogare l’index service, reservationAdapter, interfaccia JMS (come PBS o LSF), per booking di CPU, storage o network resource, WMSAdapter per interagire con il WMS high level QoS - parametri di user requirements low level QoS - prenotazione di risorse a basso livello

30 Napoli, Conferenza Italiana di e-Scienza (IES’08), 27-29.05.2008 30 Peculiarità di SLAM Genericità ad alto livello: – SLAM è stato sviluppato ed implementato per gLite ma facilmente integrabile in ed interoperabile con altri middleware – Il core del framework (Java code) è  platform independent  basato su Web Service – Solo la parte di interfacciamento col middleware è platform dependent Reservation a basso livello: – un Advance Reservation Manager permette  non solo gestione fair share delle risorse (che permette solo un utilizzo best effort della risorsa di calcolo) ‏  garanzia per un job/servizio delle risorse per una corretta esecuzione rispettando i requisiti di QoS espressi dall'utente focalizza cpu slot time ‏  utilizzabile su qualsiasi middleware grid.

31 Napoli, Conferenza Italiana di e-Scienza (IES’08), 27-29.05.2008 31 advance reservation per garantire QoS La QoS richiesta ad alto livello all’interfaccia utente è gestita a basso livello dall’advance reservation –l’utente astrae dai dettagli del mapping job-risorse Obbiettivi perseguiti:  Trasformare le richieste di QoS in specifiche composite da sottoporre al componente di advance reservation sottostante  Introdurre meccanismi e politiche di negoziazione/trading di risorse/servizi.  Permettere la creazione e gestione di diversi tipi di profili d'utenza  Fornire servizi con differenti livelli di agreement sulla QoS  Aumentare l’”intelligenza del sistema” in termini di capacità di reazione nei confronti di richieste dettagliate di QoS

32 Napoli, Conferenza Italiana di e-Scienza (IES’08), 27-29.05.2008 32 Resource Reservation Reservation: constraint sull'uso delle risorse fisiche, – condizionano le politiche di allocazione e scheduling Si possono riservare risorse quali CPU, spazio su disco, licenze software… Le risorse sono eterogenee e variano stato rapidamente ed in modo imprevedibile per garantire una specifica risorsa con un adeguato service level per un walltime specifico una ARM deve implementare meccanismi adeguati per allocation & advance reservation di risorse/servizi In particolare, per la gestione di un servizio di job management, è fondamentale la prenotazione di risorse computazionali interfacciandosi con gli scheduler dei cluster a basso livello, in modo da poter gestire la garanzia di servizio entro un certo slot time occorre interfacciare il Job Management System (JMS) di un CE.

33 Napoli, Conferenza Italiana di e-Scienza (IES’08), 27-29.05.2008 33 Advance Reservation sul JMS Resource Monitor Job Dispatcher Richiesta di risorse AR Politiche di prenotazione Risorse disponibili Allocazione di risorse ed esecuzione dei job CE Direttive dello SLAM Politiche di schedulazione Risorse disponibili Richiesta di risorse AR Mon Scheduler AR Manager WN RSV Adapter Job scheduler: esegue l’assegnazione dei job ai WN, inserendoli nelle code sulla base delle richieste di risorse, sulla disponibilità prevista e su politiche di scheduling. Resource manager: include Resource monitor, che colleziona informazioni sulle risorse disponibili e Job dispatcher, che alloca risorse e avvia l’esecuzione dei job AR Manager: gestisce l’assegnazione di una risorsa per tutto il suo ciclo di vita : verifica disponibilità, prenota risorsa, allocazione job e recupera output ‏ AR Mon: monitora e colleziona informazioni sulle prenotazioni pendenti e sulla disponibilità delle risorse nel futuro

34 Napoli, Conferenza Italiana di e-Scienza (IES’08), 27-29.05.2008 34 Advance Reservation Manager (ARM) ‏ I JMS più usati – OpenPBS o Torque/MAUI (open source) – LSF (proprietario: Platform) ‏ Sono state investigate ed implementate soluzioni di advance reservation sia per PBS che per LSF La scelta di gLite per la grid di PI2S2 è stata platform LSF – oggi lo sviluppo si è concentrato su LSF 7.0 (con componente EGO) ‏ ARM guida opportunamente EGO per attuare le sue politiche di scheduling, allocation e advance reservation.

35 Napoli, Conferenza Italiana di e-Scienza (IES’08), 27-29.05.2008 35 EGO EGO platform offre una interfaccia WS LSF stesso è uno dei servizi che usano EGO e si può sostituire con componenti ad-hoc Core di EGO: fornisce le funzionalità di base per la virtualizzazione delle risorse di un CE. AllocationExecutionInformation Ego Cluster Kernel Platform EGO Services Standard Based WS API CE EGO è interfaccia a basso livello i WN gestiti da un CE. – maschera l'eterogeneità di risorse sw e hw di un cluster – virtualizza le risorse di un cluster, e permette di orchestrare differenti tipologie di utilizzo in modo flessibile e modulare. EGO disaccoppia la gestione delle risorse (dispatch) dalla gestione del carico (allocation), – può allocare, assegnare priorità e gestire la fornitura di risorse di un cluster in accordo a precise regole di business

36 Napoli, Conferenza Italiana di e-Scienza (IES’08), 27-29.05.2008 36 Architettura per l’advance reservation Aggiornamento Informazioni SLAM RSV Adapter ARMController JAM TableManager PlanningTable AllocationExecutionInformation Ego Cluster Kernel Direttive dello SLAM Richiesta di prenotazione Direttive per allocazione Risorse disponibili Allocazione/Schedulazione ARMController E’ il componente principale dell'ARM, avvia, monitora, controlla e termina allocation advance reservation JAM Alloca le risorse per la prenotazione (in base alle scelte dell’ARMController) comunicando direttamente con EGO cluster kernel PlanningTable E' la sorgente informativa di tutto il sistema Mantiene informazione sulla disponibilità attuale e futura delle risorse del CE TableManager Aggiorna le entry di PlanningTable con info del cluster kernel di EGO Interfaccia PlanningTable con ARMController e EGO cluster kernel

37 Napoli, Conferenza Italiana di e-Scienza (IES’08), 27-29.05.2008 37 references DI STEFANO A, TRAMONTANA E., ZITO D (2006). Strategies for reserving resourceson a Grid Environment. 15th IEEE International Workshop on Enabing Technologies: Infrastructure for Collaborative Enterprises 2006 (WETICE2006). Manchester, UK, june 2006, pp. 207 - 213 DI STEFANO A, MORANA G., ZITO D. (2007). An Agent Based Component for QoS Management in a Grid-P2P Architecture. SYSTEM AND INFORMATION SCIENCES NOTES. vol. 2, pp. 100-103 ISSN: 1753-2310. DI STEFANO A, MORANA G., ZITO D. (2007). An Agents-based solution to share information for a P2P discovery protocol in a Grid environment. In: Proc. of International Workshops on Enabling Technologies: Infrastructures for Collaborative Enterprises (WETICE-2007). International Workshops on Enabling Technologies: Infrastructures for Collaborative Enterprises. Paris FR. 18-20 July. : IEEE. DI STEFANO A, MORANA G., ZITO D. (2007). QoS aware Services Discovery in a P2P Grid Environment. In: International Conference on Pervasive Computing and Applications. International Conference on Pervasive Computing and Applications (ICPCA2007). Birmingham UK. 26-27 July. DI STEFANO A, MORANA G., ZITO D. (2008). QoS management in a Grid Environment. In: Proceeding of symposium "Grid Open Days at the University of Palermo". Grid Open Days at the University of Palermo. Palermo, Italy. 7-6 December 2007. (pp. 157-163). ISBN/ISSN: 978-88-95892-00-9.

38 Napoli, Conferenza Italiana di e-Scienza (IES’08), 27-29.05.2008 38 Integrazione di SLAM e G-PBox in gLite VO G-PBox SLAM L’architettura proposta per il management di SLA usa VOMS per creare e trattare la membership in una VO; L’integrazione dei componenti G-PBox e SLAM (che gestisce le request di singoli user) permette di gestire in modo flessibile, consistente e coordinato i SLA sia a utenti che ad amministratori; Nel quadro di una collaborazione sinergica COMETA-UNICT-INFN si sta procedendo ad integrare SLAM con G-PBox, già sviluppato da 'INFN CNAF, in un’unica architettura che gestisce a vari livelli il SLA di gLite G-PBox è usato dal VO administrator e dal resource administrator per assegnare a gruppi di utenti specifici privilegi di accesso a classi di servizio e stabilire politiche di mapping sulla gestione delle risorse stesse;

39 Napoli, Conferenza Italiana di e-Scienza (IES’08), 27-29.05.2008 G-PBox core di G-PBox è un OASIS XACML PDP (Policy Decision Point) : riceve ed interpreta richieste di risorse in XACML isponde con una XACML response G-PBox PEP user XACML req XACML response Storage CPU VO G-Pbox - usato dal VO WMS per selezionare i CE Site G-Pbox usato dai CE per: Accept/Deny utenti Mappare gli utenti su diritti unix un G-PBox admin può: – inviare politiche ad altri G-PBox – accettare o rifiutare politiche da altri G-PBox GridX VO G-PBox Site2Site1Site3 SLAs G-PBox

40 Napoli, Conferenza Italiana di e-Scienza (IES’08), 27-29.05.2008 40 gLite, G-PBox, SLAM UI: Creation and management of privilege attributes associated to the VO users VO G-Pbox: Management and enforcement of the VO policies SLAM: Management of the SLA and of the QoS parameted associated with it Site G-Pbox: Mapping of the policies on the CE ARM: Mapping ot the SLAM directive on the CE Local policies related to the site Advance Reservation and allocation management JMS: allocation/exection/ information management VOMS WMS UI SLAM CE BDII ARM Site G-PBox WNs CE ARM Site G-PBox WNs Grid Layer Site Layer VO G-PBox 1 2 3 45 66 77 889 9 10 gLite G-Pbox SLAM/ARM site

41 Napoli, Conferenza Italiana di e-Scienza (IES’08), 27-29.05.2008 41 Service marketplace Grazie all’uso di SOA e advance reservation di SLAM, le organizzazioni possono esporre grid service e fornirli on-demand ad un’ampia utenza esterna che varia dinamicamente con requisiti anche molto diversi. Le applicazioni e-business richiedono la garanzia di specifiche QoS e-business e-science services marketplace: ogni utente può scegliere i servizi che soddisfano le sue esigenze di QoS “acquistandoli” da diversi provider (Grid brokers), in base alle garanzie fornite ed al costo

42 Napoli, Conferenza Italiana di e-Scienza (IES’08), 27-29.05.2008 42 User Centric Services Composition approccio user-centric : l’utente seleziona e colleziona da sé risorse e servizi che gli permettono di gestire la sua applicazione e-business paradigma cloud computing In un service market place l’utente, può selezionare servizi con differenti requisiti di QoS appartenenti a grid differenti, componendoli e coordinandoli per realizzare logiche complesse. UCSeC è uno strumento di services composition user-centric.

43 Napoli, Conferenza Italiana di e-Scienza (IES’08), 27-29.05.2008 43 Composizione dei servizi di griglie differenti Caratteristiche principali di UCSeC planning del servizio composto e mapping su risorse reali: – discovering basato su QoS dei constituting services – Coordinamento dei resource manager (Resource Broker) ‏ delle diverse grid fornitrici – Coordinamento e sincronizzazione dei flussi dati tra i servizi nello stile “Pipe & Filter” gestione della QoS nei servizi composti – negoziazione dei parametri di QoS con i singoli provider – stipula di accordi (SLA) per la fruizione dei singoli servizi – caratterizzazione della QoS del servizio composto – monitoraggio e gestione runtime dei fault per migliorare l’availability del composite service

44 Napoli, Conferenza Italiana di e-Scienza (IES’08), 27-29.05.2008 44 gestione della QoS nei servizi composti Viene costruito un grafo in cui: – Ogni nodo rappresenta un provider. – Nodi appartenenti allo stesso “step” rappresentano servizi uguali con differenti livelli di QoS – I link rappresentano collegamenti logici tra i servizi (output del S1 diventa input S2) ‏ Ogni percorso rappresenta il servizio composto con differenti livello di servizio L'utente sceglie il percorso che ritiene migliore rispetto alle sue esigenze Start point End point Serv 1Serv 2Serv 3 provider del serv1 provider del serv2provider del serv3 Livello di QoS richiesto dall'utente Alto livello di QoS Basso livello di QoS

45 Napoli, Conferenza Italiana di e-Scienza (IES’08), 27-29.05.2008 45 Gestione dei fault monitoraggio e gestione dei fault Nel caso in cui tutti rispettano gli accordi presi, il servizio viene eseguito, con successo e rispettando tutti i requirement di QoS. Nel caso, invece, in cui un provider debba venir meno alle sue promesse, il client può sfruttare “gestione dei fault” Start point End point Serv 1Serv 2Serv 3 provider del serv1 provider del serv2provider del serv3 Livello di QoS richiesto dall'utente

46 Napoli, Conferenza Italiana di e-Scienza (IES’08), 27-29.05.2008 46 DI STEFANO A, MORANA G., PAPPALARDO G, TRAMONTANA E, ZITO D. (in stampa). Compositional Service Assurance for Grid Environments. In: Grid Computing Research Progress. ISBN: 978- 1-60456-404-4. : NOVA Publisher. Pub. Date: 2008, 2nd Quarter ISBN: 978-1-60456-404-4 Status: Final Production.

47 Napoli, Conferenza Italiana di e-Scienza (IES’08), 27-29.05.2008 47 integrazione con realtà industriali S-Sicilia [univ. Messina] Grid2Win: porting di gLite su Windows [INFN]

48 Napoli, Conferenza Italiana di e-Scienza (IES’08), 27-29.05.2008 48 Le Business Grid focalizzano aspetti commerciali Occorre occuparsi di Business Grids on-demand computational power Modelli di pagamento a consumo ownership a basso costo Capacity planning Security Trust Privacy QoS garantito

49 Napoli, Conferenza Italiana di e-Scienza (IES’08), 27-29.05.2008 49 S-Sicilia S-Sicilia nasce dalla collaborazione del Consorzio Cometa con ORACLE. il progetto ha l’obiettivo di creare e gestire processi business su middleware GRID, in particolate gLite Regola relazioni B2B attraverso contratti di SLA business L’architettura prevede l’integrazione con servizi di accounting, billing e gestione di QoS fornisce protezione dei dati dei customer

50 Napoli, Conferenza Italiana di e-Scienza (IES’08), 27-29.05.2008 50 Attualmente in gLite – Gli utenti usano i servizi del middleware su Linux attraverso delle interfacce a linea di comando – (quasi) Tutte le piattaforme su cui “gira” gLite sono di tipo “Linux- like” Questo implica che – Agli utenti va insegnato Linux – Possono essere installate e “fatte girare” solo applicazioni compatibili con Linux Sono stati “portati” con successo – La User Interface – Il Worker Node Nuovi utenti possono usare la grid ! Applicazioni windows possono “girare” su grid ! Grid2Win: porting di gLite su Windows

51 Napoli, Conferenza Italiana di e-Scienza (IES’08), 27-29.05.2008 51 La User Interface di Grid2Win (http://grid2win.gilda-forge.ct.infn.it)‏ Local file system explorer Grid file system explorer

52 Napoli, Conferenza Italiana di e-Scienza (IES’08), 27-29.05.2008 52 D. Russo and F. Scibilia, “Grid2Win: Porting gLite to Windows Based Platforms”, Proceedings of the Sixteenth IEEE International Workshop on Enabling Technologies: Infrastructure for Collaborative Enterprises (WET-ICE), Paris, June 2008

53 Napoli, Conferenza Italiana di e-Scienza (IES’08), 27-29.05.2008 conclusioni Il lavoro svolto nell’ambito del WP2 Ha reso più semplice e robusto l’uso del grid middleware Glite, corredandolo di strumenti e funzionalità avanzate Ha esteso i campi d’azione orientandosi a nuove tipologie –Garanzia –Orientamento a SOA, interoperabilità, trasparenza alle eterogeneità –negoziazione e advance reservation delle risorse Si orienta all’e-business mirando a superare il concetto di VO e focalizzando sulle esigenze del singolo utente esterno –User-centric - singoli customer possono  agire autonomamente nella ricerca e selezione di ciò che serve  scegliere servizi tra più provider in modo da ottenere la scelta migliore di paramentri di QoS –supporto alla composizione di piu servizi e/o risorse