FIRB 2001 - Progetto Grid.IT WP 7 – Grid Portals Responsabile Prof. Giovanni Aloisio ISUFI / CACT Università degli Studi di Lecce TB members Massimo Cafaro.

Presentazione sul tema: "FIRB 2001 - Progetto Grid.IT WP 7 – Grid Portals Responsabile Prof. Giovanni Aloisio ISUFI / CACT Università degli Studi di Lecce TB members Massimo Cafaro."— Transcript della presentazione:

1 FIRB 2001 - Progetto Grid.IT WP 7 – Grid Portals Responsabile Prof. Giovanni Aloisio ISUFI / CACT Università degli Studi di Lecce TB members Massimo Cafaro Italo Epicoco Pisa, 27-28 Maggio 2003

2 CACT Università di Lecce WP 7 Resp. Prof. G. Aloisio Pisa, 27-28 Maggio 20032 di 49 Obiettivi del WP 7 Utenti WP8 WP7WP5 Servizi

3 CACT Università di Lecce WP 7 Resp. Prof. G. Aloisio Pisa, 27-28 Maggio 20033 di 49 A grid-aware application is one that at runtime can identify Grid characteristics and then dynamically reconfigure resource requirements and/or application structure to maintain desired application-level performance. Grid-Aware Application

4 CACT Università di Lecce WP 7 Resp. Prof. G. Aloisio Pisa, 27-28 Maggio 20034 di 49 Ken Kennedy Director Linda Torczon, Executive Director Project PIs Ken Kennedy, Rice University Francine Berman, UCSD Andrew Chien, UCSD Keith Cooper, Rice University Jack Dongarra, University of Tennessee Ian Foster, University of Chicago Dennis Gannon, Indiana University S. Lennart Johnsson, University of Houston Carl Kesselman, ISI-USC John Mellor-Crummey, Rice University Daniel Reed, UIUC Linda Torczon, Rice University Richard Wolski, University of Tennessee

5 CACT Università di Lecce WP 7 Resp. Prof. G. Aloisio Pisa, 27-28 Maggio 20035 di 49

6 CACT Università di Lecce WP 7 Resp. Prof. G. Aloisio Pisa, 27-28 Maggio 20036 di 49 The run-time system will dynamically adapt the application to a changing Grid environment via a closed execution loop At the heart of the GrADSoft architecture is an enhanced execution environment This execution system continually adapts the application to changes in the Grid resources, with the goal of maintaining overall performance at the highest possible level

7 CACT Università di Lecce WP 7 Resp. Prof. G. Aloisio Pisa, 27-28 Maggio 20037 di 49 Investigate a number of key areas : Grid software architectures that facilitate information flow and resource negotiation among applications, libraries, compilers, linkers, and runtime systems; Base software technologies, such as scheduling, resource discovery, and communication tools, to support the development and execution of performance-efficient Grid applications; Policies and software mechanisms that support performance analysis, the exchange of performance information, and performance contract brokering; Languages, compilers, environments, and tools supporting the creation of applications for the Grid and the solution of problems via the Grid; Mathematical and data-structure libraries for Grid applications, including numerical methods for controling accuracy and latency tolerance; System software and communication libraries for aligning distributed computer collections as unified computing configurations; Simulation and modeling tools to enable systematic, scientific study of the dynamic properties of Grid middleware, application software, and configurations

8 CACT Università di Lecce WP 7 Resp. Prof. G. Aloisio Pisa, 27-28 Maggio 20038 di 49 Obiettivi del WP 7 Progettazione e sviluppo di un portale per laccesso trasparente alla grid nazionale sviluppata in Grid.It Sviluppo di servizi di base ed high-level per laccesso trasparente alle risorse della grid Sviluppo di uninterfaccia GUI, modulare e semplicemente configurabile per soddisfare le esigenze degli utenti applicativi

9 CACT Università di Lecce WP 7 Resp. Prof. G. Aloisio Pisa, 27-28 Maggio 20039 di 49 Base & High-Level services Users Profile High Performance file/directory transfer Authentication / Authorization Information Servers Querying Resource Management (Brokering) Job Submission Job Monitoring Il Portale fornirà i seguenti servizi grid di base

10 CACT Università di Lecce WP 7 Resp. Prof. G. Aloisio Pisa, 27-28 Maggio 200310 di 49 Users Profile Gestione della lista delle risorse computazionali fruibili dallutente –Inserimento nuove risorse –Modifica o Cancellazione Gestione della lista delle risorse software utilizzabili dallutente –Inserimento di nuove applicazioni –Modifica o Cancellazione –Sottomissione di un nuova istanza dellapplicazione Gestione della lista dei jobs sottomessi dallutente –Eliminazione –Richiamo dei parametri di sottomissione relativi a jobs già sottomessi

11 CACT Università di Lecce WP 7 Resp. Prof. G. Aloisio Pisa, 27-28 Maggio 200311 di 49 High Performance file/dir transfer Autenticazione/Autorizzazione basata su Globus GSI Parallel data transfer Third-party transfer Partial file transfer

12 CACT Università di Lecce WP 7 Resp. Prof. G. Aloisio Pisa, 27-28 Maggio 200312 di 49 Authentication/Authorization Autenticazione basata su GSI Autorizzazione tramite Access Control List Delega delle credenziali Single Sign-on tramite lutilizzo di MyProxy server e cookies sicuri

13 CACT Università di Lecce WP 7 Resp. Prof. G. Aloisio Pisa, 27-28 Maggio 200313 di 49 Information Servers Servizi di White pages Servizio Yellow pages Interrogazione di servers GRIS / GIIS

14 CACT Università di Lecce WP 7 Resp. Prof. G. Aloisio Pisa, 27-28 Maggio 200314 di 49 Sottomissione di un Job Single Job –Batch –Interactive –Support for X-Window GUI Parameter Sweep Job Data-Flow Job Staging dei files necessari per la sottomissione –File eseguibile –File(s) di dati di input –File(s) di dati di output

15 CACT Università di Lecce WP 7 Resp. Prof. G. Aloisio Pisa, 27-28 Maggio 200315 di 49 Resource Management (Brokering) Resource Discovery –Requirements hardware del job –Requirements di costo imposti dallutente –Disponibilità della risorsa Resource Selection & Pooling Job submission on behalf of the user

16 CACT Università di Lecce WP 7 Resp. Prof. G. Aloisio Pisa, 27-28 Maggio 200316 di 49 Job Monitoring e Control Monitoring di Jobs sottomessi Tracking dei trasferimenti di files Cancellazione di un job Automatic job re-submit in caso di failure

17 CACT Università di Lecce WP 7 Resp. Prof. G. Aloisio Pisa, 27-28 Maggio 200317 di 49 Interfaccia Utente Per ogni servizio verrà sviluppata una GUI che nasconda i dettagli del servizio e semplifichi lutilizzo da parte dellutente Utilizzo di Portlets per rendere i moduli di interfaccia facilmente configurabili e riutilizzabili

18 CACT Università di Lecce WP 7 Resp. Prof. G. Aloisio Pisa, 27-28 Maggio 200318 di 49 Interfaccia Utente Recenti specifiche (OASIS) –WSRP (Web Services for Remote Portlets) –WSIA (Web Services for Interactive Apps) Consentono lintegrazione di contenuti remoti ed application logic in un portale tramite portlets Lo scopo di queste specifiche e permettere di scegliere da una vasta gamma di compliant remote content and application providers, ed integrare questi contenuti senza alcuno sforzo di programmazione

19 CACT Università di Lecce WP 7 Resp. Prof. G. Aloisio Pisa, 27-28 Maggio 200319 di 49 Collaborazioni con altri WP WP 3-5 per una maggiore sinergia nella fase di identificazione e sviluppo dei servizi innovativi Area 1 WP Tecnologici per integrare nel portale i risultati che di volta in volta saranno prodotti dalle attività dellarea tecnologica Area 4 WP Applicativi per lidentificazione dei servizi maggiormente richiesti e dei loro requisiti di accesso

20 CACT Università di Lecce WP 7 Resp. Prof. G. Aloisio Pisa, 27-28 Maggio 200320 di 49 Attività del primo anno (work in progress) Attività del primo anno (work in progress) Il primo anno sia sostanzialmente dedicato: –allanalisi dei requisiti, alle specifiche ed al design del portale (secondo quanto emerso dallinterazione con i gruppi applicativi, con quelli tecnologici e con quelli dellarea3) –allimplementazione dei moduli per la gestione dello user profile e del trasferimento files ad alte prestazioni –allimplementazione delle relative interfacce utente Saranno pertanto verificate le strategie di sviluppo dei servizi di grid, in accordo a quanto emerso dalla collaborazione con i WP tecnologici di area 1

21 CACT Università di Lecce WP 7 Resp. Prof. G. Aloisio Pisa, 27-28 Maggio 200321 di 49 Attività del secondo anno Il secondo anno sara' sostanzialmente dedicato: –alla realizzazione degli Information Servers estesi e dei moduli relativi per laccesso – alla realizzazione dei moduli per la sottomissione dei diversi tipi di jobs (interattivi, batch, parameter sweep e data flow) –allimplementazione delle relative interfacce utente Si perfezionerà inoltre lo sviluppo dei servizi di accesso alla grid secondo quanto stabilito con i WP tecnologici di area 1 e con quelli dellarea 3, e si comincerà a meglio specializzare il portale per le esigenze dei WP applicativi.

22 CACT Università di Lecce WP 7 Resp. Prof. G. Aloisio Pisa, 27-28 Maggio 200322 di 49 Attività del terzo anno Il terzo anno sarà dedicato: –al completamento dei servizi (monitoraggio dei jobs) ed allimplementazione delle relative interfacce utente –al raffinamento del portale in funzione della integrazione dei risultati prodotti dai WP tecnologici con quelli prodotti dai WP dellarea 3 –al test sulla grid nazionale sui casi di studio prodotti dai WP applicativi Impiego delle strategie per la scelta ottimale delle risorse, degli strumenti/infrastrutture di supporto alle strategia di scelta delle risorse e degli algoritmi/strategie di allocazione e co-allocazione di risorse

23 CACT Università di Lecce WP 7 Resp. Prof. G. Aloisio Pisa, 27-28 Maggio 200323 di 49 Schedulazione Attività WP 7

24 CACT Università di Lecce WP 7 Resp. Prof. G. Aloisio Pisa, 27-28 Maggio 200324 di 49 Finanziamenti Il quadro dei finanziamenti complessivi che con contratto ASI saranno trasferiti allISUFI/CACT è di 366 K di cui –196 K per il WP7 –170 K per il contributo di Lecce al WP11 Il contratto ASI non comprenderà la quota per giovani ricercatori (171 K ) che per semplificarne la gestione è stato deciso di far gravare completamente allASI.

25 CACT Università di Lecce WP 7 Resp. Prof. G. Aloisio Pisa, 27-28 Maggio 200325 di 49 Finanziamenti In particolare, il complessivo sui tre anni del contratti ASI pari a 366 K è suddiviso come di seguito Spese di personale (dipendente, borsisti e contattisti afferenti allISUFI/CACT) = 135.84 K Spese personale (70% n. 1 contratto Co.co.co per tre anni) = 32.54 K Totale Spese personale = 168.38 K Spese generali (compreso il 30% n. 1 contratto Co.co.co per tre anni) = 101.03 K Missioni e stages = 97.70 K Consulenze e simili (41 m.u. contratti alla Grid S.r.L-Lecce)= 134.75 K

26 CACT Università di Lecce WP 7 Resp. Prof. G. Aloisio Pisa, 27-28 Maggio 200326 di 49 Finanziamenti La tabella relativa al personale impegnato ed ai costi relativi è riportata in Allegato 1. E riportata la Tabella 1.5 richiesta dal MIUR, in particolare per lUO ISUFI/CACT sono state completate le Tabelle 1.5.2., 1.5.5 e 1.5.7. Il personale è impegnato al 50% sul WP7 e al 50% sul WP11.

27 CACT Università di Lecce WP 7 Resp. Prof. G. Aloisio Pisa, 27-28 Maggio 200327 di 49 Deliverables Documento sullanalisi dei requisiti, delle specifiche e del design del portale –Previsto per Dicembre 2003 Software relativo al modulo di gestione dello User profile ( inserimento, modifica, cancellazione e visualizzazione dinamica delle risorse) e relativa interfaccia utente –Previsto per Dicembre 2003 Software relativo al modulo di trasferimento files ad alte prestazioni (trasferimento Third party di singoli files ed intere directories) e relativa interfaccia utente –Previsto per Dicembre 2003

28 CACT Università di Lecce WP 7 Resp. Prof. G. Aloisio Pisa, 27-28 Maggio 200328 di 49 Componenti gruppo di ricerca N.COGNOME E NOMEQualificaFacoltàDipartimento 1Cafaro MassimoRicercatoreIngegneriaDII 2Epicoco ItaloRicercatoreIngegneriaDII 3De Paolis LucioRicercatoreIngegneriaDII 4Mongelli AntonioRicercatoreIngegneriaDII 5Fiore SandroDottorandoIngegneriaISUFI 6Tana MarcoDottorandoIngegneriaISUFI 7Daniele LezziDottorandoIngegneriaISUFI 8Quarta GianvitoDottorandoIngegneriaISUFI 9Cartenì GabrieleDottorandoIngegneriaISUFI 10Mirto MariaDottorandaIngegneriaISUFI 11Blasi EuroContrattistaIngegneriaISUFI 12Mocavero SilviaDottorandoIngegneriaISUFI 13Zuccalà AlfonsoDottorandoIngegneriaISUFI 14Provenzano LucianaDottorandaIngegneriaDII 15Gian Paolo MarraDottorandoIngegneriaDII 16Barba CristinaContrattistaIngegneriaISUFI 17Pati SerenaContrattistaIngegneriaISUFI

29 CACT Università di Lecce WP 7 Resp. Prof. G. Aloisio Pisa, 27-28 Maggio 200329 di 49 Tecnologie I servizi grid saranno basati su –Globus Toolkit ver. 2.4 (fase I) –Globus Toolkit ver 3.0 (fase II) Interfaccia GUI –Portlets –Applets –Dynamic HTML

30 CACT Università di Lecce WP 7 Resp. Prof. G. Aloisio Pisa, 27-28 Maggio 200330 di 49 Web Services Goal: switch from people users to software application users How: WEB technologies + Service- Oriented Computing (e.g. CORBA, RPC, RMI) Accessing: through HTTP/HTTPS, using XML for data exchange

31 CACT Università di Lecce WP 7 Resp. Prof. G. Aloisio Pisa, 27-28 Maggio 200331 di 49 Web Services UDDI Registry WSDL Web Service SOAP Service Consumer Redirect to description Redirects to service Service description Search Service XML based Messaging

32 CACT Università di Lecce WP 7 Resp. Prof. G. Aloisio Pisa, 27-28 Maggio 200332 di 49 Web Services The service provider defines a reference to its Web Service using WSDL The WSDL document is published into the UDDI registry, so that a service consumer can search the registry and retrieve the WSDL reference to the Web Service

33 CACT Università di Lecce WP 7 Resp. Prof. G. Aloisio Pisa, 27-28 Maggio 200333 di 49 Web Services The service consumer, using the information stored inside the WSDL document contacts the Web Service and issues a service request The XML messaging between service consumer and provider exploits the SOAP protocol that defines two different kind of interactions: –RPC –Document-Oriented

34 CACT Università di Lecce WP 7 Resp. Prof. G. Aloisio Pisa, 27-28 Maggio 200334 di 49 Web Services RPC interaction works exactly as the standard CORBA and EJB middleware: the client requests a service and syncronously waits for service completion Document-oriented interaction asyncronously starts a service and returns immediately without waiting for service completion

35 CACT Università di Lecce WP 7 Resp. Prof. G. Aloisio Pisa, 27-28 Maggio 200335 di 49 Grid Services In the previous vision of the grid the attention was focused on the protocols needed to provide interoperability among VO components. OGSA now shifts the attention to services as follows: the grid becomes an extensible set of Grid Services that may be aggregated to provide new capabilities

36 CACT Università di Lecce WP 7 Resp. Prof. G. Aloisio Pisa, 27-28 Maggio 200336 di 49 Grid Services Grid services, as envisioned, retain several features of the Web Services framework; for instance it is highly desirable to retain service description and discovery, and binding of service descriptions to wire protocols A (potentially transient) stateful service instance supporting reliable and secure invocation (when required), lifetime management, notification, policy management, credential management, and virtualization"

37 CACT Università di Lecce WP 7 Resp. Prof. G. Aloisio Pisa, 27-28 Maggio 200337 di 49 Grid Services transient services in the grid environment besides persistent services as provided by the Web Services framework This in turn implies the need for interfaces able to manage: –Service lifetime –Policies –Credentials –Support for notification

38 CACT Università di Lecce WP 7 Resp. Prof. G. Aloisio Pisa, 27-28 Maggio 200338 di 49 Grid Services Virtualization of resources is a natural consequence of the adoption of Service- Oriented computing: computational resources, storage, networks, applications, archives etc. are all presented as Grid Services

39 CACT Università di Lecce WP 7 Resp. Prof. G. Aloisio Pisa, 27-28 Maggio 200339 di 49 Grid Services OGSA specifies a number of interfaces, some of these are: –factory –mapper –registry

40 CACT Università di Lecce WP 7 Resp. Prof. G. Aloisio Pisa, 27-28 Maggio 200340 di 49 Grid Services Factory Interface –allows for creation of new grid service instances, in particular reliable creation with once and only once semantic. A Grid Service Handle (GSH) is returned: this is a globally unique identifier (a URL) based on the name of a home mapper service

41 CACT Università di Lecce WP 7 Resp. Prof. G. Aloisio Pisa, 27-28 Maggio 200341 di 49 Grid Services Mapper Interface –is in charge of converting the GSH to a Grid Service Reference (GSR), i.e., the WSDL document actually needed to invoke the service. Registry Interface –returns a WSIL document containing the GSHs of a set of Grid services.

42 CACT Università di Lecce WP 7 Resp. Prof. G. Aloisio Pisa, 27-28 Maggio 200342 di 49 Grid Services Other interfaces provide support for –Lifetime management –Discovery –Notification –Authorization

43 CACT Università di Lecce WP 7 Resp. Prof. G. Aloisio Pisa, 27-28 Maggio 200343 di 49 Portlets Portlets lays the foundation for a new open-standard for Web portal development frameworks. Portlets define an API for building atomic, composable visual interfaces to Web content or service providers A portlet provides a mini-window within a portal page. Multiple portlets can be composed in a portal page.

44 CACT Università di Lecce WP 7 Resp. Prof. G. Aloisio Pisa, 27-28 Maggio 200344 di 49 Portlets Still waiting for standardized Portlet API but implementations already exist: –Jakarta Jetspeed –IBM WebSphere –Oracle i9AS Portal –BEA WebLogic Portal –GridSphere…

45 CACT Università di Lecce WP 7 Resp. Prof. G. Aloisio Pisa, 27-28 Maggio 200345 di 49 Portlets Portlets define how to construct and deliver Web content as modular components within a Web page. Portlets can be maximized or minimized within a Web page. Portlets support various modes –View, Edit, Help, Configure Users can chose to which portlets they want to be subscribed. Grid.IT Portal

46 CACT Università di Lecce WP 7 Resp. Prof. G. Aloisio Pisa, 27-28 Maggio 200346 di 49 GridSphere Portlet Interfaces Portlet, PortletAdapter, AbstractPortlet –All portlets implement the portlet interfaces that define portlet lifecycle methods PortletConfig –Provides portlet with its initial configuration PortletSettings –Provides dynamic configuration information PortletRequest –Encapsulates a request sent by client PortletResponse –Represents response to client PortletContext –Defines portlets view of the portlet container in which portlet is runninng

47 CACT Università di Lecce WP 7 Resp. Prof. G. Aloisio Pisa, 27-28 Maggio 200347 di 49 PortletRequest additions PortletData –Contains user-specific persistent data PortletSession –Holds user-specific information needed to provide personalized view PortletWindow –Defines window in which portlet is displayed PortletMode –Defines mode in which portlet is operating Client –Defines the client device connecting to the portal. User –User defines the logged in user

48 CACT Università di Lecce WP 7 Resp. Prof. G. Aloisio Pisa, 27-28 Maggio 200348 di 49 Portlets Modes View –The standard view of a portlet on a Web page Edit –Allows portlet to capture user-specific parameterization, which leads to personalized view of the portlet Help –A portlet should provide online-help with this mode Configure –Allows a portlet to display its own configuration mode if required

49 CACT Università di Lecce WP 7 Resp. Prof. G. Aloisio Pisa, 27-28 Maggio 200349 di 49 Portlet Example - http://my.yahoo.com