La presentazione è in caricamento. Aspetta per favore

La presentazione è in caricamento. Aspetta per favore

1 IL MIDDLEWARE Richiami sulla caratterizzazione dei sistemi GRID Il Concetto di Virtual Organization Larchitettura a Clessidra Il middleware Il modello.

Presentazioni simili


Presentazione sul tema: "1 IL MIDDLEWARE Richiami sulla caratterizzazione dei sistemi GRID Il Concetto di Virtual Organization Larchitettura a Clessidra Il middleware Il modello."— Transcript della presentazione:

1 1 IL MIDDLEWARE Richiami sulla caratterizzazione dei sistemi GRID Il Concetto di Virtual Organization Larchitettura a Clessidra Il middleware Il modello gLite Servizi Collective e Servizi Core Griglie computazionali Università degli Studi di Napoli Federico II Corso di Laurea Magistrale in Informatica – I Anno

2 2 Introduzione (1/2) Concetto ispiratori delle Computational Grids: risorse di computing/storage eterogenee, distribuite geograficamente, accessibili facilmente e senza conoscere i dettagli della loro collocazione (come avviene per lutilizzo dellenergia elettrica) utenti distribuiti geograficamente, ottengono l accesso alle risorse tramite un insieme di servizi diverse virtual organization condividono risorse per il raggiungimento di uno scopo comune.

3 3 Introduzione (2/2) Il concetto di condivisione delle risorse (resource sharing) non e una novità: printer sharing, RPC, networked file systems,... Grid viene considerato il successore dei sistemi di calcolo distribuiti convenzionali. Non è semplice trovare ununica definizione di Grid: high-performance distributed computing environment geographically distributed computing Coordinated resource sharing and problem solving in dynamic, multi-institutional virtual organizations.

4 4 G R I D Per identificare meglio il concetto di griglia computazionale, mettiamolo in confronto con un sistema distribuito tradizionale.

5 5 Applicazioni distribuite Applicazione distribuita numero (finito) di processi cooperativi che utilizzano risorse debolmente accoppiate (loosely coupled resources) Processi indipendenti lavorano su dati Geograficamente distribuiti. Simulazioni mediante processi comunicanti tra loro.

6 6 Metodologia per la caratterizzazione La macchina virtuale su cui viene eseguita unapplicazione distribuita differisce nelle sue caratteristiche se consideriamo un sistema di calcolo distribuito convenzionale un sistema di calcolo Grid E possibile definire un sistema Grid caratterizzando la macchina virtuale

7 7 A1 A2 risorsa nodo Application Virtual machine level Virtual pool level Physical level

8 8 A1 A2 risorsa nodo Application Virtual machine level Virtual pool level Physical level

9 9 Sistemi di calcolo distribuito convenzionaliSistemi di calcolo Grid pool virtuale di nodi di calcolopool virtuale di risorse lutente ha accesso ai nodi del poollutente ha accesso al pool ma non ai nodi laccesso al nodo implica lutilizzo di tutte le risorse del nodo laccesso ad una risorsa può essere ristretto lutente e a conoscenza delle caratteristiche dei nodi lutente non ha idea delle caratteristiche delle risorse i nodi appartengono solitamente ad un singolo dominio di gestione le risorse appartengono a più domini di gestione elementi nel pool: , staticielementi nel pool: >> 1000, dinamici Riepilogo e comparazione

10 10 Virtualizzazione su più Livelli Il Grid computing fornisce un layer di interoperabiltià sulle tecnologie eterogenee di storage, computing e data aquisition mediante la virtualizzazione su due livelli: virtualizzazione degli utenti virtualizzazione delle risorse

11 11

12 12 Un insieme di utenti, site-indipendent ed uniti da un obiettivo comune, che condividono risorse hardware, software e conoscenza. Esempi di Virtual Organization: Linsieme degli ingegneri di una compagnia di progettazione aerea, distribuiti su diversi centri, che condividono brevetti, risorse di calcolo e software di simulazione Linsieme di ricercatori di un esperimento di fisica distribuiti in differenti università europee, che condividono software e risorse di calcolo e modelli. Il Concetto di Virtual Organization

13 13 Membership Management Policy Management Single-Sign On sulle risorse della GRID Offerta di servizi e di supporto agli utenti Management del software Il Concetto di Virtual Organization

14 14 Organizazione di una VO VO Manager VO Resources Member Role Luca Admin Anna Student Mario Mngr VO Member USERS UTENTI RISORSE VO Site Indipendent

15 15 Organizazione di una VO Una VO nasce come una struttura dinamica Un utente può appartenere a più virtual organization ed avere ruoli diversi in diverse VO Allinterno di una VO si possono creare gruppi con differenti policy ed eseguire il management per gruppi o con granularità del singolo utente

16 16 Organizazione di una VO VO ATLAS: VO tematica dedicata alla fisica delle particelle che unisce fisici di tutto il mondo impegnati nellesperimento ATLAS che si svolge presso il CERN UTENTI: fisici provenienti da università e centri di ricerca di tutto il mondo. RISORSE: Migliaia di CPU distribuite su scala geografica VO-MANAGER: Unico al CERN SOFT-MANAGER: Unico a Roma

17 17 Architettura di un sistema GRID

18 18 Livello Fabric Costituito dallinsieme delle risorse computazionali, di storage, telescopi, microscopi, apparati sperimentali che producono dati, virtual instruments e così via. E un livello fortemente eterogeneo in cui ciascuna delle risorse è dotata del proprio sistema operativo mediante il quale offre servizi direttamente agli utenti o ai livelli superiori dellarchitettura GRID.

19 19 Livello Connectivity Definisce i protocolli core per lautenticazione e la connettività tra servizi GRID. Rappresenta il principale strato di interoperabiltà tra le tecnologie di terze parti eterogenee implementate a livello fabric. In particolare il livello connectivity è responsabile di: Single-sign On Delegation Integrazioni con i sistemi locali di autenticazione

20 20 Livello Resource Definisce i protocolli per la pubblicazione delle informazioni locali sullo stato di risorse e fornisce i servizi per il management poggiandosi sul livello connectivity: Information Protocols Management Protocols Protocolli tipici di questo livello sono il gridFTP per lo storage e il GRAM (Grid Resource Access and Management) protocollo http-based usato per lallocazione di risorse computazionali.

21 21 Livello Collective Definisce i protocolli e servizi di alto livello per la gestione delle risorse distribuite. E il livello che di fatto virtualizza le risorse presenti sulla griglia e le esporta in maniera trasparente verso lutente. I servizi offerti a livello collective sono di vario tipo, legati sia al management dello storage, sia alla gestione delle risorse di calcolo e di rete. Tali servizi si basano tutti su un sistema informativo dovendo agire su una visione globale della griglia

22 22 Livello Collective Servizi tipici di questo livello sono: Directory services Co-allocation, scheduling, and brokering services Monitoring and diagnostics services Data replication services Grid-enabled programming systems Workload management systems and collaboration frameworks Software discovery services Community accounting and payment services Collaboratory services

23 23 Livello Application Costituisce linsieme di tutte le applicazioni che si appoggiano ai servizi di GRID per la risoluzione di problemi. Le applicazioni utilizzano i metodi dei livelli sottostanti per accedere alle risorse, e possono interagire a più livelli accedendo alle risorse o tramite i servizi Collective, o tramite i servizi Resources o direttamente tramite il livello Connectivity. Il livello application è il livello che completa larchitettura a clessidra.

24 24 Larchitettura a clessidra Larchitettura a clessidra è presa come riferimento in tutte le maggiori implementazioni di GRID. I protocolli stanno subendo un processo di standardizzazione nellambito di collaborazioni internazionali (come è successo per il TCP), ovvero partendo da soluzioni esistenti e tentando di creare degli RFC.

25 25 Introduzione al Grid Middleware RISORSE FISICHE MACCHINE VIRTUALI LOCALI MACCHINA VIRTUALE GRID APPLICAZIONI RISORSE HARDWARE, CPU, MEMORIE, APPARATI FISICI SISTEMI OPERATIVI LOCALI LINUX, UNIX, WINDOWS, PROPRIETARI GRID MIDDLEWARE: LCG, gLite, globus APPLICAZIONI DISTRIBUITE, ANALISI DATI, CALCOLO SCIENTIFICO Il Grid middleware di base è la componente software che realizza ma macchina virtuale di griglia, esso va inteso come strato di mezzo tra i sistemi operativi delle singole risorse e le applicazioni distribuite.

26 26 Introduzione al Grid Middleware Globus Project Sviluppato dal 1998, standard de facto per le tecnologie GRID. partner: Argonne NL (Chicago), USC/ISI (California), EPCC (Edimburgo)... sviluppo open source del Globus Toolkit Globus Toolkit insieme di librerie e servizi nucleo dellinfrastruttura Grid architettura a livelli modello modulare: bag of services Servizi Globus di base

27 27 Introduzione al Grid Middleware LCG - LHC Computing Grid Sviluppato a partire dalla fine degli anni 90 Partner: CERN e le comunità di fisica delle alte energie sviluppo open source a partire Globus Toolkit 2 gLite – Grid Lite Sviluppato a partire dal 2004 Partner: Comunità del progetto europeo EGEE Middleware di nuova generazione orientato ai servizi Servizi Globus di base

28 28

29 29 Il middleware gLite gLite: Grid Lite - Middleware Europeo completamente riscritto a partire dal modello del Globus toolkit 2.4 Piattaforma multidisciplinare: gLite nasce per fornire servizi di basso livello sui quali costruire applicazioni scientifiche e commerciali. Nasce sulla base dei feedback di alcune comunità pilota. gLite offre protocolli di base per laccesso alle risorse computazionali, di storage e per la creazione di virtual instrument.

30 30 Il middleware gLite gLite prevede un modello fortemente strutturato per limplementazione dei livelli COLLECTIVE, RESOURCE e CONNECTIVITY, interagendo con prodotti di terze parti per i livelli APPLICATION e FABRIC In particolare il modello gLite si basa sul concetto di ELEMENTO e SITO ed implementa due classi di servizi SERVIZI COLLECTIVE SERVIZI CORE

31 31 Il middleware gLite Servizi Core I servizi di tipo CORE sono servizi locali che permettono di condividere risorse di calcolo, di storage e virtual instruments. Sono implementati da GRID Element e sono presenti in tutti i siti. I servizi COLLECTIVE sono servizi distribuiti o centralizzati che lavorano al di sopra delle risorse locali e che di fatto costituiscono linfrastruttura distribuita. Sono implementati da Grid Element e hanno valenza collettiva.

32 32 Il middleware gLite Il concetto di ELEMENTO in gLite Un ELEMENTO o GRID ELEMENT in gLite è un host che Fornisce uno o più servizi (di tipo collective o core) Fornisce metodi per laccesso a tali servizi È in grado di pubblicare informazioni sulle caratteristiche e sullo stato dei servizi. E in grado di interagire con altri elementi grid o con gli utenti direttamente

33 33 Il middleware gLite I GRID ELEMENT ed i servizi CORE di gLite COMPUTING ELEMENT (CE): Fornisce tutti i servizi necessari per laccesso alle risorse computazionali, interagisce con i local resource manager, pubblica le informazioni sui suoi servizi STORAGE ELEMENT (SE): Fornisce servizi ed interfacce per la gestione dello storage locale in ambiente GRID in maniera trasparente allutente. WORKER NODE (WN): Fornisce servizi per il calcolo: sono le macchine utilizzate per la computazione pura. SITE BDII (SBDII): Pubblica informazioni sulle risorse locali

34 34 Il middleware gLite Il concetto di SITO in gLite Un SITO in gLite è un insieme di risorse che: Possiede almeno un site BDII, un CE, un SE ed una serie di WN gLite SITE CE Computing Element SE Storage Element WORKER NODE Site BDII Nellarchitettura gLite i SITE rappresentano i nodi della GRID, centri di risorse e di servizi locali

35 35 Il middleware gLite I Servizi COLLECTIVE in gLite VIRTUAL ORGANIZATION MEMBERSHISP SERVER (VOMS): Servizio per la gestione delle membership ad una VO e per la gestione delle policy sulle risorse. WORKLOAD MANAGEMENT SYSTEM (WMS): Ha una visione globale della GRID e schedula lesecuzione dei job sui singoli SITI. LOGGING AND BOOKKEEPING SERVER (LB): Tiene traccia dei job e del loro stato. TOP BDII (TBDII): Pubblica informazioni su tutte le risorse della GRID, viene usato dal WMS. LOGICAL FILE CATALOG (LFC): Fornisce servizi di naming ed un filesystem virtuale di alto livello per il mapping di nomi logici a file fisici distribuiti sugli Stroage Element

36 36 Il middleware gLite gLite SITE CE Computing Element SE Storage Element WORKER NODE Site BDII CE Computing Element SE Storage Element WORKER NODE Site BDII CE Computing Element SE Storage Element WORKER NODE Site BDII WMSBDIILFCVOMS SERVIZI COLLECTIVE

37 37 Il middleware gLite Il Middleware gLite prevede unarchitettura di tipo SOA (Service Oriented Architecture) che garantisce una maggiore modularità, un alto livello di astrazione e consente il reutilizzo del codice e delle applicazioni di terze parti. I servizi comunicano tra di loro attraverso interfacce e protocolli ben definite che possono comprendere coordinamento di servizi e scambio di dati. Molti servizi oggi sono basati su tecnologie web-services

38 38 Il middleware gLite Schema dellarchitettura di gLite con lelenco dei servizi presenti

39 39 Il middleware gLite Il middeware pubblica API e metodi che possono essere utilizzati direttamente dallutente o dalle applicazioni per la creazione di applicazioni Grid compliant su piattaforma gLite

40 40 Il middleware gLite Schema dellinterazione tra un utente ed i servizi necessari per la sottomissione di JOB


Scaricare ppt "1 IL MIDDLEWARE Richiami sulla caratterizzazione dei sistemi GRID Il Concetto di Virtual Organization Larchitettura a Clessidra Il middleware Il modello."

Presentazioni simili


Annunci Google