Griglie computazionali

Presentazione sul tema: "Griglie computazionali"— Transcript della presentazione:

1 Griglie computazionali
Università degli Studi di Napoli Federico II Corso di Laurea Magistrale in Informatica – I Anno IL MIDDLEWARE Richiami sulla caratterizzazione dei sistemi GRID Il Concetto di Virtual Organization L’architettura a Clessidra Il middleware Il modello gLite Servizi Collective e Servizi Core

2 Introduzione (1/2) Concetto ispiratori delle “Computational Grids”:
risorse di computing/storage eterogenee, distribuite geograficamente, accessibili facilmente e senza conoscere i dettagli della loro collocazione (come avviene per l’utilizzo dell’energia elettrica) utenti distribuiti geograficamente, ottengono l’ accesso alle risorse tramite un insieme di servizi diverse virtual organization condividono risorse per il raggiungimento di uno scopo comune.

3 Introduzione (2/2) Il concetto di condivisione delle risorse (resource sharing) non e’ una novità: printer sharing, RPC, networked file systems, ... Grid viene considerato il successore dei sistemi di calcolo distribuiti convenzionali. Non è semplice trovare un’unica definizione di Grid: high-performance distributed computing environment geographically distributed computing “Coordinated resource sharing and problem solving in dynamic , multi-institutional virtual organizations”.

4 G R I D Per identificare meglio il concetto di griglia computazionale, mettiamolo in confronto con un sistema distribuito tradizionale.

5 Applicazioni distribuite
Applicazione distribuita numero (finito) di processi cooperativi che utilizzano risorse debolmente accoppiate (loosely coupled resources) Processi indipendenti lavorano su dati Geograficamente distribuiti. Simulazioni mediante processi comunicanti tra loro.

6 Metodologia per la caratterizzazione
La macchina virtuale su cui viene eseguita un’applicazione distribuita differisce nelle sue caratteristiche se consideriamo un sistema di calcolo distribuito convenzionale un sistema di calcolo Grid E’ possibile definire un sistema Grid caratterizzando la macchina virtuale

7 A1 Application A2 Virtual machine level Virtual pool level
nodo risorsa Virtual machine level Virtual pool level Physical level

8 A1 Application A2 Virtual machine level Virtual pool level
nodo risorsa Virtual machine level Virtual pool level Physical level

9 Sistemi di calcolo distribuito convenzionali Sistemi di calcolo Grid
Riepilogo e comparazione Sistemi di calcolo distribuito convenzionali Sistemi di calcolo Grid pool virtuale di nodi di calcolo pool virtuale di risorse l’utente ha accesso ai nodi del pool l’utente ha accesso al pool ma non ai nodi l’accesso al nodo implica l’utilizzo di tutte le risorse del nodo l’accesso ad una risorsa può essere ristretto l’utente e’ a conoscenza delle caratteristiche dei nodi l’utente non ha idea delle caratteristiche delle risorse i nodi appartengono solitamente ad un singolo dominio di gestione le risorse appartengono a più domini di gestione elementi nel pool: , statici elementi nel pool: >> 1000, dinamici

10 Virtualizzazione su più Livelli
Il Grid computing fornisce un layer di interoperabiltià sulle tecnologie eterogenee di storage, computing e data aquisition mediante la virtualizzazione su due livelli: virtualizzazione degli utenti virtualizzazione delle risorse

11

12 Il Concetto di Virtual Organization
Un insieme di utenti, site-indipendent ed uniti da un obiettivo comune, che condividono risorse hardware, software e conoscenza. Esempi di Virtual Organization: L’insieme degli ingegneri di una compagnia di progettazione aerea, distribuiti su diversi centri, che condividono brevetti, risorse di calcolo e software di simulazione L’insieme di ricercatori di un esperimento di fisica distribuiti in differenti università europee, che condividono software e risorse di calcolo e modelli.

13 Il Concetto di Virtual Organization
Membership Management Policy Management Single-Sign On sulle risorse della GRID Offerta di servizi e di supporto agli utenti Management del software

14 Organizazione di una VO
VO Manager Member Role Luca Admin Anna Student Mario Mngr VO Member VO Resources UTENTI RISORSE VO Site Indipendent USERS

15 Organizazione di una VO
Una VO nasce come una struttura dinamica Un utente può appartenere a più virtual organization ed avere ruoli diversi in diverse VO All’interno di una VO si possono creare gruppi con differenti policy ed eseguire il management per gruppi o con granularità del singolo utente

16 Organizazione di una VO
VO ATLAS: VO tematica dedicata alla fisica delle particelle che unisce fisici di tutto il mondo impegnati nell’esperimento ATLAS che si svolge presso il CERN UTENTI: fisici provenienti da università e centri di ricerca di tutto il mondo. RISORSE: Migliaia di CPU distribuite su scala geografica VO-MANAGER: Unico al CERN SOFT-MANAGER: Unico a Roma

17 Architettura di un sistema GRID

18 Livello Fabric Costituito dall’insieme delle risorse computazionali, di storage, telescopi, microscopi, apparati sperimentali che producono dati, virtual instruments e così via. E’ un livello fortemente eterogeneo in cui ciascuna delle risorse è dotata del proprio sistema operativo mediante il quale offre servizi direttamente agli utenti o ai livelli superiori dell’architettura GRID.

19 Livello Connectivity Definisce i protocolli core per l’autenticazione e la connettività tra servizi GRID. Rappresenta il principale strato di interoperabiltà tra le tecnologie di terze parti eterogenee implementate a livello fabric. In particolare il livello connectivity è responsabile di: Single-sign On Delegation Integrazioni con i sistemi locali di autenticazione

20 Livello Resource Definisce i protocolli per la pubblicazione delle informazioni locali sullo stato di risorse e fornisce i servizi per il management poggiandosi sul livello connectivity: Information Protocols Management Protocols Protocolli tipici di questo livello sono il gridFTP per lo storage e il GRAM (Grid Resource Access and Management) protocollo http-based usato per l’allocazione di risorse computazionali.

21 Livello Collective Definisce i protocolli e servizi di alto livello per la gestione delle risorse distribuite. E’ il livello che di fatto virtualizza le risorse presenti sulla griglia e le esporta in maniera trasparente verso l’utente. I servizi offerti a livello collective sono di vario tipo, legati sia al management dello storage, sia alla gestione delle risorse di calcolo e di rete. Tali servizi si basano tutti su un sistema informativo dovendo agire su una visione globale della griglia

22 Livello Collective Servizi tipici di questo livello sono:
Directory services Co-allocation, scheduling, and brokering services Monitoring and diagnostics services Data replication services Grid-enabled programming systems Workload management systems and collaboration frameworks Software discovery services Community accounting and payment services Collaboratory services

23 Livello Application Costituisce l’insieme di tutte le applicazioni che si appoggiano ai servizi di GRID per la risoluzione di problemi. Le applicazioni utilizzano i metodi dei livelli sottostanti per accedere alle risorse, e possono interagire a più livelli accedendo alle risorse o tramite i servizi Collective, o tramite i servizi Resources o direttamente tramite il livello Connectivity. Il livello application è il livello che completa l’architettura a clessidra.

24 L’architettura a clessidra
L’architettura a clessidra è presa come riferimento in tutte le maggiori implementazioni di GRID. I protocolli stanno subendo un processo di standardizzazione nell’ambito di collaborazioni internazionali (come è successo per il TCP), ovvero partendo da soluzioni esistenti e tentando di creare degli RFC.

25 MACCHINA VIRTUALE GRID MACCHINE VIRTUALI LOCALI
Introduzione al Grid Middleware Il Grid middleware di base è la componente software che realizza ma macchina virtuale di griglia, esso va inteso come strato di mezzo tra i sistemi operativi delle singole risorse e le applicazioni distribuite. APPLICAZIONI APPLICAZIONI DISTRIBUITE, ANALISI DATI, CALCOLO SCIENTIFICO MACCHINA VIRTUALE GRID GRID MIDDLEWARE: LCG, gLite, globus MACCHINE VIRTUALI LOCALI SISTEMI OPERATIVI LOCALI LINUX, UNIX, WINDOWS, PROPRIETARI RISORSE FISICHE RISORSE HARDWARE, CPU, MEMORIE, APPARATI FISICI

26 Introduzione al Grid Middleware
Globus Project Sviluppato dal 1998, standard “de facto” per le tecnologie GRID. partner: Argonne NL (Chicago), USC/ISI (California), EPCC (Edimburgo) ... sviluppo open source del Globus Toolkit Globus Toolkit insieme di librerie e servizi “nucleo” dell’infrastruttura Grid” architettura a livelli modello modulare: bag of services Servizi Globus di base

27 Introduzione al Grid Middleware
LCG - LHC Computing Grid Sviluppato a partire dalla fine degli anni 90 Partner: CERN e le comunità di fisica delle alte energie sviluppo open source a partire Globus Toolkit 2 gLite – Grid Lite Sviluppato a partire dal 2004 Partner: Comunità del progetto europeo EGEE Middleware di nuova generazione orientato ai servizi Servizi Globus di base

28

29 Il middleware gLite gLite: Grid Lite - Middleware Europeo completamente riscritto a partire dal modello del Globus toolkit 2.4 Piattaforma multidisciplinare: gLite nasce per fornire servizi di basso livello sui quali costruire applicazioni scientifiche e commerciali. Nasce sulla base dei feedback di alcune comunità pilota. gLite offre protocolli di base per l’accesso alle risorse computazionali, di storage e per la creazione di virtual instrument.

30 gLite prevede un modello fortemente
Il middleware gLite gLite prevede un modello fortemente strutturato per l’implementazione dei livelli COLLECTIVE, RESOURCE e CONNECTIVITY, interagendo con prodotti di terze parti per i livelli APPLICATION e FABRIC In particolare il modello gLite si basa sul concetto di ELEMENTO e SITO ed implementa due classi di servizi SERVIZI COLLECTIVE SERVIZI CORE

31 Il middleware gLite Servizi Core
I servizi di tipo CORE sono servizi locali che permettono di condividere risorse di calcolo, di storage e virtual instruments. Sono implementati da GRID Element e sono presenti in tutti i siti. I servizi COLLECTIVE sono servizi distribuiti o centralizzati che lavorano al di sopra delle risorse locali e che di fatto costituiscono l’infrastruttura distribuita. Sono implementati da Grid Element e hanno valenza collettiva.

32 Il middleware gLite Il concetto di ELEMENTO in gLite
Un ELEMENTO o GRID ELEMENT in gLite è un host che Fornisce uno o più servizi (di tipo collective o core) Fornisce metodi per l’accesso a tali servizi È in grado di pubblicare informazioni sulle caratteristiche e sullo stato dei servizi. E’ in grado di interagire con altri elementi grid o con gli utenti direttamente

33 I GRID ELEMENT ed i servizi CORE di gLite
Il middleware gLite I GRID ELEMENT ed i servizi CORE di gLite COMPUTING ELEMENT (CE): Fornisce tutti i servizi necessari per l’accesso alle risorse computazionali, interagisce con i local resource manager, pubblica le informazioni sui suoi servizi STORAGE ELEMENT (SE): Fornisce servizi ed interfacce per la gestione dello storage locale in ambiente GRID in maniera trasparente all’utente. WORKER NODE (WN): Fornisce servizi per il calcolo: sono le macchine utilizzate per la computazione pura. SITE BDII (SBDII): Pubblica informazioni sulle risorse locali

34 Il middleware gLite Il concetto di SITO in gLite
Un SITO in gLite è un insieme di risorse che: Possiede almeno un site BDII, un CE, un SE ed una serie di WN gLite SITE CE Computing Element Nell’architettura gLite i SITE rappresentano i nodi della GRID, centri di risorse e di servizi locali Site BDII SE Storage Element WORKER NODE

35 I Servizi COLLECTIVE in gLite
Il middleware gLite I Servizi COLLECTIVE in gLite VIRTUAL ORGANIZATION MEMBERSHISP SERVER (VOMS): Servizio per la gestione delle membership ad una VO e per la gestione delle policy sulle risorse. WORKLOAD MANAGEMENT SYSTEM (WMS): Ha una visione globale della GRID e schedula l’esecuzione dei job sui singoli SITI. LOGGING AND BOOKKEEPING SERVER (LB): Tiene traccia dei job e del loro stato. TOP BDII (TBDII): Pubblica informazioni su tutte le risorse della GRID, viene usato dal WMS. LOGICAL FILE CATALOG (LFC): Fornisce servizi di naming ed un filesystem virtuale di alto livello per il mapping di nomi logici a file fisici distribuiti sugli Stroage Element

36 Il middleware gLite CE Computing Element SE Storage Element
WORKER NODE Site BDII WMS BDII LFC VOMS SERVIZI COLLECTIVE gLite SITE CE Computing Element CE Computing Element Site BDII Site BDII SE Storage Element SE Storage Element WORKER NODE WORKER NODE

37 Il middleware gLite Il Middleware gLite prevede un’architettura di tipo SOA (Service Oriented Architecture) che garantisce una maggiore modularità, un alto livello di astrazione e consente il reutilizzo del codice e delle applicazioni di terze parti. I servizi comunicano tra di loro attraverso interfacce e protocolli ben definite che possono comprendere coordinamento di servizi e scambio di dati. Molti servizi oggi sono basati su tecnologie web-services

38 Il middleware gLite Schema dell’architettura di gLite con l’elenco dei servizi presenti

39 Il middleware gLite Il middeware pubblica API e metodi che possono essere utilizzati direttamente dall’utente o dalle applicazioni per la creazione di applicazioni Grid compliant su piattaforma gLite

40 Il middleware gLite Schema dell’interazione tra un utente ed i servizi
necessari per la sottomissione di JOB