Griglie computazionali Università degli Studi di Napoli Federico II Corso di Laurea Magistrale in Informatica – I Anno IL MIDDLEWARE Richiami sulla caratterizzazione dei sistemi GRID Il Concetto di Virtual Organization L’architettura a Clessidra Il middleware Il modello gLite Servizi Collective e Servizi Core

Introduzione (1/2) Concetto ispiratori delle “Computational Grids”: risorse di computing/storage eterogenee, distribuite geograficamente, accessibili facilmente e senza conoscere i dettagli della loro collocazione (come avviene per l’utilizzo dell’energia elettrica) utenti distribuiti geograficamente, ottengono l’ accesso alle risorse tramite un insieme di servizi diverse virtual organization condividono risorse per il raggiungimento di uno scopo comune.

Introduzione (2/2) Il concetto di condivisione delle risorse (resource sharing) non e’ una novità: printer sharing, RPC, networked file systems, ... Grid viene considerato il successore dei sistemi di calcolo distribuiti convenzionali. Non è semplice trovare un’unica definizione di Grid: high-performance distributed computing environment geographically distributed computing “Coordinated resource sharing and problem solving in dynamic , multi-institutional virtual organizations”.

G R I D Per identificare meglio il concetto di griglia computazionale, mettiamolo in confronto con un sistema distribuito tradizionale.

Applicazioni distribuite Applicazione distribuita numero (finito) di processi cooperativi che utilizzano risorse debolmente accoppiate (loosely coupled resources) Processi indipendenti lavorano su dati Geograficamente distribuiti. Simulazioni mediante processi comunicanti tra loro.

Metodologia per la caratterizzazione La macchina virtuale su cui viene eseguita un’applicazione distribuita differisce nelle sue caratteristiche se consideriamo un sistema di calcolo distribuito convenzionale un sistema di calcolo Grid E’ possibile definire un sistema Grid caratterizzando la macchina virtuale

A1 Application A2 Virtual machine level Virtual pool level nodo risorsa Virtual machine level Virtual pool level Physical level

A1 Application A2 Virtual machine level Virtual pool level nodo risorsa Virtual machine level Virtual pool level Physical level

Sistemi di calcolo distribuito convenzionali Sistemi di calcolo Grid Riepilogo e comparazione Sistemi di calcolo distribuito convenzionali Sistemi di calcolo Grid pool virtuale di nodi di calcolo pool virtuale di risorse l’utente ha accesso ai nodi del pool l’utente ha accesso al pool ma non ai nodi l’accesso al nodo implica l’utilizzo di tutte le risorse del nodo l’accesso ad una risorsa può essere ristretto l’utente e’ a conoscenza delle caratteristiche dei nodi l’utente non ha idea delle caratteristiche delle risorse i nodi appartengono solitamente ad un singolo dominio di gestione le risorse appartengono a più domini di gestione elementi nel pool: 100-1000, statici elementi nel pool: >> 1000, dinamici

Virtualizzazione su più Livelli Il Grid computing fornisce un layer di interoperabiltià sulle tecnologie eterogenee di storage, computing e data aquisition mediante la virtualizzazione su due livelli: virtualizzazione degli utenti virtualizzazione delle risorse

Il Concetto di Virtual Organization Un insieme di utenti, site-indipendent ed uniti da un obiettivo comune, che condividono risorse hardware, software e conoscenza. Esempi di Virtual Organization: L’insieme degli ingegneri di una compagnia di progettazione aerea, distribuiti su diversi centri, che condividono brevetti, risorse di calcolo e software di simulazione L’insieme di ricercatori di un esperimento di fisica distribuiti in differenti università europee, che condividono software e risorse di calcolo e modelli.

Il Concetto di Virtual Organization Membership Management Policy Management Single-Sign On sulle risorse della GRID Offerta di servizi e di supporto agli utenti Management del software

Organizazione di una VO VO Manager Member Role Luca Admin Anna Student Mario Mngr .... ..... VO Member VO Resources UTENTI RISORSE VO Site Indipendent USERS

Organizazione di una VO Una VO nasce come una struttura dinamica Un utente può appartenere a più virtual organization ed avere ruoli diversi in diverse VO All’interno di una VO si possono creare gruppi con differenti policy ed eseguire il management per gruppi o con granularità del singolo utente

Organizazione di una VO VO ATLAS: VO tematica dedicata alla fisica delle particelle che unisce fisici di tutto il mondo impegnati nell’esperimento ATLAS che si svolge presso il CERN UTENTI: 2.500 fisici provenienti da università e centri di ricerca di tutto il mondo. RISORSE: Migliaia di CPU distribuite su scala geografica VO-MANAGER: Unico al CERN SOFT-MANAGER: Unico a Roma

Architettura di un sistema GRID

Livello Fabric Costituito dall’insieme delle risorse computazionali, di storage, telescopi, microscopi, apparati sperimentali che producono dati, virtual instruments e così via. E’ un livello fortemente eterogeneo in cui ciascuna delle risorse è dotata del proprio sistema operativo mediante il quale offre servizi direttamente agli utenti o ai livelli superiori dell’architettura GRID.

Livello Connectivity Definisce i protocolli core per l’autenticazione e la connettività tra servizi GRID. Rappresenta il principale strato di interoperabiltà tra le tecnologie di terze parti eterogenee implementate a livello fabric. In particolare il livello connectivity è responsabile di: Single-sign On Delegation Integrazioni con i sistemi locali di autenticazione

Livello Resource Definisce i protocolli per la pubblicazione delle informazioni locali sullo stato di risorse e fornisce i servizi per il management poggiandosi sul livello connectivity: Information Protocols Management Protocols Protocolli tipici di questo livello sono il gridFTP per lo storage e il GRAM (Grid Resource Access and Management) protocollo http-based usato per l’allocazione di risorse computazionali.

Livello Collective Definisce i protocolli e servizi di alto livello per la gestione delle risorse distribuite. E’ il livello che di fatto virtualizza le risorse presenti sulla griglia e le esporta in maniera trasparente verso l’utente. I servizi offerti a livello collective sono di vario tipo, legati sia al management dello storage, sia alla gestione delle risorse di calcolo e di rete. Tali servizi si basano tutti su un sistema informativo dovendo agire su una visione globale della griglia

Livello Collective Servizi tipici di questo livello sono: Directory services Co-allocation, scheduling, and brokering services Monitoring and diagnostics services Data replication services Grid-enabled programming systems Workload management systems and collaboration frameworks Software discovery services Community accounting and payment services Collaboratory services

Livello Application Costituisce l’insieme di tutte le applicazioni che si appoggiano ai servizi di GRID per la risoluzione di problemi. Le applicazioni utilizzano i metodi dei livelli sottostanti per accedere alle risorse, e possono interagire a più livelli accedendo alle risorse o tramite i servizi Collective, o tramite i servizi Resources o direttamente tramite il livello Connectivity. Il livello application è il livello che completa l’architettura a clessidra.

L’architettura a clessidra L’architettura a clessidra è presa come riferimento in tutte le maggiori implementazioni di GRID. I protocolli stanno subendo un processo di standardizzazione nell’ambito di collaborazioni internazionali (come è successo per il TCP), ovvero partendo da soluzioni esistenti e tentando di creare degli RFC.

MACCHINA VIRTUALE GRID MACCHINE VIRTUALI LOCALI Introduzione al Grid Middleware Il Grid middleware di base è la componente software che realizza ma macchina virtuale di griglia, esso va inteso come strato di mezzo tra i sistemi operativi delle singole risorse e le applicazioni distribuite. APPLICAZIONI APPLICAZIONI DISTRIBUITE, ANALISI DATI, CALCOLO SCIENTIFICO MACCHINA VIRTUALE GRID GRID MIDDLEWARE: LCG, gLite, globus MACCHINE VIRTUALI LOCALI SISTEMI OPERATIVI LOCALI LINUX, UNIX, WINDOWS, PROPRIETARI RISORSE FISICHE RISORSE HARDWARE, CPU, MEMORIE, APPARATI FISICI

Introduzione al Grid Middleware Globus Project Sviluppato dal 1998, standard “de facto” per le tecnologie GRID. partner: Argonne NL (Chicago), USC/ISI (California), EPCC (Edimburgo) ... sviluppo open source del Globus Toolkit http://www.globus.org Globus Toolkit insieme di librerie e servizi “nucleo” dell’infrastruttura Grid” architettura a livelli modello modulare: bag of services Servizi Globus di base

Introduzione al Grid Middleware LCG - LHC Computing Grid Sviluppato a partire dalla fine degli anni 90 Partner: CERN e le comunità di fisica delle alte energie sviluppo open source a partire Globus Toolkit 2 http://www.cern.ch/lcg gLite – Grid Lite Sviluppato a partire dal 2004 Partner: Comunità del progetto europeo EGEE Middleware di nuova generazione orientato ai servizi http://glite.web.cern.ch Servizi Globus di base

http://glite.web.cern.ch

Il middleware gLite gLite: Grid Lite - Middleware Europeo completamente riscritto a partire dal modello del Globus toolkit 2.4 Piattaforma multidisciplinare: gLite nasce per fornire servizi di basso livello sui quali costruire applicazioni scientifiche e commerciali. Nasce sulla base dei feedback di alcune comunità pilota. gLite offre protocolli di base per l’accesso alle risorse computazionali, di storage e per la creazione di virtual instrument.

gLite prevede un modello fortemente Il middleware gLite gLite prevede un modello fortemente strutturato per l’implementazione dei livelli COLLECTIVE, RESOURCE e CONNECTIVITY, interagendo con prodotti di terze parti per i livelli APPLICATION e FABRIC In particolare il modello gLite si basa sul concetto di ELEMENTO e SITO ed implementa due classi di servizi SERVIZI COLLECTIVE SERVIZI CORE

Il middleware gLite Servizi Core I servizi di tipo CORE sono servizi locali che permettono di condividere risorse di calcolo, di storage e virtual instruments. Sono implementati da GRID Element e sono presenti in tutti i siti. I servizi COLLECTIVE sono servizi distribuiti o centralizzati che lavorano al di sopra delle risorse locali e che di fatto costituiscono l’infrastruttura distribuita. Sono implementati da Grid Element e hanno valenza collettiva.

Il middleware gLite Il concetto di ELEMENTO in gLite Un ELEMENTO o GRID ELEMENT in gLite è un host che Fornisce uno o più servizi (di tipo collective o core) Fornisce metodi per l’accesso a tali servizi È in grado di pubblicare informazioni sulle caratteristiche e sullo stato dei servizi. E’ in grado di interagire con altri elementi grid o con gli utenti direttamente

I GRID ELEMENT ed i servizi CORE di gLite Il middleware gLite I GRID ELEMENT ed i servizi CORE di gLite COMPUTING ELEMENT (CE): Fornisce tutti i servizi necessari per l’accesso alle risorse computazionali, interagisce con i local resource manager, pubblica le informazioni sui suoi servizi STORAGE ELEMENT (SE): Fornisce servizi ed interfacce per la gestione dello storage locale in ambiente GRID in maniera trasparente all’utente. WORKER NODE (WN): Fornisce servizi per il calcolo: sono le macchine utilizzate per la computazione pura. SITE BDII (SBDII): Pubblica informazioni sulle risorse locali

Il middleware gLite Il concetto di SITO in gLite Un SITO in gLite è un insieme di risorse che: Possiede almeno un site BDII, un CE, un SE ed una serie di WN gLite SITE CE Computing Element Nell’architettura gLite i SITE rappresentano i nodi della GRID, centri di risorse e di servizi locali Site BDII SE Storage Element WORKER NODE

I Servizi COLLECTIVE in gLite Il middleware gLite I Servizi COLLECTIVE in gLite VIRTUAL ORGANIZATION MEMBERSHISP SERVER (VOMS): Servizio per la gestione delle membership ad una VO e per la gestione delle policy sulle risorse. WORKLOAD MANAGEMENT SYSTEM (WMS): Ha una visione globale della GRID e schedula l’esecuzione dei job sui singoli SITI. LOGGING AND BOOKKEEPING SERVER (LB): Tiene traccia dei job e del loro stato. TOP BDII (TBDII): Pubblica informazioni su tutte le risorse della GRID, viene usato dal WMS. LOGICAL FILE CATALOG (LFC): Fornisce servizi di naming ed un filesystem virtuale di alto livello per il mapping di nomi logici a file fisici distribuiti sugli Stroage Element

Il middleware gLite CE Computing Element SE Storage Element WORKER NODE Site BDII WMS BDII LFC VOMS SERVIZI COLLECTIVE gLite SITE CE Computing Element CE Computing Element Site BDII Site BDII SE Storage Element SE Storage Element WORKER NODE WORKER NODE

Il middleware gLite Il Middleware gLite prevede un’architettura di tipo SOA (Service Oriented Architecture) che garantisce una maggiore modularità, un alto livello di astrazione e consente il reutilizzo del codice e delle applicazioni di terze parti. I servizi comunicano tra di loro attraverso interfacce e protocolli ben definite che possono comprendere coordinamento di servizi e scambio di dati. Molti servizi oggi sono basati su tecnologie web-services

Il middleware gLite Schema dell’architettura di gLite con l’elenco dei servizi presenti

Il middleware gLite Il middeware pubblica API e metodi che possono essere utilizzati direttamente dall’utente o dalle applicazioni per la creazione di applicazioni Grid compliant su piattaforma gLite

Il middleware gLite Schema dell’interazione tra un utente ed i servizi necessari per la sottomissione di JOB