FESR www.trigrid.it Trinacria Grid Virtual Laboratory gLite – Panoramica Riccardo Bruno Trigrid Tutorial Catania, 23.10.2006.

Presentazione sul tema: "FESR www.trigrid.it Trinacria Grid Virtual Laboratory gLite – Panoramica Riccardo Bruno Trigrid Tutorial Catania, 23.10.2006."— Transcript della presentazione:

1 FESR www.trigrid.it Trinacria Grid Virtual Laboratory gLite – Panoramica Riccardo Bruno Trigrid Tutorial Catania, 23.10.2006

2 Catania, Trigrid Tutorial, 23.10.2006 2 Scopo di una Grid Scopo dei sistemi e delle applicazioni Grid: Integrare Virtualizzare Gestire RISORSE e SERVIZI attraverso diverse organizzazioni (VO). VO – Singoli e/o istituzioni con accesso diretto alle risorse.

3 Catania, Trigrid Tutorial, 23.10.2006 3 Requisiti di un sistema Grid Eterogeneo (OSes, Devs, Apps.) Condivisione Risorse (Gestione, Sicurezza e Contabilità) Utilizzo delle Risorse (Prenotazione, Misura, Controllo e Logging) Esecuzione di Job (Accesso alle VO, QoS, LCM, WFM, SLA) Servizi sui dati (Integrazione, Fornitura, Catalogazione) Sicurezza (Autenticazione, Autorizzazione e Verifica) Costi Amministrativi (Fornitura, Installazione e Configurazione) Scalabilità Disponibilità (Disaster Recovery, Gestione dei Guasti) Requisiti specifici: (EGEE: HEP, BioMed) https://savannah.cern.ch/support/?group=egeeptf https://savannah.cern.ch/support/?group=egeeptf

4 Catania, Trigrid Tutorial, 23.10.2006 4 gLite - Middleware Più VO offrono la condivisione di risorse mediante servizi Accedere Allocare Controllare Contabilizzare Grid Middleware – Strato tra servizi di alto livello e risorse fisiche gLite - Lightweight Middleware for Grid Computing (Middleware http://www.glite.org

5 Catania, Trigrid Tutorial, 23.10.2006 5 gLite - Scenario Altri Progetti Grid: Globus Global Grid Forum - GGF Open Grid Services Architecture – OGSA EU DataGrid AliEn Condor … LCG: Globus 2 basedWeb services based gLite-2gLite-1LCG-2LCG-1

6 Catania, Trigrid Tutorial, 23.10.2006 6 gLite – SOA Adesso: Applicazioni e servizi su ambienti distribuiti attraverso la rete Il passato: Sistemi centralizzati SOA – Sistemi distribuiti mediante servizi; senza accoppiamento tra servizi inerattivi. L’accoppiamento rende difficili le modifiche. SOA Ulteriore astrazione del concetto di riutilizzo del codice. Soggetto ad erroriSemplicità CostosiFlessibilità Riutilizzo del codiceFlessibilità ModificheEstensibilità Qualità SW Produttività

7 Catania, Trigrid Tutorial, 23.10.2006 7 gLite – SOA, Servizi Funzioni Ben definite Contenute in se stesse Indipendenti Interfaccia mediante messaggi Messaggi Interazione tra servizi mediante messaggi con una comune struttura di messaggi SOAP (Web Services) – Protocollo standard per gestire i messaggi tra i servizi WSDL - Un linguaggio che espone l’intefaccia del servizio. Politiche (Policy): Sicurezza, QoS, Gestione Stato: (Business Logic) Consistente, Accurato e Durevole

8 Catania, Trigrid Tutorial, 23.10.2006 8 gLite – Decomposizione dei serv. 5 Servizi di alto livello + CLI & API Legenda: Disponibili Presto disponibili

9 Catania, Trigrid Tutorial, 23.10.2006 9 gLite – Servizi di sicurezza Autenticazione Autorizzazione Verifica

10 Catania, Trigrid Tutorial, 23.10.2006 10 gLite – Servizi di sicurezza Authentication (Autenticazione) Identificare entità (utenti, sistemi e servizi) stabilendo un contesto di scambio messaggi (Chi sei?). Scopo – Offrire delle credenziali che abbiano un valore universale valido per diversi scopi attraverso diverse infrastrutture, comunità, VO e progetti. gLite usa PKI (X.509) infrastruttura che utilizza CA come terze parti di fiducia. gLite utilizza: MyProxy (http://grid.ncsa.uiuc.edu/myproxy/) esteso da VOMShttp://grid.ncsa.uiuc.edu/myproxy/ Trust domain: L’insieme di tutte le CA di EGEE è definito Dominio di Fiducia. Revoca: Le identità devono essere revocate a intervalli di tempo fissati Memorizz. Credenziali: Locali o Delegate (Servizi or Utenti) Privacy: Trattamento dei dati personali Considerazioni: Uso di sistemi informativi sicuri. Non servire un’intera VO.

11 Catania, Trigrid Tutorial, 23.10.2006 11 gLite – Servizi di sicurezza Authorization (Autorizzazione) Permette o nega l’accesso a servizi, mediante uso di: ‘policy’. Agent: L’utente interagisce con un server d’autorizzazione centralizzato. Push: I servizi di autorizzazione rilasciano dei ‘Token’ (Gettoni). Pull: La risorsa richiede l’accesso ad un servizio di autorizzazione. Sorgenti d’autorizzazione: Attribute Authority (AA): Utente Insieme di Attibuti. (VOMS) Policy Assertions: Uso di ‘policy’ di terze parti. (CAS) Combinazione e Valutazione delle ‘Policy’: Combinare informazioni sulle ‘policy’ a partire da diverse sorgenti. (XACML) Autorizzazione mutua: ‘Client’ Servizio (es. trattando dati sensibili)

12 Catania, Trigrid Tutorial, 23.10.2006 12 gLite – Servizi di sicurezza Auditing (Controllo), Delegtion (Delega), Sandboxing (Virtualizz.) Auditing - Monitoring e analisi Post-Mortem di eventi relativi alla sicurezza. Nelle griglie computazionali l’auditing è affiancato con l’Accounting (Contabilizz.). Chi ha fatto cosa? Dove e quando? In caso di Accounting: Per quanto tempo? Quanto? Delegation: Il bisogno di delegare credenziali ad altre entità è fatto mediante l’uso di Certificati Proxy. Questo è il meccanismo più adottato dalle comunità Grid. (Risolve anche: Accesso singolo, Identificazione dinamica delle entità). Sandboxing – Le applicazzioni Grid hanno necessità dell’isolamento delle risorse assegnate in modo trasparente da parte dei servizi di sicurezza: AuthN e AuthZ. (Virtualizzazione).

13 Catania, Trigrid Tutorial, 23.10.2006 13 gLite – Accesso a Grid Due possibilità: APIs e CLI. L’adozione di web-services permette la generazione automatica delle APIs (soggetto ad errori, carenza di tools).

14 Catania, Trigrid Tutorial, 23.10.2006 14 gLite – Servizi Informativi e di Monitoring I servizi informativi, componente vitale per i sistemi Grid.

15 Catania, Trigrid Tutorial, 23.10.2006 15 gLite – Servizi Informativi e di Monitoring Servizi basilari (RGMA) L’informazione è fornita mediante un meccanismo di pubblicazione e consumo. Illusione di un singolo database federato da interrogare con SQL. Each VO ha un VDB (database virtuale). Schema - Contiene le tabelle (GLUE) Registry – Lista le sorgenti di informazione disponibile (Mediazione) Producers – Sorgenti di informatione (Primari, Secondari, On-demand) Consumers – Fa interrogazioni sulle tabelle (Continue, Ultime, Storiche)

16 Catania, Trigrid Tutorial, 23.10.2006 16 gLite – Information and Monitoring Services Job Monitoring, Service Discovery, Prestazioni di Rete e Monitoring Job Monitoring – Servizi di Java logging, log4j, Apache/Chainsaw (per altri linguaggi). Service Discovery – Inidividua le risorse diponibili a utenti e servizi (Libreria!). Prestazioni di Rete e Monitoring – Esistono diversi ‘framework’ di analisi prestazioni di rete e monitoring. Scopo: Trovare un’interfaccia standard a questi ‘framework’.

17 Catania, Trigrid Tutorial, 23.10.2006 17 gLite – Servizi di gestione job Contabilizzazione Provenienza JobGestione Paccchetti Elemento computazionale Gestione carico di lavoro

18 Catania, Trigrid Tutorial, 23.10.2006 18 gLite – Servizi di gestione job Contabilizzazione (Accounting) Accumula informazioni sull’utilizzo delle risorse richiesto da utenti o gruppi (VO). L’informazione sui servizi/risorse Grid richiedono l’uso di sensori (Resource Metering, Metering Abstraction Layer, Usage Records). I Records sono raccolti da un Sistema di Contabilizzazione (Query: Utenti, Gruppi, Risorse) I servizi Grid dovrebbero registrarsi mediante un servizio di assegnazione del prezzo (tariffazione) se la contabilizzazione ha scopi di fatturazione.

19 Catania, Trigrid Tutorial, 23.10.2006 19 gLite – Servizi di Gestione job Elemento Computazionale (Computing Element) Servizio che rappresenta la risorsa computazionale che è responsabile della gestione dei job: (sottomissione, controllo, etc.) Il CE può essere usato: Da un Client Generico; un’utente finale che interagisce direttamente con il Computing Element, o il Worload Manager il quale sottomette un dato job ad un CE appropriato mediante un processo di ‘matchmaking’. Due modelli di sottomissione (In accordo con le richieste e le policy) : PUSH (Eager (avido) Scheduling) (job inoltrati al CE), PULL (Lazy (pigro) Scheduling) (jobs prelevati dal WMS se il CE non ha job) Il CE è responsabile di descrivere se stesso. ll CE è responsabile di raccogliere le informazioni di contabilizz. sui jobs.

20 Catania, Trigrid Tutorial, 23.10.2006 20 gLite – Servizi di gestione job Gestione Carico di Lavoro (Workload Management) WMS insieme dei componenti del ‘middleware’ responsabili della distribuzione e gestione di job attraverso le risorse di Grid. Due componenti base del WMS: WM: accetta e soddisfa richieste per la gestione dei job. ‘Matchmaking’ è il processo di essegnamento della migliore risorsa disponibile. L&B: Tiene traccia dell’esecuzione di job in termini di eventi: (Sottomesso, Running, Eseguito,..., etc.)

21 Catania, Trigrid Tutorial, 23.10.2006 21 gLite – Servizi di gestione job Job Provenance, Package Manager JP – Tiene traccia dei job sottomessi per lunghi periodi (mesi, anni). PM – Servizio ausiliario per automatizzare: installazioni, configurazioni, aggiornamenti e rimuovere componenti software. (RPM, dpkg/APT, Portage, …)

22 Catania, Trigrid Tutorial, 23.10.2006 22 gLite – Servizi Dati

23 Catania, Trigrid Tutorial, 23.10.2006 23 gLite – Servizi Dati Elemento di memorizzazione (Storage Element) I servizi richiesti sono: Supporto di memorizzazione (Drivers and Hardware) Interfaccia SRM (Soluzione di memorizzazione specifica) Servizi di trasferimento (GridFTP) Stile POSIX file I/O API (gLite-I/O) Servizi ausiliari di: Contabilizz. e Logging

24 Catania, Trigrid Tutorial, 23.10.2006 24 gLite – Servizi Dati Cataloghi (Catalogs) Metafora del F.S. di un S.O. LFN (Logical file name) GUID (Grid unique identifier) SimLinks SURL (Site URL) TURL (Transfer URL)

25 Catania, Trigrid Tutorial, 23.10.2006 25 gLite – Servizi Dati Movimento Dati (Data Movement) Data Scheduler (DS) Tiene traccia delle richieste di transferimento. File Transfer/Placement Service (FTS/FPS) Transfer Queue (Table) Transfer Agent (Network)

26 Catania, Trigrid Tutorial, 23.10.2006 26 gLite – Servizi Ausiliari Configuration and Instrumentation Service – Interroga lo stato dei servizi. Agreement Service – Implementa un protocollo di comunicazione per il SLA. Bandwidth Allocation & Reservation service (BAR) – Controlla, Bilancia e Gestisce I flussi di rete.

27 Catania, Trigrid Tutorial, 23.10.2006 27 Referenze gLite homepage –http://www.glite.orghttp://www.glite.org gLite Documento D’architettura –https://edms.cern.ch/file/476451/1.0/architecture.pdfhttps://edms.cern.ch/file/476451/1.0/architecture.pdf

28 Catania, Trigrid Tutorial, 23.10.2006 28 Domande …