Riccardo Bruno Primo Grid Tutorial Catania, 14-15.Marzo.2006 gLite – Panoramica Riccardo Bruno Primo Grid Tutorial Catania, 14-15.Marzo.2006

Scopo di una Grid Integrare Virtualizzare Gestire Scopo dei sistemi e delle applicazioni Grid: Integrare Virtualizzare Gestire RISORSE e SERVIZI attraverso diverse organizzazioni (VO). VO – Singoli e/o istituzioni con accesso diretto alle risorse. Catania, Primo Grid Tutorial, 13-14.Marzo.2006

Requisiti di un sistema Grid Eterogeneo (OSes, Devs, Apps.) Condivisione Risorse (Gestione, Sicurezza e Contabilità) Utilizzo delle Risorse (Prenotazione, Misura, Controllo e Logging) Esecuzione di Job (Accesso alle VO, QoS, LCM, WFM, SLA) Servizi sui dati (Integrazione, Fornitura, Catalogazione) Sicurezza (Autenticazione, Autorizzazione e Verifica) Costi Amministrativi (Fornitura, Installazione e Configurazione) Scalabilità Disponibilità (Disaster Recovery, Gestione dei Guasti) Requisiti specifici: (EGEE: HEP, BioMed) https://savannah.cern.ch/support/?group=egeeptf Catania, Primo Grid Tutorial, 13-14.Marzo.2006

gLite - Lightweight Middleware for Grid Computing (Middleware gLite - Middleware Più VO offrono la condivisione di risorse mediante servizi Accedere Allocare Controllare Contabilizzare Grid Middleware – Strato tra servizi di alto livello e risorse fisiche gLite - Lightweight Middleware for Grid Computing (Middleware http://www.glite.org Catania, Primo Grid Tutorial, 13-14.Marzo.2006

gLite - Scenario Altri Progetti Grid: Globus Global Grid Forum - GGF Open Grid Services Architecture – OGSA EU DataGrid AliEn Condor … LCG: LCG-1 LCG-2 gLite-1 gLite-2 Globus 2 based Web services based Catania, Primo Grid Tutorial, 13-14.Marzo.2006

gLite – SOA Il passato: Sistemi centralizzati Soggetto ad errori Semplicità Costosi Flessibilità Adesso: Applicazioni e servizi su ambienti distribuiti attraverso la rete Riutilizzo del codice Flessibilità Modifiche Estensibilità Qualità SW Produttività SOA – Sistemi distribuiti mediante servizi; senza accoppiamento tra servizi inerattivi. L’accoppiamento rende difficili le modifiche. SOA Ulteriore astrazione del concetto di riutilizzo del codice. Catania, Primo Grid Tutorial, 13-14.Marzo.2006

gLite – SOA, Servizi Funzioni Ben definite Contenute in se stesse Indipendenti Interfaccia mediante messaggi Messaggi Interazione tra servizi mediante messaggi con una comune struttura di messaggi SOAP (Web Services) – Protocollo standard per gestire i messaggi tra i servizi WSDL - Un linguaggio che espone l’intefaccia del servizio. Politiche (Policy): Sicurezza, QoS, Gestione Stato: (Business Logic) Consistente, Accurato e Durevole Catania, Primo Grid Tutorial, 13-14.Marzo.2006

gLite – Decomposizione dei serv. 5 Servizi di alto livello + CLI & API Site proxy – allows outbound connectivity from hidden networks Legenda: Disponibili Presto disponibili Catania, Primo Grid Tutorial, 13-14.Marzo.2006

gLite – Servizi di sicurezza Autorizzazione Verifica Autenticazione Catania, Primo Grid Tutorial, 13-14.Marzo.2006

gLite – Servizi di sicurezza Authentication (Autenticazione) Identificare entità (utenti, sistemi e servizi) stabilendo un contesto di scambio messaggi (Chi sei?). Scopo – Offrire delle credenziali che abbiano un valore universale valido per diversi scopi attraverso diverse infrastrutture, comunità, VO e progetti. gLite usa PKI (X.509) infrastruttura che utilizza CA come terze parti di fiducia. gLite utilizza: MyProxy (http://grid.ncsa.uiuc.edu/myproxy/) esteso da VOMS Trust domain: L’insieme di tutte le CA di EGEE è definito Dominio di Fiducia. Revoca: Le identità devono essere revocate a intervalli di tempo fissati Memorizz. Credenziali: Locali o Delegate (Servizi or Utenti) Privacy: Trattamento dei dati personali Considerazioni: Uso di sistemi informativi sicuri. Non servire un’intera VO. Catania, Primo Grid Tutorial, 13-14.Marzo.2006

gLite – Servizi di sicurezza Authorization (Autorizzazione) Permette o nega l’accesso a servizi, mediante uso di: ‘policy’. Agent: L’utente interagisce con un server d’autorizzazione centralizzato. Push: I servizi di autorizzazione rilasciano dei ‘Token’ (Gettoni). Pull: La risorsa richiede l’accesso ad un servizio di autorizzazione. Sorgenti d’autorizzazione: Attribute Authority (AA): Utente <-> Insieme di Attibuti. (VOMS) Policy Assertions: Uso di ‘policy’ di terze parti. (CAS) Combinazione e Valutazione delle ‘Policy’: Combinare informazioni sulle ‘policy’ a partire da diverse sorgenti. (XACML) Autorizzazione mutua: ‘Client’ <-> Servizio (es. trattando dati sensibili) Catania, Primo Grid Tutorial, 13-14.Marzo.2006

gLite – Servizi di sicurezza Auditing (Controllo), Delegtion (Delega), Sandboxing (Virtualizz.) Auditing - Monitoring e analisi Post-Mortem di eventi relativi alla sicurezza. Nelle griglie computazionali l’auditing è affiancato con l’Accounting (Contabilizz.). Chi ha fatto cosa? Dove e quando? In caso di Accounting: Per quanto tempo? Quanto? Delegation: Il bisogno di delegare credenziali ad altre entità è fatto mediante l’uso di Certificati Proxy. Questo è il meccanismo più adottato dalle comunità Grid. (Risolve anche: Accesso singolo, Identificazione dinamica delle entità). Sandboxing – Le applicazzioni Grid hanno necessità dell’isolamento delle risorse assegnate in modo trasparente da parte dei servizi di sicurezza: AuthN e AuthZ. (Virtualizzazione). Catania, Primo Grid Tutorial, 13-14.Marzo.2006

gLite – Accesso a Grid Due possibilità: APIs e CLI. L’adozione di web-services permette la generazione automatica delle APIs (soggetto ad errori, carenza di tools). Catania, Primo Grid Tutorial, 13-14.Marzo.2006

gLite – Servizi Informativi e di Monitoring I servizi informativi, componente vitale per i sistemi Grid. Catania, Primo Grid Tutorial, 13-14.Marzo.2006

gLite – Servizi Informativi e di Monitoring Servizi basilari (RGMA) L’informazione è fornita mediante un meccanismo di pubblicazione e consumo. Illusione di un singolo database federato da interrogare con SQL. Each VO ha un VDB (database virtuale). Schema - Contiene le tabelle (GLUE) Registry – Lista le sorgenti di informazione disponibile (Mediazione) Producers – Sorgenti di informatione (Primari, Secondari, On-demand) Consumers – Fa interrogazioni sulle tabelle (Continue, Ultime, Storiche) Catania, Primo Grid Tutorial, 13-14.Marzo.2006

gLite – Information and Monitoring Services Job Monitoring, Service Discovery, Prestazioni di Rete e Monitoring Job Monitoring – Servizi di Java logging, log4j, Apache/Chainsaw (per altri linguaggi). Service Discovery – Inidividua le risorse diponibili a utenti e servizi (Libreria!). Prestazioni di Rete e Monitoring – Esistono diversi ‘framework’ di analisi prestazioni di rete e monitoring. Scopo: Trovare un’interfaccia standard a questi ‘framework’. Catania, Primo Grid Tutorial, 13-14.Marzo.2006

gLite – Servizi di gestione job Contabilizzazione Provenienza Job Gestione Paccchetti Elemento computazionale Gestione carico di lavoro Catania, Primo Grid Tutorial, 13-14.Marzo.2006

gLite – Servizi di gestione job Contabilizzazione (Accounting) Accumula informazioni sull’utilizzo delle risorse richiesto da utenti o gruppi (VO). L’informazione sui servizi/risorse Grid richiedono l’uso di sensori (Resource Metering, Metering Abstraction Layer, Usage Records). I Records sono raccolti da un Sistema di Contabilizzazione (Query: Utenti, Gruppi, Risorse) I servizi Grid dovrebbero registrarsi mediante un servizio di assegnazione del prezzo (tariffazione) se la contabilizzazione ha scopi di fatturazione. Catania, Primo Grid Tutorial, 13-14.Marzo.2006

gLite – Servizi di Gestione job Elemento Computazionale (Computing Element) Servizio che rappresenta la risorsa computazionale che è responsabile della gestione dei job: (sottomissione, controllo, etc.) Il CE può essere usato: Da un Client Generico; un’utente finale che interagisce direttamente con il Computing Element, o il Worload Manager il quale sottomette un dato job ad un CE appropriato mediante un processo di ‘matchmaking’. Due modelli di sottomissione (In accordo con le richieste e le policy): PUSH (Eager (avido) Scheduling) (job inoltrati al CE), PULL (Lazy (pigro) Scheduling) (jobs prelevati dal WMS se il CE non ha job) Il CE è responsabile di descrivere se stesso. ll CE è responsabile di raccogliere le informazioni di contabilizz. sui jobs. Catania, Primo Grid Tutorial, 13-14.Marzo.2006

gLite – Servizi di gestione job Gestione Carico di Lavoro (Workload Management) WMS insieme dei componenti del ‘middleware’ responsabili della distribuzione e gestione di job attraverso le risorse di Grid. Due componenti base del WMS: WM: accetta e soddisfa richieste per la gestione dei job. ‘Matchmaking’ è il processo di essegnamento della migliore risorsa disponibile. L&B: Tiene traccia dell’esecuzione di job in termini di eventi: (Sottomesso, Running, Eseguito,..., etc.) Catania, Primo Grid Tutorial, 13-14.Marzo.2006

gLite – Servizi di gestione job Job Provenance, Package Manager JP – Tiene traccia dei job sottomessi per lunghi periodi (mesi, anni). PM – Servizio ausiliario per automatizzare: installazioni, configurazioni, aggiornamenti e rimuovere componenti software. (RPM, dpkg/APT, Portage, …) Catania, Primo Grid Tutorial, 13-14.Marzo.2006

gLite – Servizi Dati Catania, Primo Grid Tutorial, 13-14.Marzo.2006

gLite – Servizi Dati Elemento di memorizzazione (Storage Element) I servizi richiesti sono: Supporto di memorizzazione (Drivers and Hardware) Interfaccia SRM (Soluzione di memorizzazione specifica) Servizi di trasferimento (GridFTP) Stile POSIX file I/O API (gLite-I/O) Servizi ausiliari di: Contabilizz. e Logging Catania, Primo Grid Tutorial, 13-14.Marzo.2006

gLite – Servizi Dati Cataloghi (Catalogs) Metafora del F.S. di un S.O. LFN (Logical file name) GUID (Grid unique identifier) SimLinks SURL (Site URL) TURL (Transfer URL) Catania, Primo Grid Tutorial, 13-14.Marzo.2006

gLite – Servizi Dati Movimento Dati (Data Movement) Data Scheduler (DS) Tiene traccia delle richieste di transferimento. File Transfer/Placement Service (FTS/FPS) Transfer Queue (Table) Transfer Agent (Network) Catania, Primo Grid Tutorial, 13-14.Marzo.2006

gLite – Servizi Ausiliari Configuration and Instrumentation Service – Interroga lo stato dei servizi. Agreement Service – Implementa un protocollo di comunicazione per il SLA. Bandwidth Allocation & Reservation service (BAR) – Controlla, Bilancia e Gestisce I flussi di rete. Catania, Primo Grid Tutorial, 13-14.Marzo.2006

Referenze gLite homepage gLite Documento D’architettura http://www.glite.org gLite Documento D’architettura https://edms.cern.ch/file/476451/1.0/architecture.pdf Catania, Primo Grid Tutorial, 13-14.Marzo.2006

Domande … Catania, Primo Grid Tutorial, 13-14.Marzo.2006