La presentazione è in caricamento. Aspetta per favore

La presentazione è in caricamento. Aspetta per favore

Griglie computazionali

Presentazioni simili


Presentazione sul tema: "Griglie computazionali"— Transcript della presentazione:

1 Griglie computazionali
Università degli Studi di Napoli Federico II Corso di Laurea Magistrale in Informatica – I Anno PROGETTI E ARCHITETTURE GRID Progetti Grid INFN-NA e UniNA Sistemi di calcolo distribuito tradizionali e Grid computing Architettura, livelli, protocolli e servizi Grid Come funziona una Grid Griglie computazionali

2 Progetti GRID INFN-NA e UniNA
Griglie computazionali Griglie computazionali - a.a

3 Progetto Campus GRID (2003-2004)
Struttura comune di HPC (High Performace Computing) basata su GRID a livello di campus universitario per la ricerca scientifica in Fisica, Chimica, Matematica. Fisica INFN – INFM CdC Reg. Campus GRID Monte Sant’Angelo NAPOLI Chimica INSTM Banda 1 Gbit Matematica ICAR World Wide GRID Calcolo Parallelo e Linux Farms Campus GRID Centro Stella di Campus Griglie computazionali

4 Campus Grid a Monte Sant’Angelo
DSF: Locale 1G01 (sede infrastruttura principale del Campus Grid) DSF DSF : Locale 1M16 DiChi DMA GARR Collegamenti in fibra fra DSF, Chim. e Mat. C.S.I. Griglie computazionali

5 Griglie computazionali
COSTITURE UNA STRUTTURA DI CALCOLO AVANZATO BASATA SU GRIGLIE COMPUTAZIONALI (“CAMPUS GRID”) Dip. di Chimica Dip. di Scienze Fisiche Dip. di Matematica ICAR CNR INFN INFM INSTM Griglie computazionali

6 Griglie computazionali
Progetto S.Co.P.E ( ) “Sistema Cooperativo Distribuito ad alte Prestazioni per Elaborazioni Scientifiche Multidisciplinari” Obiettivo finale del progetto è la realizzazione di un Sistema di Calcolo ad Alte Prestazioni, orientato ad applicazioni scientifiche multidisciplinari, che operi anche secondo il paradigma GRID, dedicato alla modellistica computazionale ed alla gestione di grosse banche dati, per ricerche nelle aree applicative di interesse del progetto, ovvero: Scienze del Microcosmo e del Macrocosmo, Scienze della Vita, Scienze dei Materiali e dell’Ambiente. + area tecnologica: Middleware Griglie computazionali

7 Mediche e Biotecnologie
Macroarea Scienze M.F.N. Medicina Struttura centrale (CSI) Area delle Scienze MM.FF.NN. (Campus – GRID) Area delle Scienze Ingegneristiche Area delle Scienze Mediche e Biotecnologie Dip.Informatica e Sistemistica Dip. Ingegneria Elettrica Dip.Ingegneria Elettronica e delle Telecomunicazioni Dip. Biochimica e Biotecnologie mediche Scienze Umane e Sociali Dip. Matematico- Statistico Dip. di Scienze Fisiche Dip.Ingegneria Chimica Organizzazioni esterne ma collegate INFN Sezione di Napoli CNR-SPACI Napoli INFM Unità di Napoli CEINGE CRIAI ARPA CINI Dip. di Analisi e Progettazione Strutturale Dipartimento di Sociologia Centro di Eccellenza per lo Studio delle Malattie Genetiche Dip. di Matematica Dip. di Chimica 19 Departments and Research Institutes 128 Professors and Senior researchers from UniNA + many others from Research Institutes (INFN, etc.) 35 Young researchers (assegni di ricerca) 28 Technology specialists (co.co.co.) Griglie computazionali

8 Griglie computazionali
Astrophysics group Search for gravitational waves Data mining and visualization of astronomical massive data sets and Particle Physics (subnuclear physics) group Study of proton-proton interactions at the CERN-LHC Large Hadron Collider and implementation of a Tier2 Data Centre for large scale, data intensive Montecarlo simulations and data analysis Bioinformatics group Study of genome sequence analysis and image analyses for cell motility and other dynamical phenomena and Numerical Mathematics and Scientific computing group Study and design of algorithms for distributed scientific applications and implementation on HPC infrastructures Statistical mechanics group Study of applications of statistical mechanics to complex systems Electromagnetism and Telecommunication group Study of models and measurements of electromagnetic field in the Napoli metropolitan area Material Science group Study of molecular dynamics and optical properties of nano-structured materials and Soft Matter Engineering group Study of models and simulations of the flux of micro-structured materials Griglie computazionali

9 Griglie computazionali
The SCoPE Data Center 33 Racks (of which 10 for Tier2 ATLAS) 304 Servers for a total of processors 130 TeraByte storage 2 remote sites: Fac. Medicine: 60 TB storage Dep. Chemistry: 8 server multiCPU (4-proc) Griglie computazionali

10 Griglie computazionali - a.a. 2009-10
INGRESSO Data Center SCOPE Control Room Biologia Fisica Griglie computazionali - a.a

11 SCoPE DataCenter & Tier2 ATLAS
Cabina elettrica 1 MW Griglie computazionali

12 Griglie computazionali
Control room Data Center Chem Med. Low latency network 2432 core Griglie computazionali

13 The Metropolitan Network
CAMPUS GRID Monte Sant’Angelo DMA DiChi DSF INFN C.S.I. GARR Fibra ottica S.CO.P.E. GARR 2.4 Gb/s Centro S.CO.P.E. Dipartimento di Scienze Fisiche Sezione INFN Cabina elettrica G.E. 1 MW Control room S.CO.P.E. Griglie computazionali

14 Griglie computazionali - a.a. 2009-10
POP GARR CATANIA CITTADELLA POP GARR ROMA POP GARR BARI 2.5 Gbit 2.5 Gbit 2.5 Gbit POP GARR M.S. Angelo 1 Gbit 2x1 Gbit 1 Gbit ENEA TIER2 1 Gbit 1 Gbit 2x1 Gbit INFN NAPOLI 2x10 Gbit 10 Gbit SCOPE UNINA Griglie computazionali - a.a TIER2

15 Interoperabilità fra i Progetti dell’Avviso 1575/2004
ESPERIENZA VIRTUOSA E DI SUCCESSO NEL MERIDIONE NASCITA DI UNA NUOVA COMUNITA’ SCIENTIFICA STIMABILE NELL’ORDINE DI 800 TRA RICERCATORI E TECNICI 5 DOCUMENTI STRATEGICI E TECNICI OPERATIVI 15 TECNICI DEDICATI ALL’INTEROPERABILITA’ UNITA’ DI CALCOLO Programma Operativo Nazionale “Ricerca, Sviluppo Tecnologico, Alta Formazione” Asse II “Rafforzamento e apertura del sistema scientifico a di alta formazione meridionale” Misura II.2 “Società dell’Informazione per il Sistema Scientifico Meridionale” Azione a – Sistemi di calcolo e simulazione ad alte prestazioni Griglie computazionali

16 Obiettivi della comunità “1575”
Favorire una proficua sinergia finalizzata a delineare la struttura portante della infrastruttura GRID meridionale che presenti fattori manifesti o latenti di attrattività per il sistema industriale Aprire ad altri soggetti che operano in ambito GRID per promuovere un proficuo interscambio nazionale ed internazionale Promuovere e favorire gli elementi di novità: Nuove comunità di utenti scientifici Grid Computing anche per il mondo produttivo e e sociale INTEROPERABILITA' dell'infrastruttura, delle applicazioni e del supporto agli utenti SERVICE LEVEL AGREEMENT Risultati raggiunti: E’ stata creata una community e sono state gettate le basi per le prossime sfide della programmazione : LA REALIZZAZIONE DELL’e-INFRASTRUTTURA ITALIANA APERTA ALLA COLLABORAZIONE E ALL’INTERAZIONE TRA RICERCA E IMPRESA Griglie computazionali

17 Il nuovo soggetto: GRISU’
L’attività di interoperabilità proseguirà al termine dei progetti dell’Avviso 1575 nell’ambito di una struttura organizzativa denominata GRISU’ (Griglia del Sud). Protocollo di Intesa stipulato tra i soggetti attuatori dei quattro progetti (ENEA, UniNA Federico II, Cons. COSMOLAB, Cons. COMETA) e il Cons. SPACI (già fruitore del progetto omonimo cofinanziato tramite l’Avviso 68 della programmazione ). Ricerca, Sviluppo e Innovazione Cooperazione con le Imprese Integrazione nell’Italian Grid Infrastructure e nell’European G. I. Griglie computazionali

18 Strategia di Interoperabilità
GARR PI2S2 Altri Enti e realtà SPACI Griglie computazionali

19 European GRID Infrastructure Italian GRID Infrastructure
EGI European GRID Infrastructure IGI Italian GRID Infrastructure INFN-GRID ENEA-GRID PORTICI BRINDISI LECCE TRISAIA GRISU’ Griglie computazionali - a.a

20 Griglie computazionali
INFN-GRID ENEA-GRID Griglie computazionali

21 Il futuro dell’ e-Infrastruttura della rete GARR
GARR-X NEL MERIDIONE FASE ZERO: INTEGRAZIONE TRA I 4 PON LA RETE DELLA RICERCA OGGI Griglie computazionali

22 Le Regioni “Obiettivo” per la programmazione 2007-2013 dell’UE
Convergenza (CONV) (in ritardo di sviluppo) Phasing Out (out da CONV, gode del Sostegno Transitorio) Phasing In (in CRO) Competività Regionale e Occupazione (CRO) Ph OUT Ph IN Griglie computazionali

23 Griglie computazionali
Beyond SCoPE High bandwidth network and services Cloud computing Scientific and industrial applications High Performance Computing e Grid Computing. Data Mining Development of algorithms and software Aerospace, Automobile Telecommunications, Informatics, Elettronics Security Chemistry, Farmaceutica, Biomedicine Transportation e logistics Finance and Economy Services for Public Cooperation between Science and Industry Interoperability and Integration in GriSù  IGI  EGI Griglie computazionali

24 Oltre l’e-Science verso . . .
e-Infrastructure security mobility semantic web. management automatic e-sience e-business aeronautics genomics environment astronomy broadband Global knowledge infrastructure “ La luce della scienza cerco e ‘l beneficio “ (Galileo Galilei) Griglie computazionali

25 Griglie computazionali
Sistemi di calcolo distribuito tradizionali e Grid computing Griglie computazionali

26 Griglie computazionali
Che cosa è un sistema distribuito ? E’ un sistema di molti processori distribuiti su rete locale o geografica, interconnessi tra loro, accessibili agli utenti nel modo più trasparente possibile e capaci di cooperare tra loro alla soluzione di un problema (ad es. un’applicazione dell’utente). Mass storage condiviso Cluster di PC Utenti Esempio R e t e Griglie computazionali

27 Griglie computazionali
“Pro” e “Contro” di un sistema distribuito rispetto a Mainframes o a PC indipendenti Vantaggi: Basso costo in rapporto alle prestazioni. Potenza integrata scalabile. Reti a banda larga e affidabili (100 Mb/s – 10 Gb/s). Distribuzione delle risorse di calcolo su più sedi (es. banche, aziende, industrie, istituzioni scientifiche, università). Affidabilità dell’intero sistema (riduzione dei single points of failure). Condivisione di dati su più sedi (es. database comuni). Lavoro collaborativo (es. video e audio conferenza, , web). Problemi: Gestione “globale” e “controllata”. Riservatezza e Sicurezza delle informazioni. Disaster Recovery su scala geografica. Griglie computazionali

28 Griglie computazionali
Esempio di loosely coupled SW su loosely coupled HW: Network Operating System (file condivisi) L A N cache CPU M File Server Submit job LSF, PBS, … Job Manager Run job Griglie computazionali

29 Griglie computazionali
Problema: Controllo centralizzato, mancanza di coordinameno per l’esecuzione dei processi e scarsa interazione tra i sistemi componenti. Soluzione: Sistema operativo distribuito: tightly-coupled SW su loosely-coupled HW come se fosse un singolo sistema invece che una collezione di singoli sistemi. Obiettivi da raggiungere: Meccanismo unico di comunicazione fra i processi (Interprocess communication) Schema unico di protezione globale (Security). Unica gestione dei processi (Process management). Unico meccanismo di accesso ai dati (Data management). Sistema informativo globale (Information system). Autonomia di utilizzo delle risorse locali (Governance). Griglie computazionali

30 Requisiti di un sistema distribuito
Trasparenza: Il sistema deve apparire come un sistema singolo. Si puo’ ottenere a due livelli: Flessibilità: Adattabilità a nuove esigenze. Affidabilità (reliability): Caratteristica intrinseca del sistema distribuito: se una macchina ha problemi il job può andare su altre. Efficienza (performance): Parametri di efficienza (performance metrics): Response time. Throughput (numero di job in un’ora, strettamente dipendente dal tipo di job: cpu bound o I/O bound). Uso di banda trasmissiva sulla rete. Granularita’ del calcolo (grain size): Fine-grain parallelism (difficile per un SD). Coarse-grain parallelism (si adatta meglio a un SD). Scalabilità: L’espandibilità è un requisito fondamentale di un sistema distribuito. Griglie computazionali

31 Griglie computazionali
CHE COSA E’ UNA GRID ? Si parla di molti tipi di griglie computazionali: Science Grid, Bio Grid, Campus Grid, Data Grid, Sensor Grid, Cluster Grid, ecc. (In passato, analoga confusione di termini: SNA, DECNET erano parte di Internet o no ? Chiarimento: Internet è architettura basata su IP (Internet Protocol). Necessità di una definizione di GRID non ambigua ! 1969 (Len Kleinrock) – Analogia con le reti elettriche e telefoniche. “We will probably see the spread of ‘computer utilities’, which, like present electric and telephone utilities, will service individual homes and offices across the country”. Griglie computazionali

32 Griglie computazionali
1998 (Ian Foster e Carl Kesselman) – “A computational grid is a hardware and software infrastructure that provides dependable, consistent, pervasive and inexpensive access to high-end computational capabilities”. 2000 (Ian Foster, Carl Kesselman e Steve Tuecke) – Grid computing is concerned with “coordinated resource sharing and problem solving in dynamic, multi-istitutional virtual organizations”. Punti chiave: Capacità di negoziare secondo regole stabilite la condivisione di risorse (computers, software, dati, ecc.) da parte di organizzazioni o istituzioni (scientifiche, industriali, governative, ecc.) che agiscono da Virtual Organizations. Importanza di definire protocolli standard per consentire la interoperabilità e realizzare una infrastruttura comune. Griglie computazionali

33 DEFINIZIONE DI GRID IN 3 PUNTI
GRID è un sistema che: Coordina risorse che non devono essere soggette ad alcun controllo centralizzato. (es. PC desktop personali, nodi di calcolo e database di istituzioni sparse su territorio nazionale e nel mondo, senza la necessità del controllo tipico di un sistema a gestione locale, pur garantendo la sicurezza e la realizzazione delle politiche di utilizzo all’interno di un’organizzazione virtuale). Griglie computazionali

34 Griglie computazionali
2) Usa protocolli e interfacce standard, open, general-purpose. (essenziali per assicurare in modo trasparente funzionalità di base quali autenticazione, autorizzazione, ricerca e accesso alle risorse). 3) Assicura un’elevata qualità di servizio (QoS - Quality of Service). (es. tempi di risposta, throughput, disponibilità, sicurezza, co-allocazione di risorse). Griglie computazionali

35 Griglie computazionali
Non sono GRID (ad esempio): Un sistema di gestione di code batch che utilizzano le CPU di un computer multi-processore o di computer inseriti in un cluster o su una LAN: c’è controllo centralizzato delle risorse e conoscenza completa dello stato del sistema. Il Web: benché usi protocolli standard, aperti e general-purpose, manca l’uso coordinato delle risorse per assicurare la migliore QoS. Sono approssimativamente GRID (ad esempio): c) I sistemi di schedulers multi-site (es. Condor, Entropia) o di database federati (es. Storage Resource Broker) che distribuiscono risorse in modo non centralizzato e assicurano seppur limitate QoS, pur non basandosi completamente su standards. Griglie computazionali

36 Griglie computazionali
Sono GRID (ad esempio): I progetti di “Data Grid” per il calcolo intensivo e distribuito in ambito accademico e scientifico in EU (EDG, CrossGRID, Data Tag, LCG, EGEE), in USA (GriPhyN, PPDG, iVDGL) e in Asia (ApGrid) e molti altri ancora. Essi si propongono di: Integrare risorse anche non omogenee appartenenti a molte istituzioni che conservano in ogni caso le loro politiche di utilizzo. Accesso on-demand alle risorse. Usare protocolli aperti, standard e general-purpose per la gestione delle risorse (ad es. il Globus Toolkit, l’EDG Toolkit, l’Open Grid Service Architecture - OGSA). Garantire qualità di servizio in vari settori (sicurezza, affidabilità, prestazioni, ecc.). Griglie computazionali

37 Architettura, livelli, protocolli
e servizi Grid Griglie computazionali

38 Griglie computazionali
IL PROBLEMA GRID Realizzare la condivisione coordinata di risorse su larga scala in un contesto di organizzazione virtuale, multi-instituzionale e dinamica. Occorre una nuova architettura che: identifichi le componenti principali del sistema. specifichi lo scopo e la funzione di queste componenti. indichi come queste componenti interagiscono fra di loro. definisca servizi e protocolli comuni per garantire l’interoperabilità attraverso la rete (flessibilità di aggiungere nuovi utenti, servizi e piattaforme hw/sw in modo dinamico) e costituire così un sistema aperto. Griglie computazionali

39 Griglie computazionali
DEFINIZIONI PROTOCOLLO: Insieme di regole e formati per lo scambio di informazioni. Protocolli standard sono fondamentali per assicurare l’interoperabilità. Esempi: Internet Protocol (IP): trasferimento di pacchetti senza garanzia di affidabilità. Transmission Control Protocol (TCP): costruito su IP per definire un protocollo affidabile. Transport Layer Security Protocol (TLS): costruito su TCP, garantisce sicurezza e integrità dei dati. Lightweight Direct Access Protocol (LDAP): costruito su TCP, è un protocollo per l’accesso a directories (anche database). Griglie computazionali

40 Griglie computazionali
SERVIZIO: protocollo + funzione. Capacità di svolgere una funzionalità sulla rete (ad es. muovere files, creare processi, verificare diritti di accesso). Un servizio è definito in base alla funzione che svolge ed al protocollo che “parla”. Esempi: FTP server: parla il File Transfer Protocol e gestisce l’accesso in lettura e scrittura di files remoti. Opera il trasferimento di pacchetti senza garanzia di affidabilità. LDAP server: parla il protocollo LDAP e supporta le risposte alle interrogazioni (ad es. usando informazioni presenti in un database). Più servizi possono parlare lo stesso protocollo: ad es. nel Globus Toolkit il Replica Catalog (RC) e l’Information Service (IS) usano entrambi LDAP. Griglie computazionali

41 L’ARCHITETTURA A CLESSIDRA
Si tratta di un modello a strati (layers). Il modello di riferimento è la clessidra (hourglass): Il centro (neck) della clessidra definisce un piccolo insieme di astrazioni di base (core) e di protocolli (servizi di base). La parte superiore contiene high level services (o behaviors) che si basano sui servizi e protocolli sottostanti. La parte inferiore contiene le risorse della grid. Griglie computazionali

42 Griglie computazionali

43 Griglie computazionali
Fabric Connectivity Resource Collective Application Griglie computazionali

44 Interfacce per il controllo locale
FABRIC Layer: Interfacce per il controllo locale Fornisce le risorse per l’accesso condiviso da parte della Grid. Ad esempio: Risorse computazionali Sistemi di storage Cataloghi Risorse di rete Sensori Le risorse devono assicurare un meccanismo di enquiry che consenta di scoprire la loro struttura, lo stato e la loro capacità ed un meccanismo di management per il controllo della qualità del servizio offerto. Griglie computazionali

45 Comunicazione facile e sicura
CONNECTIVITY Layer: Comunicazione facile e sicura Definisce i protocolli base per la comunicazione e l’autenticazione. I protocolli di comunicazione abilitano lo scambio dei dati fra le risorse del fabric layer e si basano sui protocolli dell’architettura Internet (IP, TCP, UDP, DNS, RSVP). I protocolli di autenticazione sono costruiti sui servizi di comunicazione per fornire meccanismi crittografici sicuri per verificare l’identità di utenti e risorse. Griglie computazionali

46 Griglie computazionali
I protocolli di autenticazione devono avere le seguenti caratteristiche: Single sign on: l’utente si deve autenticare una volta sola. Delegation: propagazione delle credenziali ai programmi Integration with local security: non sostituiscono ma si mappano nell’environment locale. User-based trust relationships: il sistema di security non deve richiedere che i sistemi di security locali interagiscano tra di loro per configurare l’ambiente di sicurezza. Il Globus Toolkit usa i protocolli GSI (Grid Security Infrastructure) per l’autenticazione (certificati con formato X.509), la protezione della comunicazione (estende i protocolli di TLS - Transport Layer Security) e l’autorizzazione. Griglie computazionali

47 Condivisione di risorse singole
RESOURCE Layer: Condivisione di risorse singole Definisce i protocolli per negoziare, iniziare, monitorare, controllare, addebitare l’utilizzo di risorse singole, cioè non distribuite. Questi protocolli utilizzano funzioni del Fabric per accedere e controllare risorse locali. Due classi principali di protocolli dello strato Resource: Information protocols, per ottenere informazioni sulla configurazione e lo stato di una risorsa. Management protocols, per negoziare l’accesso alla risorsa condivisa. Griglie computazionali

48 Griglie computazionali
Il Globus Toolkit usa protocolli standard: GRIP (Grid Resource Information Protocol), basato su LDAP per definire uno standard resource information protocol e il relativo information model. GRRP (Grid Resource Registration Protocol), per registrare le risorse. GRAM (Grid Resource Access Management), basato su HTTP, per l’allocazione delle risorse di calcolo e per il monitoring e il controllo del calcolo su queste risorse. GRAM utilizza il linguaggio RSL (Resource Specification Language) per la specifica delle richieste. GridFTP (Grid File Transfer Protocol), basato su FTP, per l’accesso ai dati; ha funzionalità estese rispetto a FTP (usa i protocolli di sicurezza dello strato Connectivity, gestisce una sorta di parallelismo per i trasferimenti ad alta velocità, ecc.). LDAP (Lightweight Directory Access Protocol), per l’accesso a directories. A ciò si aggiungono servizi quali: GIIS (Grid Index Information Service); GIS (Grid Information Service); GRIS (Grid Resource Information Service). GSS (Generic Security Service). L’ Information Service ha un ruolo fondamentale nella grid perché sta alla base del resource discovery e del decision making. Griglie computazionali

49 Griglie computazionali

50 Coordinamento di collezioni di risorse
COLLECTIVE Layer: Coordinamento di collezioni di risorse Definisce protocolli e servizi (e API e SDK) che non sono associati a una singola risorsa ma a una collezione di risorse. Essi si basano sui protocolli definiti nel Resource e nel Connectivity layer. Quindi possono implementare una vasta gamma di servizi senza porre nuovi requisiti sulle risorse condivise. Esempi di servizi: Directory services: consentono ai membri di una VO di identificare le risorse a disposizione della VO. Utilizzano i protocolli GRRP e GRIP. Co-allocation, scheduling and brokering services: consentono ai membri di una VO di richiedere e schedulare l’allocazione di una o più risorse (es. Condor-G). Monitoring and diagnostics services: consentono il monitoraggio delle risorse di una VO, inclusi gli attacchi (intrusion detection). Data replication services: consentono la gestione ottimizzata delle risorse di storage di una VO per massimizzarne le prestazioni (tempi di risposta, affidabilità, ecc.). Griglie computazionali

51 Griglie computazionali
Grid-enabled programming systems: consentono l’utilizzo di modelli di programmazione utili in ambienti Grid per l’implementazione dei vari servizi Grid (es. Message Passing Interface). Workload management systems and collaboration frameworks: chiamati anche PSE (Problem Solving Environments) per l’utilizzo e la gestione dei carichi di lavoro in ambienti collaborativi. Software discovery services: consentono di scegliere software e piattaforme adatte per il problema specifico da risolvere (es. NetSolve). Community authorization servers: consentono di gestire le politiche di accesso alle risorse di una comunità in modo da renderle fruibili all’utente. Community accounting and payment services: consentono di raccogliere informazioni sull’utilizzo delle risorse ai fini di resoconti, pagamenti, limitazioni di uso. Collaboratory services: consentono lo scambio di informazioni all’interno di vaste comunità di utenti (es. CavernSoft). Il Globus Toolkit utilizza i servizi di cui sopra e altri, fra cui MDS (Meta Directory Service) per la gestione informativa delle risorse. Griglie computazionali

52 Griglie computazionali
APPLICATIONS Layer Comprende le applicazioni degli utenti appartenenti ad una Virtual Organization. Le applicazioni sono costruite sulla base dei servizi definiti in ciascuno strato. Griglie computazionali

53 Griglie computazionali

54 Griglie computazionali

55 Servizi “core” (presenti in ciascun sito)
Piena compatibilità con il m/w EGEE (gLite/LCG) con release e aggiornamenti frequenti e controllati centralmente. Middleware INFNGRID Servizi “core” (presenti in ciascun sito) Repository pacchetti del middleware (YAIM - INFNGRID Scientific Linux CERN 3.x - Istallazione e aggiornamenti automatici via PXE – Framework Globus 2.x) Servizi di computing (Computing Element  gestione dei Worker Node – Servizi Globus: globus-gatekeeper, globus-gridftp, GRIS – Batch system: PBS, Torque, LSF) Servizi di storage (Storage Element  gestione dello storage – Servizi Globus: globus-gridftp, GRIS) User Interface (sottomissione di job, visualizzazione stato di un job, cancellazione di un job, recupero dell'output di un job, via remota SSH o web GENIUS)

56 Servizi “collective” (gestiti centralmente)
Servizi di autenticazione/autorizzazione (VOMS - Virtual Organization Membership Service) Servizi di allocazione dei job (Resource Broker – allocazione job via matchmaking con le risorse) Servizi informativi (GRIS Grid Resource Information Service  Information Index Cataloghi di file / repliche (LFC LCG File Catalog  localizzazione dei dati, copia dei dati, gestione e replica dei dati, gestione dei meta-dati, MySQL) User interface

57 Servizi aggiuntivi di supporto e gestione dell’infrastruttura
Certification Authority (Certificati personali e server di una Registration Authority locale) Servizi di Monitoring (GridIce  monitoring delle risorse, SAM Service Availability Monitoring  monitoring dei servizi) Servizi di Accounting (DGAS - Distributed Grid Accounting: le informazioni sono raccolte in un database Home Location Register) Servizi di Ticketing per la risoluzione di problemi (Gestione dei trouble ticket)

58 Grid Service Center Grid Site LFC DGAS VOMS SAM II RB MS TS GRID UI
WN CE YAIM UI GRID DGAS TS SAM MS LFC II VOMS RB Grid Service Center Grid Site

59 Griglie computazionali
Il portale web GENIUS Griglie computazionali

60 Il laboratorio GILDA per la “dissemination”
Griglie computazionali

61 EVOLUZIONE DELL’ARCHITETTURA GRID
Open Grid Services Architecture (OGSA) è un nuovo paradigma concettuale che vuole mettere insieme le potenzialità dei servizi Web con il Grid computing. Le applicazioni invocheranno i Web services tramite il Web Services Description Language (WSDL). Molti progetti (es. LCG, EGEE) già prevedono il passaggio da un’architettura basata su Globus ad una basata su OGSA. gLite è il m/w EGEE Globus 2 based OGSA based EDG VDT . . . LCG EGEE EGEE-3 EGEE-2 EGEE-1 LCG-2 LCG-1 gLite Griglie computazionali

62 L’ARCHITETTURA DEL M/W
Collective Services Information & Monitoring Replica Manager Grid Scheduler Local Application Local Database Underlying Grid Services Computing Element Services Authorization Authentication and Accounting Replica Catalog Storage Element Services SQL Database Services Fabric services Configuration Management Node Installation & Monitoring and Fault Tolerance Resource Management Fabric Storage Grid Fabric Local Computing Grid Application Layer Data Management Job Management Metadata Management Service Index APPLICATIONS GLOBUS M / W Griglie computazionali

63 I COMPONENTI Griglie computazionali Computing Elements System Managers
Collective Services Information & Monitoring Replica Manager Grid Scheduler Local Application Local Database Underlying Grid Services Computing Element Services Authorization Authentication and Accounting Replica Catalog Storage Element Services SQL Database Services Fabric services Configuration Management Node Installation & Monitoring and Fault Tolerance Resource Management Fabric Storage Grid Application Layer Data Management Job Management Metadata Management Object to File Mapping Service Index Computing Elements System Managers Scientists Operating Systems File Systems Storage Elements Mass Storage Systems HPSS, Castor User Accounts Certificate Authorities Application Developers Batch Systems PBS, LSF, etc. Griglie computazionali

64 Griglie computazionali
Come funziona una Grid Griglie computazionali

65 Autenticazione e Accesso
L’identità dell’utente deve essere certificata dalle CA (Certification Authorities) nazionali. Le risorse devono essere certificate dalle CA e sono rese accessibili solo agli utenti certificati ed identificati (X.509 Public Key Infrastructure). L’utente passa ai propri processi temporaneamente il diritto di essere eseguiti. Ciascuna organizzazione virtuale si dota di politiche per l’accesso dei propri utenti alle risorse appartenenti a domini differenti (diverse sedi). Griglie computazionali

66 ESEMPIO DI JOB SUBMISSION
Computing Element Storage Element Site X Information System submit query retrieve Resource Broker User Interface publish state R-GMA Replica Location Service VOMS update credential Griglie computazionali

67 Griglie computazionali
User Interface (UI) : punto di accesso dell’utente al Workload Management System. Resource Broker (RB) : gestore delle risorse di GRID, ha il compito di trovare le migliori risorse dove sottomettere i jobs. Job Submission Service (JSS) : fornisce un sistema affidabile di sottomissione jobs. Information Index (II) : servizio specializzato usato dal Resource Broker come filtro per l’Information Service per selezionare le risorse. Logging and Bookkeeping services (LB) : fornisce le informazioni sui jobs su richiesta degli utenti. The EDG WMS is comprised of 5 major parts: The user interface which hosts all of the user level commands. This is the place where the user interacts with WMS (and thus with the Grid) The resource broker tries to schedule jobs on the grid allowing an efficient use of Grid resources The job submission system actually delivers jobs to the computing elements chosen by the resource broker. The information index, a “cache” to the Information Service (populated by the EDG Information Service providers), allows the resource broker to retrieve information about the status of the Grid Finally, the logging and bookkeeping services store job information and are used for job monitoring Griglie computazionali

68 Griglie computazionali
RB node RLS Network Server UI Workload Manager Inform. Service Job Contr. - CondorG CE characts & status SE characts & status The overall plan defined for the quality objectives is described here after : Computing Element Storage Element Griglie computazionali

69 access the functionalities of the WMS
Job Status RB node submitted RLS Network Server UI Workload Manager Inform. Service UI: allows users to access the functionalities of the WMS Job Contr. - CondorG CE characts & status SE characts & status The overall plan defined for the quality objectives is described here after : Computing Element Storage Element

70 glite-job-submit file.jdl
edg-job-submit myjob.jdl Myjob.jdl JobType = “Normal”; Executable = "$(CMS)/exe/sum.exe"; InputSandbox = {"/home/user/WP1testC","/home/file*”, "/home/user/DATA/*"}; OutputSandbox = {“sim.err”, “test.out”, “sim.log"}; Requirements = other. GlueHostOperatingSystemName == “linux" && other. GlueHostOperatingSystemRelease == "Red Hat 6.2“ && other.GlueCEPolicyMaxWallClockTime > 10000; Rank = other.GlueCEStateFreeCPUs; Job Status RB node submitted Replica Catalog Network Server UI Workload Manager Inform. Service Job Description Language (JDL) to specify job characteristics and requirements glite-job-submit file.jdl Job Contr. - CondorG CE characts & status SE characts & status The overall plan defined for the quality objectives is described here after : Computing Element Storage Element

71 responsible for accepting incoming requests RB node
NS: network daemon responsible for accepting incoming requests Job Status RB node waiting submitted RLS Network Server Job UI Input Sandbox files Workload Manager Inform. Service RB storage Job Contr. - CondorG CE characts & status SE characts & status The overall plan defined for the quality objectives is described here after : Computing Element Storage Element

72 WM: responsible to take the appropriate actions to satisfy the request
Job Status RB node waiting submitted RLS Network Server UI Job Workload Manager Inform. Service RB storage WM: responsible to take the appropriate actions to satisfy the request Job Contr. - CondorG CE characts & status SE characts & status The overall plan defined for the quality objectives is described here after : Computing Element Storage Element

73 RB node UI RB waiting submitted RLS Network Server Match- Maker/
Job Status RB node waiting submitted RLS Network Server UI Match- Maker/ Broker Workload Manager Inform. Service RB storage Where must this job be executed ? Job Contr. - CondorG CE characts & status SE characts & status The overall plan defined for the quality objectives is described here after : Computing Element Storage Element

74 Matchmaker: responsible to find the “best” CE where to submit a job UI
Status RB node waiting submitted RLS Network Server Matchmaker: responsible to find the “best” CE where to submit a job UI Match- Maker/ Broker Workload Manager Inform. Service RB storage Job Contr. - CondorG CE characts & status SE characts & status The overall plan defined for the quality objectives is described here after : Computing Element Storage Element

75 RB node UI RB waiting submitted RLS Network Server Match- Maker/
Job Status RB node Where are (which SEs) the needed data ? waiting submitted RLS Network Server UI Match- Maker/ Broker Workload Manager Inform. Service RB storage What is the status of the Grid ? Job Contr. - CondorG CE characts & status SE characts & status The overall plan defined for the quality objectives is described here after : Computing Element Storage Element

76 RB node UI RB waiting submitted RLS Network Server Match- Maker/
Job Status RB node waiting submitted RLS Network Server UI Match- Maker/ Broker Workload Manager Inform. Service RB storage CE choice Job Contr. - CondorG CE characts & status SE characts & status The overall plan defined for the quality objectives is described here after : Computing Element Storage Element

77 JA: responsible for the final “touches”
Job Status RB node waiting submitted RLS Network Server UI Workload Manager Inform. Service RB storage Job Adapter Job Contr. - CondorG CE characts & status JA: responsible for the final “touches” to the job before performing submission (e.g. creation of wrapper script, etc.) SE characts & status The overall plan defined for the quality objectives is described here after : Computing Element Storage Element

78 JC: responsible for the actual job management operations (done via
Status RB node submitted waiting ready RLS Network Server UI Workload Manager Inform. Service RB storage Job Job Contr. - CondorG JC: responsible for the actual job management operations (done via CondorG) CE characts & status SE characts & status The overall plan defined for the quality objectives is described here after : Computing Element Storage Element

79 RB node UI RB submitted waiting ready scheduled RLS Network Server
Job Status RB node submitted waiting ready scheduled RLS Network Server UI Workload Manager Inform. Service RB storage Job Contr. - CondorG Input Sandbox files CE characts & status SE characts & status The overall plan defined for the quality objectives is described here after : Job Computing Element Storage Element

80 RB node UI RB submitted waiting ready scheduled running RLS Network
Job Status RB node submitted waiting ready scheduled running RLS Network Server UI Workload Manager Inform. Service RB storage Job Contr. - CondorG Input Sandbox The overall plan defined for the quality objectives is described here after : “Grid enabled” data transfers/ accesses Computing Element Storage Element Job

81 RB node UI RB submitted waiting ready scheduled running done RLS
Job Status RB node submitted waiting ready scheduled running done RLS Network Server UI Workload Manager Inform. Service RB storage Job Contr. - CondorG Output Sandbox files The overall plan defined for the quality objectives is described here after : Computing Element Storage Element

82 glite-job-output jobid
Status RB node edg-job-get-output <dg-job-id> submitted waiting ready scheduled running done RLS Network Server UI Workload Manager Inform. Service RB storage glite-job-output jobid Job Contr. - CondorG Output Sandbox The overall plan defined for the quality objectives is described here after : Computing Element Storage Element

83 RB node UI RB cleared submitted waiting ready scheduled running done
Job Status RB node cleared submitted waiting ready scheduled running done RLS Network Server UI Output Sandbox files Workload Manager Inform. Service RB storage Job Contr. - CondorG The overall plan defined for the quality objectives is described here after : Computing Element Storage Element

84 Griglie computazionali
glite-job-status jobid RB node edg-job-status <dg-job-id> edg-job-get-logging-info <dg-job-id> Network Server UI LB: receives and stores job events; processes corresponding job status Workload Manager Job status Logging & Bookkeeping Job Contr. - CondorG Log Monitor The overall plan defined for the quality objectives is described here after : Log of job events LM: parses CondorG log file (where CondorG logs info about jobs) and notifies LB Computing Element Griglie computazionali

85 Grid.IT Production Grid: Operations Portal
Griglie computazionali

86 Griglie computazionali
Access to the Grid Griglie computazionali

87 Griglie computazionali

88 Griglie computazionali - a.a. 2009-10
Grid Monitoring Griglie computazionali - a.a

89 Griglie computazionali

90 Griglie computazionali - a.a. 2009-10


Scaricare ppt "Griglie computazionali"

Presentazioni simili


Annunci Google