La presentazione è in caricamento. Aspetta per favore

La presentazione è in caricamento. Aspetta per favore

1 PROGETTI E ARCHITETTURE GRID Progetti Grid INFN-NA e UniNA Sistemi di calcolo distribuito tradizionali e Grid computing Architettura, livelli, protocolli.

Presentazioni simili


Presentazione sul tema: "1 PROGETTI E ARCHITETTURE GRID Progetti Grid INFN-NA e UniNA Sistemi di calcolo distribuito tradizionali e Grid computing Architettura, livelli, protocolli."— Transcript della presentazione:

1 1 PROGETTI E ARCHITETTURE GRID Progetti Grid INFN-NA e UniNA Sistemi di calcolo distribuito tradizionali e Grid computing Architettura, livelli, protocolli e servizi Grid Come funziona una Grid Griglie computazionali Università degli Studi di Napoli Federico II Corso di Laurea Magistrale in Informatica – I Anno Griglie computazionali

2 Griglie computazionali - a.a Progetti GRID INFN-NA e UniNA Griglie computazionali

3 3 Campus GRID Monte SantAngelo NAPOLI World Wide GRID Calcolo Parallelo e Linux Farms Campus GRID Struttura comune di HPC (High Performace Computing) basata su GRID a livello di campus universitario per la ricerca scientifica in Fisica, Chimica, Matematica. Matematica ICAR Centro Stella di Campus Centro Stella di Campus Chimica INSTM Fisica INFN – INFM CdC Reg. Banda 1 Gbit Banda 1 Gbit Progetto Campus GRID Progetto Campus GRID ( )

4 Griglie computazionali4 DSF: Locale 1G01 (sede infrastruttura principale del Campus Grid) DSF : Locale 1M16 DMA Campus Grid a Monte SantAngelo DiChi DSF C.S.I. GARR Collegamenti in fibra fra DSF, Chim. e Mat.

5 Griglie computazionali5 Dip. di Chimica Dip. di Scienze Fisiche Dip. di Matematica ICAR CNR INFN INFM INSTM COSTITURE UNA STRUTTURA DI CALCOLO AVANZATO BASATA SU GRIGLIE COMPUTAZIONALI (CAMPUS GRID)

6 Griglie computazionali6 Progetto S.Co.P.E ( )Sistema Cooperativo Distribuito ad alte Prestazioni per Elaborazioni Scientifiche Multidisciplinari Obiettivo finale del progetto è la realizzazione di un Sistema di Calcolo ad Alte Prestazioni, orientato ad applicazioni scientifiche multidisciplinari, che operi anche secondo il paradigma GRID, dedicato alla modellistica computazionale ed alla gestione di grosse banche dati, per ricerche nelle aree applicative di interesse del progetto, ovvero: Scienze del Microcosmo e del Macrocosmo, Scienze della Vita, Scienze dei Materiali e dellAmbiente. + area tecnologica: Middleware

7 Griglie computazionali7 Macro area Scie nze M.F.N. Macro area Medi cina Struttura centrale (CSI) Area delle Scienze MM.FF.NN. (Campus – GRID) Area delle Scienze Ingegneristiche Area delle Scienze Mediche e Biotecnologie Dip.Informatica e Sistemistica Dip. Ingegneria Elettrica Dip.Ingegneria Elettronica e delle Telecomunicazioni Dip. Biochimica e Biotecnologie mediche Macro area Medi cina Area delle Scienze Umane e Sociali Dip. Matematico- Statistico Dip. di Scienze Fisiche Dip.Ingegneria Chimica Organizzazioni esterne ma collegate INFN Sezione di Napoli CNR-SPACI Napoli INFM Unità di Napoli CEINGE CRIAI ARPA CINI Dip. di Analisi e Progettazione Strutturale Dipartimento di Sociologia Centro di Eccellenza per lo Studio delle Malattie Genetiche Dip. di Matematica Dip. di Chimica 19 Departments and Research Institutes 128 Professors and Senior researchers from UniNA + many others from Research Institutes (INFN, etc.) 35 Young researchers (assegni di ricerca) 28 Technology specialists (co.co.co.)

8 Griglie computazionali8 Astrophysics group Search for gravitational waves Data mining and visualization of astronomical massive data sets and Particle Physics (subnuclear physics) group Study of proton-proton interactions at the CERN-LHC Large Hadron Collider and implementation of a Tier2 Data Centre for large scale, data intensive Montecarlo simulations and data analysis Bioinformatics group Study of genome sequence analysis and image analyses for cell motility and other dynamical phenomena and Numerical Mathematics and Scientific computing group Study and design of algorithms for distributed scientific applications and implementation on HPC infrastructures Statistical mechanics group Study of applications of statistical mechanics to complex systems Electromagnetism and Telecommunication group Study of models and measurements of electromagnetic field in the Napoli metropolitan area Material Science group Study of molecular dynamics and optical properties of nano-structured materials and Soft Matter Engineering group Study of models and simulations of the flux of micro-structured materials

9 Griglie computazionali9 The SCoPE Data Center 33 Racks (of which 10 for Tier2 ATLAS) 304 Servers for a total of processors 130 TeraByte storage 2 remote sites: Fac. Medicine: 60 TB storage Dep. Chemistry: 8 server multiCPU (4-proc)

10 Griglie computazionali - a.a INGRESSO Data Center SCOPE Control Room SCOPE Biologia Fisica

11 Griglie computazionali11 SCoPE DataCenter & Tier2 ATLAS 1 MW Cabina elettrica 1 MW

12 Griglie computazionali12 Control room Chem. Med. Data Center Low latency network 2432 core

13 Griglie computazionali13 CAMPUS GRID Monte SantAngelo DMA DiCh i DSF INFN C.S.I. GARR Fibra ottica S.CO.P.E. GARR 2.4 Gb/s Centro S.CO.P.E. Centro S.CO.P.E. Dipartimento di Scienze Fisiche Sezione INFN Cabina elettrica G.E. 1 MW Control room S.CO.P.E. The Metropolitan Network

14 Griglie computazionali - a.a ENEA INFN NAPOLI POP GARR BARI UNINA SCOPE 2x1 Gbit 1 Gbit 2x1 Gbit TIER2 10 Gbit 1 Gbit 2x10 Gbit POP GARR ROMA POP GARR M.S. Angelo POP GARR CATANIA CITTADELLA 2.5 Gbit TIER2 1 Gbit

15 Griglie computazionali15 Programma Operativo Nazionale Ricerca, Sviluppo Tecnologico, Alta Formazione Asse II Rafforzamento e apertura del sistema scientifico a di alta formazione meridionale Misura II.2 Società dellInformazione per il Sistema Scientifico Meridionale Azione a – Sistemi di calcolo e simulazione ad alte prestazioni Interoperabilità fra i Progetti dellAvviso 1575/2004 ESPERIENZA VIRTUOSA E DI SUCCESSO NEL MERIDIONE NASCITA DI UNA NUOVA COMUNITA SCIENTIFICA STIMABILE NELLORDINE DI 800 TRA RICERCATORI E TECNICI 5 DOCUMENTI STRATEGICI E TECNICI OPERATIVI 15 TECNICI DEDICATI ALLINTEROPERABILITA UNITA DI CALCOLO

16 Griglie computazionali16 Favorire una proficua sinergia finalizzata a delineare la struttura portante della infrastruttura GRID meridionale che presenti fattori manifesti o latenti di attrattività per il sistema industriale Aprire ad altri soggetti che operano in ambito GRID per promuovere un proficuo interscambio nazionale ed internazionale Promuovere e favorire gli elementi di novità: Nuove comunità di utenti scientifici Grid Computing anche per il mondo produttivo e e sociale Obiettivi della comunità 1575 E stata creata una community e sono state gettate le basi per le prossime sfide della programmazione : LA REALIZZAZIONE DELLe-INFRASTRUTTURA ITALIANA APERTA ALLA COLLABORAZIONE E ALLINTERAZIONE TRA RICERCA E IMPRESA

17 Griglie computazionali17 Il nuovo soggetto: GRISU Lattività di interoperabilità proseguirà al termine dei progetti dellAvviso 1575 nellambito di una struttura organizzativa denominata GRISU (Griglia del Sud). Protocollo di Intesa stipulato tra i soggetti attuatori dei quattro progetti (ENEA, UniNA Federico II, Cons. COSMOLAB, Cons. COMETA) e il Cons. SPACI (già fruitore del progetto omonimo cofinanziato tramite lAvviso 68 della programmazione ). Ricerca, Sviluppo e Innovazione Cooperazione con le Imprese Integrazione nellItalian Grid Infrastructure e nellEuropean G. I.

18 Griglie computazionali18 Strategia di Interoperabilità GARR PI2S2 GARR Altri Enti e realtà SPACI

19 Griglie computazionali - a.a PORTICI BRINDISILECCE TRISAIA GRISU EGI European GRID Infrastructure IGI Italian GRID Infrastructure INFN-GRID ENEA-GRID

20 Griglie computazionali20 INFN-GRID ENEA-GRID

21 Griglie computazionali21 LA RETE DELLA RICERCA OGGI IL FUTURO GARR-X NEL MERIDIONE FASE ZERO: INTEGRAZIONE TRA I 4 PON Il futuro dell e-Infrastruttura della rete GARR

22 Griglie computazionali22 Le Regioni Obiettivo per la programmazione dellUE Convergenza (CONV) (in ritardo di sviluppo) Phasing Out (out da CONV, gode del Sostegno Transitorio) Phasing In (in CRO) Competività Regionale e Occupazione (CRO) Ph IN Ph OUT

23 Griglie computazionali23 Beyond SCoPE High bandwidth network and services Cloud computing Scientific and industrial applications High Performance Computing e Grid Computing. Data Mining Development of algorithms and software Aerospace, Automobile Telecommunications, Informatics, Elettronics Security Chemistry, Farmaceutica, Biomedicine Transportation e logistics Finance and Economy Services for Public Cooperation between Science and Industry Cooperation between Science and Industry Interoperability and Integration in GriSù IGI EGI Interoperability and Integration in GriSù IGI EGI

24 Griglie computazionali24 e-Infrastructure security mobility semantic web. automatic management e-sience e-business aeronautics genomics environment astronomy broadband Oltre le-Science verso... La luce della scienza cerco e l beneficio La luce della scienza cerco e l beneficio (Galileo Galilei)

25 Griglie computazionali25 Sistemi di calcolo distribuito tradizionali e Grid computing

26 Griglie computazionali26 Che cosa è un sistema distribuito ? E un sistema di molti processori distribuiti su rete locale o geografica, interconnessi tra loro, accessibili agli utenti nel modo più trasparente possibile e capaci di cooperare tra loro alla soluzione di un problema (ad es. unapplicazione dellutente). Mass storage condiviso Cluster di PC Utenti Esempio R e t e

27 Griglie computazionali27 Pro e Contro di un sistema distribuito rispetto a Mainframes o a PC indipendenti Vantaggi: Basso costo in rapporto alle prestazioni. Potenza integrata scalabile. Reti a banda larga e affidabili (100 Mb/s – 10 Gb/s). Distribuzione delle risorse di calcolo su più sedi (es. banche, aziende, industrie, istituzioni scientifiche, università). Affidabilità dellintero sistema (riduzione dei single points of failure). Condivisione di dati su più sedi (es. database comuni). Lavoro collaborativo (es. video e audio conferenza, , web). Problemi: Gestione globale e controllata. Riservatezza e Sicurezza delle informazioni. Disaster Recovery su scala geografica.

28 Griglie computazionali28 L A N cache CPU M cache CPU M cache CPU M File Server Submit job LSF, PBS, … Job Manager Run job Network Operating System Esempio di loosely coupled SW su loosely coupled HW: Network Operating System (file condivisi)

29 Griglie computazionali29 Problema: Controllo centralizzato, mancanza di coordinameno per lesecuzione dei processi e scarsa interazione tra i sistemi componenti. Soluzione: Sistema operativo distribuito: Sistema operativo distribuito: tightly-coupled SW su loosely-coupled HW come se fosse un singolo sistema invece che una collezione di singoli sistemi. Obiettivi da raggiungere: Meccanismo unico di comunicazione fra i processi (Interprocess communication) Schema unico di protezione globale (Security). Unica gestione dei processi (Process management). Unico meccanismo di accesso ai dati (Data management). Sistema informativo globale (Information system). Autonomia di utilizzo delle risorse locali (Governance).

30 Griglie computazionali30 Requisiti di un sistema distribuito Trasparenza: Il sistema deve apparire come un sistema singolo. Si puo ottenere a due livelli: Flessibilità Flessibilità: Adattabilità a nuove esigenze. Affidabilità Affidabilità (reliability): Caratteristica intrinseca del sistema distribuito: se una macchina ha problemi il job può andare su altre. Efficienza Efficienza (performance): Parametri di efficienza (performance metrics): Response time. Throughput (numero di job in unora, strettamente dipendente dal tipo di job: cpu bound o I/O bound). Uso di banda trasmissiva sulla rete. Granularita del calcolo (grain size): Fine-grain parallelism (difficile per un SD). Coarse-grain parallelism (si adatta meglio a un SD). Scalabilità Scalabilità: Lespandibilità è un requisito fondamentale di un sistema distribuito.

31 Griglie computazionali31 CHE COSA E UNA GRID ? Si parla di molti tipi di griglie computazionali: Science Grid, Bio Grid, Campus Grid, Data Grid, Sensor Grid, Cluster Grid, ecc. (In passato, analoga confusione di termini: SNA, DECNET erano parte di Internet o no ? Chiarimento: Internet è architettura basata su IP (Internet Protocol). Necessità di una definizione di GRID non ambigua ! 1969 (Len Kleinrock) – Analogia con le reti elettriche e telefoniche. We will probably see the spread of computer utilities, which, like present electric and telephone utilities, will service individual homes and offices across the country.

32 Griglie computazionali (Ian Foster e Carl Kesselman) – A computational grid is a hardware and software infrastructure that provides dependable, consistent, pervasive and inexpensive access to high-end computational capabilities (Ian Foster, Carl Kesselman e Steve Tuecke) – Grid computing is concerned with coordinated resource sharing and problem solving in dynamic, multi-istitutional virtual organizations. Punti chiave: Virtual Organizations Capacità di negoziare secondo regole stabilite la condivisione di risorse (computers, software, dati, ecc.) da parte di organizzazioni o istituzioni (scientifiche, industriali, governative, ecc.) che agiscono da Virtual Organizations. Importanza di definire protocolli standard per consentire la interoperabilità e realizzare una infrastruttura comune.

33 Griglie computazionali33 DEFINIZIONE DI GRID IN 3 PUNTI GRID è un sistema che: 1) Coordina risorse che non devono essere soggette ad alcun controllo centralizzato. (es. PC desktop personali, nodi di calcolo e database di istituzioni sparse su territorio nazionale e nel mondo, senza la necessità del controllo tipico di un sistema a gestione locale, pur garantendo la sicurezza e la realizzazione delle politiche di utilizzo allinterno di unorganizzazione virtuale).

34 Griglie computazionali34 2) Usa protocolli e interfacce standard, open, general- purpose. (essenziali per assicurare in modo trasparente funzionalità di base quali autenticazione, autorizzazione, ricerca e accesso alle risorse). 3) Assicura unelevata qualità di servizio (QoS - Quality of Service). (es. tempi di risposta, throughput, disponibilità, sicurezza, co- allocazione di risorse).

35 Griglie computazionali35 Non sono GRID (ad esempio): a)Un sistema di gestione di code batch che utilizzano le CPU di un computer multi-processore o di computer inseriti in un cluster o su una LAN: cè controllo centralizzato delle risorse e conoscenza completa dello stato del sistema. b)Il Web: benché usi protocolli standard, aperti e general-purpose, manca luso coordinato delle risorse per assicurare la migliore QoS. Sono approssimativamente GRID (ad esempio): c)I sistemi di schedulers multi-site (es. Condor, Entropia) o di database federati (es. Storage Resource Broker) che distribuiscono risorse in modo non centralizzato e assicurano seppur limitate QoS, pur non basandosi completamente su standards.

36 36 Sono GRID (ad esempio): I progetti di Data Grid per il calcolo intensivo e distribuito in ambito accademico e scientifico in EU (EDG, CrossGRID, Data Tag, LCG, EGEE), in USA (GriPhyN, PPDG, iVDGL) e in Asia (ApGrid) e molti altri ancora. Essi si propongono di: Integrare risorse anche non omogenee appartenenti a molte istituzioni che conservano in ogni caso le loro politiche di utilizzo. Accesso on-demand alle risorse. Usare protocolli aperti, standard e general-purpose per la gestione delle risorse (ad es. il Globus Toolkit, lEDG Toolkit, lOpen Grid Service Architecture - OGSA). Garantire qualità di servizio in vari settori (sicurezza, affidabilità, prestazioni, ecc.). Griglie computazionali

37 37 Architettura, livelli, protocolli e servizi Grid Griglie computazionali

38 38 IL PROBLEMA GRID Realizzare la condivisione coordinata di risorse su larga scala in un contesto di organizzazione virtuale, multi-instituzionale e dinamica. Occorre una nuova architettura che: identifichi le componenti principali del sistema. specifichi lo scopo e la funzione di queste componenti. indichi come queste componenti interagiscono fra di loro. definisca servizi e protocolli comuni per garantire linteroperabilità attraverso la rete (flessibilità di aggiungere nuovi utenti, servizi e piattaforme hw/sw in modo dinamico) e costituire così un sistema aperto. Griglie computazionali

39 39 PROTOCOLLO: Insieme di regole e formati per lo scambio di informazioni. Protocolli standard sono fondamentali per assicurare linteroperabilità. Esempi: Internet Protocol (IP): trasferimento di pacchetti senza garanzia di affidabilità. Transmission Control Protocol (TCP): costruito su IP per definire un protocollo affidabile. Transport Layer Security Protocol (TLS): costruito su TCP, garantisce sicurezza e integrità dei dati. Lightweight Direct Access Protocol (LDAP): costruito su TCP, è un protocollo per laccesso a directories (anche database). DEFINIZIONI Griglie computazionali

40 40 SERVIZIO: protocollo + funzione. Capacità di svolgere una funzionalità sulla rete (ad es. muovere files, creare processi, verificare diritti di accesso). Un servizio è definito in base alla funzione che svolge ed al protocollo che parla. Esempi: FTP server: parla il File Transfer Protocol e gestisce laccesso in lettura e scrittura di files remoti. Opera il trasferimento di pacchetti senza garanzia di affidabilità. LDAP server: parla il protocollo LDAP e supporta le risposte alle interrogazioni (ad es. usando informazioni presenti in un database). Più servizi possono parlare lo stesso protocollo: ad es. nel Globus Toolkit il Replica Catalog (RC) e lInformation Service (IS) usano entrambi LDAP. Griglie computazionali

41 41 LARCHITETTURA A CLESSIDRA Si tratta di un modello a strati (layers). Il modello di riferimento è la clessidra (hourglass): Il centro (neck) della clessidra definisce un piccolo insieme di astrazioni di base (core) e di protocolli (servizi di base). La parte superiore contiene high level services (o behaviors) che si basano sui servizi e protocolli sottostanti. La parte inferiore contiene le risorse della grid. Griglie computazionali

42 42Griglie computazionali

43 43 Fabric Connectivity Resource Collective Application Griglie computazionali

44 44 Fornisce le risorse per laccesso condiviso da parte della Grid. Ad esempio: Risorse computazionali Sistemi di storage Cataloghi Risorse di rete Sensori Le risorse devono assicurare un meccanismo di enquiry che consenta di scoprire la loro struttura, lo stato e la loro capacità ed un meccanismo di management per il controllo della qualità del servizio offerto. FABRIC Layer: Interfacce per il controllo locale FABRIC Layer: Interfacce per il controllo locale Griglie computazionali

45 45 Definisce i protocolli base per la comunicazione e lautenticazione. I protocolli di comunicazione abilitano lo scambio dei dati fra le risorse del fabric layer e si basano sui protocolli dellarchitettura Internet (IP, TCP, UDP, DNS, RSVP). I protocolli di autenticazione sono costruiti sui servizi di comunicazione per fornire meccanismi crittografici sicuri per verificare lidentità di utenti e risorse. CONNECTIVITY Layer: Comunicazione facile e sicura CONNECTIVITY Layer: Comunicazione facile e sicura Griglie computazionali

46 46 I protocolli di autenticazione devono avere le seguenti caratteristiche: Single sign on: lutente si deve autenticare una volta sola. Delegation: propagazione delle credenziali ai programmi Integration with local security: non sostituiscono ma si mappano nellenvironment locale. User-based trust relationships: il sistema di security non deve richiedere che i sistemi di security locali interagiscano tra di loro per configurare lambiente di sicurezza. Il Globus Toolkit usa i protocolli GSI (Grid Security Infrastructure) per lautenticazione (certificati con formato X.509), la protezione della comunicazione (estende i protocolli di TLS - Transport Layer Security) e lautorizzazione. Griglie computazionali

47 47 Definisce i protocolli per negoziare, iniziare, monitorare, controllare, addebitare lutilizzo di risorse singole, cioè non distribuite. Questi protocolli utilizzano funzioni del Fabric per accedere e controllare risorse locali. Due classi principali di protocolli dello strato Resource: Information protocols, per ottenere informazioni sulla configurazione e lo stato di una risorsa. Management protocols, per negoziare laccesso alla risorsa condivisa. RESOURCE Layer: Condivisione di risorse singole RESOURCE Layer: Condivisione di risorse singole Griglie computazionali

48 48 Il Globus Toolkit usa protocolli standard: GRIP (Grid Resource Information Protocol), basato su LDAP per definire uno standard resource information protocol e il relativo information model. GRRP (Grid Resource Registration Protocol), per registrare le risorse. GRAM (Grid Resource Access Management), basato su HTTP, per lallocazione delle risorse di calcolo e per il monitoring e il controllo del calcolo su queste risorse. GRAM utilizza il linguaggio RSL (Resource Specification Language) per la specifica delle richieste. GridFTP (Grid File Transfer Protocol), basato su FTP, per laccesso ai dati; ha funzionalità estese rispetto a FTP (usa i protocolli di sicurezza dello strato Connectivity, gestisce una sorta di parallelismo per i trasferimenti ad alta velocità, ecc.). LDAP (Lightweight Directory Access Protocol), per laccesso a directories. A ciò si aggiungono servizi quali: GIIS (Grid Index Information Service); GIS (Grid Information Service); GRIS (Grid Resource Information Service). GSS (Generic Security Service). L Information Service ha un ruolo fondamentale nella grid perché sta alla base del resource discovery e del decision making. Griglie computazionali

49 49Griglie computazionali

50 50 Definisce protocolli e servizi (e API e SDK) che non sono associati a una singola risorsa ma a una collezione di risorse. Essi si basano sui protocolli definiti nel Resource e nel Connectivity layer. Quindi possono implementare una vasta gamma di servizi senza porre nuovi requisiti sulle risorse condivise. Esempi di servizi: Directory services: consentono ai membri di una VO di identificare le risorse a disposizione della VO. Utilizzano i protocolli GRRP e GRIP. Co-allocation, scheduling and brokering services: consentono ai membri di una VO di richiedere e schedulare lallocazione di una o più risorse (es. Condor-G). Monitoring and diagnostics services: consentono il monitoraggio delle risorse di una VO, inclusi gli attacchi (intrusion detection). Data replication services: consentono la gestione ottimizzata delle risorse di storage di una VO per massimizzarne le prestazioni (tempi di risposta, affidabilità, ecc.). COLLECTIVE Layer: Coordinamento di collezioni di risorse COLLECTIVE Layer: Coordinamento di collezioni di risorse Griglie computazionali

51 51 Grid-enabled programming systems: consentono lutilizzo di modelli di programmazione utili in ambienti Grid per limplementazione dei vari servizi Grid (es. Message Passing Interface). Workload management systems and collaboration frameworks: chiamati anche PSE (Problem Solving Environments) per lutilizzo e la gestione dei carichi di lavoro in ambienti collaborativi. Software discovery services: consentono di scegliere software e piattaforme adatte per il problema specifico da risolvere (es. NetSolve). Community authorization servers: consentono di gestire le politiche di accesso alle risorse di una comunità in modo da renderle fruibili allutente. Community accounting and payment services: consentono di raccogliere informazioni sullutilizzo delle risorse ai fini di resoconti, pagamenti, limitazioni di uso. Collaboratory services: consentono lo scambio di informazioni allinterno di vaste comunità di utenti (es. CavernSoft). Il Globus Toolkit utilizza i servizi di cui sopra e altri, fra cui MDS (Meta Directory Service) per la gestione informativa delle risorse. Griglie computazionali

52 52 APPLICATIONS Layer Comprende le applicazioni degli utenti appartenenti ad una Virtual Organization. Le applicazioni sono costruite sulla base dei servizi definiti in ciascuno strato. Griglie computazionali

53 53Griglie computazionali

54 54Griglie computazionali

55 Middleware INFNGRID Servizi core (presenti in ciascun sito) Repository pacchetti del middleware (YAIM - INFNGRID Scientific Linux CERN 3.x - Istallazione e aggiornamenti automatici via PXE – Framework Globus 2.x) Servizi di computing (Computing Element gestione dei Worker Node – Servizi Globus: globus- gatekeeper, globus-gridftp, GRIS – Batch system: PBS, Torque, LSF) Servizi di storage (Storage Element gestione dello storage – Servizi Globus: globus-gridftp, GRIS) User Interface (sottomissione di job, visualizzazione stato di un job, cancellazione di un job, recupero dell'output di un job, via remota SSH o web GENIUS) Piena compatibilità con il m/w EGEE (gLite/LCG) con release e aggiornamenti frequenti e controllati centralmente.

56 Griglie computazionali - a.a Servizi collective (gestiti centralmente) Servizi di autenticazione/autorizzazione (VOMS - Virtual Organization Membership Service) Servizi di allocazione dei job (Resource Broker – allocazione job via matchmaking con le risorse) Servizi informativi (GRIS Grid Resource Information Service Information Index Cataloghi di file / repliche (LFC LCG File Catalog localizzazione dei dati, copia dei dati, gestione e replica dei dati, gestione dei meta-dati, MySQL) User interface

57 Griglie computazionali - a.a Servizi aggiuntivi di supporto e gestione dellinfrastruttura Certification Authority (Certificati personali e server di una Registration Authority locale) Servizi di Monitoring (GridIce monitoring delle risorse, SAM Service Availability Monitoring monitoring dei servizi) Servizi di Accounting (DGAS - Distributed Grid Accounting: le informazioni sono raccolte in un database Home Location Register) Servizi di Ticketing per la risoluzione di problemi (Gestione dei trouble ticket)

58 Griglie computazionali - a.a SE WN CE YAIM UI GRID UI DGAS TS SAM MS LFC II VOMS RB Grid Service Center Grid Site

59 59 Il portale web GENIUS Griglie computazionali

60 60 Il laboratorio GILDA per la dissemination Griglie computazionali

61 61 Open Grid Services Architecture (OGSA) è un nuovo paradigma concettuale che vuole mettere insieme le potenzialità dei servizi Web con il Grid computing. Le applicazioni invocheranno i Web services tramite il Web Services Description Language (WSDL). Molti progetti (es. LCG, EGEE) già prevedono il passaggio da unarchitettura basata su Globus ad una basata su OGSA. gLite è il m/w EGEE EVOLUZIONE DELLARCHITETTURA GRID Globus 2 based OGSA based EDG VDT... LCG EGEE... EGEE-3 EGEE-2EGEE-1LCG-2LCG-1 gLite Griglie computazionali

62 62 Collective Services Information & Monitoring Replica Manager Grid Scheduler Local Application Local Database Underlying Grid Services Computing Element Services Authorization Authentication and Accounting Replica Catalog Storage Element Services SQL Database Services Fabric services Configuration Management Configuration Management Node Installation & Management Node Installation & Management Monitoring and Fault Tolerance Monitoring and Fault Tolerance Resource Management Fabric Storage Management Fabric Storage Management Grid Fabric Local Computing Grid Grid Application Layer Data Management Job Management Metadata Management Service Index APPLICATIONS GLOBUS M / W LARCHITETTURA DEL M/W Griglie computazionali

63 63 Collective Services Information & Monitoring Replica Manager Grid Scheduler Local Application Local Database Underlying Grid Services Computing Element Services Authorization Authentication and Accounting Replica Catalog Storage Element Services SQL Database Services Fabric services Configuration Management Configuration Management Node Installation & Management Node Installation & Management Monitoring and Fault Tolerance Monitoring and Fault Tolerance Resource Management Fabric Storage Management Fabric Storage Management Grid Application Layer Data Management Job Management Metadata Management Object to File Mapping Service Index Computing Elements SystemManagers Scientists OperatingSystems File Systems StorageElements Mass Storage Systems HPSS, Castor User Accounts Certificate Authorities ApplicationDevelopers Batch Systems PBS, LSF, etc. I COMPONENTI Griglie computazionali

64 64 Come funziona una Grid Griglie computazionali

65 65 Autenticazione e Accesso Lidentità dellutente deve essere certificata dalle CA (Certification Authorities) nazionali. Le risorse devono essere certificate dalle CA e sono rese accessibili solo agli utenti certificati ed identificati (X.509 Public Key Infrastructure). Lutente passa ai propri processi temporaneamente il diritto di essere eseguiti. Ciascuna organizzazione virtuale si dota di politiche per laccesso dei propri utenti alle risorse appartenenti a domini differenti (diverse sedi). Griglie computazionali

66 66 Computing Element Storage Element Site X Information System submit query retrieve Resource Broker User Interface publish state R-GMA Replica Location Service VOMS query update credential ESEMPIO DI JOB SUBMISSION Griglie computazionali

67 67 nUser Interface (UI) : punto di accesso dellutente al Workload Management System. nResource Broker (RB) : gestore delle risorse di GRID, ha il compito di trovare le migliori risorse dove sottomettere i jobs. nJob Submission Service (JSS) : fornisce un sistema affidabile di sottomissione jobs. nInformation Index (II) : servizio specializzato usato dal Resource Broker come filtro per lInformation Service per selezionare le risorse. nLogging and Bookkeeping services (LB) : fornisce le informazioni sui jobs su richiesta degli utenti. Griglie computazionali

68 68 UI Network Server Job Contr. - CondorG Workload Manager RLS Inform. Service Computing Element Storage Element CE characts & status SE characts & status RB node Griglie computazionali

69 UI Network Server Job Contr. - CondorG Workload Manager Inform. Service Computing Element Storage Element RB node CE characts & status SE characts & status submitted UI: allows users to access the functionalities of the WMS Job Status RLS

70 UI Network Server Job Contr. - CondorG Workload Manager Replica Catalog Inform. Service Computing Element Storage Element RB node CE characts & status SE characts & status edg-job-submit myjob.jdl Myjob.jdl JobType = Normal; Executable = "$(CMS)/exe/sum.exe"; InputSandbox = {"/home/user/WP1testC","/home/file*, "/home/user/DATA/*"}; OutputSandbox = {sim.err, test.out, sim.log"}; Requirements = other. GlueHostOperatingSystemName == linux" && other. GlueHostOperatingSystemRelease == "Red Hat 6.2 && other.GlueCEPolicyMaxWallClockTime > 10000; Rank = other.GlueCEStateFreeCPUs; submitted Job Status Job Description Language (JDL) to specify job characteristics and requirements glite-job-submit file.jdl

71 UI Network Server Job Contr. - CondorG Workload Manager RLS Inform. Service Computing Element Storage Element RB node CE characts & status SE characts & status RB storage Input Sandbox files Job waiting submitted NS: network daemon responsible for accepting incoming requests Job Status

72 UI Network Server Job Contr. - CondorG Workload Manager RLS Inform. Service Computing Element Storage Element RB node CE characts & status SE characts & status RB storage waiting submitted WM: responsible to take the appropriate actions to satisfy the request Job Status

73 UI Network Server Job Contr. - CondorG Workload Manager RLS Inform. Service Computing Element Storage Element RB node CE characts & status SE characts & status RB storage waiting submitted Match- Maker/ Broker Where must this job be executed ? Job Status

74 UI Network Server Job Contr. - CondorG Workload Manager RLS Inform. Service Computing Element Storage Element RB node CE characts & status SE characts & status RB storage waiting submitted Match- Maker/ Broker Matchmaker: responsible to find the best CE where to submit a job Job Status

75 UI Network Server Job Contr. - CondorG Workload Manager RLS Inform. Service Computing Element Storage Element RB node CE characts & status SE characts & status RB storage waiting submitted Match- Maker/ Broker Where are (which SEs) the needed data ? What is the status of the Grid ? Job Status

76 UI Network Server Job Contr. - CondorG Workload Manager RLS Inform. Service Computing Element Storage Element RB node CE characts & status SE characts & status RB storage waiting submitted Match- Maker/ Broker CE choice Job Status

77 UI Network Server Job Contr. - CondorG Workload Manager RLS Inform. Service Computing Element Storage Element RB node CE characts & status SE characts & status RB storage waiting submitted Job Adapter JA: responsible for the final touches to the job before performing submission (e.g. creation of wrapper script, etc.) Job Status

78 UI Network Server Job Contr. - CondorG Workload Manager RLS Inform. Service Computing Element Storage Element RB node CE characts & status SE characts & status RB storage JC: responsible for the actual job management operations (done via CondorG) Job submitted waiting ready Job Status

79 UI Network Server Job Contr. - CondorG Workload Manager RLS Inform. Service Computing Element Storage Element RB node CE characts & status SE characts & status RB storage Job Input Sandbox files submitted waiting ready scheduled Job Status

80 UI Network Server Job Contr. - CondorG Workload Manager RLS Inform. Service Storage Element RB node RB storage Input Sandbox submitted waiting ready scheduled running Grid enabled data transfers/ accesses Job Status Computing Element

81 UI Network Server Job Contr. - CondorG Workload Manager RLS Inform. Service Computing Element Storage Element RB node RB storage Output Sandbox files submitted waiting ready scheduled running done Job Status

82 UI Network Server Job Contr. - CondorG Workload Manager RLS Inform. Service Computing Element Storage Element RB node RB storage Output Sandbox submitted waiting ready scheduled running done edg-job-get-output Job Status glite-job-output jobid

83 UI Network Server Job Contr. - CondorG Workload Manager RLS Inform. Service Computing Element Storage Element RB node RB storage Output Sandbox files Job Status cleared submitted waiting ready scheduled running done

84 84 UI Log Monitor Logging & Bookkeeping Network Server Job Contr. - CondorG Workload Manager Computing Element RB node LM: parses CondorG log file (where CondorG logs info about jobs) and notifies LB LB: receives and stores job events; processes corresponding job status Log of job events edg-job-status edg-job-get-logging-info Job status glite-job-status jobid Griglie computazionali

85 85 Grid.IT Production Grid: Operations Portal Griglie computazionali

86 86 Access to the Grid Griglie computazionali

87 87Griglie computazionali

88 Griglie computazionali - a.a Grid Monitoring

89 89Griglie computazionali

90 Griglie computazionali - a.a


Scaricare ppt "1 PROGETTI E ARCHITETTURE GRID Progetti Grid INFN-NA e UniNA Sistemi di calcolo distribuito tradizionali e Grid computing Architettura, livelli, protocolli."

Presentazioni simili


Annunci Google