Overview del middleware gLite Guido Cuscela INFN-Bari II Corso di formazione INFN su aspetti pratici dell'integrazione di applicazioni in GRID

II Corso di formazione INFN su aspetti pratici dell'integrazione di applicazioni in GRID Cosa offre la Grid agli utenti? Condivisione  risorse praticamente illimitate Virtualizzazione  utilizzare risorse che possono essere ovunque in maniera trasparente Gestione  un insieme di servizi affidabili

II Corso di formazione INFN su aspetti pratici dell'integrazione di applicazioni in GRID

II Corso di formazione INFN su aspetti pratici dell'integrazione di applicazioni in GRID gLite Il middleware di Grid costituisce un livello intermedio di protocolli, programmi e servizi che permettono l’accesso e l’utilizzo della Grid Il middleware gLite è il prodotto del progetto EGEE (Enabling Grid for E-sciencE) gLite fornisce: –Un sistema di accesso e allocazione delle risorse –Monitoring di risorse e applicazioni –Gestione dei job (applicazioni) –Gestione dei dati

II Corso di formazione INFN su aspetti pratici dell'integrazione di applicazioni in GRID Le Virtual Organizations (VO) Le VO condividono le risorse e ne stabiliscono le politiche di utilizzo Un utente si registra ad una (o più) VO per poter utilizzare la Grid Assegnano ruoli diversi per capire cosa può fare ogni utente (software manager, production manager, …) tramite il Virtual Organization Membership Service (VOMS)

II Corso di formazione INFN su aspetti pratici dell'integrazione di applicazioni in GRID I servizi di gLite Access services –Client e API per l’accesso a risorse e servizi Security services –Sistemi di autorizzazione e autenticazione degli utenti Information & monitoring services –Monitoring dell’infrastruttura, dei servizi, dei job … Data services –Gestione dei dati Job management services –Servizi per la gestione del ciclo di vita di un job (sottomissione, esecuzione, risultati, accounting …)

II Corso di formazione INFN su aspetti pratici dell'integrazione di applicazioni in GRID

II Corso di formazione INFN su aspetti pratici dell'integrazione di applicazioni in GRID Ogni utente deve essere identificato (“Chi sei”, “Cosa puoi fare”) Le Certification Authorities (CA) rilasciano i certificati X509 (PKI) agli utenti Un certificato X.509 contiene: –Una chiave pubblica; –L’identita dell’utente; –Informazioni sulla CA; –Tempo di validità; –Numero seriale; –Firma digitale della CA

II Corso di formazione INFN su aspetti pratici dell'integrazione di applicazioni in GRID Per limitare eventuali vulnerabilità l’identificazione avviene con la generazione di proxy Autenticazione su una User Interface (UI): voms-proxy-init --voms infngrid Enter GRID pass phrase: Your identity: /C=IT/O=INFN/OU=Personal Certificate/L=Bari/CN=Guido Cuscela Creating temporary proxy Done Contacting voms.cnaf.infn.it:15000 [/C=IT/O=INFN/OU=Host/L=CNAF/CN=voms.cnaf.infn.it] "infngrid" Done Creating proxy Done Your proxy is valid until Mon Dec 1 12:05:

II Corso di formazione INFN su aspetti pratici dell'integrazione di applicazioni in GRID

II Corso di formazione INFN su aspetti pratici dell'integrazione di applicazioni in GRID L’ Information System Fornisce le informazioni sulle risorse Grid e sul loro stato E’ fondamentale conoscere lo stato delle risorse per il funzionamento della Grid –Il sito X è offline –Il sito Y accetta ora anche i job della VO “infngrid” Le informazioni pubblicate possono essere usate anche per scopi di monitoring ed accounting –Quanti job ci sono su un Computing Element (CE)? Le informazioni sono pubblicate secondo lo schema del BDII (Berkeley Database Information Index)

II Corso di formazione INFN su aspetti pratici dell'integrazione di applicazioni in GRID Le informazioni sono di tipo gerarchico GRISInformazioni a livello di risorsa GIISInformazioni a livello di sito BDIIInformazioni a livello di VO Livello VO Livello sito Livello risorsa Applicazioni utente WMS Servizi Monitoring

II Corso di formazione INFN su aspetti pratici dell'integrazione di applicazioni in GRID

II Corso di formazione INFN su aspetti pratici dell'integrazione di applicazioni in GRID Accounting Valutare l’utilizzo delle risorse da parte di utenti o gruppi di utenti (VO) Necessario che sulle risorse ci siano sensori che raccolgano (ad es. dai log) e aggreghino le informazioni Vari sistemi di accounting raccolgono i dati e li rendono disponibili (DGAS, Apel) Utile per attribuire eventualmente costi per l’utilizzo delle risorse

II Corso di formazione INFN su aspetti pratici dell'integrazione di applicazioni in GRID Workload Management Il Workload Management System (WMS) è constituito da un insieme di componenti del middleware gLite che si occupano della distribuzione e gestione dei job Gli algoritmi di match-making individuano le risorse “migliori” per eseguire i job degli utenti –L’utente descrive il proprio job (JDL) –L’ IS descrive le risorse –Il WMS assegna la risorsa a un job a seconda di “Requirements” e “Rank” Il sistema di Logging & Bookeeping tiene traccia del job (scheduled, running, done, failed)

II Corso di formazione INFN su aspetti pratici dell'integrazione di applicazioni in GRID Le risorse computazionali Il computing Element (CE) è il frontend di un sito Grid Il CE gestisce la coda delle richieste (di job) Invia i job sulle unità computazionali (Worker Node) Un batch system locale (Torque, LSF, Condor…) gestisce le priorità sulle code, le sottomissioni e il recupero dei risultati dai WN Dal CE si collezionano le informazioni di monitoring e accounting relative ai job

II Corso di formazione INFN su aspetti pratici dell'integrazione di applicazioni in GRID

II Corso di formazione INFN su aspetti pratici dell'integrazione di applicazioni in GRID

II Corso di formazione INFN su aspetti pratici dell'integrazione di applicazioni in GRID Sistemi di storage per gestire: Politiche di accesso sui file (VO) Trasferimento di dati

II Corso di formazione INFN su aspetti pratici dell'integrazione di applicazioni in GRID Sistema di gestione dei file simile a quella di un classico SO LFN (Logical file name) GUID (Grid unique identifier) SimLinks SURL (Site URL) TURL (Transfer URL) Catalogs

II Corso di formazione INFN su aspetti pratici dell'integrazione di applicazioni in GRID Data Scheduler (DS) tiene traccia delle richieste di trasferimento di utenti e servizi File Transfer/Placement Service (FTS/FPS) Transfer Queue (Table) Transfer Agent (Network) Data Movement

II Corso di formazione INFN su aspetti pratici dell'integrazione di applicazioni in GRID