FESR Trinacria Grid Virtual Laboratory Paradigma del Grid Computing e progetto TriGrid Virtual Laboratory Fabio Scibilia INFN – Catania Primo Tutorial TriGrid, Catania 14/03/2006

Catania, Primo Grid Tutorial, La Griglia e Internet La Griglia –E’ il prossimo passo nell’evoluzione dei sistemi di calcolo distribuiti –Si basa su Internet come rete globale per lo scambio di informazioni –E’ considerata l’equivalente computazionale del World Wide Web (WWW)

Catania, Primo Grid Tutorial, La Griglia da una semplice analogia Centrali elettriche disperse sul territorio producono energia elettrica L’energia elettrica viene distribuita tramite opportune reti elettriche Un utente ha bisogno di energia elettrica per i propri consumi Firma un contratto con la società che gestisce la rete La società elettrica fornisce un punto per accedere alla rete elettrica Adesso l’utente può usare l’energia elettrica per I propri consumi

Catania, Primo Grid Tutorial, Nel caso di rete elettrica La società elettrica –Produce energia elettrica in grosse quantità adottando le tecnologie di produzione che ritiene più opportune –Distribuisce l’energia tramite una appropriata rete elettrica di distribuzione –Definisce i termini e le condizioni di contratto per accedere alla rete elettrica –Può modificare le tecnologie di produzione/distribuzione in qualunque momento secondo necessità Il consumatore –Può richiedere di allacciarsi alla rete elettrica accettando e firmando un contratto con la società elettrica –Accede alla rete elettrica utilizzando semplicemente un opportuno punto per l’allacciamento fornito dalla società elettrica –Non necessita di conoscere tutta la tecnologia che sta dietro la produzione/distribuzione dell’energia elettrica

Catania, Primo Grid Tutorial, Analogamente Un utente ha bisogno di grosse potenze di calcolo L’organizzazione fornirà una interfaccia per accedere all’infrastruttura di griglia insieme a opportuni strumenti di sistema Si registra presso una organizzazione virtuale che fornisce servizi di griglia Adesso l’utente è autorizzato ad accedere alla griglia Internet La potenza viene messa a disposizione sulla rete Internet Alcuni siti forniscono potenza di calcolo e/o spazi per i dati

Catania, Primo Grid Tutorial, La Griglia Computazionale Una Virtual Organization (VO) –Fornisce una determinata potenza di calcolo mettendo a disposizione cluster di computer –Fornisce una determinata quantità di spazio per l’immagazzinamento dei dati –Mette a disposizione tali risorse accessibili tramite la rete globale Internet –Definisce i termini e le condizioni per accedere a tali risorse Un utente di griglia –Necessita di grosse potenze computazionale e opportuni spazi per i dati –Accede alle risorse indipendentemente da dove si trovino (ubiquità) utilizzando gli strumenti forniti dall’organizzazione virtuale (User Interface) –Non necessita di conoscere l’architettura che sta dietro la User Interface Internet

Catania, Primo Grid Tutorial, Perché le Griglie adesso ? Perché la quantità di risorse di calcole necessarie alle applicazioni cresce a dismisura Perché l’ammontare dei dati richiede sistemi di immagazzinamento sempre più complessi Per rendere più semplice la collaborazione tra persone e risorse appartenenti a diverse organizzazioni Per accedere a strumentazioni che non che non sono facilmente accessibili in altro modo Perché è la naturale evoluzione della computazione distribuita Migliaia di CPU che lavorano per ottenere un risultato comune Da centinaia di Gigabytes a Petabytes (milioni di gigabytes) di dati da immagazzinare Persone di organizzazioni diverse che lavorano per raggiungere i medesimi scopi Perchè non possono essere spostate, replicate o i costi per far ciò sono troppo alti Per creare un nuovo mercato di servizi di calcolo su Internet

Catania, Primo Grid Tutorial, Organizzazioni virtuali Una Organizzazione Virtuale (VO) –E’ un insieme di persone e risorse che concorrono a raggiungere il medesimo obiettivo –Normalmente abbraccia sottoinsiemi di persone e risorse di domini amministrativi diversi Un utente –Può appartenere a più VO allo stesso tempo –Deve registrarsi e ottenere appositi certificati per essere identificato –Può avere conoscenze informatiche di base

Catania, Primo Grid Tutorial, Virtual Laboratory Un nuovo modo di concepire gli esperimenti Una piattaforma che consente a persone di diverse organizzazioni di lavorare nello stesso laboratorio “virtuale” Fortemente correlato con il concetto di Organizzazione Virtuale. Ad ogni Laboratorio Virtuale si associa una Organizzazione Virtuale Dispositivi Persone Strumenti Dati Calcolo

Catania, Primo Grid Tutorial, Proprietà delle Griglie Trasparenza –Gli utenti di griglia non hanno bisogno di conoscere i dettagli architetturali –Gli utenti devono avere la percezione di aver a disposizione un supercomputer virtuale –In termini di geografia delle risorse –In termini di tolleranza ai guasti Apertura –Ogni sottosistema è un sistema a sé e può essere acceduto direttamente Scalabilità –Nuove risorse di griglia possono aggiunte all’infrastruttura in qualunque momento Tolleranza ai guasti –La Griglia deve continuare a funzionare anche se uno o più nodi cadono Concorrenza –Differenti processi devono poter lavorare su differenti nodi nello stesso momento Ubiquità –Tutti i servizi devono poter acceduti da un utente indipendentemente da dove egli si trova

Catania, Primo Grid Tutorial, Problematiche di Griglia (i) Sicurezza –Autenticazione di un utente e autorizzazione ad accedere alle risorse –Integrità –Riservatezza e non ripudio –Single Sign On (SSO) Sistemi di Informazione e Monitoraggio –Per localizzare e monitorare le risorse di Griglia –Per accertarsi dello stato di salute delle risorse –Per verificare le condizioni di carico attuali delle risorse Gestione dei file –Creazione, modifica e cancellazione dei file –Replicazione dei file su più sistemi di storage e mantenimento della consistenza –Accesso ai file di Griglia in remoto evitando di spostarli dalle postazioni in cui si trovano

Catania, Primo Grid Tutorial, Problematiche di Griglia (ii) Amministrazione –Gestione delle risorse di griglia che non interferisca con le politiche degli amministratori di tali risorse Gestione del Carico (Workload Management System) –Per schedulare i task della griglia sulle varie risorse disponibili –Per allocare le risorse seguendo criteri di ottimizzazione e rispetto dei vincoli specificati dagli amministratori Servizi di Naming –Gestione dei nomi delle risorse in modo da garantire la non ambiguità Interfacce User Friendly –Perché la maggior degli utenti di griglia non hanno conoscenze avanzate di informatica –Adozione di Graphical User Interfaces (GUIs) –Adozione di Grid Portals (Web Portals) –Adozione di Command Line Interfaces (CLIs) per gli utenti esperti

Catania, Primo Grid Tutorial, La Globus Alliance Globus Alliance –E’ una comunità di persone e organizzazioni coinvolte nella progettazione e nello sviluppo di tecnologie di griglia –Università dell’Illinois, Argonne National Laboratory, University of Edinburgh, EPCC, etc… Il Globus Toolkit (GT) –E’ uno standard di fatto –E’ un insieme di servizi –E’ stata rilasciata la 4° release –Adesso adotta interfacce Web Services Il Global Grid Forum (GGF) –E’ un forum per ricercatori in ambito di tecnologie di griglia –Lavora alla definizione di standard e protocolli per tecnologie di griglia –E’ diviso in Work Groups (WGs) –

Catania, Primo Grid Tutorial, Il Modello a clessidra di Globus Il modello a clessidra –Accettato come modello di riferimento per la costruzione di infrastrutture di griglia –Similare al modello ISO/OSI usato dagli sviluppatori di reti Tre livelli di servizi –Local Operating Systems: Gestione di una miriade di tipi di risorse, sistemi di schedulazione e così via –Core Globus Services: Pacchetti di servizi per creare le infrastrutture di griglia –Diverse Global Services:Vere e proprie applicazioni di griglia

Catania, Primo Grid Tutorial, Più in dettaglio... Fabric –Gestisce le risorse localmente Connectivity –Comunicazione (IP, DNS, etc. ) –Sicurezza: autenticazione... –Single Sign On Resource –Allocazione, prenotazione e monitoraggio di risorse –Accesso e trasporto dei dati –Collezione di informazioni sulle risorse Collective –Vista dei servizi come collezioni –Scoperta e allocazione di servizi –Replica e catalogazione dei dati –Gestione del flusso di lavoro Application –Applicazioni utente –Tool e interfacce Fabric Connectivity Resource Collective Application

Catania, Primo Grid Tutorial, Servizi Globus

Catania, Primo Grid Tutorial, Un esempio: –Searches for Extra Terrestrial Intelligence (SETI)  Campiona le onde elettromagnetiche provenienti dallo spazio (telescopio)  Schedula I task sui nodi della griglia –Usa desktop computers come nodi –I nodi si aggiungono alla griglia dinamicamente –Il proprietario della macchina decide come contribuire offrendo la sua potenza di calcolo Per contribuire – –Scarica e installa il software –Quando la tua macchina è poco utilizzata diventa un nodo di griglia (screensaver)

Catania, Primo Grid Tutorial, TriGrid Virutal Laboratory

Catania, Primo Grid Tutorial, Struttura

Catania, Primo Grid Tutorial, Partners

Catania, Primo Grid Tutorial, Obiettivi Creazione della prima infrastruttura di griglia computazionale regionale siciliana per applicazioni scientifiche e industriali Interfacciamento di applicazioni scientifiche e industriali con il software e l’hardware della griglia Disseminazione della filosofia con organizzazione di corsi ed eventi di formazione aperti a soggetti sia pubblici sia privati, eventualmente non partecipanti al progetto Creazione e agevolazione di spin-off nell’imprenditoria privata con alto valore aggiunto nell’ambito delle Tecnologie dell’Informazione e della Comunicazione

Catania, Primo Grid Tutorial, Integrazione con INFN Production Grid Progetto iniziato nel 1999 Basata sulla rete italiana GARR che mete in comunicazione I centri di ricerca e le università Gestita dall’INFN Al momento più di 20 siti

Catania, Primo Grid Tutorial, Integrazione con EGEE Finanziata dall’Unione Europea con 30 milioni di euro Basata sulla rete di ricerca europea GEANT 70 partners di 27 diversi paesi Nata per applicazioni di fisica (CERN) e biomediche. Estesa per ulteriori applicazioni come l’osservazione della terra e la geofisica EGEE is providing a production quality grid infrastructure spanning more than 30 countries with over 150 sites to a myriad of applications from various scientific domains, including Earth Sciences, High Energy Physics, Bioinformatics and Astrophysics." Bob Jones (Project Director)

Catania, Primo Grid Tutorial, Infrastruttura di TriGrid Polo di Catania: –INAF, INFN, DMI, DIIT –Circa 100 macchine dual CPU 32/64 bit. Potenza aggregata di 300 kSpecInt2000. –30 TB di storage EIDE-to-SCSI o FC-to-SATA in RAID 0,1,5 –20 stazioni di lavoro per sviluppo e porting di applicazioni Polo di Messina: –Facoltà di Ingegneria e CECUM –Circa 80 macchine dual CPU 32/64 bit. Potenza aggregata di di circa 240 kSpecInt2000. –20 TB di storage EIDE-to-SCSI o FC-to-SATA in RAID 0,1,5 Polo di Palermo: –Dipartimento di Fisica e Tecnologie Relative –Circa 30 macchine dual CPU 32/64 bit. Potenza aggregata di di circa 100 kSpecInt2000. –10 TB di storage EIDE-to-SCSI o FC-to-SATA in RAID 0,1,5

Catania, Primo Grid Tutorial, Attività di TriGrid Work Package 1 – Progettazione e realizzazione dell’infrastruttura di griglia –Creazione dell’infrastruttura di calcolo comprendente l’insieme di risorse computazionali e di storage messe a disposizione dalle tre università, INAF e INFN siciliane Work Package 2 – Collezione dei requirements, test di compatibilità del middleware ed accesso alle risorse dell’infrastruttura –Collezionare i requisiti delle varie applicazioni industriali, analizzarli in dettaglio e verificare (test-suite) la loro soddisfazione man mano che le diverse versioni del middleware verranno installate sull’infrastruttura –Studio delle problematiche della gestione di licenze software nell’ambiente di griglia –Studio delle problematiche relative all’accesso alle risorse e all’integrità dei dati

Catania, Primo Grid Tutorial, Attività (ii) Work Package 3 – Trasferimento tecnologico e promozione del servizio –Diffusione delle informazione relative allo stato del progetto e ai risultati ottenuti nel mondo accademico, industriale e istituzionale –Organizzazione di conferenze ed eventi per mettere in comunicazione i partecipanti al progetto con soggetti sia pubblici sia privati che hanno interesse verso l’uso delle griglie –Workshop, tutorial ed esercitazioni pratiche a rotazione nelle 3 sedi universitarie siciliane Work Package 4 – Porting di applicazioni sulla griglia –Sviluppo di interfacce di alto livello (grid/web portals) tra le applicazioni industriali e i servizi di griglia –Porting delle applicazioni sulla infrastruttura di griglia

Catania, Primo Grid Tutorial, Architettura di Griglia

Catania, Primo Grid Tutorial, Panoramica dell’architettura

Catania, Primo Grid Tutorial, Componenti User Interface (UI) –E’ il punto di accesso ai servizi di griglia –E’ user friendly –Portali di griglia, interfacce a linea di comando... Network Server(NS) / Resource Broker (RB) –Accoglie le richieste effettuate dalla UI –Gestisce il carico smistando opportunamente tali richieste –Avvia l’eventuale spostamento di dati da sito a sito Logging and Bookkeeping (LB) –Mantiene informazioni sulle operazioni effettuate dall’utente –Mantiene informazioni relative ai job sulla griglia Replica Catalogue –Mantiene informazioni sulle posizioni dei file e sulle eventuali repliche –Provvede a spostare/replicare files da e verso siti della griglia per migliorare le performance

Catania, Primo Grid Tutorial, Computing Element E’ un insieme di risorse computazionali (Worker Nodes) Logicamente, è una coda di job pendenti Si interfaccia su di uno scheduler locale –Local Resource Management System (LRMS) –Condor, PBS, LSF... Espone verso l’esterna una interfaccia standardizzata –CE

Catania, Primo Grid Tutorial, Storage Element E’ un sistema per lo storage permanente di grosse quantità di dati –Terabyte di informazioni Vive sopra sistemi di archiviazione di massa già esistenti –Mass Storage System (MSS) Può adottare tecnologie diverse –Batterie di hard disks –Nastri digitali Espone verso l’esterno interfacce standardizzate –Storage Resource Manager (SRM) –gLite Posix I/O

Catania, Primo Grid Tutorial, Riferimenti TriGrid Homepage – Consorzio COMETA Homepage – INFN Production Grid – EGEE –