libi Laboratorio Intern. di BioInformatica U.R. INFN Giorgio Maggi INFN and Politecnico di Bari Convegno FIRB-LIBI -Bisceglie giugno 2005

libi Laboratorio Intern. di BioInformatica Convegno FIRB-LIBI -Bisceglie giugno 2005 U.R. INFN Dalla proposta: Obiettivi (della U.R. INFN):  costruire un’infrastruttura Grid nazionale di supporto alla ricerca Bioinformatica in Italia, ben integrata a livello nazionale ed internazionale con le e-Infrastrutture in corso di sviluppo nel mondo. Attività (della U.R. INFN):  è responsabile della “Realizzazione della infrastruttura di Grid” (WP2) mettendo a disposizione una piattaforma, dati e calcolo.  Contribuisce alla definizione dell’architettura generale del laboratorio (WP1);  verifica l'utilizzabilità del portale proprietario - GENIUS, per applicazioni di carattere bioinformatico (WP3);  contribuisce all’integrazione dei servizi di accesso ai database con i servizi di base della Grid (WP4). Risultati attesi:  realizzare una Grid di produzione per applicazioni bioinformatiche, attuare un trasferimento di conoscenze, metodologie e tecnologie in altri campi della ricerca scientifica italiana ed accrescere, al tempo stesso, le proprie competenze sulle tecnologie di Grid.

libi Laboratorio Intern. di BioInformatica Convegno FIRB-LIBI -Bisceglie giugno 2005 WP2: Realizzazione della infrastruttura di Grid (INFN) Dalla proposta: Implementazione del livello di “core” dell’infrastruttura di Grid. La Grid dovrà integrare  a. Nodi di Calcolo (eventualmente HPC)  b. Dati (Database pubblici e privati creati nell’ambito del progetto)  c. Storage  d. Servizi (tools di analisi/visualizzazione) La Grid sarà costituita da diversi nodi, inizialmente locati presso i partner, alla fine del progetto sarà aperta alla integrazione della intera comunità (italiana, europea, …)  Nodi fondamentali: a) CINECA: calcolo (HPC)/storage/dati/servizi b) SPACI: calcolo/storage/ dati pubblici c) INFN: calcolo/storage/ dati pubblici d) UR Bari/Bologna/Milano/Trieste: dati privati/servizi  Il concetto di base è che i dati e i servizi restano a casa dei proprietari (i partner tecnologici si faranno carico dei dati/servizi pubblici) e saranno messi a disposizione del laboratorio sotto forma di Servizi.

libi Laboratorio Intern. di BioInformatica Convegno FIRB-LIBI -Bisceglie giugno 2005 WP2: Grid Dalla proposta: Responsabile: INFN Collaborano: CINECA, SPACI Milestones  MS1 (mese 13): Realizzazione di una GRID di test (3 -4 nodi) con PC Linux con accesso ad un numero limitato di database e servizi (3 -4)  MS2 (mese 28): Realizzazione di una Grid di produzione con l ’integrazione di tutti i nodi/ servizi/dati dei partner (8 -10) e delle risorse non Linux  MS3 (mese 48): Integrazione di eventuali altri nodi/servizi/dati Apertura della grid di produzione alla comunità scientifica con la realizzazione di alcuni punti (almeno 2) di accesso esterno Messa a punto di procedure (CD, CVS repository) per l’installazione dei punti di accesso esterni e/o per l’integrazione di risorse esterne nella GRID di produzione.

libi Laboratorio Intern. di BioInformatica Convegno FIRB-LIBI -Bisceglie giugno 2005 Cos’è una grid

libi Laboratorio Intern. di BioInformatica Convegno FIRB-LIBI -Bisceglie giugno 2005 La GRID di produzione di EGEE Paesi che forniscono risorse Paesi che hanno chiesto di contribuire In LCG-2:  113 località, 30 paesi  >12,000 cpu  ~8 PB storage Include le località non-EGEE: 9 paesi 18 località Macchine tipo Pentium IV Sistema operativo SL TORINO PADOVA BARI PALERMO FIRENZE PAVIA GENOVA NAPOLI CAGLIARI TRIESTE ROMA PISA L’AQUILA CATANIA BOLOGNA UDINE TRENTO PERUGIA LNF LNGS SASSARI LECCE LNS LNL SALERNO COSENZA S.Piero FERRARA PARMA CNAF ROMA2 MILANO National Grid 20 località ~2,800 processori Circa 30% of LCG-2/EGEE

libi Laboratorio Intern. di BioInformatica Convegno FIRB-LIBI -Bisceglie giugno 2005 A cosa serve la Grid Se riuscite ad ottenere le risposte alle vostre domande in tempi dell’ordine dell’ore o anche del giorno la Grid non fa per voi, vi crea solo problemi. Se invece i vostri problemi richiedono tempi di elaborazione dell’ordine delle settimane, mesi, anni: allora la Grid può fare qualcosa per voi. Da non sottovalutare il fatto che, con tutte le risorse a disposizione, vi cominciano a venire in mente problema che prima non vi sareste mai sognati di porvi.

libi Laboratorio Intern. di BioInformatica Convegno FIRB-LIBI -Bisceglie giugno 2005 Un esempio di uso della Grid La ricerca di geni funzionalmente analoghi Gene Ontology:  le funzioni dei geni sono descritte dai GO terms Da un database di circa un milione di geni ne sono stati estratti e comparati tra di loro.  L’applicazione fa un accesso intenso al database Soluzione per la Grid:  Il database è stato automaticamente installato su ogni nodo prima di far partire l’applicazione e rimosso alla fine del job.

libi Laboratorio Intern. di BioInformatica Convegno FIRB-LIBI -Bisceglie giugno 2005 Statistiche sui job sottomessi Geni comparati: ~ Tempo necessario per comparare un gene: ~ 2 minuti Jobs Executed: ~ 600 (20 failed) Tempo di CPU: 2544 ore Tempo di risorsa: 2948 ore (123 giorni su una singola macchina) Percentuale di tempo necessario per la creazione dell’ambiente di run: 6% Tempo per completare la ricerca: 2 giorni Questa applicazione è al limite per la Grid: una buona farm avrebbe ottenuto gli stessi risultati in circa una settimana I tempi sono invece proibitivi anche per una Grid se si vogliono confrontare tra di loro tutti i geni finora classificati (circa )

libi Laboratorio Intern. di BioInformatica Convegno FIRB-LIBI -Bisceglie giugno 2005 Il data challenge delle applicazioni biomediche sulla infrastruttura EGEE Le applicazioni biomediche di EGEE hanno lanciato uno “challenge” dal 11 luglio al 19 agosto Tema: “in silico drug discovery”  Vogliono trovare una cura per la malaria Previsti job di 20 ore/cadauno (circa giorni su una singola CPU)

libi Laboratorio Intern. di BioInformatica Convegno FIRB-LIBI -Bisceglie giugno 2005 Proposta per il livello “core” dell’infrastruttura di Grid Infrastruttura fisicamente connessa ed integrata nella infrastruttura INFN-Grid ed EGEE  Release infn-grid 2.x basata su LCG 2.x (Globus2.4.x) e in futuro su Glite (EGEE) (attulamente in preproduzione, a fine anno in produzione) ma, possibilmente, logicamente distinta per  Visibilità del laboratorio  Possibilità di effettuare dei test specifici per il laboratorio senza interferire con il resto dell’infrastruttura  Applicare standard di sicurezza inferiori (?) Per fare questo occorre:  Definire una o più VO specifiche per il laboratorio LIBI  Duplicare alcuni servizi centrali di GRID, come RB BDII VOMS server GridIcE server Cataloghi (LFC)

libi Laboratorio Intern. di BioInformatica Convegno FIRB-LIBI -Bisceglie giugno 2005 Proposta per il livello “core” dell’infrastruttura di Grid Il middleware è utilizzato sull’infrastruttura di LCG/EGEE che comprende:  più di CPU  In più di 100 siti Ha dato prova di affidabilità  E’ utilizzato regolarmente per i loro challenge dagli esperimenti di fisica di alta energia (in particolare quelli di LHC) dalle applicazioni biomendiche di EGEE –Il primo challenge su “in silico drug discovery” sarà effettuato dall’11/7 al 19/ E’ stato sperimentato con successo da ITB-BA e INFN-BA per la ricerca dei geni analoghi Permette di sfruttare sinergie con altri progetti nazionali ed europei

libi Laboratorio Intern. di BioInformatica Convegno FIRB-LIBI -Bisceglie giugno 2005 Livello “core” di Grid: servizi agli utenti Servizi Generali  Sicurezza basata su Globus GSI (Grid Security Infrastructure) Standard Protocols: X.509 certificates, PKI, GSS-API. Un solo login (credential delegation)  Strumenti di Autenticazione/Autorizzazione orientati alla VO ( gestiti attraverso VOMS: VO Membership Service )  Accounting  Grid Monitoring System/ event notification  Grid Policy management  Supervisione dell’infrastruttura e gestione degli incidenti Sviluppato dall’INFN

libi Laboratorio Intern. di BioInformatica Convegno FIRB-LIBI -Bisceglie giugno 2005 Livello “core” di Grid: servizi alle applicazioni Grid job submission  Remote Job Submission to specific computers (Globus): The user submits a job on a WAN computing system providing the address  Workload Management System for Job batch, interactive, MPI, DAG Via a Grid scheduler without knowing the destination computers Grid Information System (Globus) (GLUE schema based) Data Management  Data replica management Remote Data location via File catalogue and metadata catalogue (LFC, LCG File Catalog) Data transfer and access, (Globus) –GridFTP: Provides high-performance, reliable data transfer Replica Consistency service Storage Resource Management GridFTP server G-Data Source Engine Grid User Interface :UI, Genius Job Logging & bookkeeping Sviluppato dall’INFN

libi Laboratorio Intern. di BioInformatica Convegno FIRB-LIBI -Bisceglie giugno 2005 The INFN Production Grid User documentation Site managers documentation Software repository Monitoring Trouble tickets system Knowledge base

libi Laboratorio Intern. di BioInformatica Convegno FIRB-LIBI -Bisceglie giugno 2005 Supervisione dell’infrastruttura e gestione degli incidenti La grid di produzione INFN è costantemente supervisionata: due persone in turno:  dalle 8:30 alle 19:30  per 5 giorni alla settimana  per il resto del tempo il controllo viene fatto in remoto da casa. Viene tenuto sotto controllo:  il funzionamento dell’intera infrastruttura italiana  Il funzionamento dei servizi centrali e periferici Le persone in turno intervengono in caso di segnalazione di malfunzionamenti  Attraverso il sistema dei ticket Forniscono il primo supporto agli utenti che ne hanno bisogno La supervisione dell’infrastruttura viene fatta all’interno dell’attività SA1 del progetto EGEE La supervisione verrebbe estesa alle risorse del laboratorio LIBI (dal momento che entrano in EGEE)

libi Laboratorio Intern. di BioInformatica Convegno FIRB-LIBI -Bisceglie giugno 2005 Sicurezza Ogni user/host/service deve avere un suo certificato X.509; I certificati sono firmati da una CA accreditata presso i siti locali; Ogni transazione di Grid è mutuamente autenticata I certificati X.509 per gli utenti e per le macchine del Laboratorio LIBI possono essere ottenuti da:  INFN CA La procedura prevede  ogni organizzazione nomina la propria Registration Authority (RA) che è garante, nei confronti della CA, dell’identità dell’Utente  la richiesta del certificato deve avvenire attraverso la RA  ITB Milano e Bari, SPACI e CINECA hanno già una RA della CA INFN

libi Laboratorio Intern. di BioInformatica Convegno FIRB-LIBI -Bisceglie giugno 2005 Autenticazione/autorizzazione VOMS (VO Membership Service ) Oltre a identificare un Utente come appartenente ad una VO  e consentirgli l’accesso alle risorse allocate a quella VO fornisce il supporto per la gestione dei membri di una VO, come :  appartenenza a gruppi,  a ruoli o  altre funzioni all’interno della VO. Queste caratteristiche sono codificate come ‘attributi’ nel certificato proxy generato con il voms-proxy-init, e utilizzate dal RB o dal CE, SE.

libi Laboratorio Intern. di BioInformatica Convegno FIRB-LIBI -Bisceglie giugno 2005 User Interface (UI) E’ lo strumento con cui l’Utente accede alla Grid Una o più UI dovranno essere installate in ogni sito del laboratorio UI plug-and-play ( UIPnP)  E’ disponibile sul sito della grid di produzione INFN Grid  Può essere usata con diversi sistemi operativi linux ( Scientific Linux 3, Fedora Core 3, Debian 3.1)  Può essere installata direttamente dall’Utente (non sono richiesti I privilegi di root)  Può essere installata sul PC o sul portabile dell’Utente (se Linux)  Una UI è installata presso INFN di Bari (si possono creare degli account per l’accesso remoto agli utenti che fossero interessati).

libi Laboratorio Intern. di BioInformatica Convegno FIRB-LIBI -Bisceglie giugno 2005 GENIUS Genius è un portale WEB per la sottomissione di JOB alla Grid Sostituisce la UI Al momento è installato sulla UI di INFN-Bari Tutorial di Genius il 20/21 prossimi presso INFN-Bari OS & Net services Basic Services High level GRID middleware ALICEATLASCMSLHCb Applications’ specific layer Bio apps GLOBU S toolkit EGEE architecture GENIUS web portal GENIUS ® (Grid Enabled web eNvironment for site Independent User job Submission) [ INFN/NICE collaboration

libi Laboratorio Intern. di BioInformatica Convegno FIRB-LIBI -Bisceglie giugno 2005 GENIUS Apache EnginFrame GENIUS https+java/xml+rfb WEB Browser UI Loc al WS the Grid M/W+GSI 3-tier model

libi Laboratorio Intern. di BioInformatica Convegno FIRB-LIBI -Bisceglie giugno 2005 Accounting (DGAS) The accounting service accumulates information about the usage of Grid resources by the users and by groups of users, including Virtual Organisations as groups of users. This information allows preparation of statistical reports, to track resource usage for individual users, to discover abuses and to help avoid them. Accounting information could be used to charge users for the Grid resources they have utilised. The information available from the accounting service can also be used to implement submission policies based on user quotas or on resource usage (fair share). It also allows the creation of a real exchange market for the Grid resources and services. The subsequent economic competition should result in market equilibrium, thereby promoting load balancing on the Grid.

libi Laboratorio Intern. di BioInformatica Convegno FIRB-LIBI -Bisceglie giugno 2005 GridICE: servizio di monitoring e di notifica Sistema di monitoring che si occupa della produzione, raccolta e visualizzazione delle metriche sullo stato delle risorse, dei servizi di Grid e delle statistiche dei JOB. Provvede a trasmettere delle notifiche nel caso venga rilevato un malfunzionamento Può essere anche utilizzato per il monitoring delle farm

libi Laboratorio Intern. di BioInformatica Convegno FIRB-LIBI -Bisceglie giugno 2005 GridIcE: stato della Grid

libi Laboratorio Intern. di BioInformatica Convegno FIRB-LIBI -Bisceglie giugno 2005 GridIcE: Monitoring dei servizi (Gris)

libi Laboratorio Intern. di BioInformatica Convegno FIRB-LIBI -Bisceglie giugno 2005 GridIcE: Monitoring dei job

libi Laboratorio Intern. di BioInformatica Convegno FIRB-LIBI -Bisceglie giugno 2005 GridIcE: profili temporali

libi Laboratorio Intern. di BioInformatica Convegno FIRB-LIBI -Bisceglie giugno 2005 Gilda (

libi Laboratorio Intern. di BioInformatica Convegno FIRB-LIBI -Bisceglie giugno 2005 The Job Application Monitoring (JAM) The Job Application Monitoring system  is a simple and user driven service to transfer information from a remote source (c++ application, shell script batch job) to a storage system.  The information can be any data of any intrinsic C++ type and std::string.  The transfer uses the soap protocol via the gSoap implementation. The storage system is based on a MySQL database.  The schema of the application data, being sent, is determined automatically or can be user defined. A policy on the stored data can be set to determine whether the application or the batch job ended correctly or not. The stored information can be retrieved any time, via C++ user application or shell command line. JAM has been used during the “analogue gene search”:  When an analogue gene was found in any place over the grid, it was immediately sent over to the Bari UI.

libi Laboratorio Intern. di BioInformatica Convegno FIRB-LIBI -Bisceglie giugno 2005 Grid- Data Source Engine (G-DSE) Definizione e implementazione di un modello di accesso ai database via Grid.  Obiettivo: definire l’accesso ai database in modo uniforme, indipendentemente dal tipo di database, e identificati da un sistema informativo. Realizzato in Collaborazione con l’INAF (PD, TS) nell’ambito del progetto Grid.it/firb (WP5). Stato: disegno completato e deployment del prototipo in corso. In breve: legge i dati dal database e lancia il job.

libi Laboratorio Intern. di BioInformatica Convegno FIRB-LIBI -Bisceglie giugno 2005 Policy Management: G-Pbox Available policy systems usually act at the level of Sites. A Grid, on the other side, is composed by various layered entities (VO domain, Grid domain, Site domain) G-Pbox is a grid-wide distributed policy management system u Stato: disegno completato, implementazione in corso

libi Laboratorio Intern. di BioInformatica Convegno FIRB-LIBI -Bisceglie giugno 2005 Conclusioni Vi ho mostrato: la GRID di produzione di EGEE, che include quella dell’INFN Che secondo me rappresenta una buona base di partenza per una grid di produzione per il laboratorio LIBI Nessun problema a discutere con gli altri partner tecnologici sulla soluzione da adottare. C’è la disponibilità a fornire tutto il supporto necessario per il porting delle applicazioni del laboratorio sulla GRID. Vi ho anche descritto alcuni dei servizi implementati: alcuni sono di carattere generale Altri sono “DRIVEN” da applicazioni di fisica delle alte energie  Nessun problema a modificarli, o sostituirli con altri, in maniera che soddisfino le richieste delle applicazioni del laboratorio  Ci serve di capire quali sono I problemi che devono essere affrontati.