Guido Cuscela INFN-Bari Job Submission Tool Guido Cuscela INFN-Bari II Corso di formazione INFN su aspetti pratici dell'integrazione di applicazioni in GRID - 1

Argomenti Introduzione sulle esperienze con applicazioni di bioinformatica Problemi e caratteristiche Job Submission Tool: Funzionalità Stato Futuro Dimostrazione pratica II Corso di formazione INFN su aspetti pratici dell'integrazione di applicazioni in GRID - 2

Introduzione L’infrastruttura EGEE è particolarmente adatta quando il problema è divisibile in (molti) task elementari e indipendenti tra loro Molte applicazioni bioinformatiche rispecchiano queste caratteristiche: Spesso si ha la necessità di sottomettere un enorme numero di piccoli job E’ probabile che alcuni di questi job possano fallire per un qualsiasi motivo lavorando in ambiente distribuito come la grid Controllare lo stato di un tale numero di job richiede troppo sforzo Risottomettere manualmente i job falliti sarebbe davvero eccessivo II Corso di formazione INFN su aspetti pratici dell'integrazione di applicazioni in GRID - 3

Caratteristiche Job Submission Tool Task: sono le attività indipendenti che si devono eseguire per poter eseguire completamente un’applicazione Job: è il processo eseguito su grid che si occupa di eseguire un determinato task A un task possono corrispondere più job sottomessi su grid (a causa del fallimento dei job stessi) Ogni task ha un suo “stato” che lo caratterizza free,running, failed, done Il task è eseguito da un wrapper che si occupa di fornirne le informazioni per il monitoring: Se il task viene eseguito correttamente, il wrapper si occupa di cambiare lo stato da “Free” a “Done” Se un singolo passo durante l’esecuzione fallisce, l’intero task è considerato fallito e risottomesso in automatico II Corso di formazione INFN su aspetti pratici dell'integrazione di applicazioni in GRID - 4

Caratteristiche(2) JST si occupa di sottomettere, recuperare l’output e monitorare lo stato di ogni job E’ semplice eseguire nuove applicazioni usando questo sistema E’ in grado di sopperire a fallimenti accidentali dei servizi grid E’ possibile cambiare a run time la priorità di ogni task/applicazione II Corso di formazione INFN su aspetti pratici dell'integrazione di applicazioni in GRID - 5

Workflow del Job Submission Tool I demoni della UI recuperano gli output I demoni sulla UI sottomettono i job Gli RB inviano i job sui diversi siti I demoni sulla UI controllano se ci sono task creati L’utente recupera gli output Gli output sono registrati sugli SE L’utente crea i task con l’interfaccia web I job aggiornano il DB centrale II Corso di formazione INFN su aspetti pratici dell'integrazione di applicazioni in GRID - 6

I challenge eseguiti su EGEE e INFNgrid Più di 17000 CPU (5000 di media) a disposizione con la VO “biomed” Più di 1500 CPU (500 di media) a disposizione con le VO “bio” e “libi” II Corso di formazione INFN su aspetti pratici dell'integrazione di applicazioni in GRID - 7

Sviluppo Stiamo usando l’esperienza acquisita portando a termine molti challenge con JST per costruire un servizio di alto livello che possa aiutare l’utente a eseguire le proprie applicazioni Il servizio è basato su XML e trasformazioni XSLT L’interfaccia grafica è basata su un tool web che guida l’utente dalla creazione alla sottomissione dei job E’ possibile monitorare lo stato della sottomissione Viene inviata una mail all’utente quando l’output è disponibile: viene fornito il link http dove reperirlo II Corso di formazione INFN su aspetti pratici dell'integrazione di applicazioni in GRID - 8

Futuro Questo servizio può essere usato in ogni portale di servizi di alto livello per accelerare il processo di integrazione di nuove applicazioni Attualmente è in fase di integrazione e test nel portale GRB del progetto LIBI (https://sara.unile.it/cgi- bin/libi/enter) Il portale GENIUS (https://genius.ct.infn.it/) utilizza JST per l’applicazione MrBayes II Corso di formazione INFN su aspetti pratici dell'integrazione di applicazioni in GRID - 9

Suggerimenti per l’utilizzo del tool La necessità principale per l’utente è di preparare I file di input: Il modo in cui si dividono gli input può essere fondamentale nel determinare la durata dei task (job) e il loro numero Questo aspetto è fortemente dipendente dall’applicazione Qualche conoscenza di programmazione bash può essere utile ma non indispensabile II Corso di formazione INFN su aspetti pratici dell'integrazione di applicazioni in GRID - 10

Il caso d’uso Gene Analogous Finder (GAF) GAF effettua comparazioni genomiche per individuare sequenze con funzionalità analoghe L’algoritmo lavora facendo i confronti tra le descrizioni dei geni Tra le descrizioni avviene un confronto “tutti contro tutti” In JST ogni task deve prendere in considerazione un certo numero di descrizioni da confrontare con tutte le altre II Corso di formazione INFN su aspetti pratici dell'integrazione di applicazioni in GRID - 11

Come generare i task dai file di input Dividi il singolo file di input in file elementari (puoi decidere quanti) 1 2 . 9 10 File di partenza con gli id delle descrizioni 1 2 3 4 . 100027 100028 100029 100030 11 12 . 19 20 … … 100021 100022 . 100029 100030 Singolo file di input Ogni file genererà un task!!! II Corso di formazione INFN su aspetti pratici dell'integrazione di applicazioni in GRID - 12

Come generare i task dai file di input(2) Metti tutti i file generati in una directory 1 2 . 9 10 11 12 . 19 20 … … 100021 100022 . 100029 100030 II Corso di formazione INFN su aspetti pratici dell'integrazione di applicazioni in GRID - 13

Come generare i task dai file di input(3) Crea un archivio della directory II Corso di formazione INFN su aspetti pratici dell'integrazione di applicazioni in GRID - 14

Come generare i task dai file di input(4) Carica l’archivio sull’interfaccia… II Corso di formazione INFN su aspetti pratici dell'integrazione di applicazioni in GRID - 15

Come generare i task dai file di input(5) …e scegli il tipo di archivio II Corso di formazione INFN su aspetti pratici dell'integrazione di applicazioni in GRID - 16

Suggerimenti per l’utilizzo del tool(2) Cosa serve per sottomettere i job?!? I file di input Eseguibile (ed eventuali librerie necessarie) Il tuo nome e la tua mail (per il monitoring e per la restituzione dell’output) Conoscenza del funzionamento dell’applicazione (ad es. qual è la command line?) II Corso di formazione INFN su aspetti pratici dell'integrazione di applicazioni in GRID - 17

Link e riferimenti Per recuperare informazioni sul tool: Per testarlo: http://webcms.ba.infn.it/cms- software/index.html/index.php/Main/JobSubmissionTool Per testarlo: http://webcms.ba.infn.it/~pierro/JST/index.php guido.cuscela@ba.infn.it giacinto.donvito@ba.infn.it II Corso di formazione INFN su aspetti pratici dell'integrazione di applicazioni in GRID - 18

II Corso di formazione INFN su aspetti pratici dell'integrazione di applicazioni in GRID - 19