Progetto S.Co.P.E. WP4 MedIGrid, un PSE per il Medical Imaging: implementazione in ambiente gLite G. Laccetti

Workshop SCoPE - Stato del progetto e dei Work Packages Sala Azzurra - Complesso universitario Monte SantAngelo Il PSE MedIGrid: obiettivi e motivazioni Nel il 2002 nasce MedIGrid, da una collaborazione multidisciplinare (Matematici numerici, Informatici, Fisici) Lobiettivo è quello di sviluppare un PSE per il calcolo ad alte prestazioni, grid-aware, per consentire ai medici di: gestire processare visualizzare immagini mediche acquisite da vari dispositivi

Workshop SCoPE - Stato del progetto e dei Work Packages Sala Azzurra - Complesso universitario Monte SantAngelo Struttura a livelli del PSE (al 2006) GLOBUSGLOBUS MedIBroker

Workshop SCoPE - Stato del progetto e dei Work Packages Sala Azzurra - Complesso universitario Monte SantAngelo Il PSE basato su Globus Larchitettura software è costituita da tre livelli: LUser Interface (GUI) che include strumenti per la configurazione dei paramentri relativi allimage processing, tool di visualizzazione e di post-processing delle immagini (ad es. plugin per il rendering) Il Grid Portal, basato sulla libreria di funzioni del Java CoG Kit, nasconde allutente finale la complessità dellambiente di Griglia I servizi core basati sul Globus toolkit, alcuni servizi collective tra cui un resource broker customizzato sui nuclei computazionali, un application manager, che include script ANT per la gestione del flusso esecutivo delle varie componenti numeriche dellapplicazione e che contiene tutte le altre componenti software dellapplicazione di griglia.

Workshop SCoPE - Stato del progetto e dei Work Packages Sala Azzurra - Complesso universitario Monte SantAngelo Componenti numeriche ECODEN: Denoising di sequenze ecocardiografiche μ-SEG: Segmentazione di immagini mediche Ambiente H/S di esecuzione Hardware: Cluster di nodi interconnessi con rete dedicata Software: S.O. Unix-like, PETSc (MPI, BLAS, LAPACK)

Workshop SCoPE - Stato del progetto e dei Work Packages Sala Azzurra - Complesso universitario Monte SantAngelo Problema P Modello Matematico M(P) Modello Numerico M h (P) SoftwareAlgoritmo Denoising di sequenze ecocardiografiche Ambiente parallelo PDE Au=b Nucleo computazionale: ECODEN Sistema lineare

Workshop SCoPE - Stato del progetto e dei Work Packages Sala Azzurra - Complesso universitario Monte SantAngelo ECODEN Denoised data Original data Anisotropic diffusion (Perona-Malik PDE equation) iterative algorithms based on Krylov subspaces methods (CG, GMRES) block diagonals preconditioners (bjacobi, asm)

Workshop SCoPE - Stato del progetto e dei Work Packages Sala Azzurra - Complesso universitario Monte SantAngelo Problema P Modello Matematico M(P) Modello Numerico M h (P) SoftwareAlgoritmo Segmentazione Ambiente parallelo PDE Sistema non lineare Nucleo computazionale: μ-SEG F(u,t)=0

Workshop SCoPE - Stato del progetto e dei Work Packages Sala Azzurra - Complesso universitario Monte SantAngelo μ-SEG + Segmentation function Original data Level set formulation of Riemannian mean curvature flow equation Implicit schema using Newton-like linearization method Iterative algorithms based on Krylov subspaces methods (GMRES) block diagonals preconditioners (bjacobi) Final data

Workshop SCoPE - Stato del progetto e dei Work Packages Sala Azzurra - Complesso universitario Monte SantAngelo Esigenza per luso dellHPC Supercomputing: Necessità di ridurre drasticamente il tempo di esecuzione in funzione dellurgenza della diagnosi (, realtime) Modalità di utilizzo della GRID Collaborative computing: Necessità di rendere possibile la collaborazione tra diverse comunità di medici On demand computing: Necessità di rendere disponibili alle comunità dei medici risorse di supercalcolo non altrimenti disponibili localmente.

Workshop SCoPE - Stato del progetto e dei Work Packages Sala Azzurra - Complesso universitario Monte SantAngelo Funzionalità: Performance monitoring Application on resource A Application Manager Performance Modeler Launch Performance Monitor Contract Monitor Data about resource A Data about application MedIBroker Stop! Devo migrare Violazione del contratto Controllo lo stato del job

Workshop SCoPE - Stato del progetto e dei Work Packages Sala Azzurra - Complesso universitario Monte SantAngelo Funzionalità: Checkpointing/migration Application on resource A Application Manager Performance Modeler Launch Performance Monitor Contract Monitor Contacting Application Manager Calling MedIBroker & performance modeler Data about resource B Data about application MedIBroker Application on resource B Performance Monitor Contract Monitor

Workshop SCoPE - Stato del progetto e dei Work Packages Sala Azzurra - Complesso universitario Monte SantAngelo Globus-based PSE: osservazioni PSE completo grid aware orientato al calcolo ad alte prestazioni MA Soluzioni custom implementate per supplire alle carenze del middleware Globus (assenza di alcuni servizi collective) Soluzioni application oriented

Workshop SCoPE - Stato del progetto e dei Work Packages Sala Azzurra - Complesso universitario Monte SantAngelo Analisi del lavoro: necessità/esigenze 1.Smontare MedIGrid eliminando: le interazioni con il Globus Toolkit tutte le soluzioni custom o application oriented: MedIBroker Application Manager Sistema dei contratti di performance Sistemi per la gestione dei fault Sistemi automatici di stop/restart dellapplicazione 2.Riprogettare la parte server in modo da renderne possibile linterazione con gLite (integrando le features più interessanti) 3.Lasciare invariata la parte client del portale

Workshop SCoPE - Stato del progetto e dei Work Packages Sala Azzurra - Complesso universitario Monte SantAngelo Nuova struttura a livelli del PSE GLOBUSGLOBUS MedIBroker NEW Core Services Collective Services VOMS LFC File catalogue BDII Information System WMS Resource Broker Proxy GLITEGLITE Grid protocols GridFTPGASSGSIGRAM… S.Co.P.E. Toolkit

Workshop SCoPE - Stato del progetto e dei Work Packages Sala Azzurra - Complesso universitario Monte SantAngelo Il PSE basato su gLite Larchitettura software è costituita da tre livelli: LUser Interface (GUI) che include strumenti per la configurazione dei paramentri relativi allimage processing, tool di visualizzazione e di post-processing delle immagini (ad es. plugin per il rendering) Il Grid Portal, basato sulla libreria di funzioni Java di LCG/gLite (WMS-Proxy, LFC/GFAL, JobMonitor), nasconde allutente finale la complessità dellambiente di Griglia I servizi core e collective messi a disposizione da LCG/gLite, alcune componenti del middleware applicativo e varie componenti numeriche

Workshop SCoPE - Stato del progetto e dei Work Packages Sala Azzurra - Complesso universitario Monte SantAngelo Stato dellarte Servizi web Servizio di registrazione nuovi utenti Servizi di upload/download di dati Servizi grid Autenticazione voms-based Sottomissione e monitoraggio dei job Gestione dati (browsing, spostamento, registrazione su catalogo)

Workshop SCoPE - Stato del progetto e dei Work Packages Sala Azzurra - Complesso universitario Monte SantAngelo gLite-based PSE: osservazioni gestione del livello collective a carico del middleware gestione dei dati più efficiente Ma: non adattativa non fault tolerant non orientata al mantenimento di prefissate prestazioni Grid flow approach

Workshop SCoPE - Stato del progetto e dei Work Packages Sala Azzurra - Complesso universitario Monte SantAngelo gLite: caratteristiche e funzionalità attese Estensione/miglioramenti del middleware ( integrazione della libreria di API Java per la gestione delle credenziali voms, modifica della libreria per la gestione dei dati in modo da prevedere la multiutenza, gestione del data streaming, … ) Miglioramento dei meccanismi di checkpointing e fault- tolerance Introduzione di librerie per la realizzazione di applicazioni parallele multisito ( es. PACX-MPI, MPICH-G2, nuovi tag JDL per la descrizione dei Job paralleli e multisito …) Introduzione di meccanismi per linteroperabilità tra middleware differenti ( es. GRelC, GridWAY, … )

Workshop SCoPE - Stato del progetto e dei Work Packages Sala Azzurra - Complesso universitario Monte SantAngelo MedIGrid: caratteristiche e funzionalità attese Miglioramento dei servizi grid (anche a valle di estensione/miglioramenti del middleware) Aggiornamento delle componenti numeriche e delle librerie per checkpointing e gestione dei fault Introduzione di nuovi nuclei computazionali GRID AWARE

Workshop SCoPE - Stato del progetto e dei Work Packages Sala Azzurra - Complesso universitario Monte SantAngelo Il PSE: un esempio di utilizzo

Workshop SCoPE - Stato del progetto e dei Work Packages Sala Azzurra - Complesso universitario Monte SantAngelo Il PSE: un esempio di utilizzo

Workshop SCoPE - Stato del progetto e dei Work Packages Sala Azzurra - Complesso universitario Monte SantAngelo Il PSE: un esempio di utilizzo

Workshop SCoPE - Stato del progetto e dei Work Packages Sala Azzurra - Complesso universitario Monte SantAngelo Il PSE: un esempio di utilizzo

Workshop SCoPE - Stato del progetto e dei Work Packages Sala Azzurra - Complesso universitario Monte SantAngelo Gruppo di lavoro A. Murli (Università degli Studi di Napoli Federico II) V. Boccia (Università degli Studi di Napoli Federico II) R. Campagna (Università degli Studi di Napoli Federico II) D. Casaburi (Università degli Studi di Napoli Federico II) L. Carracciuolo (ICTP-CNR) S. Cuomo (Università degli Studi di Napoli Federico II) L. DAmore (Università degli Studi di Napoli Federico II) A. Galletti (Università degli Studi di Napoli Federico II) G. Laccetti (Università degli Studi di Napoli Federico II) M. Lapegna (Università degli Studi di Napoli Federico II) D. Romano (Università degli Studi di Napoli Federico II) S. Severino (Università degli Studi di Napoli Federico II)