Progetto S.Co.P.E. WP4 MedIGrid, un PSE per il Medical Imaging: implementazione in ambiente gLite G. Laccetti.

Presentazione sul tema: "Progetto S.Co.P.E. WP4 MedIGrid, un PSE per il Medical Imaging: implementazione in ambiente gLite G. Laccetti."— Transcript della presentazione:

1 Progetto S.Co.P.E. WP4 MedIGrid, un PSE per il Medical Imaging: implementazione in ambiente gLite G. Laccetti

2 Workshop SCoPE - Stato del progetto e dei Work Packages Sala Azzurra - Complesso universitario Monte SantAngelo 21-2-2008 2 Il PSE MedIGrid: obiettivi e motivazioni Nel il 2002 nasce MedIGrid, da una collaborazione multidisciplinare (Matematici numerici, Informatici, Fisici) Lobiettivo è quello di sviluppare un PSE per il calcolo ad alte prestazioni, grid-aware, per consentire ai medici di: gestire processare visualizzare immagini mediche acquisite da vari dispositivi

3 Workshop SCoPE - Stato del progetto e dei Work Packages Sala Azzurra - Complesso universitario Monte SantAngelo 21-2-2008 3 Struttura a livelli del PSE (al 2006) GLOBUSGLOBUS MedIBroker

4 Workshop SCoPE - Stato del progetto e dei Work Packages Sala Azzurra - Complesso universitario Monte SantAngelo 21-2-2008 4 Il PSE basato su Globus Larchitettura software è costituita da tre livelli: LUser Interface (GUI) che include strumenti per la configurazione dei paramentri relativi allimage processing, tool di visualizzazione e di post-processing delle immagini (ad es. plugin per il rendering) Il Grid Portal, basato sulla libreria di funzioni del Java CoG Kit, nasconde allutente finale la complessità dellambiente di Griglia I servizi core basati sul Globus toolkit, alcuni servizi collective tra cui un resource broker customizzato sui nuclei computazionali, un application manager, che include script ANT per la gestione del flusso esecutivo delle varie componenti numeriche dellapplicazione e che contiene tutte le altre componenti software dellapplicazione di griglia.

5 Workshop SCoPE - Stato del progetto e dei Work Packages Sala Azzurra - Complesso universitario Monte SantAngelo 21-2-2008 5 Componenti numeriche ECODEN: Denoising di sequenze ecocardiografiche μ-SEG: Segmentazione di immagini mediche Ambiente H/S di esecuzione Hardware: Cluster di nodi interconnessi con rete dedicata Software: S.O. Unix-like, PETSc (MPI, BLAS, LAPACK)

6 Workshop SCoPE - Stato del progetto e dei Work Packages Sala Azzurra - Complesso universitario Monte SantAngelo 21-2-2008 6 Problema P Modello Matematico M(P) Modello Numerico M h (P) SoftwareAlgoritmo Denoising di sequenze ecocardiografiche Ambiente parallelo PDE Au=b Nucleo computazionale: ECODEN Sistema lineare

7 Workshop SCoPE - Stato del progetto e dei Work Packages Sala Azzurra - Complesso universitario Monte SantAngelo 21-2-2008 7 ECODEN Denoised data Original data Anisotropic diffusion (Perona-Malik PDE equation) iterative algorithms based on Krylov subspaces methods (CG, GMRES) block diagonals preconditioners (bjacobi, asm)

8 Workshop SCoPE - Stato del progetto e dei Work Packages Sala Azzurra - Complesso universitario Monte SantAngelo 21-2-2008 8 Problema P Modello Matematico M(P) Modello Numerico M h (P) SoftwareAlgoritmo Segmentazione Ambiente parallelo PDE Sistema non lineare Nucleo computazionale: μ-SEG F(u,t)=0

9 Workshop SCoPE - Stato del progetto e dei Work Packages Sala Azzurra - Complesso universitario Monte SantAngelo 21-2-2008 9 μ-SEG + Segmentation function Original data Level set formulation of Riemannian mean curvature flow equation Implicit schema using Newton-like linearization method Iterative algorithms based on Krylov subspaces methods (GMRES) block diagonals preconditioners (bjacobi) Final data

10 Workshop SCoPE - Stato del progetto e dei Work Packages Sala Azzurra - Complesso universitario Monte SantAngelo 21-2-2008 10 Esigenza per luso dellHPC Supercomputing: Necessità di ridurre drasticamente il tempo di esecuzione in funzione dellurgenza della diagnosi (, realtime) Modalità di utilizzo della GRID Collaborative computing: Necessità di rendere possibile la collaborazione tra diverse comunità di medici On demand computing: Necessità di rendere disponibili alle comunità dei medici risorse di supercalcolo non altrimenti disponibili localmente.

11 Workshop SCoPE - Stato del progetto e dei Work Packages Sala Azzurra - Complesso universitario Monte SantAngelo 21-2-2008 11 Funzionalità: Performance monitoring Application on resource A Application Manager Performance Modeler Launch Performance Monitor Contract Monitor Data about resource A Data about application MedIBroker Stop! Devo migrare Violazione del contratto Controllo lo stato del job

12 Workshop SCoPE - Stato del progetto e dei Work Packages Sala Azzurra - Complesso universitario Monte SantAngelo 21-2-2008 12 Funzionalità: Checkpointing/migration Application on resource A Application Manager Performance Modeler Launch Performance Monitor Contract Monitor Contacting Application Manager Calling MedIBroker & performance modeler Data about resource B Data about application MedIBroker Application on resource B Performance Monitor Contract Monitor

13 Workshop SCoPE - Stato del progetto e dei Work Packages Sala Azzurra - Complesso universitario Monte SantAngelo 21-2-2008 13 Globus-based PSE: osservazioni PSE completo grid aware orientato al calcolo ad alte prestazioni MA Soluzioni custom implementate per supplire alle carenze del middleware Globus (assenza di alcuni servizi collective) Soluzioni application oriented

14 Workshop SCoPE - Stato del progetto e dei Work Packages Sala Azzurra - Complesso universitario Monte SantAngelo 21-2-2008 14 Analisi del lavoro: necessità/esigenze 1.Smontare MedIGrid eliminando: le interazioni con il Globus Toolkit tutte le soluzioni custom o application oriented: MedIBroker Application Manager Sistema dei contratti di performance Sistemi per la gestione dei fault Sistemi automatici di stop/restart dellapplicazione 2.Riprogettare la parte server in modo da renderne possibile linterazione con gLite (integrando le features più interessanti) 3.Lasciare invariata la parte client del portale

15 Workshop SCoPE - Stato del progetto e dei Work Packages Sala Azzurra - Complesso universitario Monte SantAngelo 21-2-2008 15 Nuova struttura a livelli del PSE GLOBUSGLOBUS MedIBroker NEW Core Services Collective Services VOMS LFC File catalogue BDII Information System WMS Resource Broker Proxy GLITEGLITE Grid protocols GridFTPGASSGSIGRAM… S.Co.P.E. Toolkit

16 Workshop SCoPE - Stato del progetto e dei Work Packages Sala Azzurra - Complesso universitario Monte SantAngelo 21-2-2008 16 Il PSE basato su gLite Larchitettura software è costituita da tre livelli: LUser Interface (GUI) che include strumenti per la configurazione dei paramentri relativi allimage processing, tool di visualizzazione e di post-processing delle immagini (ad es. plugin per il rendering) Il Grid Portal, basato sulla libreria di funzioni Java di LCG/gLite (WMS-Proxy, LFC/GFAL, JobMonitor), nasconde allutente finale la complessità dellambiente di Griglia I servizi core e collective messi a disposizione da LCG/gLite, alcune componenti del middleware applicativo e varie componenti numeriche

17 Workshop SCoPE - Stato del progetto e dei Work Packages Sala Azzurra - Complesso universitario Monte SantAngelo 21-2-2008 17 Stato dellarte Servizi web Servizio di registrazione nuovi utenti Servizi di upload/download di dati Servizi grid Autenticazione voms-based Sottomissione e monitoraggio dei job Gestione dati (browsing, spostamento, registrazione su catalogo)

18 Workshop SCoPE - Stato del progetto e dei Work Packages Sala Azzurra - Complesso universitario Monte SantAngelo 21-2-2008 18 gLite-based PSE: osservazioni gestione del livello collective a carico del middleware gestione dei dati più efficiente Ma: non adattativa non fault tolerant non orientata al mantenimento di prefissate prestazioni Grid flow approach

19 Workshop SCoPE - Stato del progetto e dei Work Packages Sala Azzurra - Complesso universitario Monte SantAngelo 21-2-2008 19 gLite: caratteristiche e funzionalità attese Estensione/miglioramenti del middleware ( integrazione della libreria di API Java per la gestione delle credenziali voms, modifica della libreria per la gestione dei dati in modo da prevedere la multiutenza, gestione del data streaming, … ) Miglioramento dei meccanismi di checkpointing e fault- tolerance Introduzione di librerie per la realizzazione di applicazioni parallele multisito ( es. PACX-MPI, MPICH-G2, nuovi tag JDL per la descrizione dei Job paralleli e multisito …) Introduzione di meccanismi per linteroperabilità tra middleware differenti ( es. GRelC, GridWAY, … )

20 Workshop SCoPE - Stato del progetto e dei Work Packages Sala Azzurra - Complesso universitario Monte SantAngelo 21-2-2008 20 MedIGrid: caratteristiche e funzionalità attese Miglioramento dei servizi grid (anche a valle di estensione/miglioramenti del middleware) Aggiornamento delle componenti numeriche e delle librerie per checkpointing e gestione dei fault Introduzione di nuovi nuclei computazionali GRID AWARE

21 Workshop SCoPE - Stato del progetto e dei Work Packages Sala Azzurra - Complesso universitario Monte SantAngelo 21-2-2008 21 Il PSE: un esempio di utilizzo

22 Workshop SCoPE - Stato del progetto e dei Work Packages Sala Azzurra - Complesso universitario Monte SantAngelo 21-2-2008 22 Il PSE: un esempio di utilizzo

23 Workshop SCoPE - Stato del progetto e dei Work Packages Sala Azzurra - Complesso universitario Monte SantAngelo 21-2-2008 23 Il PSE: un esempio di utilizzo

24 Workshop SCoPE - Stato del progetto e dei Work Packages Sala Azzurra - Complesso universitario Monte SantAngelo 21-2-2008 24 Il PSE: un esempio di utilizzo

25 Workshop SCoPE - Stato del progetto e dei Work Packages Sala Azzurra - Complesso universitario Monte SantAngelo 21-2-2008 25 Gruppo di lavoro A. Murli (Università degli Studi di Napoli Federico II) V. Boccia (Università degli Studi di Napoli Federico II) R. Campagna (Università degli Studi di Napoli Federico II) D. Casaburi (Università degli Studi di Napoli Federico II) L. Carracciuolo (ICTP-CNR) S. Cuomo (Università degli Studi di Napoli Federico II) L. DAmore (Università degli Studi di Napoli Federico II) A. Galletti (Università degli Studi di Napoli Federico II) G. Laccetti (Università degli Studi di Napoli Federico II) M. Lapegna (Università degli Studi di Napoli Federico II) D. Romano (Università degli Studi di Napoli Federico II) S. Severino (Università degli Studi di Napoli Federico II)