Design of Component-based Parallel Image Processing Libraries in a GRID environment Proposta di tesi di Dottorato XIX ciclo Candidata: Antonella Galizia.

Presentazione sul tema: "Design of Component-based Parallel Image Processing Libraries in a GRID environment Proposta di tesi di Dottorato XIX ciclo Candidata: Antonella Galizia."— Transcript della presentazione:

1 Design of Component-based Parallel Image Processing Libraries in a GRID environment Proposta di tesi di Dottorato XIX ciclo Candidata: Antonella Galizia Relatori: Andrea Clematis Vittoria Gianuzzi

2 Ph.D Thesis Proposal Antonella Galizia2 Obiettivo Il nostro obiettivo è la definizione di strumenti per image processing:  High performance  Distribuiti Per raggiungere questo scopo abbiamo individuato 3 linee di ricerca:  La costruzione di una libreria parallela  L’integrazione su piattaforme distribuite  La costruzione di oggetti paralleli che sfruttino tali architetture

3 Ph.D Thesis Proposal Antonella Galizia3 Sommario SScenario: CComputational Grid PParallel component based programming tools and environments DDominio di applicazione: Image Processing IIl nostro percorso: UUna libreria parallela per Image Processing IIntegrazione in ambienti distribuiti EEvoluzioni alle griglie PProposte e conclusioni

4 Ph.D Thesis Proposal Antonella Galizia4 Scenario CComputational Grid: CCos’è Grid, Middleware, altri approcci distribuiti: CORBA PParallel component based programming tools and environments: CCCA framework SStructured parallel programming environment AASSIST DDominio di applicazione: Image Processing

5 Ph.D Thesis Proposal Antonella Galizia5 Scenario Il punto di partenza  La ricerca scientifica si sviluppa sempre di più attraverso collaborazioni distribuite, utilizzando Internet come piattaforma abilitante  Si richiedono enormi quantità di dati, capacità di elaborazione, sistemi di visualizzazione ad alte prestazioni  Tali risorse sono disponibili grazie alla condivisione attraverso l’infrastruttura di rete  Esiste la possibilità di scalare in termini di potenza di calcolo, dati, banda di comunicazione

6 Ph.D Thesis Proposal Antonella Galizia6 Cos’è il Grid  Un ambiente persistente in cui le applicazioni possono integrare ed utilizzare risorse computazionali, dati, device, e reti appartenenti a diverse organizzazioni ed in diverse locazioni  La condivisione di risorse è ottenuta attraverso accessi diretti da parte degli utenti e gli accessi alle risorse vengono altamente controllati  Un gruppo di utenti o organizzazioni regolati da una politica di condivisione formano le così dette virtual organization Scenario

7 Ph.D Thesis Proposal Antonella Galizia7  Una Virtual Organization (VO) è costituita da:  un insieme di individui o istituzioni  un insieme di risorse da condividere  un insieme di regole per la condivisione  Una VO è una collezione di utenti che condividono risorse per l’accesso a risorse di calcolo e a dati distribuiti e perseguono obiettivi comuni.  Concetto chiave: l’abilità di negoziare le modalità di condivisione delle risorse tra i componenti di una VO (providers and consumers) ed il successivo utilizzo per i propri scopi. [I.Foster] Scenario

8 Ph.D Thesis Proposal Antonella Galizia8 I problemi che il Grid vuole risolvere...  Il Grid ha una valenza molto pragmatica  Nasce dall’informatica applicata  Si focalizza sul permettere un nuovo tipo di applicazioni  Investire nel Grid trova motivazioni nella promessa di nuove capacità, non soltanto nell’informatica ma anche in altri settori  Contesto Applicativo  Finanza  Industria  Servizi Scenario

9 Ph.D Thesis Proposal Antonella Galizia9 Scenario Quale tipo di applicazioni?  Computational intensive  Simulazioni interattive (climate modeling)  Simulazioni e analisi su larga scala (formazione di galassie, campi gravitazionali, previsione di terremoti)  Ingegneria (parameter studies, linked component models)  Data intensive  Analisi di dati sperimentali (high-energy physics)  Image analysis (astronomia, climatologia, ecologia, )

10 Ph.D Thesis Proposal Antonella Galizia10 Scenario Quale tipo di applicazioni?  Collaborazioni distribuite  Strumenti online (microscopi, x-ray devices, etc.)  Visualizzazione in remoto (studi climatologici, biologia)  Ingegneria (large-scale structural testing, ingegneria chimica)  E tutti problemi tali da richiedere la collaborazione di persona appartenenti a diverse organizzazioni e la condivisione di risorse di calcolo, dati, strumenti

11 Ph.D Thesis Proposal Antonella Galizia11 Scenario Problematiche relative alle griglie:  Security  Monitoring/Discovery  Computing/Processing Power  Moving and Managing Data  Managing Systems  System Packaging/Distribution

12 Ph.D Thesis Proposal Antonella Galizia12 Scenario Come ciò si ottiene nella realtà:  Le implementazioni si ottengono mediante mix di  Codice specifico dell’applicazione  Middleware e servizi  E.G. Globus Toolkit  Tool e servizi provenienti dalla Grid community (spesso compatibili con GT)  Tenuti insieme da…  Lo sviluppo di applicazioni  L’integrazione di sistemi

13 Ph.D Thesis Proposal Antonella Galizia13  Definisce un’architettura service-oriented…  elemento chiave per un’effettiva virtualizzazione  …per soddisfare richieste vitali del Grid  sicurezza, on-demand, gestione del sistema, cooperazioni, etc  …costruito con Web service.  estendone gli standard quando necessario Scenario Mettendo tutto insieme si arriva alla… Open Grid Service Archtecture OGSA

14 Ph.D Thesis Proposal Antonella Galizia14 Scenario Nella visione OGSA le librerie scientifiche continuano ad avere la loro funzione:  Strumenti performanti per aiutare l’utente  Incapsulano esecuzioni parallele  Sfruttano le gerarchie di memoria  Applicano politiche di Load balancing  Devono essere portate su griglie! GrADS ->VGrADS  Sei sperimentazioni: ScaLAPACK, Cactus, etc  Altri studi sono rivolti all’interazione tra librerie, compilatori e l’ambiente dinamico

15 Ph.D Thesis Proposal Antonella Galizia15 Scenario Altra strada per fornire i servizi OGSA è rappresentata dai Portali  Forniscono servizi tramite web browser  Fungono da gateway tra utente e servizi Un Grid Portal è un punto d’accesso per un utente ad un sistema Grid  Fornisce il link per tutte le componenti delle VO  Permette un ulteriore livello di astrazione La nostra idea è sviluppare un portale Grid per Image Processing, utilizzando il “Portal Toolkit” GridSphere

16 Ph.D Thesis Proposal Antonella Galizia16 Scenario Portali  Fornisce un ambiente in cui un utente:  Accedere alle risorse  Eseguire e monitorare le applicazioni  Collaborare con altri utenti  Sviluppare delle proprie applicazioni  L’elemento chiave sono le portlet, contenitori che gestiscono i servizi Grid, che sono visualizzati in finestre del browser

17 Ph.D Thesis Proposal Antonella Galizia17 Scenario Altri approcci per la realizzazione di middleware per architetture eterogenee… Common Object Request Broker Architecture CORBA  Costituisce un framework orientato agli oggetti, dove questi interagiscono superando limitazioni quali:  eterogeneità  locazione  interoperabilità  integrazione La nostra idea è integrare oggetti CORBA in un ambiente Grid-aware

18 Ph.D Thesis Proposal Antonella Galizia18 Scenario Definito dall’Object Management Group OMG, CORBA  Permette di manipolare componenti software in maniera trasparente rispetto alla loro locazione  Risulta indipendente dal linguaggio di nativo degli oggetti, dalle architetture sottostanti (hw so)  Le componenti sono viste come scatole nere che offrono o richiedono dei servizi, resi noti mediante le interfacce

19 Ph.D Thesis Proposal Antonella Galizia19 Scenario CORBA  Per la scrittura delle interfacce CORBA-IDL, Interface Definition Language  meta linguaggio di due importanti proprietà:  indipendenza dal linguaggio di implementazione dell’oggetto  proprietà di eredità delle interfacce  L’ ORB vero e proprio canale di individuazione, comunicazione e interazione degli oggetti

20 Ph.D Thesis Proposal Antonella Galizia20 Sommario  Scenario:  Computational Grid  Parallel component based programming tools and environments  Dominio di applicazione: Image Processing  Il nostro percorso:  Una libreria parallela per Image Processing  Integrazione in ambienti distribuiti  Evoluzioni alle griglie  Proposte e conclusioni

21 Ph.D Thesis Proposal Antonella Galizia21 Scenario CComputational Grid: CCos’è Grid, Middleware, altri approcci distribuiti: CORBA PParallel component based programming tools and environments: CCCA framework SStructured parallel programming environment AASSIST DDominio di applicazione: Image Processing

22 Ph.D Thesis Proposal Antonella Galizia22 Scenario Architetture a componenti  L’idea: costruire programmi componendo sotto- moduli applicativi di alto livello  Esistono molti buoni esempi  “Classici”  MS COM, SciRun I, Java Beans, OMG COM  Di seconda generazione  Corba CCM, ASSIST, MS.NET, ProActive, Grid Services

23 Ph.D Thesis Proposal Antonella Galizia23 Common Component Architecture CCA  Nato nella metà degli anni 90  Definisce una specifica per lo sviluppo di componenti per applicazioni parallele e distribuite  Il CCA Forum  Circe 100 persone di 20 laboratori di ricerca e università americane  Quattro implementazioni esistenti  SciRun II  Ccaffeine  Decaf  XCAT Scenario Una delle possibilità è di esplorare l’utilizzo di Ccaffeine per ottenere componenti CCA per l’Image Processing

24 Ph.D Thesis Proposal Antonella Galizia24 Scenario setImage(Image I) Image getImage() adjustColor() setFilter(Filter) Image Processing Component calls doFFT(…) Concetti base CCA  Porte = interfacce pubbliche che definiscono  Provides ports - diversi servizi che una componente fornisce  Uses ports - diversi servizi che una componente richiede Uses Ports Provides Ports

25 Ph.D Thesis Proposal Antonella Galizia25 Scenario Concetti base CCA  Costruire applicazioni mediante composizione di componenti  Connettere le porte uses con le porte provides Image Processing Component FFT component Image tool graphical interface component Image database component doFFT(…) SetImage(…) GetImage() AdjustColor()

26 Ph.D Thesis Proposal Antonella Galizia26 Ambiente per la programmazione parallela strutturata… A Software development System based upon Integrated Skeleton Technology ASSIST  E’ un ambiente di sviluppo di applicazioni portabili parallele e distribuite  Coniuga component technology e structured parallel programming technology Scenario La nostra idea è utilizzarlo sia per incapsulare codice che per scrivere componenti parallele per Image Processing

27 Ph.D Thesis Proposal Antonella Galizia27 Scenario ASSIST  Skeleton: istanza di forme di parallelismo  Definisce un nuovo costrutto parallel module, parmod  Può essere considerato uno skeleton generico + espressione di nuove forme di parallelismo  Un programma ASSIST è un grafo  Nodi = componenti (parmod, sequenziali)  Archi = interfacce astratte che supportano gli stream

28 Ph.D Thesis Proposal Antonella Galizia28  Processori Virtuali  Topologia  Stato interno  Stream di Input  Stream di Output  Oggetti esterni ASSIST Il parallel module è definito dai seguenti elementi: Scenario

29 Ph.D Thesis Proposal Antonella Galizia29 Sommario  Scenario:  Computational Grid  Parallel component based programming tools and environments  Dominio di applicazione: Image Processing  Il nostro percorso:  Una libreria parallela per Image Processing  Integrazione in ambienti distribuiti  Evoluzioni alle griglie  Proposte e conclusioni

30 Ph.D Thesis Proposal Antonella Galizia30 Scenario CComputational Grid: CCos’è Grid, Middleware, altri approcci distribuiti: CORBA PParallel component based programming tools and environments: CCCA framework SStructured parallel programming environment AASSIST DDominio di applicazione: Image Processing

31 Ph.D Thesis Proposal Antonella Galizia31 Scenario L’Image Processing  Disciplina divenuta un argomento di interesse per la comunità scientifica  Molti ed importanti settori applicativi che hanno esigenze di high performance  Medicina  Osservazione terrestre  Trasporti  Commerciali  È una di quelle discipline che richiedono un’apertura al Grid

32 Ph.D Thesis Proposal Antonella Galizia32 Sommario SScenario: CComputational Grid PParallel component based programming tools and environments DDominio di applicazione: Image Processing IIl nostro percorso: UUna libreria parallela per Image Processing IIntegrazione in ambienti distribuiti EEvoluzioni alle griglie PProposte e conclusioni

33 Ph.D Thesis Proposal Antonella Galizia33 Il nostro percorso UUna libreria per Image Processing SStudi preliminari PParallelismo ssperimentazioni UUna libreria esistente IImpostazione PPolitiche di ottimizzazione IIntegrazione in ambienti distribuiti CCORBA AASSIST EEvoluzioni alle Griglie PPortale AASSIST OOggetti paralleli performanti

34 Ph.D Thesis Proposal Antonella Galizia34 Studi preliminari  Per la catalogazione delle operazioni abbiamo considerato G.X. Ritter, J.N. Wilson, Computer vision in Image Algebra, CRS Press, 2000  dove si assume che un numero limitato di classi di operazioni ricoprono il nucleo delle operazioni comunemente applicate Il nostro percorso

35 Ph.D Thesis Proposal Antonella Galizia35 Studi preliminari  Per rispondere all’esigenza di high performance si è deciso di adottare il parallelismo  La forma che si sposa bene con l’image processing è il data parallelism  Vogliamo fornirlo in maniera trasparente  nascosto all’utente - l’interfaccia è sequenziale ed il parallelismo è gestito dalla libreria  Vogliamo applicare politiche di ottimizzazione delle prestazioni Il nostro percorso

36 Ph.D Thesis Proposal Antonella Galizia36 Studi preliminari  Individuate le classi di operazioni abbiamo delineato parallelizzazione più efficiente:  Parellelizzable pattern  One-to-one  One-to-M  One-to unknown  Composto tali pattern Il nostro percorso

37 Ph.D Thesis Proposal Antonella Galizia37 Studi preliminari  Per cui ad esempio un’operazione di riduzione  Max  Min  Prod  Somma Il nostro percorso

38 Ph.D Thesis Proposal Antonella Galizia38 Studi preliminari  oppure un’operazione di convoluzione  Notiamo le ghost region  Le diverse modalità di comunicazione  I diversi pattern messi insieme Il nostro percorso

39 Ph.D Thesis Proposal Antonella Galizia39 Il nostro percorso Studi preliminari  Sono portate avanti varie sperimentazioni  Strutture dati  Distribuzione dei dati  Statica  ScaLAPACK  Pre-distribuzione  Bilanciamento del carico di lavoro  Ottimizzazioni  Intra-operation - singole operazioni  Inter-operation - comunicazioni

40 Ph.D Thesis Proposal Antonella Galizia40 L’impostazione del codice Fase di calcolo, 4 componenti logiche  Operazioni sequenziali, agenti 6 livelli: da operazioni su pixel a trasformazioni geometriche  Estensioni parallele, funzioni MPI-based  Operazioni parallele, concatenazione di funzioni appartenti ai 2 precedenti moduli  Api, interfaccia che rende il parallelismo trasparente Il nostro percorso

41 Ph.D Thesis Proposal Antonella Galizia41 L’impostazione del codice Ottimizzazione del codice, 2 direzioni / 4 componenti:  Ottimizzazione delle singole function  Modello di performance per ogni operazione  Benchmarking tool per il calcolo dei precedenti valori  Ottimizzazione delle chiamate alla libreria  Specifica dell’algoritmo per l’ottimizzazione inter- operation  Scheduling per l’ottimizzazione intra-operation Il nostro percorso

42 Ph.D Thesis Proposal Antonella Galizia42 Impostazione del codice Il nostro percorso

43 Ph.D Thesis Proposal Antonella Galizia43 Una libreria esistente… ParHorus, scritta dal Dr. Frank J. Seinstra, Università di Amsterdam  Implementata in C ed MPI, si basa sull’idea di parallelismo trasparente:  L’interfaccia è sequenziale  Il parallelismo è gestito dalla libreria  La libreria si dirama in due diverse direzioni:  Fase di calcolo  Ottimizzazione del codice Il nostro percorso

44 Ph.D Thesis Proposal Antonella Galizia44 ParHorus, Lazy Parallelization  Parallalizzaziona di default + modello di ottimizzazione  Si basa sulla definizione di Macchina a stati finiti  Set di stati  Funzioni di transizione  Ogni comunicazione o operazione di gestione della memoria è ridondante fin quando non sia accertato il contrario  Tali operazioni sono permesse se e solo se la loro eliminazione porta una rappresentazione invalida Il nostro percorso

45 Ph.D Thesis Proposal Antonella Galizia45 Operazione Default Lazy Lazy Parallelization: esempio Il nostro percorso C = A + f(A)  Importare l’immagine A  Applicare ad A l’operazione unaria per ottenere l’immagine B  Applicare ad A e B l’operazione binaria per ottenere l’immagine C  Esportare C  Cancellare tutte le immagini

46 Ph.D Thesis Proposal Antonella Galizia46 Sommario  Scenario:  Computational Grid  Parallel component based programming tools and environments  Dominio di applicazione: Image Processing  Il nostro percorso:  Una libreria parallela per Image Processing  Integrazione in ambienti distribuiti  Evoluzioni alle griglie  Proposte e conclusioni

47 Ph.D Thesis Proposal Antonella Galizia47 Il nostro percorso UUna libreria per Image Processing SStudi preliminari PParallelismo ssperimentazioni UUna libreria esistente IImpostazione PPolitiche di ottimizzazione IIntegrazione in ambienti distribuiti CCORBA AASSIST EEvoluzioni alle Griglie PPortale AASSIST OOggetti paralleli performanti

48 Ph.D Thesis Proposal Antonella Galizia48 La libreria come una componente Approccio modulare e flessibile che permetta di nascondere la complessità  Il codice dovrà essere racchiuso in opportuni involucri (componenti) che potranno dare luogo ad una gerarchia di componenti  Verrà elaborata una politica di scheduling dei processi e delle risorse  Rimane la politica di ottimizzazione della libreria Il nostro percorso

49 Ph.D Thesis Proposal Antonella Galizia49 Il nostro percorso A tal fine un passo fondamentale è la definizione una gerarchia di oggetti  le più comuni operazioni di image processing  rappresenti la struttura da integrare nei vari ambienti  da cui estrapolare l’interfaccia  Passi per definire tale gerarchia  partire dalle strutture dati e relative operazioni di manipolazione  considerare le operazioni che elaborano le stesse strutture dati  raggruppare le operazioni con comportamento simile

50 Ph.D Thesis Proposal Antonella Galizia50 Il nostro percorso Alle strutture dati abbiamo associato le operazioni di base KERNELMATRIXIMAGE createImage; deleteImage; createImageOnOne; copyImage; readFromFile; writeFromFile; createMatrix; deleteMatrix; translate2d; scale2d; rotate2d; reflect2d; copy; createKernel1d; deleteKernel1d; createKernel2d; deleteKernel2d; createKernel; deleteKernel; createFromData; La gerarchia di oggetti

51 Ph.D Thesis Proposal Antonella Galizia51 Il nostro percorso La gerarchia di oggetti le operazioni sono raggruppate in classi, strutture dati Binarie IMAGE UnaryPixel IMAGE Reduce IMAGEARITH Vicini IMAGEKERNEL Geo IMAGEMATRIX Conv IMAGEKERNEL

52 Ph.D Thesis Proposal Antonella Galizia52 Il nostro percorso La gerarchia di oggetti Raggruppano operazioni con comportamento simile: Binarie IMAGE UnaryPixel IMAGE Reduce IMAGEARITH Vicini IMAGEKERNEL Geo IMAGEMATRIX Conv IMAGEKERNEL Unarie UnaryPixelReduce Convoluzioni GlobalLocal

53 Ph.D Thesis Proposal Antonella Galizia53 La gerarchia di oggetti L’oggetto operazioni Unarie UnaryPixelReduce c Globa l Local Operazioni UnarieBinarieGeoConv IMAGEARITHMATRIXKERNEL Il nostro percorso

54 Ph.D Thesis Proposal Antonella Galizia54 La gerarchia di oggetti L’ultimo livello è l’oggetto libreria: c Globa l Local Unarie UnaryPixelReduce Operazioni UnarieBinarieGeoConv Libreria InitOperazioniClose IMAGEARITHMATRIXKERNEL Il nostro percorso

55 Ph.D Thesis Proposal Antonella Galizia55 Il nostro percorso  Una volta definita tale gerarchia, il primo passo compiuto è l’integrazione in CORBA  Standard per il wrapping di applicazioni  Il vero problema implementativo è legato alla convivenza dei due ambienti MPI-CORBA  Sistemi che risolvono problemi diversi, quindi non dotati di intrinseca compatibilità  Non esistono schemi prestabiliti per la loro convivenza

56 Ph.D Thesis Proposal Antonella Galizia56 L’idea più naturale è quella di far coordinare i due mondi da un processo che fungerà da gateway  Server CORBA  Root MPI permettendo in questo modo una gestione consapevole della computazione Il nostro percorso

57 Ph.D Thesis Proposal Antonella Galizia57 Il Server fornisce i proprio servizi attivando l’ambiente MPI e gestendolo in maniera opportuna e coerente rispetto al mondo CORBA  Il Server viene mandato in esecuzione mediante un mpirun, in cui avremo specificato un numero definito di processi MPI  Tra questi solo il processo di Root attiva l’ORB diventando Server e raccogliendo le richieste Il nostro percorso

58 Ph.D Thesis Proposal Antonella Galizia58  Una volta ottenute le richieste da un Client il Server le passa agli altri processi MPI ed insieme le eseguono  Finita la computazione il Server-Root, chiude il mondo MPI, raccoglie i risultati e li fornisce al Client  Il punto fondamentale è la comunicazione da parte del Server agli altri processi MPI delle richieste del Client Il nostro percorso

59 Ph.D Thesis Proposal Antonella Galizia59  L’integrazione si ottiene mediante la costruzione e gestione di canale di comunicazione dei dati tra CORBA ed MPI  Per cui il lavoro del Server è:  Ottenere le richieste dal Client e passarle agli altri processi MPI  Trasmettere i dati relativi alle richieste  Coordinare l’esecuzione  Passare i risultati al Client Il nostro percorso

60 Ph.D Thesis Proposal Antonella Galizia60  Il punto della situazione…  Diverse funzione della libreria sono state integrate in CORBA  La soluzione adottata funziona  …attualmente stiamo sviluppando un’applicazione per valutare  Le performance  Scalabilità  L’overhead Il nostro percorso Parallel Image Processing Server

61 Ph.D Thesis Proposal Antonella Galizia61 IIl prossimo passo previsto è ASSIST IIntegrazione della libreria (breve termine) SSviluppo di una libreria (lungo termine) IIntegrazione della libreria AAnche in ASSIST l’integrazione di codice è molto semplice AAnche qui i problemi sono legati alla presenza di MPI nella computazione AASSIST ed MPI gestiscono entrambi il parallelismo…ma in maniera diversa ed intrinsecamente incompatibile! Il nostro percorso

62 Ph.D Thesis Proposal Antonella Galizia62 Passare attraverso CORBA…  ASSIST permette l’utilizzo di oggetti esterni compatibilmente con le interfacce e metodi che essi mettono a disposizione  Fornisce la definizione di una interfaccia ORB, chiamata assist_orb, per la connessione e l’utilizzo di oggetti CORBA  ASSIST è perfettamente integrato nel mondo CORBA  Considerare la libreria come un Server CORBA, il cui scopo è quello di ricevere le richieste ed i relativi dati di input da un modulo ASSIST e di restituirgli i risultati prodotti Il nostro percorso

63 Ph.D Thesis Proposal Antonella Galizia63 Passare attraverso CORBA  I vantaggi di questa scelta derivano dalla già avvenuta integrazione delle architetture ASSIST- CORBA  Tutte le difficoltà si spostano sul wrapping in CORBA  Già effettuato e quasi concluso!  Nessuna modifica agli ambienti  Mantiene la rappresentazione di grafo  Utilizzo delle politiche di ottimizzazione  Livello libreria  Livello ASSIST  È portabile su griglia Il nostro percorso Otteniamo così un primo modulo ASSIST per Image Processing Grid-aware

64 Ph.D Thesis Proposal Antonella Galizia64 Sommario  Scenario:  Computational Grid  Parallel component based programming tools and environments  Dominio di applicazione: Image Processing  Il nostro percorso:  Una libreria parallela per Image Processing  Integrazione in ambienti distribuiti  Evoluzioni alle griglie  Proposte e conclusioni

65 Ph.D Thesis Proposal Antonella Galizia65 Il nostro percorso UUna libreria per Image Processing SStudi preliminari PParallelismo ssperimentazioni UUn libreria esistente IImpostazione PPolitiche di ottimizzazione IIntegrazione in ambienti distribuiti CCORBA AASSIST EEvoluzioni alle griglie PPortale AASSIST OOggetti paralleli performanti

66 Ph.D Thesis Proposal Antonella Galizia66 Il nostro percorso In questa fase  Portale Grid per l’elaborazione di immagini  Integrazione delle operazioni di Image Processing in Web Services  Costruzione di portlet per la gestione dei servizi di griglia  ASSIST - costruzione di una libreria nativa dell’ambiente  Analisi dei parmod  Politiche di scheduling  Bilanciamento del carico di lavoro  Possibilità di utilizzare Ccaffeine per la costruzione di una componente CCA per l’Image Processing

67 Ph.D Thesis Proposal Antonella Galizia67 Il nostro percorso In questa fase Oggetti paralleli per l’Image Processing  sfruttino al meglio l’infrastruttura sottostante  interagiscano dinamicamente con le griglie Verranno investigate politiche di ottimizzazione  scheduling dei processi e delle risorse  ottimizzazione delle applicazioni - tuning executions per esempio cluster omogenei condivisi -> griglie eterogenee

68 Ph.D Thesis Proposal Antonella Galizia68 Sommario SScenario: CComputational Grid PParallel component based programming tools and environments DDominio di applicazione: Image Processing IIl nostro percorso: UUna libreria parallela per Image Processing IIntegrazione in ambienti distribuiti EEvoluzioni alle griglie PProposte e conclusioni

69 Ph.D Thesis Proposal Antonella Galizia69 Conclusioni  Risultati ottenuti rispetto alle linee di ricerca delineate negli obiettivi  Costruzione di una libreria parallela per Image Processing  Integrazione della libreria in ambienti eterogenei e distribuiti  Costruzione di nuovi oggetti paralleli per Image Processing che sfruttino al meglio le nuove tecnologie  Work Plan  Progetti e collaborazioni

70 Ph.D Thesis Proposal Antonella Galizia70 Conclusioni Risultati ottenuti - Libreria  Definizione delle operazioni e gerarchia degli oggetti  Parallelismo - pattern -  Sperimentazioni per la costruzione della libreria  Strutture dati  Distribuzione dei dati  Bilanciamento del carico di lavoro  Ottimizzazioni  Intra-operation - singole operazioni  Inter-operation - comunicazioni

71 Ph.D Thesis Proposal Antonella Galizia71 Conclusioni Risultati ottenuti - integrazione  Server CORBA  Lavoro praticamente finito  Studi relativi ad ASSIST  Soluzione adottata CORBA, quasi raggiunta Risultati ottenuti - Grid  Portale: studi preliminari del settore  Web services  portlet

72 Ph.D Thesis Proposal Antonella Galizia72 Conclusioni Work plan - breve termine  Costruire l’applicazione per CORBA  Miglioramento di immagini mediante istogramma  Applicazione immagini biomediche  Effettuare test e chiudere il lavoro  Integrare il Server in ASSIST  Costruzione del Portale  Integrazione del codice in Web Services  Costruzione della portlet per la gestione Fine gennaio Non più di due mesi In quest’anno!

73 Ph.D Thesis Proposal Antonella Galizia73 Conclusioni Work plan - breve termine  Costruire la libreria  Testare MPI 2  Implementare le operazioni e la gerarchia di oggetti Work plan - lungo termine  Costruire una libreria in ASSIST  Costruire una componente in Ccaffeine  Studi di ottimizzazione  Scheduling  Tuning execution In quest’anno! L’anno prossimo!

74 Ph.D Thesis Proposal Antonella Galizia74 Conclusioni Collaborazioni e progetti In fase del tutto embrionale:  Prof. P.Boccacci, Università di Genova  Sviluppo di un’applicazione per la desfocatura di un’immagine SPECT 3D  J. Novotny, A. Eistein Institut, GridSphere project  Supporto per lo sviluppo del Portale

75 Ph.D Thesis Proposal Antonella Galizia75 Conclusioni Progetti  MURST 5% - 1999 Grid Computing: tecnologie abilitanti e applicazioni per eScience  MURST 5% - 2000 Piattaforma Distribuita ad Alte Prestazioni  Progetto FIRB PIATTAFORME ABILITANTI PER GRIGLIE COMPUTAZIONALI A ELEVATE PRESTAZIONI ORIENTATE A ORGANIZZAZIONI VIRTUALI SCALABILI, GRID.IT