La presentazione è in caricamento. Aspetta per favore

La presentazione è in caricamento. Aspetta per favore

1 Sistemi software per applicazioni distribuite su reti wireless e wired Vittoria Gianuzzi 15 luglio 2008.

Presentazioni simili


Presentazione sul tema: "1 Sistemi software per applicazioni distribuite su reti wireless e wired Vittoria Gianuzzi 15 luglio 2008."— Transcript della presentazione:

1 1 Sistemi software per applicazioni distribuite su reti wireless e wired Vittoria Gianuzzi 15 luglio 2008

2 2 Algoritmi distribuiti Cluster WS Eter. e Om. GRID MANET VANET DISI – M. Ancona, G. Dodero CNR – IMATI e IEIIT Genova (A. Clematis, A. Corana) Dottorandi e Post Doc (Cluster e Grid). D’Agostino, A. Galizia, A. Merlo Borsisti (VANET): A. Di Marco, L. Rocca Prog. Europ. Infrastructure

3 3 Programmazione Distribuita su reti eterogenee di workstation Strumenti di sviluppo per programmi distribuiti con schema di pipeline non lineare. Classe di algoritmi distribuiti, incluso la simulazione di circuiti, implementabili tramite un insieme di processi che lavorano come gli stadi di un pipeline non lineare, realizzando un parallelismo temporale di esecuzione. Implementazione di un sistema per lo sviluppo di applicazioni in C++ su cui effettuare valutazioni di performance. Definizione di un algoritmo efficiente per individuare la terminazione della computazione su pipeline. Realizzazione di applicazioni per GRID su cluster di computer Tesi del Dottorato : Designing parallel programs for 3D data processing on GRID and Ubiquitous computing Architectures (D. D'Agostino)

4 4 Applicazioni e Middleware per cluster (1) Studio e sviluppo di strumenti per supportare applicazioni parallele su cluster di workstation. Cluster eterogenei di workstation. Implementato PINCO, un ambiente per la gestione dinamica delle risorse accessibili su una rete di workstation eterogene. Studio sull’allocazione dinamica di librerie parallele. Benchmark: ScaLAPACK (Scalable Linear Algebra PACKage), modificata per consentire di variare la granularita’ di data parallelism.

5 5 Applicazioni e Middleware per cluster (2) PhD Thesis: Design of Component-based Parallel Image Processing Libraries in a GRID environment (Dott. A. Galizia). Algoritmi per l'effettuazione di tagli consistenti Sistema PVsnap sulla libreria PVM, inserita in un sistema per la Software Fault Tolerance.

6 6 Grid Computing Strumenti per la selezione delle risorse e l’esecuzione delle applicazioni su piattaforme Grid. L’utente precisa il minimo insieme di risorse richieste per l’esecuzione; Può aggiungere criteri più stringenti per ottenere una predefinita Quality of Service (QoS) (ad esempio tempo di esecuzione minore di una data soglia). Lo user agent deve trovare le risorse di cui ha bisogno. Situazione attuale Gli scheduler Grid si limitano nella maggior parte dei casi alla gestione di job batch che non hanno requisiti di QoS e possono accettare una risposta di tipo “best effort”.

7 7 Scoperta e selezione delle risorse (2) Obiettivo Il processo di resource discovery deve essere collegato con la fornitura del livello atteso di QoS. Il processo di resource discovery deve essere collegato con la fornitura del livello atteso di QoS. Occorre un sistema di resource management in grado di far corrispondere al meglio ben definiti requisiti dell’applicazione con le caratteristiche delle risorse, negoziando anche adeguati Service Level Agreements (SLA). Occorre un sistema di resource management in grado di far corrispondere al meglio ben definiti requisiti dell’applicazione con le caratteristiche delle risorse, negoziando anche adeguati Service Level Agreements (SLA). Proposta di tesi (dicembre 2006): "A two-level agent based Grid scheduler for different QoS applications“, Alessio Merlo

8 8 Sviluppo Middleware Prodotto software sviluppato: GEDA (Grid Explorer for Distributed Applications) – Tool orientato ai servizi per la selezione delle risorse e l’esecuzione di applicazioni parallele su architetture Grid, in grado di fornire una facile interazione tra utente e sistema. Prima parte di un sistema che consenta l’esecuzione di applicazioni Soft Real Time in ambiente Grid tramite un sistema (il più possibile) automatizzato (SoRT Grid). Laboratorio Grid del SIIT (Distretto dei Sistemi Intelligenti Integrati Tecnologici)

9 9 HyVonNe (Hybride Voronoi Network) Entita’ caratterizzate da coordinate geometriche (2-3 D) collegate tramite triangolazione di Delaunay o tassellazione di Voronoi (per la connessione, le range query e il routing) Possibilita’ di rispondere a Range Query Clusterizzazione di entita’: HyVonNe consente di mantenere un grafo di Voronoi in cui ogni regione ha un numero di entita’ N compreso fra un valore minimo e uno massimo. Algoritmi completamente distribuito, tramite operazioni di split e merge. Applicazioni: ricerca di risorse in Grid, sistema di aste, MMOG.

10 10 Split Possibilita’ di inserire “archi lunghi” (small word) per ottimizzare il routing

11 11 A collaboration among

12 12 Designing Parallel Programs for 3D Data Processing on Distributed Architectures The design of a system for distributed 3D data analysis and visualization based on an efficient and adaptive composition of sequential and parallel operations in pipeline. Original contributions: design of efficient and portable parallel algorithms; study of the dynamic composition of the modules, with a particular attention to the optimization of the whole pipeline execution.

13 13 Isosurface Extraction Given a scalar field f ( x, y, z, v ) an isosurface is a surface consisting of points in the space in which the value of f is constant and equal to a value c called isovalue.

14 14 Isosurfaces Data set % Actve Cells Triangles B-294, B-211, F-754, XT-1800, XT-524, XT-2560, FC-10007,

15 15 The system architecture

16 16 Tools SW: GCC GCC MPICH2 MPICH2 PVFS1 PVFS1 HW: Cluster Beowulf 16 PC identici 16 PC identici 1 P4 2,66 GHz 1 P4 2,66 GHz RAM 512 MB RAM 512 MB 2 HD ATA (RAID 0) 2 HD ATA (RAID 0) Gigabit Ethernet Gigabit Ethernet

17 17 The pipeline performance XT-180FAB-0FC-1230 Iso Seq 23.1 s 23.1 s 34.7 s 42.6 s Iso Par (8 Procs) Iso Par (16 P) Simpl (90%) Seq s s N.A. Simpl Par (8 P) N.A. Simpl Par (16 P) * Compr Seq 10.8 s 19.3 s N.A. Compr Par (8 P) N.A. Compr Par (16 P) * Data Set IsovalueSize # Triangles Xmas Tree MB 4.5 M FAB protein MB 8.8 M Female Cadaver MB 12.7 M 16 P IV 1.66 GHz Gigabit Network * = extimated

18 18 Scenario 1 Data set Powerful Graphic Workstation User IsoextractionSimplificationCompression Large Bandwidth

19 19 Scenario 2 Data set User IsoextractionSimplificationCompression Normal Workstation Large Bandwidth

20 20 Scenario 3 Data Set User IsoextractionSimplificationCompression Powerful Graphic Workstation Limited Bandwidth

21 21 Scenario 4 Data set User IsoextractionSimplificationCompression Normal Workstation Limited Bandwidth

22 22 Visualization Issues The graphic capabilities of the client devices Use of the simplification operation The available bandwidth Use of the compression operation The possible huge size of data Use of parallel algorithms

23 23 Grid Computing sharing, aggregation, and virtualization of distributed resources (CPU, storage, sensors, instruments, applications, and knowledge) among organizations (VO) in a flexible, secure, and transparent manner

24 24 The system and the GRID Each component is mapped in a GS The GS provides a method that wraps the various implementations in order to Collect the parameters Collect the parameters Transfer the data set and the application code Transfer the data set and the application code Manage the execution of the operation Manage the execution of the operation Transfer the results Transfer the results

25 25 The System Architecture Iso GS Simpl GS Grid Gen. GS Workflow on machine X GEDA Cluster Y1 Cluster Y2 Cluster Z2 Cluster Z1 Resources of institution Y Resources of institution Z Resource selection Coordination Execution

26 26 Design of Parallel Image Processing Libraries for distributed and Grid environments The general goal is the design of high performance tools for distributed image processing The image processing demand of resources is increasing The image processing demand of resources is increasing Storage and computational Great interest is in moving towards distributed and Grid environments Great interest is in moving towards distributed and Grid environments To be combined with parallel processing

27 27 Introduction We identify two main tasks: The development of a parallel image processing library for local resources The development of a parallel image processing library for local resources A common practice in scientific community The effective use of the library in distributed and Grid environments The effective use of the library in distributed and Grid environments To aggregate computation and storage power To exploit high performance architectures, and their features ScaLAPACK, FFTW, PETSc, ParHorus

28 28 We defined PIMA(GE) 2 Lib, Parallel IMAGE processing GEnoa Library It is implemented in C+MPI2, and is based on a data parallelism regular nature of both data and operations regular nature of both data and operations The parallelism is hidden through a sequential interface to enable a simple use of the library to enable a simple use of the library PIMA(GE) 2 Lib This feature is preserved in the following tools

29 29 PIMA(GE) 2 Lib We consider the low level operations: basic operations where both input and output data are images basic operations where both input and output data are images local nature, an operation is applied to each pixel Examples are: Examples are: basic operations: point arithmetic, binary operations convolution operations image transformations: rotation, scaling

30 30 PIMA(GE) 2 Lib An optimization policy is applied at different levels to improve performance Intra-operation - single operation Intra-operation - single operation Inter-operation - sequence of operation calls Inter-operation - sequence of operation calls Parallel I/O Parallel I/O

31 31 PIMA(GE) 2 Lib Speed up values for an edge detection: 8 MBs for about 2 hours in sequential, 8 minutes exploiting 16 processors

32 32 Users to execute an application have to: write the source code of the application; select computational resources; compile the application considering to the selected architecture; transfer the input data and the executable; launch and monitor the execution; transfer the output data; remove all the files. PIMA(GE) 2 Grid

33 33 We deployed in advance Grid services for image processing image processing the exploitation of the architecture the exploitation of the architecture These cooperating Grid Services, act as an intermediate layer between Grid resources, applications, and users PIMA(GE) 2 Grid

34 METADATA SERVER GRID Node Edge detection on every TMA on GRID having “age”> 50 AND “gender”= F AND “disease”= colon cancer An Example PO GEDA

35 35 Progetti futuri

36 36 Wireless e Mobile Computing Realizzazione di infrastrutture per l'estensione dei servizi Web alle reti wireless per applicazioni mediche e per Beni Culturali (Progetti Europei WiH e PAST). Basati su applicazioni che utilizzano il protocollo WiFi (802.11) in modalita’ structured. Realizzazione di infrastrutture per l'estensione dei servizi Web alle reti wireless per applicazioni mediche e per Beni Culturali (Progetti Europei WiH e PAST). Basati su applicazioni che utilizzano il protocollo WiFi (802.11) in modalita’ structured. Studio e sviluppo di middleware per reti MANET come supporto per applicazioni di protezione civile Progetto Strategico “Infrastrutture software per reti Ad Hoc orientate ad ambienti difficili” Studio e sviluppo di middleware per reti MANET come supporto per applicazioni di protezione civile Progetto Strategico “Infrastrutture software per reti Ad Hoc orientate ad ambienti difficili”

37 37 Ad hoc Network Mobile devices (laptop, PDAs) Vehicular Networks on Highways Hybrid urban ad hoc network (vehicular, pedestrian, hot spots,…)

38 38 Attivita’ su reti Manet Progetto FIRB IS_MANET MobEYE: Sistema per lo scambio di file su MANET che utilizza la cache locale e un protocollo basato sullo sniffing per minimizzare il percorso di un file richiesto da un nodo Analisi dell’utilita’ della replicazione di dati per ottimizzare l’accesso e aumentare la disponibilita’. Algoritmo di routing per massimizzare il lifetime di una MANET con scelte locali. Applicazioni portuali di MANET per movimentazione stacker (Fantuzzi Reggiane, Parodi, Giacalone, Venzano).

39 39 On the road … Ma quanto e’ lunga questa coda ??!!!

40 40 Reti veicolari Reti costituite da veicoli collegati fra loro con protocollo p (WAVE) Eventuale collegamento con Road Side Unit che consentono il collegamento con infrastruttura. VANET Vehicular Ad hoc NETwork V2V Vehicle to vehicle V2I Vehicle to Infrastructure Collegamenti mesh eterogenei (WAVE, WIMAX, cellulari, TETRA ecc.) Protocolli CALM e IP. Proposta per SIIT Infomobilita’: formazione di gruppi per il platooning o altre forme di comunicazione selettive.

41 41 Tecnologie in campo

42 42 Applicazioni Protocolli SicurezzaSimulazione Tecnologie Vehicular Network

43 43 Attivita’ di ricerca congiunta Selex / DISI su reti TETRA Borse di studio: Alessandro Di Marco, Luigi Rocca Selex Communications e’ un’azienda del gruppo Finmeccanica, operante nel settore delle telecomunicazioni che fornisce soluzioni di rete per applicazioni militari e civili. TETRA (TErrestrial Trunked RAdio) e’ uno standard di comunicazione a onde radio per uso professionale, emesso dall’European Telecommunications Standards Institute (ETSI). Utilizzato principalmente dalle forze di pubblica sicurezza e da militari ma anche da grosse realta’ private, oltre ai normali servizi di una rete cellulare offre: chiamate di gruppo; gestione dinamica dei gruppi; supporto per stazioni di dispatching; accodamento e priorita’ delle chiamate.

44 44 Architettura di TETRA

45 45 Chiamate di gruppo in TETRA L’architettura di TETRA e’ simile a quella GSM, con stazioni base e nodi di controllo i principali elementi di rete. Le reti TETRA pongono particolari requisiti di affidabilita’ ( no single point of failure) e di prestazioni (call setup time, end-to-end delay). Il supporto ai gruppi in TETRA ha particolari requisiti e caratteristiche di cui tenere conto: i gruppi possono essere numerosi; avere molti partecipanti; sono gestiti su base regionale; il setup di una chiamata di gruppo deve avvenire in 300/500 ms.

46 46 Transizione a IP L’attività DISI si inserisce nella transizione della core network della soluzione TETRA offerta da Selex Communications dall’attuale tecnologia a commutazione di circuito ad una a commutazione di pacchetto basata su standard internet (TCP/IP). I principali obiettivi di Selex sono: Avere una rete più flessibile; Supportare eventuali reti standard di terze parti; Permettere l’utilizzo e l’integrazione di soluzioni e dispositivi moderni all’interno della rete. Il quadro fin qui delineato é molto diverso dalle applicazioni in cui IP multicast é tradizionalmente usato del tipo: audioconferenza, broadcast video.

47 47 Attivita’ attuale Al momento sono in corso di valutazione svariate proposte e soluzioni: 1. 1.utilizzo di tecnologia IP/Multicast standard, previa valutazione sperimentale delle sue prestazioni; 2. 2.riutilizzare la call setup legacy della rete a commutazione di circuito come control plane per l’instradamento multicast; 3. 3.soluzioni basate sul multi-destination routing.


Scaricare ppt "1 Sistemi software per applicazioni distribuite su reti wireless e wired Vittoria Gianuzzi 15 luglio 2008."

Presentazioni simili


Annunci Google