Architetture Parallele e Distribuite ASSIST: cenno 2

Presentazione sul tema: "Architetture Parallele e Distribuite ASSIST: cenno 2"— Transcript della presentazione:

1 Architetture Parallele e Distribuite 2008-09 1. ASSIST: cenno 2
Architetture Parallele e Distribuite ASSIST: cenno 2. Grid Computing 3. Adattività

2 Livelli e moduli Applicazioni Processi Assembler Firmware Firmware
indipendente dal concetto di processo Livelli e moduli Applicazione sviluppata con strumenti user-friendly Applicazioni Programma parallelo (processi comunicanti e/o oggetti condivisi) compilata / interpretata in indipendente dall’architettura Processi compilato / interpretato in un programma parallelo eseguibile su Assembler Firmware Firmware  Uniprocessor di vari tipi   Multiprocessor di vari tipi e con vari processori   Cluster di vari tipi e con vari processori  Architettura 1 supporto diverso per ogni architettura Architettura 2 Architettura 3 Architettura X Hardware

3 Department of Computer Science, University of Pisa
Un ambiente di programmazione per macchine parallele e Next Generation Grid Department of Computer Science, University of Pisa ASSIST A Programming Environment for High-performance Portable Applications on Clusters, Large-scale Platforms, and Grids Projects: ASI-PQE2000 CNR Agenzia 2000 MIUR-CNR Strategic Programmes MIUR-FIRB Grid.it SFIDA-PMI BEInGRID In.Sy.Eme Implementations: Heterogeneous Cluster/Beowulf CORBA, WS interoperability Grid version (on top of Globus 4) Component-based Grid-aware version CELL version, on top of LC ASSISTANT for Mobile Grid

4 The parmod construct Multiple input and output typed data streams
Set of Virtual Processors (VP) executing user code VPs have assigned topology for naming (one, none, arrays)

5 The parmod construct distribution and collection strategies
multicast, scatter, on-demand, scheduled; gather from all, from any, reduce input and output sections can also host arbitrary user code

6 The parmod construct VPs host several user functions, activation can be data-driven (CSP-like nondeterministic execution, guarded channels) VPs share data structures (run-time provides consistency) Partitioning rules, replication

7 Architetture Parallele e Distribuite
Grid Computing: Stato e Prospettive

8 Le piattaforme abilitanti distribuite
Cluster omogenei, in generale con nodi paralleli SMP / NUMA Cluster eterogenei Virtual Private Networks, su scala LAN, MAN, WAN Grid Dom. amm. 2100 Middleware Dominio amministrativo 2100 Linux / Intel 2100 Power PC / MacOS 2100 SUN / Solaris

9 Dalla tecnologia Grid corrente a Next Generation Grid
2100 Data Storage Esempi di scenari di applicazioni su Grid: Singoli job lanciati su singoli nodi Job paralleli lanciati su più nodi, con co-allocazione statica Job paralleli su più nodi con esecuzione e co-allocazione dinamica e adattiva Cluster Grid locale su Rete Fotonica Mainframe Data Source Data Source Grid locale Dalla tecnologia Grid corrente a Next Generation Grid

10 Risorse di esecuzione candidate e selezione
2100 Esecuzione di un singolo job (sequenziale o parallelo) su un singolo nodo Risorse di esecuzione candidate e selezione codice, locale o remoto dati Scheduling statico Spesso, esecuzione Batch (code) Trasferimento dati via File Transfer Possibilità di pianificare più fasi sequenziali utilizzando risorse diverse e File Transfer

11 Esecuzione di un job parallelo su più nodi, con co-allocazione statica
2100 Esecuzione di un job parallelo su più nodi, con co-allocazione statica Risorse di esecuzione candidate e selezione codice, locale o remoto dati Scheduling statico e co-allocazione Esecuzione on demand, interattiva, (batch),… Parallelismo intra- e inter-nodo: non solo task indipendenti Dati comunicati via files, virtualizzazione storage, e data-streaming Forme di parallelismo sensibili alla banda, latency-hiding

12 riallocazione e ristrutturazione dinamica di codici e dati
2100 Esecuzione di un job parallelo su più nodi, con co-allocazione ed esecuzione dinamica e adattiva Fase iniziale di co-allocazione statica, ed esecuzione sulla configurazione iniziale In seguito ad eventi legati a emergenze, malfunzionamenti, esigenze di più elevata performance (Qos): riallocazione e ristrutturazione dinamica di codici e dati (replicazione, partizionamento, bilanciamento) in modo da rispettare un determinato “contratto di performance”

13 Grid Computing Piattaforma Grid:
“ Distributed computing infrastructure for coordinated resource sharing coordinated problem solving in dynamic, multi-institutional Virtual Organizations (VO), able to guarantee planned level of performances ”

14 Grid Computing: una nuova tecnologia nata dalla convergenza di tecnologie
High-performance Computing, Cluster Computing Distributed/Web Computing: Objects / Component Software Technology Mobile Device Technology, Pervasive & Ubiquitous Computing Knowledge Management and Data Intensive Computing

15 Applicazioni Grid-aware
Gestione rischi ed emergenze Telecomunicazioni Wearable computing e-business, Filiere e distretti industriali (PMI), Digital Business Ecosystems Beni culturali Progettazione cooperativa Sanità, medicina Biotecnologie Robotica Tutte le scienze computazionali ecc.

16 “Non solo calcolatori”: tecnologia pervasiva e “ubiqua”, dispositivi mobili
Dispositivi mobili, PDA Miniaturizzazione, embedding Wearable Computing Fonte: EuroTeCH Group, Udine

17 Tecnologia Grid: “person-centric”
Piattaforme facili da usare “People are nodes” Paradigma “Anytime - Anyhow - Anywhere” Esempi: e-Work, e-Health, … Nuovi supporti a Risk Management Grid = Milioni di nodi di elaborazione eterogenei, interconnessi e cooperanti dinamicamente Applicazioni naturalmente distribuite, eterogenee, dinamiche e adattive

18 Middleware minimale: servizi base (ricerca di risorse, prenotazione, trasferimento dati, lancio esecuzione, ecc.) Grid Middleware “base”: standard Globus 2.x, 4.x, …, UNICORE, … Global Grid Forum (GGF): standardizzazione Open Grid Service Architecture (OGSA) dai Web Services ai Grid Services ….. Non sono strumenti di sviluppo applicazioni. Non sono adatti ad applicazioni caratterizzate da alta eterogeneità, dinamicità, mobilità.

19 Grid nella loro interezza: NEXT GENERATION GRID
Per applicazioni industriali in molti casi, anche per il calcolo scientifico le caratteristiche di Eterogeneità, Dinamicità e adattività (“autonomicità”), Capacità di usare in parallelo un numero qualsiasi, e variabile, di risorse, Security consistente con la tecnologia Grid, Gestione conoscenza Grid-wide, sono irrinunciabili per un deciso miglioramento rispetto alle attuali tecnologie IT e Web.

20 ADATTIVITÁ della configurazione alle prestazioni: esempio (ASSIST)
Perturbation : new applications are created 800000 5 processors 700000 600000 4 processors 8 processors 500000 Maximum Service Time Comp. time (msec.) 400000 specified in the contract 300000 200000 Current Service Time Average Service Time 100000 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 Stream elements Evolution of computation

21 Adattività in ASSIST: stesso modulo autoriconfigurante (farm / map) per il controllo dell’occupazione di memoria Esecuzione con modalità MAP e 5 worker Esecuzione con modalità FARM e 5 worker Modalità MAP 10 worker Dimensione di N = 5000 interi Occupazione N² = 25M interi ~ 95 MB Migrazione su nodi diversi Riconfigurazione delle prestazioni

22 Adattività in ASSIST: stesso modulo autoriconfigurante (farm / map) per il controllo del tempo di servizio Caso iniziale con modalità FARM e 1 worker Modalità FARM e 5 worker 20 40 60 80 100 120 140 1 3 5 7 9 11 13 Trascorrere dell'elaborazione complessiva (min) Tempo medio di servizio di Presenta (sec) Tempo Medio di Servizio di Presenta Modalità MAP e 5 worker Dimensione di N = 5000 interi Occupazione N² = 25M interi ~ 95 MB Modalità MAP e 10 worker Riconfigurazione delle funzioni Riconfigurazione delle prestazioni Contratto di QoS: variato dinamicamente il massimo Tempo di Servizio consentito

23 Progetto In.Sy.Eme (Integrated Systems for Emergency)
Mobile Grid Concetto di Grid Computing applicato in contesti pervasivi, mobili ed estremamente dinamici (WorkPackage 3)

24 Integrazione ELABORAZIONE + COMUNICAZIONE
Piattaforma distribuita In.Sy.Eme Sistema UNICO di risorse hw e sw, centrali e decentrate, generali ed embedded, fisse e mobili, … Integrazione ELABORAZIONE COMUNICAZIONE per Modelli di Previsione, Supporto alle Decisioni, Gestione della Conoscenza, … Cluster Data & Knowledge Server Workstation MOBILE (PERVASIVE) GRID: gestione globale, adattiva e context-aware, per il controllo dinamico della Qualità del Servizio (QoS) delle applicazioni PDA PDA vari tipi di reti fisse, mobili, ad hoc

25 Esempio: gestione delle inondazioni fluviali
livello acqua, morfologia terreno, … Modello previsionale idrologico, idrodinamico Data Mining sul percorso del fiume, … Post-elaborazione (non banale) precipitazioni nel tempo e nello spazio, … da satellite, da radar meteo, da rilevatori pluviometrici, … (es: ALADIN) soccorritori, sovraintendenti, autorità, …, altri sistemi, …

26 Flood Forecasting Model
Modello idrologico Esempio: MIKE 21 Equazioni differenziali della massa e momento Sistemi tridiagonali di grandi dimensioni Data- & compute- intensive

27 Modelli di previsione: quando e come eseguirli?
Nella struttura piramidale dell’organizzazione per la gestione delle emergenze, ogni soggetto (“utente”) ha propri interessi ed esigenze. Diverse modalità per utilizzare, e interagire con, il sistema di gestione delle emergenze. Modelli a medio-lungo termine offline Modelli a breve termine e in real-time on demand

28 Elaborazioni a medio-lungo termine, offline
Elaborazione “di routine” e operatività normale Workstation Cluster Data & Knowledge Server visualizzazione PDA PDA PDA PDA PDA elaborazione modelli visualizzazione PDA PDA PDA

29 Elaborazioni offline vs on demand
Definizione di strategie (GIS, Meteo, modelli, DSS, Data Mining), alte prestazioni (data, computation) Problematica tecnologicamente avanzata, ma con alcuni risultati scientifico-tecnici noti in letteratura On demand: Adattività e Context-Awareness Problematica sostanzialmente nuova Il sistema deve essere capace di adattare dinamicamente le applicazioni alle caratteristiche ed ai requisiti degli utenti e del contesto (QoS)

30 Applicazioni Adattive e Context-Aware
(Potenziale) emergenza e operatività normale elaborazione modelli Workstation Cluster Data & Knowledge Server visualizzazione PDA PDA PDA PDA PDA elaborazione modelli visualizzazione PDA PDA PDA

31 Applicazioni Adattive e Context-Aware
Emergenza e operatività ridotta Gestione dinamica QoS-aware di risorse molto eterogenee di calcolo + comunicazione: uso ottimale delle risorse disponibili. Recovery delle informazioni. elaborazione modelli Cluster Workstation Workstation elaborazione modelli e visualizzazione PDA PDA PDA PDA PDA visualizzazione Cluster Data & Knowledge Server PDA Workstation PDA Workstation Modifica dinamica di programmi (modelli) e di dati (informazioni disponibili / da inferire): modelli predittivi. PDA

32 Applicazioni Adattive e Context-Aware
Emergenza e operatività ridotta Gestione dinamica QoS-aware di risorse molto eterogenee di calcolo + comunicazione: uso ottimale delle risorse disponibili. Recovery delle informazioni. elaborazione modelli e visualizzazione PDA PDA PDA PDA elaborazione modelli e visualizzazione PDA PDA Modifica dinamica di programmi (modelli) e di dati (informazioni disponibili / da inferire): modelli predittivi. PDA

33 High-Performance Computing (HPC)
Diverse elaborazioni hanno caratteristiche DATA-& COMPUTE-INTENSIVE Modelli previsionali, DSS, GIS, METEO, modelli predittivi, strategie di networking, … Vari tipi di risorse per HPC, con tecnologie sia tradizionali che innovative: L1 cache P L2 cache On-chip Multicore Technology Diverse elaborazioni hanno caratteristiche DATA-& COMPUTE-INTENSIVE Modelli previsionali, DSS, GIS, METEO, modelli predittivi, strategie di networking, … Vari tipi di risorse per HPC, con tecnologie sia tradizionali che innovative: Embedding in dispositivi mobili / indossabili Data & Knowledge Server Cluster PDA Programmabilità + Portabilità ?

34 (from sensors, services, etc.) (to operator’s PDA, services, etc.)
First experiment input data stream: tuple of scalar parameters output data stream: solution matrix Flood Forecasting module Generator module Client module input data interface (from sensors, services, etc.) visualization (to operator’s PDA, services, etc.)

35 Experiment: flood forecasting
From sensors and monitoring, for each point: position (x,y) water depth (H) water surf. Elevation (ξ) depth av. Velocity (u,v) Mass and momentum partial differential equations Large tridiagonal systems Data- & compute- intensive Fx and Fy tridiagonal system solving We can obtain different qualities with different samplings in space and time

36 Computing and communication resources

37 Features of a pervasive distributed platform
Central Servers Monitoring areas: decentralized Interface Nodes connecting wireless networks for sensors and mobile devices (PDA) to fixed networks and servers

38 Adaptivity and Context-Awareness
PDA Cluster Data & Knowledge Server . HPC application, suitable for central servers (performance, data size, precision, …) Dynamic restructuring, suitable for decentralized / embedded / mobile nodes (trade-off: performance, memory, precision, fault-tolerance, energy saving, …), and dynamic deployment

39 Experiment: adaptivity and context-awareness
Dynamic transitions between alternative versions : RECONFIGURATION and DEPLOYMENT communication network 1 Context events communication network 2 Forecasting model: version 1 data streaming control and network interfaces interface node Forecasting model: version 0 Context events Forecasting model: version 2 Context events C lient - visualization central server PDAs

40 Experiment: configuration
PDAs Forecasting model: version 1 Forecasting model: version 2 data streaming control and network interfaces Multicore-based (CELL) C lient - visualization Forecasting model: version 0

41 Operations: adaptive versions of the same module
Central server Interf. node Central server is no more available and/or network has low QoS: switch to OP1, deployment of application state onto Interface Node OP0 OP1 Central Server is again available and network is able to guarantee the requested QoS : switch to OP0 again, deployment of application state onto Central Server Client achieves low QoS for visualization, PDA resources are available : switch to OP2, deployment of application state onto PDA network OP2 PDA net + other transitions between versions according to contex events and system state

42 Events, adaptivity, and targets
Events related to: Adaptivity actions: Network and monitoring Availability Connectivity Bandwidth, Performance Load, … Energy consumption Requests for better QoS Response/completion time Precision Client load balancing / priority, … Increase QoS of current operation parallelism degree data size Switch to a different operation with the required QoS or the best possible QoS algorithm parallelism paradigm memory management power consumption Different resources

43 Reconfiguration and deployment
LOGICALLY SHARED REPOSITORY (modules, operations, state, channels, run-time support, managers cooperation) Working set of OP1 Cache0 Cachen-1 Start deployment P0 Pn-1 Central Server (OP0) Interface Node (OP1) . . . OP1: processors and other resources allocation (parallelism construct) State consistency Checkpointing Active redundancy of operations

44 da ASSIST … External Objects In_Sect VP Out_Sect parmod

45 … a ASSISTANT Context VP MANAGER
Rete di Manager Stream: anche da/verso sensori, attuatori MANAGER In_Sect VP Out_Sect Manager come parte integrante (elemento primitivo) del Parmod Programmabile: formalismo opportuno facente parte di ASSISTANT Politiche di adattività e context-awareness Rete di Manager

46 ASSISTANT: adaptive and context-aware module

47 InSyEme Programming Model (ASSISTANT)
Computational view of information flows: parallel and distributed composition of application modules P P P P RED Management information Managers: adaptivity, context-awareness dynamic reconfiguration and deployment QoS control M M M M BLUE Context information C C C Context interfaces: devices , nodes and networks monitoring C GREEN

48 Experiment: module structure
RED: Information flows Flood Forecasting Module Generator Module Client Module Functional Logic Functional Logic Functional Logic Control Logic Control Logic Control Logic BLUE: Manager Context interface Context interface Network monitoring Context interface Performance profiling GREEN: Context

49 ASSISTANT application
RED BLUE GREEN

50 Experimental results

51 Experimental Results

52 Low cost, low consumption, good performance solutions for decentralized services
The application as a whole requires the cooperation of BOTH centralized AND decentralized services in an ADAPTIVE way. Decentralized HPC services are technologically feasible and valuable to optimize QoS. Localized computational power: aggregate performance and scalability > (>>) central servers