Architetture Parallele e Distribuite 2008-09 1. ASSIST: cenno 2 Architetture Parallele e Distribuite 2008-09 1. ASSIST: cenno 2. Grid Computing 3. Adattività

Livelli e moduli Applicazioni Processi Assembler Firmware Firmware indipendente dal concetto di processo Livelli e moduli Applicazione sviluppata con strumenti user-friendly Applicazioni Programma parallelo (processi comunicanti e/o oggetti condivisi) compilata / interpretata in indipendente dall’architettura Processi compilato / interpretato in un programma parallelo eseguibile su Assembler Firmware Firmware  Uniprocessor di vari tipi   Multiprocessor di vari tipi e con vari processori   Cluster di vari tipi e con vari processori  Architettura 1 supporto diverso per ogni architettura Architettura 2 Architettura 3 Architettura X Hardware

Department of Computer Science, University of Pisa Un ambiente di programmazione per macchine parallele e Next Generation Grid Department of Computer Science, University of Pisa ASSIST A Programming Environment for High-performance Portable Applications on Clusters, Large-scale Platforms, and Grids Projects: ASI-PQE2000 CNR Agenzia 2000 MIUR-CNR Strategic Programmes MIUR-FIRB Grid.it SFIDA-PMI BEInGRID In.Sy.Eme Implementations: Heterogeneous Cluster/Beowulf CORBA, WS interoperability Grid version (on top of Globus 4) Component-based Grid-aware version CELL version, on top of LC ASSISTANT for Mobile Grid

The parmod construct Multiple input and output typed data streams Set of Virtual Processors (VP) executing user code VPs have assigned topology for naming (one, none, arrays)

The parmod construct distribution and collection strategies multicast, scatter, on-demand, scheduled; gather from all, from any, reduce input and output sections can also host arbitrary user code

The parmod construct VPs host several user functions, activation can be data-driven (CSP-like nondeterministic execution, guarded channels) VPs share data structures (run-time provides consistency) Partitioning rules, replication

Architetture Parallele e Distribuite 2008-09 Grid Computing: Stato e Prospettive

Le piattaforme abilitanti distribuite Cluster omogenei, in generale con nodi paralleli SMP / NUMA Cluster eterogenei Virtual Private Networks, su scala LAN, MAN, WAN Grid Dom. amm. 2100 Middleware Dominio amministrativo 2100 Linux / Intel 2100 Power PC / MacOS 2100 SUN / Solaris

Dalla tecnologia Grid corrente a Next Generation Grid 2100 Data Storage Esempi di scenari di applicazioni su Grid: Singoli job lanciati su singoli nodi Job paralleli lanciati su più nodi, con co-allocazione statica Job paralleli su più nodi con esecuzione e co-allocazione dinamica e adattiva Cluster Grid locale su Rete Fotonica Mainframe Data Source Data Source Grid locale Dalla tecnologia Grid corrente a Next Generation Grid

Risorse di esecuzione candidate e selezione 2100 Esecuzione di un singolo job (sequenziale o parallelo) su un singolo nodo Risorse di esecuzione candidate e selezione codice, locale o remoto dati Scheduling statico Spesso, esecuzione Batch (code) Trasferimento dati via File Transfer Possibilità di pianificare più fasi sequenziali utilizzando risorse diverse e File Transfer

Esecuzione di un job parallelo su più nodi, con co-allocazione statica 2100 Esecuzione di un job parallelo su più nodi, con co-allocazione statica Risorse di esecuzione candidate e selezione codice, locale o remoto dati Scheduling statico e co-allocazione Esecuzione on demand, interattiva, (batch),… Parallelismo intra- e inter-nodo: non solo task indipendenti Dati comunicati via files, virtualizzazione storage, e data-streaming Forme di parallelismo sensibili alla banda, latency-hiding

riallocazione e ristrutturazione dinamica di codici e dati 2100 Esecuzione di un job parallelo su più nodi, con co-allocazione ed esecuzione dinamica e adattiva Fase iniziale di co-allocazione statica, ed esecuzione sulla configurazione iniziale In seguito ad eventi legati a emergenze, malfunzionamenti, esigenze di più elevata performance (Qos): riallocazione e ristrutturazione dinamica di codici e dati (replicazione, partizionamento, bilanciamento) in modo da rispettare un determinato “contratto di performance”

Grid Computing Piattaforma Grid: “ Distributed computing infrastructure for coordinated resource sharing coordinated problem solving in dynamic, multi-institutional Virtual Organizations (VO), able to guarantee planned level of performances ”

Grid Computing: una nuova tecnologia nata dalla convergenza di tecnologie High-performance Computing, Cluster Computing Distributed/Web Computing: Objects / Component Software Technology Mobile Device Technology, Pervasive & Ubiquitous Computing Knowledge Management and Data Intensive Computing

Applicazioni Grid-aware Gestione rischi ed emergenze Telecomunicazioni Wearable computing e-business, Filiere e distretti industriali (PMI), Digital Business Ecosystems Beni culturali Progettazione cooperativa Sanità, medicina Biotecnologie Robotica Tutte le scienze computazionali ecc.

“Non solo calcolatori”: tecnologia pervasiva e “ubiqua”, dispositivi mobili Dispositivi mobili, PDA Miniaturizzazione, embedding Wearable Computing Fonte: EuroTeCH Group, Udine

Tecnologia Grid: “person-centric” Piattaforme facili da usare “People are nodes” Paradigma “Anytime - Anyhow - Anywhere” Esempi: e-Work, e-Health, … Nuovi supporti a Risk Management Grid = Milioni di nodi di elaborazione eterogenei, interconnessi e cooperanti dinamicamente Applicazioni naturalmente distribuite, eterogenee, dinamiche e adattive

Middleware minimale: servizi base (ricerca di risorse, prenotazione, trasferimento dati, lancio esecuzione, ecc.) Grid Middleware “base”: standard Globus 2.x, 4.x, …, UNICORE, … Global Grid Forum (GGF): standardizzazione Open Grid Service Architecture (OGSA) dai Web Services ai Grid Services ….. Non sono strumenti di sviluppo applicazioni. Non sono adatti ad applicazioni caratterizzate da alta eterogeneità, dinamicità, mobilità.

Grid nella loro interezza: NEXT GENERATION GRID Per applicazioni industriali in molti casi, anche per il calcolo scientifico le caratteristiche di Eterogeneità, Dinamicità e adattività (“autonomicità”), Capacità di usare in parallelo un numero qualsiasi, e variabile, di risorse, Security consistente con la tecnologia Grid, Gestione conoscenza Grid-wide, sono irrinunciabili per un deciso miglioramento rispetto alle attuali tecnologie IT e Web.

ADATTIVITÁ della configurazione alle prestazioni: esempio (ASSIST) Perturbation : new applications are created 800000 5 processors 700000 600000 4 processors 8 processors 500000 Maximum Service Time Comp. time (msec.) 400000 specified in the contract 300000 200000 Current Service Time Average Service Time 100000 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 Stream elements Evolution of computation

Adattività in ASSIST: stesso modulo autoriconfigurante (farm / map) per il controllo dell’occupazione di memoria Esecuzione con modalità MAP e 5 worker Esecuzione con modalità FARM e 5 worker Modalità MAP 10 worker Dimensione di N = 5000 interi Occupazione N² = 25M interi ~ 95 MB Migrazione su nodi diversi Riconfigurazione delle prestazioni

Adattività in ASSIST: stesso modulo autoriconfigurante (farm / map) per il controllo del tempo di servizio Caso iniziale con modalità FARM e 1 worker Modalità FARM e 5 worker 20 40 60 80 100 120 140 1 3 5 7 9 11 13 Trascorrere dell'elaborazione complessiva (min) Tempo medio di servizio di Presenta (sec) Tempo Medio di Servizio di Presenta Modalità MAP e 5 worker Dimensione di N = 5000 interi Occupazione N² = 25M interi ~ 95 MB Modalità MAP e 10 worker Riconfigurazione delle funzioni Riconfigurazione delle prestazioni Contratto di QoS: variato dinamicamente il massimo Tempo di Servizio consentito

Progetto In.Sy.Eme (Integrated Systems for Emergency) Mobile Grid Concetto di Grid Computing applicato in contesti pervasivi, mobili ed estremamente dinamici (WorkPackage 3)

Integrazione ELABORAZIONE + COMUNICAZIONE Piattaforma distribuita In.Sy.Eme Sistema UNICO di risorse hw e sw, centrali e decentrate, generali ed embedded, fisse e mobili, … Integrazione ELABORAZIONE + COMUNICAZIONE per Modelli di Previsione, Supporto alle Decisioni, Gestione della Conoscenza, … Cluster Data & Knowledge Server Workstation MOBILE (PERVASIVE) GRID: gestione globale, adattiva e context-aware, per il controllo dinamico della Qualità del Servizio (QoS) delle applicazioni PDA PDA vari tipi di reti fisse, mobili, ad hoc

Esempio: gestione delle inondazioni fluviali livello acqua, morfologia terreno, … Modello previsionale idrologico, idrodinamico Data Mining sul percorso del fiume, … Post-elaborazione (non banale) precipitazioni nel tempo e nello spazio, … da satellite, da radar meteo, da rilevatori pluviometrici, … (es: ALADIN) soccorritori, sovraintendenti, autorità, …, altri sistemi, …

Flood Forecasting Model Modello idrologico Esempio: MIKE 21 Equazioni differenziali della massa e momento Sistemi tridiagonali di grandi dimensioni Data- & compute- intensive

Modelli di previsione: quando e come eseguirli? Nella struttura piramidale dell’organizzazione per la gestione delle emergenze, ogni soggetto (“utente”) ha propri interessi ed esigenze. Diverse modalità per utilizzare, e interagire con, il sistema di gestione delle emergenze. Modelli a medio-lungo termine offline Modelli a breve termine e in real-time on demand

Elaborazioni a medio-lungo termine, offline Elaborazione “di routine” e operatività normale Workstation Cluster Data & Knowledge Server visualizzazione PDA PDA PDA PDA PDA elaborazione modelli visualizzazione PDA PDA PDA

Elaborazioni offline vs on demand Definizione di strategie (GIS, Meteo, modelli, DSS, Data Mining), alte prestazioni (data, computation) Problematica tecnologicamente avanzata, ma con alcuni risultati scientifico-tecnici noti in letteratura On demand: Adattività e Context-Awareness Problematica sostanzialmente nuova Il sistema deve essere capace di adattare dinamicamente le applicazioni alle caratteristiche ed ai requisiti degli utenti e del contesto (QoS)

Applicazioni Adattive e Context-Aware (Potenziale) emergenza e operatività normale elaborazione modelli Workstation Cluster Data & Knowledge Server visualizzazione PDA PDA PDA PDA PDA elaborazione modelli visualizzazione PDA PDA PDA

Applicazioni Adattive e Context-Aware Emergenza e operatività ridotta Gestione dinamica QoS-aware di risorse molto eterogenee di calcolo + comunicazione: uso ottimale delle risorse disponibili. Recovery delle informazioni. elaborazione modelli Cluster Workstation Workstation elaborazione modelli e visualizzazione PDA PDA PDA PDA PDA visualizzazione Cluster Data & Knowledge Server PDA Workstation PDA Workstation Modifica dinamica di programmi (modelli) e di dati (informazioni disponibili / da inferire): modelli predittivi. PDA

Applicazioni Adattive e Context-Aware Emergenza e operatività ridotta Gestione dinamica QoS-aware di risorse molto eterogenee di calcolo + comunicazione: uso ottimale delle risorse disponibili. Recovery delle informazioni. elaborazione modelli e visualizzazione PDA PDA PDA PDA elaborazione modelli e visualizzazione PDA PDA Modifica dinamica di programmi (modelli) e di dati (informazioni disponibili / da inferire): modelli predittivi. PDA

High-Performance Computing (HPC) Diverse elaborazioni hanno caratteristiche DATA-& COMPUTE-INTENSIVE Modelli previsionali, DSS, GIS, METEO, modelli predittivi, strategie di networking, … Vari tipi di risorse per HPC, con tecnologie sia tradizionali che innovative: L1 cache P L2 cache On-chip Multicore Technology Diverse elaborazioni hanno caratteristiche DATA-& COMPUTE-INTENSIVE Modelli previsionali, DSS, GIS, METEO, modelli predittivi, strategie di networking, … Vari tipi di risorse per HPC, con tecnologie sia tradizionali che innovative: Embedding in dispositivi mobili / indossabili Data & Knowledge Server Cluster PDA Programmabilità + Portabilità ?

(from sensors, services, etc.) (to operator’s PDA, services, etc.) First experiment input data stream: tuple of scalar parameters output data stream: solution matrix Flood Forecasting module Generator module Client module input data interface (from sensors, services, etc.) visualization (to operator’s PDA, services, etc.)

Experiment: flood forecasting From sensors and monitoring, for each point: position (x,y) water depth (H) water surf. Elevation (ξ) depth av. Velocity (u,v) Mass and momentum partial differential equations Large tridiagonal systems Data- & compute- intensive Fx and Fy tridiagonal system solving We can obtain different qualities with different samplings in space and time

Computing and communication resources

Features of a pervasive distributed platform Central Servers Monitoring areas: decentralized Interface Nodes connecting wireless networks for sensors and mobile devices (PDA) to fixed networks and servers

Adaptivity and Context-Awareness PDA Cluster Data & Knowledge Server . HPC application, suitable for central servers (performance, data size, precision, …) Dynamic restructuring, suitable for decentralized / embedded / mobile nodes (trade-off: performance, memory, precision, fault-tolerance, energy saving, …), and dynamic deployment

Experiment: adaptivity and context-awareness Dynamic transitions between alternative versions : RECONFIGURATION and DEPLOYMENT communication network 1 Context events communication network 2 Forecasting model: version 1 data streaming control and network interfaces interface node Forecasting model: version 0 Context events Forecasting model: version 2 Context events C lient - visualization central server PDAs

Experiment: configuration PDAs Forecasting model: version 1 Forecasting model: version 2 data streaming control and network interfaces Multicore-based (CELL) C lient - visualization Forecasting model: version 0

Operations: adaptive versions of the same module Central server Interf. node Central server is no more available and/or network has low QoS: switch to OP1, deployment of application state onto Interface Node OP0 OP1 Central Server is again available and network is able to guarantee the requested QoS : switch to OP0 again, deployment of application state onto Central Server Client achieves low QoS for visualization, PDA resources are available : switch to OP2, deployment of application state onto PDA network OP2 PDA net + other transitions between versions according to contex events and system state

Events, adaptivity, and targets Events related to: Adaptivity actions: Network and monitoring Availability Connectivity Bandwidth, Performance Load, … Energy consumption Requests for better QoS Response/completion time Precision Client load balancing / priority, … Increase QoS of current operation parallelism degree data size Switch to a different operation with the required QoS or the best possible QoS algorithm parallelism paradigm memory management power consumption Different resources

Reconfiguration and deployment LOGICALLY SHARED REPOSITORY (modules, operations, state, channels, run-time support, managers cooperation) Working set of OP1 Cache0 Cachen-1 Start deployment P0 Pn-1 Central Server (OP0) Interface Node (OP1) . . . OP1: processors and other resources allocation (parallelism construct) State consistency Checkpointing Active redundancy of operations

da ASSIST … External Objects In_Sect VP Out_Sect parmod

… a ASSISTANT Context VP MANAGER Rete di Manager Stream: anche da/verso sensori, attuatori MANAGER In_Sect VP Out_Sect Manager come parte integrante (elemento primitivo) del Parmod Programmabile: formalismo opportuno facente parte di ASSISTANT Politiche di adattività e context-awareness Rete di Manager

ASSISTANT: adaptive and context-aware module

InSyEme Programming Model (ASSISTANT) Computational view of information flows: parallel and distributed composition of application modules P P P P RED Management information Managers: adaptivity, context-awareness dynamic reconfiguration and deployment QoS control M M M M BLUE Context information C C C Context interfaces: devices , nodes and networks monitoring C GREEN

Experiment: module structure RED: Information flows Flood Forecasting Module Generator Module Client Module Functional Logic Functional Logic Functional Logic Control Logic Control Logic Control Logic BLUE: Manager Context interface Context interface Network monitoring Context interface Performance profiling GREEN: Context

ASSISTANT application RED BLUE GREEN

Experimental results

Experimental Results

Low cost, low consumption, good performance solutions for decentralized services The application as a whole requires the cooperation of BOTH centralized AND decentralized services in an ADAPTIVE way. Decentralized HPC services are technologically feasible and valuable to optimize QoS. Localized computational power: aggregate performance and scalability > (>>) central servers