Piattaforme abilitanti per griglie computazionali ad alte prestazioni orientate a organizzazioni virtuali scalabili Rimodulazione WP8 High-performance.

Presentazione sul tema: "Piattaforme abilitanti per griglie computazionali ad alte prestazioni orientate a organizzazioni virtuali scalabili Rimodulazione WP8 High-performance."— Transcript della presentazione:

1 Piattaforme abilitanti per griglie computazionali ad alte prestazioni orientate a organizzazioni virtuali scalabili Rimodulazione WP8 High-performance Component-based Programming Environment

2 Obiettivo WP8 definizione, progettazione ed implementazione di un prototipo di ambiente di programmazione –ad alte prestazioni –per ambiente GRID –basato su componenti –per sviluppo di applicazioni complesse di carattere interdisciplinare

3 Gruppi coinvolti UNIPI (coordinamento workpackage) ISTI (CNR PI) ICAR (CNR NA-PA-CS) UNICAL CEDRM (CNR Roma) IMATI (CNR Ge) UNIMIB

4 Ambiente di programmazione ambiente classicoambiente –editore, strumenti di compilazione, framework di esecuzione ambiente PSE –PSE toolkit –accesso più user friendly alle caratteristiche dellambiente classico + tecniche classiche PSE

5 Tecnologia a componenti utilizzata a diversi livelli –utente (programmazione di applicazioni) –progettista dellambiente (programmazione di strumenti) –di sistema (programmazione di macchina astratta portabile) con diritti diversi per utenti diversi

6 Punto di partenza risultati di progetti precedenti –PQE2000 e ASI-PQE2000 risultati di progetti congiunti –Agenzia2000, 5% 1999 e 5%2000 risultati in letteratura su ambienti di programmazione strutturati e componenti (algorithmical skeleton, design pattern, coordination, components,...)

7 Attività del WP Riduzione delle attività : 2 attività principali 1.Sviluppo ambiente di programmazione sottoattività relative a librerie e PSE 2.Resource management supporto per ambiente di programmazione

8 Attività 1: ambiente di programmazione studio modello componenti progettazione ambiente programmazione ad alte prestazioniprogettazione applicazioni testbed integrazione di librerie sviluppo PSE toolkit per ambiente di programmazione

9 Attività 2: resource management studio di strategie per scelta ottimale di risorse sviluppo di strumenti/infrastrutture di supporto alle strategie di scelta sviluppo di algoritmi/strategie di allocazione e coallocazione di risorse

10 Applicazioni & librerie non sovrapposizione con WPappl e WP9 Applicazioni –test bed per generare feedbacks verso attività di progettazione dellambiente –gruppi in strettissimo contatto con sviluppatori ambiente Librerie –integrazione completa (definizione meccanismi) –gruppi in strettissimo contatto con sviluppatori ambiente

11 Esempi interrogazione, semplificazione e compressione parallela di dati volumetrici (IMATI) sviluppo di software per analisi di librerie molecolari virtuali (approcci con reti bayesiane e metodi Monte Carlo) integrazione di librerie scientifiche sfruttando modello a componenti

12 Attività: scheduling Primo anno –fattibilità, letteratura, progettazione di massima (attualmenti in pieno svolgimento) Secondo anno –progetto architetturale –inizio della fase di prototipazione Terzo anno –trasferimento WP applicativi –versione (beta?) del software

13 Primo anno (dettaglio) studio/individuazione del modello a componenti da adottare: - Coinvolti tutti i gruppi, in particolare UNIPI, ISTI, CEDRM, UNICAL e ICAR inizio della progettazione dello schema architetturale di massima dell'ambiente - UNIPI, ISTI individuazione delle applicazioni e delle librerie da utilizzare come testbed - IMATI, ICAR, UNIMB studio di strategie di allocazione delle risorse in grado di supportare il modello di programmazione dell'ambiente - UNIPI, ISTI studio delle caratteristiche di un PSE toolkit da sviluppare sopra all'ambiente di programmazione - UNICAL, ICAR

14 Secondo anno (dettaglio) completamento della progettazione dello schema di realizzazione dell'ambiente e inizio della fase di codifica - DIPISA, ISTI, ICAR, CEDRM sviluppo di applicazioni/librerie con la metodologia definita dall'ambiente e con le parti dell'ambiente via via disponibili con feedback sull'attivita' di progettazione e realizzazione dell'ambiente - IMATI, UNIMIB, ICAR completamento della progettazione del PSE toolkit ed inzio della fase di codifica - UNICAL, ICAR sviluppo strumenti/infrastrutture di supporto alle strategia di scelta delle risorse - ISTI sviluppo di algoritmi/strategie di allocazione e coallocazione di risorse - ISTI

15 Terzo anno (dettaglio) completamento dell'ambiente di programmazione (versione alfa/1) - DIPISA, ISTI, ICAR, CEDRM porting delle applicazioni/librerie sull'ambiente - ICAR, IMATI, UNIMIB consolidamento delle strategie di resource management per l'ambiente - ISTI realizzazione di prototipi di PSE sull'ambiente di programmazione o che comunque sfruttino la metodologia di progetto e implementazione dell'ambiente - UNICAL, ICAR

16 Sinergie con altri WP WP1&WP2 –modello di utilizzo di rete WP3/5 –deployment di griglia & meccanismi WP4 –meccanismi di sicurezza per ambiente

17 Sinergie con altri WP (2) WP6 –knowledge discovery per resource management WP7 –portali ed ambienti di programmazione WP9 –integrazione di librerie WP appl –metodologie, strumenti e case studies

18 Sinergie (assessed) WP1&2 –riunioni per definire coordinamento (fatte) WP3&5 –incontri per discussione caratteristiche (progettati) WP6 –riunioni per definire coordinamento (fatte) WPappl –cooperazione metodologica prima dei tools (progettata)

19 Deliverable (primo anno) Sostanzialmente –rassegne (critiche) –studi di fattibilità –progetti di massima frutto dellattività di studio –delle varie componenti WP8 base per lattività di codifica & sperimentazione del 2o anno

20 Deliverable (dettaglio) Descrizione del modello di componenti da adottare all'interno del progetto/workpackage (WP8 component model) Responsabilità UNIPI Previsto per Dicembre 2003 Progetto architetturale di massima dell'ambiente di programmazione a componenti, per griglia e alte prestazioni (WP8 programming environment architectural design 0.1) Responsabilità UNIPI Previsto per Marzo 2004 Caratteristiche di un PSE toolkit per alte prestazioni, a componenti, sviluppato in sinergia con l'ambiente di programmazione WP8 (PSE toolkit) Responsabilità UNICAL Previsto per Dicembre 2003

21 Deliverable (dettaglio (2)) Strategie di allocazione delle risorse per il supporto dell'ambiente di programmazione e PSE toolkit (Resource policy and tools) Responsabilità ISTI Previsto per Dicembre 2003 Strategie per l'integrazione di librerie in ambienti a componenti (Component based library intergration/interoperability) Responsabilità ICAR (+IMATI) Previsto per Dicembre 2003 Strategie per lo sviluppo in ambienti a componenti di applicazioni parallele complesse con struttura irregolare e requisiti di alte prestazioni rispetto a diversi parametri architetturali (CPU, memoria, I/O). (Component based development of irregular applications) Responsabilità IMATI Previsto per Dicembre 2003

22 Attività in corso Divisione del lavoro in 4 task principali divisione logica ( amministrativa) ogni task: –1 coordinatore/responsabile attività di collegamento –personale di gruppi diversi interfaccia elettronica (mailing list, etc.) –al lavoro da aprile/maggio –assessment dei goal e avvio del lavoro già fatta

23 Task Task 1 –analisi dei requisiti di ambiente a componenti per ambiente di programmazione Task 2 –analisi delle proposte di componenti esistenti Task 3 –resource management per ambienti avanzati di programmazione Task 4 –supporti di ambienti avanzati di programmazione strutturati a componenti LIB & PSE toolkit

24 Task: obiettivi estate –checkpoint autunno –task 1 2 e 4 convergono al modello di componenti WP8 –task 3 contribuisce principalemente alla parte supporto contributo essenziale ai deliverable del primo anno

25 Finanziamenti & contratti Finanziamenti –rimodulati in base alle riduzioni di budget –e in base alla ristrutturazione degli obiettivi Contratti –giovani ricercatori (main resources) –contratti & Co.co.co (risorse addizionali)

26 ICAR 1467 Keuro CSNAPACEDR M ISTIUNIPIIMAUNIMI Totale Keuro 246108815145930118140 1o anno 823627171531006314 2o anno 823627171531006313 3o anno 823627171531006313 Task principale PSE Toolkit Integr. librerie Impl. Ambiente + librerie Sviluppo modello compo- nenti Res. manag. + ambiente Sviluppo ambiente Integr. librerie Integr. Librerie

27 Tipo contrattoNoUnitàDurataStato Giovani ricercatori 1 ISTI3 anniPartiti 1 maggio 2003 2 UNIPI3 anniPartiti 1 maggio 2003 1 ICAR-PA3 anni6 m.u. Nel primo anno 1 ICAR-NA3 anni6 m.u. Nel primo anno Assegni di ricerca 1 UNIMIB Da assegnare 2 ISTI1 annoPartiti 1/05/03 e 1/06/03 2 IMA3 anniDa assegnare Co.co.co 1 ICAR-NA 3 m.u. nel primo anno 1 ICAR-CS 6 m.u. nel primo anno 1 ICAR-PA 4. m.u. nel primo anno 1 CEDRM 2 m.u. nel primo anno

28 Ambiente di programmazione Parallel component framework Parallel component repository Parallel appl. programmer PSE toolkit Basic component repository Scripting framework Standard GRID services (abstract machine) Appl. component repository

29 Ambiente di programmazione (2) programmatore sceglie componenti –per strutturare comportamento concorrente della propria applicazione framework a componenti –implementa scelte concorrenti in parallelo O distribuito a seconda della disponibilità di risorse –anche dinamicamente

30 Componente parallela Pipeline a due stadi in out stadio1 stadio2 g f f ° g istanziazione ma anche compilazione (tecniche statiche o dinamiche)

31 Componente parallela (2) esecuzione sulla griglia –acquisizione risorse, scheduling attività ottimizzazione tipiche della forma parallela –bilanciamento (statico/dinamico) sugli stadi f ° g

32 Componente // (hint opt.) parametri funzionali (concorrenza!) –codice/componente stadio, canali I/O parametri di ottimizzazione (opzionali) –requisiti stadio, politiche di bilanciamento (farm lento, raggruppa,...),... Pipeline a due stadi in out stadio1 stadio2

33 Basic component (es.1) Gestione dati condivisi fra processi distribuiti politiche di caching dimensione dei dati allocazione iniziale (o di default) XDR (marshalling& unmarshalling) tipo dei dati

34 Basic component (es. 2) Canale di comunicazione Sincronia Capacità Mittente Destinatario Protocollo di trasporto Politiche di bufferizzazione Politiche di combining

35 Scripting di componenti modo effettivo per la combinazione di componenti implementativi –facility per il programmatore –target degli strumenti di compilazione &/o implementazione dei livelli superiori in parte sostituisce ed in parte integra il framework dove vivono i componenti livelli scriptability diversi per utenti diversi

36 PSE toolkit Ambiente di programmazione GRID (tutto quanto fa griglia, hw, sw, mw...) Ambiente programmazione (editing di componenti + comandi di esecuzione)