Progetto S.Co.P.E. – WP4 Progettazione e sviluppo di middleware applicativo e sviluppo delle applicazioni Introduzione Workshop del 21 Febbraio 2008 Almerico.

Presentazione sul tema: "Progetto S.Co.P.E. – WP4 Progettazione e sviluppo di middleware applicativo e sviluppo delle applicazioni Introduzione Workshop del 21 Febbraio 2008 Almerico."— Transcript della presentazione:

1 Progetto S.Co.P.E. – WP4 Progettazione e sviluppo di middleware applicativo e sviluppo delle applicazioni Introduzione Workshop del 21 Febbraio 2008 Almerico Murli

2 Obiettivi del progetto S.Co.P.E. Realizzazione di un Sistema di Calcolo ad Alte Prestazioni, orientato ad applicazioni scientifiche multidisciplinari, che operi secondo il paradigma GRID, dedicato alla modellistica computazionale … per ricerche nelle aree applicative di interesse del progetto (Scienze del Microcosmo e del Macrocosmo, Scienze della Vita, Scienze dei Materiali e dell'Ambiente, …) …sviluppare simulazioni computazionali relative alle applicazioni in tali settori,… realizzando codici innovativi, … al fine di fornire un significativo avanzamento della conoscenza nei vari settori Computational Science

3 L obiettivo principale del WP4 è: Sviluppare applicazioni che possono sfruttare efficientemente linfrastruttura S.Co.P.E. anche attraverso la definizione di un opportuno middleware Infrastruttura S.Co.P.E. Applicazioni Middleware

4 Architettura del progetto S.Co.P.E. WP 2/3 WP 4 WP 1

5 Le applicazioni e la griglia Per classificare le applicazioni rispetto allambiente di esecuzione è necessario rispondere alla domanda: I.Foster, C. Kesselmann What types of applications will grids be used for?

6 Classi di applicazioni per GRID High performance computing (HPC) o supercomputing: applicazioni che utilizzano la griglia per trattare problemi su larga scala. Tali applicazioni sono caratterizzate da: un insieme elevato di task fortemente collegati, necessità di molte risorse (CPU, Memoria, ecc…) necessità di ottenere un risultato in un tempo fissato, realtime (molti calcoli nel più breve tempo possibile – pochi minuti) Esempi: Chimica computazionale ab initio, inquinamento elettromagnetico …

7 Classi di applicazioni per GRID High-throughput computing (HTC): applicazioni che utilizzano la griglia per trattare problemi su larga scala. Tali applicazioni sono caratterizzate da: un insieme elevato di task scarsamente collegati o addirittura indipendenti necessità di molte risorse (CPU, Memoria, ecc…) necessità di ottenere un risultato che richiede un elevato numero di esecuzioni in un tempo non necessariamente fissato (la massima quantità di calcoli in un tempo non necessariamente breve – anche alcuni mesi) Esempi: Fisica delle alte energie, studi parametrici, …

8 Classi di applicazioni per GRID Data intensive computing: applicazioni che interagiscono con grosse quantità di dati. Tali applicazioni sono caratterizzate da: enormi flussi di dati memorizzati su risorse geograficamente distribuite necessità di risorse di storage elevate necessità di accedere ai dati in maniera rapida ed efficiente Esempi: Fisica delle alte energie, Astronomia, Bioinformatica, …

9 On demand computing: Paghi quello che usi Utilizzazione di risorse della griglia (hardware, software, sensori, ecc…), per breve tempo e alloccorrenza Collaborative computing: Tale utilizzo si concretizza con la realizzazione del Laboratorio Virtuale Classi di applicazioni per GRID tale utilizzo della griglia emula lattuale accesso alle informazioni via Web

10 Classificazione delle applicazioni Scienze dei materiali (V. Barone) Fisica subnucleare (L. Merola) Astrofisica (G.Longo) Astrofisica (L. Milano) Scienze della vita (G. Paolella) Elettrom. e Telecom. (G. Franceschetti) Scienze dei materiali (D. Ninno) Elettrotecnica (G. Rubinacci) Scienze dei materiali (A. Coniglio) Scienze soc. e stat. (C. Lauro) Ingegneria chimica (P. Maffettone) Misure elet. e elettron. (L. Angrisani) Matematica Numerica (A.Murli) High performance computing High-throughput computing Data Intensive computing On demand computing Collaborative computing

11 Il middleware LCG/gLite, nato in ambito CERN/INFN è, naturalmente, particolarmente adatto ad applicazioni data-intensive computing e high-throughput computing tipiche di alcuni campi della Fisica carente relativamente alle applicazioni di high performance computing, verso le quali gran parte della comunità scientifica del progetto mostra interesse. MA

12 Necessità di adeguare il middleware per applicazioni di supercomputing Introduzione di strumenti per la realizzazione di applicazioni parallele multi-sito, ad es: PACX-MPI, MPICH-G2, … Strumenti per il mantenimento di prestazioni e la gestione dei guasti su macchine parallele multi-sito …

13 Linteroperabilità Lo IEEE definisce linteroperabilità come: The capability to communicate, execute programs, or transfer data among various functional units in a manner that requires the user to have little or no knowledge of the unique characteristics of those units Institute of Electrical and Electronics Engineers. IEEE Standard Computer Dictionary: A Compilation of IEEE Standard Computer Glossaries. New York, NY: 2004 Capacità di macchine diverse con sistemi HW/SW diversi di interagire grazie a specifiche e procedure generali e standard

14 Interoperation vs. Interoperability Interoperation Just make it work together Whatever it takes, could be ad-hoc, undocumented, fragile Low hanging fruit, future interoperability Charlie Catlett (Director, NSF TeraGrid) and Satoshi Matsuoka (Sub Project Director, NAREGI Project) From Interoperation to Interoperability - GGF16 Grid Interoperations Now Capacità di macchine diverse con sistemi HW/SW diversi di interagire sulla base di soluzioni ad-hoc e non standard

15 Interop{eration, erability} CIOÈ Charlie Catlett (Director, NSF TeraGrid) Multi-Grid Interoperation Planning and Exploration of Production Interoperation Opportunities, Multi-Grid Interoperation Planning Meeting, 2005 Perfect Interoperability is the enemy of Interoperation Il meglio è nemico del bene

16 Proposte di arricchimento del middleware per l interoperabilitá Introduzione di meccanismi per linteroperabilità tra middleware differenti: GRelC ( Grid Relational Catalog Project ) http://grelc.unile.it/home.php GridWay Metascheduler http://www.gridway.org/doku.php …

17 Costruzione del Middleware applicativo Attività svolte Si è provveduto a formare un gruppo di lavoro, costituito dai referenti delle applicazioni e da referenti dei WP 2, 3 e 4 per: Censire le applicazioni di interesse della comunità scientifica della Federico II Definire il middleware applicativo Individuare le modalità di integrazione delle applicazioni nellinfrastruttura GRID SCoPE

18 Componenti gruppo di lavoro Dipartimento di Scienze Fisiche: P. Coraggio, F. Conventi, M. Biglietti, P. Doria, F. Trani, L. Milano, G. Longo, G. DAngelo, A. Coniglio, M. Pica Ciamarra Dipartimento di Ingegneria Chimica: P.L. Maffettone, G. D'Avino, S. Crescitelli, A. Brasiello Dipartimento di Matematica e Statistica: R. Miele Dipartimento di Elettronica e Telecomunicazioni: R. Guida, P. Imperatore, A. Capozzoli, P. Vinetti Dipartimento di Informatica e Sistemistica: F. Moscato Dipartimento di Biochimica e Biotecnologie Mediche: G. Busiello, M. Petrillo

19 Componenti gruppo di lavoro Dipartimento di Chimica: O. Crescenzi, M. Pesole, C. Garzillo, P. Caruso Dipartimento di Matematica ed Applicazioni: G. Laccetti, D. Romano Misure Elettriche ed Elettroniche: L. Angrisani, A. Napolitano, R. Schiano Lo Moriello Dipartimento di Ingegneria Elettrica: G. Rubinacci, A. Chiarello, D. Assante ICTP-CNR: L. Carracciuolo CSI: G. Barone, S. Pardi

20 Costruzione del middleware di riferimento del progetto SCoPE ? Grid Services + LCG/gLite Applicazioni

21 Astrofisica Grid Services LCG/gLite GSL Astrofisica Low Level Medium Level

22 Applicazioni Low Level Medium Level Grid Services LCG/gLite GSL Astrofisica Fisica subnucleare EGEE VO ATLAS Toolkit Fisica Subnucleare

23 Applicazioni Matematica Numerica Grid Services LCG/gLite GSL Fisica subnucleare EGEE VO ATLAS Toolkit MPIBLASLAPACK PETSc Matematica Numerica Low Level Medium Level Astrofisica

24 Applicazioni Elettromagnetismo e telecomunicazioni Grid Services LCG/gLite GSL Fisica subnucleare EGEE VO ATLAS Toolkit BLASLAPACK PETSc Matematica Numerica Elettromagnetismo telecomunicazioni IDL Low Level Medium Level Astrofisica MPI

25 Applicazioni Scienze dei materiali e dellambiente Grid Services LCG/gLite GSL Fisica subnucleare EGEE VO ATLAS Toolkit PETSc Matematica Numerica Elettromagnetismo telecomunicazioni IDL Espresso FFTW GAUSSIANGROMACS Scienze dei materiali e dellambiente Low Level Medium Level Astrofisica MPIBLASLAPACK MPI BLASLAPACKScaLAPACK

26 Applicazioni Ingegneria Chimica Grid Services LCG/gLite GSL Fisica subnucleare EGEE VO ATLAS Toolkit PETSc Matematica Numerica Elettromagnetismo telecomunicazioni IDL Espresso FFTW GAUSSIANGROMACS Scienze dei materiali e dellambiente PARDISOMUMPS BLACS Ingegneria Chimica Low Level Medium Level Astrofisica MPIBLASLAPACKMPIBLASLAPACK GROMACS ScaLAPACK

27 FFTW Misure Elettriche ed Elettroniche Grid Services LCG/gLite GSL Fisica subnucleare EGEE VO ATLAS Toolkit MPIBLASLAPACK PETSc Matematica Numerica Elettromagnetismo telecomunicazioni IDL EspressoGAUSSIANGROMACS Scienze dei materiali e dellambiente PARDISOMUMPS ScaLAPACKBLACS Ingegneria Chimica Misure elettriche ed elettroniche MATLAB Low Level Medium Level Astrofisica FFTW

28 Elettrotecnica Grid Services LCG/gLite GSL Fisica subnucleare EGEE VO ATLAS Toolkit MPIBLASLAPACK PETSc Matematica Numerica Elettromagnetismo telecomunicazioni IDL Espresso FFTW GAUSSIANGROMACS Scienze dei materiali e dellambiente PARDISOMUMPS ScaLAPACKBLACS Ingegneria Chimica Misure elettriche ed elettroniche MATLAB Elettrotecnica IMSL Low Level Medium Level Astrofisica

29 Scienze della vita Grid Services LCG/gLite GSL Fisica subnucleare EGEE VO ATLAS Toolkit MPIBLASLAPACK PETSc Matematica Numerica Elettromagnetismo telecomunicazioni IDL Espresso FFTW GAUSSIANGROMACS Scienze dei materiali e dellambiente PARDISOMUMPS ScaLAPACKBLACS Ingegneria Chimica Misure elettriche ed elettroniche Elettrotecnica Low Level Medium Level Astrofisica Scienze della vita BLAST IMSL MATLAB

30 Composizione attuale del middleware Grid Services LCG/gLite GSL EGEE VO ATLAS Toolkit MPIBLASLAPACK PETScIDL Espresso FFTW GAUSSIANGROMACS PARDISOMUMPS ScaLAPACKBLACS Low Level Medium Level BLAST IMSL MATLAB Per consentire a tutte le applicazioni di utilizzare linfrastruttura di progetto è necessario rendere fruibile alla VO scope linsieme del middleware applicativo

31 Costruzione del toolkit relativo al middleware applicativo Definizione della composizione del toolkit della VO SCOPE mediante censimento delle librerie utilizzate dalle applicazioni Individuazione delle procedure di costruzione, installazione e validazione del toolkit (in collaborazione con WP 2 e 3 e gruppo operativo per linteroperabilità) Diffusione del toolkit sulle infrastrutture degli altri PON

32 Prospettive di progetto Completare il porting delle applicazioni censite sullinfrastruttura SCoPE e in modo che possano usufruire anche delle infrastrutture degli altri 3 PON Integrare le applicazioni e il middleware con i meccanismi necessari a renderle grid-aware cioè capaci di adattarsi alla struttura dinamica delle griglie computazionali. Realizzare il laboratorio virtuale

33 Programma Operativo Nazionale 2000-2006 Ricerca Scientifica, Sviluppo Tecnologico, Alta Formazione Misura II.2 Società dellInformazione per il Sistema Scientifico Meridionale Azione a – Sistemi di calcolo e simulazione ad alte prestazioni Conferenza Nazionale Italian e-Science 2008 IES08 27-29 maggio 2008 Universita degli di Studi di Napoli Federico II Aula Magna, Complesso Universitario Monte S. Angelo, via Cintia, Napoli Convegno sui progetti Avviso 1575/2004

34 Programma Operativo Nazionale 2000-2006 Ricerca Scientifica, Sviluppo Tecnologico, Alta Formazione Misura II.2 Società dellInformazione per il Sistema Scientifico Meridionale Azione a – Sistemi di calcolo e simulazione ad alte prestazioni Il termine e-Science caratterizza la ricerca scientifica che utilizza risorse di calcolo ad alte prestazioni geograficamente distribuite e grandi quantità di dati. Con tale termine ci si riferisce anche alla ricerca scientifica su larga scala condotta attraverso collaborazioni distribuite via Internet. In tal senso un esempio significativo e costituito dalla fisica delle particelle, che utilizza una infrastruttura di e- Science per accedere ad adeguate risorse di calcolo per lanalisi dei risultati e di immagazzinamento dei dati prodotti dallesperimento LHC del CERN. Altri esempi riguardano, la scienza dei materiali, la chimica computazionale, lastrofisica, le scienze della terra, le scienze sociali, le scienze della vita, etc. La grid rappresenta quindi linfrastruttura indispensabile per la realizzazione di una tale visione della scienza. Scopo del convegno è condividere i risultati ottenuti dai 4 progetti cofinanziati nellambito dellAvviso 1575/2004 con le altre realtà italiane in varie aree delle-Science, quali lo sviluppo di nuovi frameworks applicativi di e-Science, tecnologie grid per le-Learning, la possibilita di accesso trasparente ad archivi digitali, grid computing, etc. Verranno presentati i risultati dei progetti finanziati dal PON su queste aree, nonché i progressi nel campo delle tecnologie grid per le-Science al fine di contribuire allintegrazione dei progetti stessi in un unico sistema virtuale per il sud Italia, con strette relazioni con i progetti nazionali ed europei. La conferenza costituirà, da una parte un forum per i progetti cofinanziati nellambito del programma e per la comunità italiana di e-Science con il fine di mostrare i risultati ottenuti, e dallaltra rappresenta un occasione in cui gli esperti delle comunità scientifiche di e-Science italiane potranno incontrare, in particolare, quelli delle- infrastruttura meridionale. Data la presenza attiva di responsabili del Ministero, la conferenza sara anche un momento di confronto per delineare le linee guida per le future strategie nazionali in questo settore.

35 Comitato di Programma: Prof. F. Beltrame, Università degli Studi di Genova e MiUR Prof. A. Camurri, Università degli Studi di Genova Dr.ssa Claudia Galletti, AdG del PON Ricerca (MiUR) Dr. D. Laforenza, CNR Prof. G. Marrucci, Università degli Studi di Napoli Federico II Dr. A. Masoni, INFN Sez. di Cagliari Prof. M. Mazzucato, INFN – CNAF Ing. S. Migliori, Enea Prof. A. Murli, Universita degli Studi di Napoli Federico II Prof. G. Pappalardo, Università degli Studi di Catania Prof. P. Ritrovato, Università degli Studi di Salerno Prof. S. Salerno, Università degli Studi di Salerno Programma Operativo Nazionale 2000-2006 Ricerca Scientifica, Sviluppo Tecnologico, Alta Formazione Misura II.2 Società dellInformazione per il Sistema Scientifico Meridionale Azione a – Sistemi di calcolo e simulazione ad alte prestazioni

36 Comitato Organizzatore: Prof. V. Barone, Università degli Studi di Napoli Federico II Sig.ra E. Cesaro, Università degli Studi di Napoli Federico II Dr. M.R. Fario, Università degli Studi di Napoli Federico II Prof. G. Franceschetti, Università degli Studi di Napoli Federico II Dr. P. Mastroserio, INFN Sez. di Napoli Prof. N. Mazzocca, Università degli Studi di Napoli Federico II Prof. L. Merola, Università degli Studi di Napoli Federico II e INFN Sez. di NA Prof. A. Murli, Università degli Studi di Napoli Federico II (CHAIRMAN) Prof. G. Paolella, Università degli Studi di Napoli Federico II Prof. G. Russo, Università degli Studi di Napoli Federico II e ARPA Prof. S. Salerno, Università di degli Studi di Salerno Prof. F. Salvatore, Università degli Studi di Napoli Federico II e CEINGE Prof. G. Ventre, Università degli Studi di Napoli Federico II e CRIAI Programma Operativo Nazionale 2000-2006 Ricerca Scientifica, Sviluppo Tecnologico, Alta Formazione Misura II.2 Società dellInformazione per il Sistema Scientifico Meridionale Azione a – Sistemi di calcolo e simulazione ad alte prestazioni

37 Sito web: http://www.scope.unina.it Date importanti: Apertura registrazione e sottomissione Poster Abstract: 25 Febbraio 2008 Chiusura sottomissione Poster Abstract: 15 Aprile 2008 Comunicazione accettazione Poster Abstract: entro il 10 Maggio 2008 Chiusura delle iscrizioni: 13 Maggio 2008 Programma Operativo Nazionale 2000-2006 Ricerca Scientifica, Sviluppo Tecnologico, Alta Formazione Misura II.2 Società dellInformazione per il Sistema Scientifico Meridionale Azione a – Sistemi di calcolo e simulazione ad alte prestazioni

38 Programma degli Interventi Prof. Barone ( Dott. Brancato ) Prof. Franceschetti Prof. Laccetti Prof. Maffettone Prof. Ninno ( Dott. Trani ) Prof. Longo Prof. Merola Prof. Milano (Dott. Garufi ) Prof. Paolella