1 Progetto Sistema Cooperativo Distribuito ad alte Prestazioni per Elaborazioni Scientifiche Multidisciplinari (S.Co.P.E.) Programma Operativo Nazionale.

Presentazione sul tema: "1 Progetto Sistema Cooperativo Distribuito ad alte Prestazioni per Elaborazioni Scientifiche Multidisciplinari (S.Co.P.E.) Programma Operativo Nazionale."— Transcript della presentazione:

1 1 Progetto Sistema Cooperativo Distribuito ad alte Prestazioni per Elaborazioni Scientifiche Multidisciplinari (S.Co.P.E.) Programma Operativo Nazionale 2000-2006 “Ricerca Scientifica, Sviluppo Tecnologico, Alta Formazione” Misura II.2 “Società dell’Informazione per il Sistema Scientifico Meridionale” Azione a – Sistemi di calcolo e simulazione ad alte prestazioni Avviso 1575/04 Relatore: Prof. Guido Russo, membro del Comitato Direttivo del progetto

2 2 Indice  Il Progetto  L’infrastruttura già esistente  L’architettura prevista  La struttura organizzativa  Le attrezzature esistenti  Gli investimenti  Tempistica Progetto S.Co.P.E. PON Avviso 1575

3 3 Obiettivo generale del progetto: Realizzare un sistema di calcolo ad alte prestazioni orientato ad applicazioni scientifiche multidisciplinari che operi secondo il paradigma GRID, dedicato alla modellistica computazionale ed alla gestione di grosse banche dati Il Progetto Progetto S.Co.P.E. PON Avviso 1575

4 4 In particolare, il progetto intende sviluppare attività computazionali ad alte prestazioni, incluse simulazioni ed analisi dati, relative alla applicazioni in tre settori specifici: 1.Scienze del Microcosmo e del Macrocosmo 2.Scienze della Vita; 3.Scienze dei Materiali e dell’Ambiente Più l’area di ricerca scientifica legata al Middleware, trasversale alle applicazioni e articolata in due livelli: Middleware linea A e Middleware linea B. Il Progetto Progetto S.Co.P.E. PON Avviso 1575

5 5 L’ Area Applicativa delle Scienze del Microcosmo e del Macrocosmo affronta le seguenti problematiche: Applicazioni di analisi dati legate ai progetti Atlas ed LCG (LHC Computing Grid). Applicazioni basate su algoritmi paralleli per il data mining ed il knowledge discovery in databases (AstroNeural) Messa a punto di algoritmi paralleli per la simulazione cosmologica (CMB-FAST) Problemi di visualizzazione di spazi parametrici di alta dimensionalità (VISASTRO) Algoritmi paralleli per l’estrazione di segnale da dati con basso rapporto segnale/rumore Il Progetto Progetto S.Co.P.E. PON Avviso 1575

6 6 L’Area Applicativa delle Scienze della Vita affronta le seguenti problematiche: Applicazioni a strutture e processi biochimici di rilievo Tecniche di allineamento nell’analisi di genomica e post-genomica comparativa Simulazioni di biomolecole (proprietà e reattività) Modelli di analisi e collezioni di dati a scopo di data mining (analisi di biomolecole) Il Progetto Progetto S.Co.P.E. PON Avviso 1575

7 7 L’Area Applicativa delle Scienze dei Materiali e dell’Ambiente affronta le seguenti problematiche: Applicazioni sui materiali, modellistica e loro diagnostica Simulazione di meccanica e dinamica molecolare di molecole organiche e nanostrutture Problemi di elettromagnetismo e telerilevamento Calcolo quantistico delle proprietà ottiche di materiali Calcolo quantistico di sistemi molecolari in stati elettronici fondamentali ed eccitati Diffusione di nanoparticelle nell’ambiente Il Progetto Progetto S.Co.P.E. PON Avviso 1575

8 8 L’Area applicativa del Middleware linea A affronta le seguenti problematiche: Sviluppo ed integrazione del software applicativo basato su codici originali e metodologie innovative nel contesto tecnologico delineato dalle nuove piattaforme di supercalcolo Riprogettazione degli algoritmi esistenti per raggiungere prestazioni elevate, accuratezza, affidabilità, facilità d'uso. Realizzazione di SCE (Scientific Computing Environment) per sistemi di supercomputing in grado di supportare ambienti e strumenti avanzati per lo sviluppo di applicazioni e per la gestione efficiente di piattaforme per architetture GRID. Progettazione e realizzazione di un sistema basato su metadati “ricchi” per descrivere tutte le risorse presenti nell’architettura GRID (dati, software e componenti hardware) Il Progetto Progetto S.CO.P.E. PON Avviso 1575

9 9 L’area applicativa del Middleware linea B affronta le seguenti problematiche: Sperimentazione della piattaforma GRID in una rete metropolitana a larga banda, già disponibile presso l’Università (progetto CampusGRID). In questo modo si analizzano differenti politiche di attribuzione delle risorse di calcolo e di rete al fine di garantire elevati livelli di qualità del servizio e di sicurezza. Il sistema integra, inoltre, unità collegate mediante reti di tipo wireless, aspetto quest’ultimo particolarmente innovativo come applicazione nei sistemi GRID. Il Progetto Progetto S.Co.P.E. PON Avviso 1575

10 10 L’infrastruttura già esistente: tre siti Progetto S.Co.P.E. PON Avviso 1575 CAMPUS GRID, nel complesso di Monte S. Angelo DBBM-Ceinge, nel complesso di via Pansini-Cappella Cangiani DIS-DIET-CINI, nel complesso di Fuorigrotta La piattaforma di calcolo S.Co.P.E. verrà implementata come estensione ed aggiornamento delle risorse attualmente disponibili, dislocate principalmente nei tre siti di:

11 11 L’infrastruttura già esistente: il Campus GRID Progetto S.Co.P.E. PON Avviso 1575 DSF – Dipartimento di Scienze Fisiche INFN-Napoli – Istituto Nazionale di Fisica Nucleare INFM-Napoli – Istituto Nazionale di Fisica della Materia DICHI – Dipartimento di Chimica INSTM-Napoli – Consorzio Interuniversitario Nazionale per la Scienza e Tecnologia dei Materiali DMA – Dipartimento di Matematica e Applicazioni CNR-SPACI – Consiglio Nazionale delle Ricerche All’interno del campus di Monte S. Angelo è stato stipulato un protocollo di intesa tra dipartimenti ed enti di ricerca chiamato CAMPUS GRID, con lo scopo di riunire la maggiori risorse computazionali sotto un’unica infrastruttura di griglia

12 12 INFN-GRID.ITINTEL19 bi-proc2.81 TBRH7.3 SciLinux PBS GT2 LCG INFN-ATLASINTEL7 bi-proc + 16 in arrivo 2.82 TB INFN-AstroParticleINTEL8 bi-proc2.8 INFN-BABAR-CMSINTEL10 bi-proc2.8 ASTROAMD9 bi-proc2.51.2 TBGentoo SciLinux PBS AMRAAMD99 bi-proc2.81.2 TBSlackware SciLinux PBS DSF-INFMAlphaEV716 bi-proc1,2140 GBTrue-64 LSF DiChi-BioteknetAlphaEV6810 qua-proc1,41 TBTrue-64 LSF DiChi-LSDMAlphaDS204 bi-proc1,0320 GBTrue-64 LSF DiChi-INSTMOpteron16 bi-proc2,41 TBLinux - SUSE CNR-SPACIItanium268 bi-proc1,51.2 TBLinux-HP LSF ProgettoProc.N. proc.GHzStorageS.O. s/w m/w grid Progetto S.Co.P.E. PON Avviso 1575 L’infrastruttura già esistente: il Campus GRID Hardware installato a tutto dicembre 2005

13 13 La griglia di Campus costituita, sfrutta i link in fibra a 1 Gb/s stesi all’interno di M.S. Angelo (secondo una topologia stellare) che collegano i dipartimenti coinvolti L’infrastruttura già esistente: il Campus GRID Progetto S.Co.P.E. PON Avviso 1575

14 14 Campus GRID è attualmente in funzione a pieno regime ed è già inserita nel contesto nazionale ed internazionale del GRID computing come "modello di sviluppo" di calcolo integrato avanzato. Esso si propone come elemento trainante per il futuro sviluppo del sistema da realizzare nell’ambito del progetto SCoPE. L’infrastruttura già esistente: il Campus GRID Progetto S.Co.P.E. PON Avviso 1575

15 15 Presso il polo di BioMedicina, al DBBM-CEINGE, e’ attivo un sistema integrato multiutente di gestione e analisi di dati nel settore della bioinformatica, che prevede mirroring locale di banche dati, installazione e gestione di software applicativo, interfacciamento di dati prodotti in-house e svilupo di database e tools specializzati. L’infrastruttura già esistente: DBBM-CEINGE Progetto S.Co.P.E. PON Avviso 1575 Sono attualmente accessibili attraverso il portale di Bioinformatica, circa 100 banche dati per un totale di alcuni TB.

16 16 Per consentire un facile accesso alle risorse disponibili e’ installata una interfaccia web (CAPRI), sviluppata localmente, in grado di simulare efficacemente un’applicazione locale, completa di menu’, finestre di dialogo, output grafico e accesso a dati locali e remoti. L’infrastruttura già esistente: DBBM-CEINGE Progetto S.Co.P.E. PON Avviso 1575 I diversi programmi sono accessibili come funzioni di menu. Punto isoelettrico

17 17 L’infrastruttura gia’ esistente presso il polo di Biomedicina consente l’interfacciamento di numerosi package con repliche locali di banche dati e con banche dati prodotte in-house nell’ambito di progetti di ricerca. L’infrastruttura già esistente: DBBM-CEINGE Progetto S.Co.P.E. PON Avviso 1575 WEB SERVER CAPRI SRS PISE Other Emboss Fasta Blast User Data DB Primary remote databases ENSEMBL

18 18 L’infrastruttura già esistente: DIS-DIET-CINI Progetto S.Co.P.E. PON Avviso 1575 Le strutture di ingegneria in collaborazione con il Consorzio Interuniversitario Nazionale per l’Informatica (CINI), ospitano laboratori di Cluster computing e di reti a larga banda e wireless, per lo studio di tecnologie legate ai sistema informativi su rete, con particolare attenzione alle problematiche legate all’elaborazione, alla trasmissione ed alla riproduzione di dati multimediali. Nell’ambito di passati progetti è stato altresì realizzato dal DIS il “Laboratorio Nazionale per l’Informatica e la Telematica Multimediali di Napoli” che unisce le sinergie di 5 laboratori sperimentali interconnessi su larga banda.

19 19 L’Università degli Studi di Napoli “Federico II” utilizza la rete GARR attraverso PoP-NA1 collegandosi agli altri nodi italiani ed alle reti estere secondo lo schema nella figura sottostante. Progetto S.Co.P.E. PON Avviso 1575 L’infrastruttura già esistente

20 20 L’architettura prevista Progetto S.Co.P.E. PON Avviso 1575 Middleware Medium Level PSE (ELLPACK, PETSc, NetSolve, CACTUS, NINF) Librerie numeriche Visualizzazione Strutture dati/Metadati (ScaLAPACK, IDL, Khoros, FRAME, ImageJ, myGrid…) Middleware Low Level Grid Services(Globus Toolkit, gLite, Condor, Condor-G… Kernel, compilatori, librerie Multithreating, message-passing, Strumenti di analisi di performance, Monitoraggio, debugging Architettura Fisica - SMP, MPP, cluster, network, strumenti on-line, repository di software e dati… SCE (Scientific Computing Enviroment) Scienze del Microcosmo e del Macrocosmo, Scienza della Vita, Scienze dei Materiali e dell’Ambiente

21 21 L’architettura del sistema può essere rappresentata altresì mediante una struttura a strati, dove al vertice si trovano le applicazioni delle tre aree di interesse individuate L’architettura prevista Progetto S.Co.P.E. PON Avviso 1575

22 22 Il sistema distribuito coinvolgerà tutte le sedi dove vengono svolte le principali attività dell’Ateneo, ricerca e didattica. Esse sono dislocate in punti diversi della città di Napoli e sono tutte collegate tra loro attraverso una infrastruttura ad anello totalmente in fibra ad un 1 Gbit/sec, di dimensioni metropolitane che assicura la comunicazione necessaria per la ricerca e rappresenta di per sé elemento trasversale ed unificante predisponendo le sedi dell’Ateneo per una condivisione ed il trattamento unitario delle risorse. L’architettura prevista Progetto S.Co.P.E. PON Avviso 1575

23 23 SEDI E COLLEGAMENTI ATTUALI L’architettura prevista Progetto S.Co.P.E. PON Avviso 1575

24 24 La piattaforma verrà costituita mediante una espansione della già esistente griglia CAMPUS-GRID di Monte S. Angelo L’accesso alla GRID avverrà tramite i servizi offerti dal CSI che costituirà “il portale di SCoPE” L’architettura prevista Progetto S.Co.P.E. PON Avviso 1575

25 25 Aspetto rilevante della ricerca è quello della GOVERNANCE, intesa come: 1.Pianificazione delle realizzazioni h/w e s/w in funzione degli obiettivi di progetto 2.Management delle politiche di accesso e di gestione dell’infrastruttura e dei servizi disponibili 3.Gestione dei collegamenti del sistema con le altre strutture di ricerca a livello nazionale ed internazionale La struttura organizzativa Progetto S.Co.P.E. PON Avviso 1575

26 26 La Struttura organizzativa del Progetto prevede le seguenti figure: 1.Rettore, in quanto si tratta di un progetto di Ateneo 2.Responsabile Scientifico 3.Comitato Direttivo composto da 9 membri 4.Responsabile Amministrativo La struttura organizzativa Progetto S.Co.P.E. PON Avviso 1575

27 27 L’Università Federico II ha una dotazione di attrezzature dedicate al calcolo avanzato secondo diverse architetture (cluster [farm], macchine SMP) che hanno consentito l’acquisizione di competenza diverse sulla gestione, amministrazione e controllo di sistemi complessi ad alte prestazioni. Le attrezzature esistenti Progetto S.Co.P.E. PON Avviso 1575

28 28 Attrezzature di calcolo utilizzate per le Scienze dei Materiali ed Ambientali: Farm 98 biprocessori in rete GRID del gruppo di Modellistica del CdC AMRA HP GS1280 / True 64 Unix, composta da 16 processori Alpha EV7 organizzati in una architettura ccNUMA toroidale switchless Un sistema IBM RS6000 SP 9076 con 16 nodi monoprocessore e 4 nodi Biprocessori Un rack con ventidue bi-processori Xeon e spazio disco per circa 1 TB Un rack contenente 16 processori Alpha usato da fisici e chimici Farm di 64 biprocessori Xeon per calcoli di fisica statistica su sistemi complessi. Farm AlphaServer 48 10 nodi quadriprocessore su rete 10/100/100. Storage System 1.5 TB di spazio disco Farm HP XC600 costituito di sei rack contenti sessantaquattro bi- procesori Itanium e spazio disco per circa 720 GB Le attrezzature esistenti: Scienze dei Materiali ed Ambientali Progetto S.Co.P.E. PON Avviso 1575

29 29 Attrezzature di calcolo utilizzate per le Scienze del Microcosmo e del Macrocosmo: Farm Beowulf (29 biprocessori Pentium, 5 TB HD) utilizzato nell’ambito della GRID INFN per la preparazione ai data challenge di ATLAS. Farm Beowulf 8 nodi biprocessore per applicazioni di astrofisica e cosmologia Farm Beowulf 20 nodi biprocessore per elaborazione dei dati di VIRGO Farm Linux (29 biprocessori Pentium, 5 TB HD) utilizzato nell’ambito della GRID INFN e dei data challenge di ATLAS. Le attrezzature esistenti: Scienze del Microcosmo e del Macrocosmo Progetto S.Co.P.E. PON Avviso 1575

30 30 Attrezzature di calcolo utilizzate per le Scienze della Vita: Farm 56 biprocessori Intel 2.8 Ghz, 2GB di RAM per nodo, 160 GB di storage per nodo. Computer parallelo HP AlphaServer, composto da 10 nodi ES45 per un totale di 40 processori Alpha ev7, con sistema di storage e switch 4 Biprocessori DS20 SMP con sistema operativo Unix Farm Beowulf di 12 biprocessori Opteron 2 Farm Beowulf, rispettivamente di 8 biprocessori Xeon e 12 Pentium 4. 2 server con 8 processori Intel ciascuno dotato di 4GB di RAM e 500GB storage Le attrezzature esistenti: Scienze della Vita Progetto S.Co.P.E. PON Avviso 1575

31 31 Gli investimenti necessari all’allestimento del sistema di calcolo del Progetto S.Co.P.E. dovranno essere in grado di rispondere alle esigenze delle diverse aree applicative coinvolte. In particolare, con riferimento alla sede centrale del nostro Ateneo, presso il C.S.I. andranno acquisiti: Server per Macchine di servizio della GRID Storage centrale, almeno 25 TB Sistemi per gestione e amministrazione Apparati centrali di rete Gli investimenti (da discutere nell’ambito del Comitato Direttivo) Progetto S.Co.P.E. PON Avviso 1575

32 32 Per far fronte alle esigenze del Campus GRID occorrono sistemi con differenti tipi di architetture, in particolare: 1.Sistema di storage e Farm (biprocessori) per “Scienze del Microcosmo” e del “Marcocosmo” 2.Sistema di storage e 2 Farm (quadri o più processori) per “Scienza dei Materiali“ e “Scienze della Vita” 3.Potenziamento delle infrastrutture dei nodi di Matematica e Chimica 4.Farm per le esigenze dell’area Middleware Gli investimenti (da discutere nell’ambito del Comitato Direttivo) Progetto S.Co.P.E. PON Avviso 1575

33 33 Per le strutture di Ingegneria occorre, oltre all’acquisto di un cluster di alta fascia, stendere un collegamento per connettere la sede di Agnano, alle altre due strutture di Ingegneria dislocate in Piazzale Tecchio ed in Via Claudio e già connesse in fibra ottica. Le attrezzature necessaria sono quindi: Una Farm Un sistema di storage Apparati di networking Gli investimenti (da discutere nell’ambito del Comitato Direttivo) Progetto S.Co.P.E. PON Avviso 1575

34 34 Per le strutture di Biomedicina (in particolare DBBM) gli interventi previsti per la creazione di una macro-area capace di far fronte in maniera efficace alle esigenze sono l’acquisto dei seguenti sistemi: Una Farm Un sistema di storage PER TUTTE LE SEDI, LE CARATTERISTICHE DELLE FARM E DELLO STORAGE SARANNO DA DEFINIRE NELL’AMBITO DEL COMITATO DIRETTIVO Gli investimenti (da discutere nell’ambito del Comitato Direttivo) Progetto S.Co.P.E. PON Avviso 1575

35 35 In sintesi le attrezzature necessarie per l’attivazione delle quattro sedi obiettivo possono essere schematizzate con la seguente figura per rappresentare il peso degli investimenti. Gli investimenti: SINTESI Progetto S.Co.P.E. PON Avviso 1575

36 36 L’infrastruttura di rete da realizzare ha lo scopo di aggregare alcune sedi non ancora collegate alla dorsale di trasporto ad alte prestazioni che ospitano importanti laboratori e strutture. Le sedi interessate sono: Campus Facoltà di Ingegneria Istituto Nazionale di Astrofisica a Capodimonte Istituto Nazionale di Geofisica e Vulcanologia Con l’acquisto di: Ponti radio e apparati di accesso e concentrazione Lavori di predisposizione e raccordo in fibra ottica e rame, rilanci Progetto S.Co.P.E. PON Avviso 1575 Gli investimenti

37 37 Progetto S.Co.P.E. PON Avviso 1575 Tempistica Gli obiettivi realizzativi, così come richiesto dal formulario del MIUR sono: OR1 – Standard, documenti di indirizzo e specifiche OR2 – Modellizzazione OR3 – Implementazione dell’hardware OR4 - Preparazione del Middleware di base OR5 - Attivazione sistema OR6 – Sviluppo algoritmi e prime applicazioni OR7 – Preparazione Middleware applicativo OR8 – Sviluppo applicazioni OR9 – Potenziamento di reti di collaborazione scientifica OR10 – Diffusione dei risultati

38 38 Progetto S.Co.P.E. PON Avviso 1575 Tempistica