CRESCO – Kick-off meeting LA II – 23 maggio 2006 CRESCO–workshop SPIII– ENEA 06Luglio 2007 ITALIAN NATIONAL AGENCY FOR NEW TECNOLOGY,

Presentazione sul tema: "CRESCO – Kick-off meeting LA II – 23 maggio 2006 CRESCO–workshop SPIII– ENEA 06Luglio 2007 ITALIAN NATIONAL AGENCY FOR NEW TECNOLOGY,"— Transcript della presentazione:

1 CRESCO – Kick-off meeting LA II – 23 maggio 2006 CRESCO–workshop SPIII– ENEA 06Luglio 2007 migliori@enea.it ITALIAN NATIONAL AGENCY FOR NEW TECNOLOGY, ENERGY AND THE ENVIRONMENT

2 CRESCO – Kick-off meeting LA II – 23 maggio 2006 CRESCO–workshop SPIII– ENEA 06Luglio 2007 migliori@enea.it CRESCO – Centro Computazionale di RicErca sui Sistemi Complessi Programma Operativo Nazionale 2000-2006 Ricerca Scientifica, Sviluppo Tecnologico, Alta Formazione Misura II.2 Società dellInformazione per il Sistema Scientifico Meridionale Azione a – Sistemi di calcolo e simulazione ad alte prestazioni

3 CRESCO – Kick-off meeting LA II – 23 maggio 2006 CRESCO–workshop SPIII– ENEA 06Luglio 2007 migliori@enea.it Citrix Metafram e Citrix Nfuse ICA WEB(ICA) sp4_-1.frascati.enea.it boquad.bologna.enea.it dafne.casaccia.enea.it Kleos.portici.enea.it ENEA - GRID 2 0 0 7 GEANT infocal.trisia.enea.it ercules.brindisi.enea.it Gateway to EGEE 30 CPU 150 CPU 400 CPU 50 CPU Portici 25 CPU (CRESCO >2500 cpu) Brindisi 15 CPU

4 CRESCO – Kick-off meeting LA II – 23 maggio 2006 CRESCO–workshop SPIII– ENEA 06Luglio 2007 migliori@enea.it Infrastruttura HPC Cresco GARA Europea www.cresco.enea.it

5 CRESCO – Kick-off meeting LA II – 23 maggio 2006 CRESCO–workshop SPIII– ENEA 06Luglio 2007 migliori@enea.it Caratteristiche codici CRESCO Codici seriali ( UNIX) Codici paralleli fortemente accoppiati Codici paralleli debolmente accoppiati Più codici paralleli fortemente accoppiati che interagiscono fra loro ( es. accoppiamento fluido struttura) Codici particolari con funzioni molto spinte su alcuni algoritmi ( es. analisi immagini, genomica) Data base grandi dimensione Codici seriali ( windows) …….

6 CRESCO – Kick-off meeting LA II – 23 maggio 2006 CRESCO–workshop SPIII– ENEA 06Luglio 2007 migliori@enea.it Accesso ai file di input ed output –frequenza –flusso per accesso Dimensione della memoria RAM –visibile direttamente dal singolo nodo –totale su tutti i nodi Data base grandi dimensione File grandi dimensioni (maggiori 20GB) ….. Caratteristiche dei dati dei codici CRESCO

7 CRESCO – Kick-off meeting LA II – 23 maggio 2006 CRESCO–workshop SPIII– ENEA 06Luglio 2007 migliori@enea.it Infrastruttura HPC Cresco sistema di supercalcolo HPC sistema di storage ad alte prestazioni sistema software –software di sistema –software di gestione –middleware ENEA-GRID –software di monitoring –ambienti per lo sviluppo applicativi ad alto parallelismo –software applicativo rete di interconnessione –alta banda e bassa latenza –alta banda –interconnessioni di servizio rete di interconnessione alla rete locale sistema di backup sistema di sicurezza sistema di alimentazione e di continuità adeguamento sistema condizionamento

8 CRESCO – Kick-off meeting LA II – 23 maggio 2006 CRESCO–workshop SPIII– ENEA 06Luglio 2007 migliori@enea.it Sistema di supercalcolo HPC (1) struttura in funzione dei codici Codici seriali ( UNIX) Sezione 1 ( dimensionamento preliminare) Codici seriali che necessitano di memoria RAM maggiore di 4 GByte –Una sezione con almeno 512 core organizzata ad uno o più nodi ad immagine unica di ciascuno di tipo SMP con almeno 16 Core per nodo. –doppia interconnessi in fibra per il calcolo con una rete di almeno 1 Gbit/s; –una memoria ram di almeno 2 GByte per core; –due dischi almeno da 73GByte; –predisposizione connessione InfiniBand Sezione GRID Codici seriali che necessitano di memoria RAM minore di 2 GByte Su GRID si trovano alcune macchine che soddisfano le condizioni della Sezione 1 ( AIX, SGI, LinuxSGI)

9 CRESCO – Kick-off meeting LA II – 23 maggio 2006 CRESCO–workshop SPIII– ENEA 06Luglio 2007 migliori@enea.it Sistema di supercalcolo HPC (2) struttura in funzione dei codici Codici paralleli fortemente accoppiati Sezione 2 ( dimensionamento minimo) –Una sezione con almeno 2048 core organizzata con nodi ad immagine unica ciascuno di tipo SMP con almeno 8 Core per nodo, con configurazione 2 socket quad-core –doppia connessione Gbit ( per ogni 8 core ) –doppia connessione Infiniband 4X ( per ogni 8 core ) ( reti proprietarie per immagini uniche SMP maggiori di 16 core) –1 GByte per core –Un disco da 73GB SAS (per 8 core) Sezione GRID Su GRID si trovano alcune macchine che soddisfano le condizioni della Sezione 2 ( AIX, LinuxSGI, LinuxCRAY) per parallelismo fino ad un massimo di 192 proc.

10 CRESCO – Kick-off meeting LA II – 23 maggio 2006 CRESCO–workshop SPIII– ENEA 06Luglio 2007 migliori@enea.it Sistema di supercalcolo HPC (4) struttura in funzione dei codici Codici paralleli debolmente accoppiati Sezione 1 + Sezione 2 –Una sistema totale con almeno 2560 core –doppia connessione Gbit ( per ogni 8/16 core) –1/2 GByte per core –Un disco da 73GB SAS (per 8 core) Sezione GRID Per codici fortemente disaccoppiati si possono sperimentare anche casi con circa 3000 core.

11 CRESCO – Kick-off meeting LA II – 23 maggio 2006 CRESCO–workshop SPIII– ENEA 06Luglio 2007 migliori@enea.it Sistema di supercalcolo HPC (3) struttura in funzione dei codici Più codici paralleli fortemente accoppiati che interagiscono fra loro ( es. accoppiamento fluido struttura) Soluzioni possibili: –Partizionando la Sezione 2 (2 codici fortemente accoppiati) –Sezione 1 ( codice poco scalabile) Sezione 2 (codice scalabile) –Sezione GRID codici su più site

12 CRESCO – Kick-off meeting LA II – 23 maggio 2006 CRESCO–workshop SPIII– ENEA 06Luglio 2007 migliori@enea.it Sistema di supercalcolo HPC (4) struttura in funzione dei codici Codici particolari con funzioni molto spinte su alcuni algoritmi ( es. analisi immagini, genomica) Piccola sezione integrata CELLBE ( 8 CPU) Data base grandi dimensione Storage ad alte performance

13 CRESCO – Kick-off meeting LA II – 23 maggio 2006 CRESCO–workshop SPIII– ENEA 06Luglio 2007 migliori@enea.it Sistema di supercalcolo HPC (4) struttura in funzione dei codici Codici particolari con funzioni molto spinte su alcuni algoritmi ( es. analisi immagini, genomica) Piccola sezione integrata CELLBE ( 8 CPU) Data base grandi dimensione Dischi ad alte performance Codici seriali ( windows) 4-5 nodi 4 core 64 bit 16 GByte RAM insieme a nodi di servizio ( Fuori gara)

14 CRESCO – Kick-off meeting LA II – 23 maggio 2006 CRESCO–workshop SPIII– ENEA 06Luglio 2007 migliori@enea.it Sistema di supercalcolo HPC (5) Dischi ad alte prestazioni Caratteristiche Funzionali Il sistema dischi che ha come riferimento una capacità di circa 100 TByte nominali dovrà avere al minimo le seguenti caratteristiche: –Capacità nominale minima 120 TByte –Capacita con in configurazione RAID6 96 TByte ( ovvero con due dischi di parità) –Prestazioni di picco minime 3 GByte/s –Prestazioni sostenute minime, con File system GPFS, 2GByte/s –Interfaccie minime: (preliminare) n. 8 FC4 supporto nativo InfiniteBand (IB) IB e FC4 devono poter essere inteconnesse allo stesso controller –Caratteristiche di merito Velocità di scrittura e lettura uguali; Verifica della parità in scrittura e lettura ( questo è estremamente significativo per avere unaffidabilità nelle fasi di lettura) Livello di degrado delle prestazioni nella fase di ricostruzione del dato

15 CRESCO – Kick-off meeting LA II – 23 maggio 2006 CRESCO–workshop SPIII– ENEA 06Luglio 2007 migliori@enea.it Configurazione fisica di massima Sala Calcolo Portici Ingresso Sezione 1 (4-5 Rack) Sezione 2 (4-5 Rack) Rete e servizi ( 3 Rack) Dischi (1 Rack) Backup (1 Rack) Condizionamento 4 x 50 K watt + 1 predisposizione Rete HPC Rete HPC Rete LAN

16 CRESCO – Kick-off meeting LA II – 23 maggio 2006 CRESCO–workshop SPIII– ENEA 06Luglio 2007 migliori@enea.it SP I.1 Realizzazione dellinfrastruttura HPCN Sala Calcolo CRESCO Portici

17 CRESCO – Kick-off meeting LA II – 23 maggio 2006 CRESCO–workshop SPIII– ENEA 06Luglio 2007 migliori@enea.it SP I.1 Realizzazione dellinfrastruttura HPCN Nuovi Uffici CRESCO

18 CRESCO – Kick-off meeting LA II – 23 maggio 2006 CRESCO–workshop SPIII– ENEA 06Luglio 2007 migliori@enea.it Struttura dati SPX.X CRESCO Frascatii Portici AFS enea.it Dati Sottoprogetto SP Cresco Dati Utente Cresco I Lanciatori multipiattaforma anno una visibilità globale unica \afs\enea.it\project\cresco\....... AIX SGI Linux Tool GRID Portale GRID

19 CRESCO – Kick-off meeting LA II – 23 maggio 2006 CRESCO–workshop SPIII– ENEA 06Luglio 2007 migliori@enea.it Menu Questo tool consente la gestione del DB dei codici generati dagli utenti nellambito del progetto CRESCO in ENEA MENU Tabella con i dati dei campi Ordinare per campo

20 CRESCO – Kick-off meeting LA II – 23 maggio 2006 CRESCO–workshop SPIII– ENEA 06Luglio 2007 migliori@enea.it Tutorial Utilizzo Folder Viewer Requisiti: AFS Client Utenza AFS Questo tool consente la navigazione nelle cartelle public_html AFS in modalità grafica via Web, permettendo inoltre laggiunta di una descrizione dei contenuti.

21 CRESCO – Kick-off meeting LA II – 23 maggio 2006 CRESCO–workshop SPIII– ENEA 06Luglio 2007 migliori@enea.it Utilizzo file.htaccess generale Consente laccesso a una pagina web protetta da login a tutti gli utenti AFS ENEA. Consente laccesso a una pagina web protetta da login a una lista idi utenti AFS ENEA.

22 CRESCO – Kick-off meeting LA II – 23 maggio 2006 CRESCO–workshop SPIII– ENEA 06Luglio 2007 migliori@enea.it Struttura generale dati CRESCO

23 CRESCO – Kick-off meeting LA II – 23 maggio 2006 CRESCO–workshop SPIII– ENEA 06Luglio 2007 migliori@enea.it Struttura dati SPX.X CRESCO

24 CRESCO – Kick-off meeting LA II – 23 maggio 2006 CRESCO–workshop SPIII– ENEA 06Luglio 2007 migliori@enea.it Cronogramma 1 aprile 2006 – 31 dicembre 2008 Mesi246810121416182022242628303233F SP I.1 Realizzazione del Polo di calcolo Progettazione degli interventi e definizione delle specifiche Acquisizione ed installazione di sistemi HW/SW Implementazione dei sistemi HW/SW, avvio sperimentazione Collaudo finale dellintera infrastruttura Tutti gli altri Sottoprogetti Progettazione delle attività di R&S nella tematica applicativa Sviluppo di modelli e codici, realizzazione di Software applicativi Implementazione di modelli, codici, ecc. per lutilizzo sulla piattaforma Produzione, elaborazione e pubblicazione dei risultati di R&S

25 CRESCO – Kick-off meeting LA II – 23 maggio 2006 CRESCO–workshop SPIII– ENEA 06Luglio 2007 migliori@enea.it Integrazione con gli altri progetti Definire un gateway ed una VO per ognuno dei progetti CYBERSAR - Cyberinfrastructure per la ricerca scientifica e tecnologica in Sardegna – Cons. COSMOLAB /CRS4 PI2S2 - Progetto per l'implementazione e lo sviluppo di una e- infrastruttura in Sicilia basata sul paradigma della GRID – Cons. COMETA/INFN SCOPE - Sistema cooperativo distribuito ad alte prestazioni per elaborazioni scientifiche multidisciplinari – Univ. Federico II Napoli

26 CRESCO – Kick-off meeting LA II – 23 maggio 2006 CRESCO–workshop SPIII– ENEA 06Luglio 2007 migliori@enea.it Collaborazioni di CRESCO (unfunded) Iniziati i contatti per definire i temi operativi della collaborazione Politecnico di Milano – Dipartimento di Elettrotecnica United States Department of State, USA Oak Ridge National Laboratories, USA

27 CRESCO – Kick-off meeting LA II – 23 maggio 2006 CRESCO–workshop SPIII– ENEA 06Luglio 2007 migliori@enea.it CRESCO Centro Computazionale di RicErca sui Sistemi COmplessi www.cresco.enea.it

28 CRESCO – Kick-off meeting LA II – 23 maggio 2006 CRESCO–workshop SPIII– ENEA 06Luglio 2007 migliori@enea.it Struttura dati SPX.X CRESCO Frascatii Portici AFS enea.it Dati Sottoprogetto SP Cresco Dati Utente Cresco I Lanciatori multipiattaforma anno una visibilità globale unica \afs\enea.it\project\cresco\....... AIX SGI Linux Tool GRID Portale GRID

29 CRESCO – Kick-off meeting LA II – 23 maggio 2006 CRESCO–workshop SPIII– ENEA 06Luglio 2007 migliori@enea.it WARC: amministratori super e di Sito

30 CRESCO – Kick-off meeting LA II – 23 maggio 2006 CRESCO–workshop SPIII– ENEA 06Luglio 2007 migliori@enea.it WARC: amministratori di progetto

31 CRESCO – Kick-off meeting LA II – 23 maggio 2006 CRESCO–workshop SPIII– ENEA 06Luglio 2007 migliori@enea.it Attività di supporto e formazione Create delle utenze esterne ENEA-GRID dedicate al progetto (circa 20) Creazione dei tutorial per lutilizzo della GRID; I primi ricercatori esterni hanno iniziato a sviluppare e lavorare nellambiente generato; Creazione del sito web di progetto www.cresco.enea.it www.cresco.enea.it

32 CRESCO – Kick-off meeting LA II – 23 maggio 2006 CRESCO–workshop SPIII– ENEA 06Luglio 2007 migliori@enea.it WARC: amministratori di progetto

33 CRESCO – Kick-off meeting LA II – 23 maggio 2006 CRESCO–workshop SPIII– ENEA 06Luglio 2007 migliori@enea.it Ambiente GRID per CRESCO Progettata la struttura dati per le aree progettuali e iniziata dell implementazione Progettate le la modalità di inserimento dei software e della documentazione relativi al progetto Progettato e realizzato un di un tool di amministrazione capace di delegare la gestione delle aree progettuali