Il supercalcolo fai-da-te

Presentazione sul tema: "Il supercalcolo fai-da-te"— Transcript della presentazione:

1 Il supercalcolo fai-da-te
Il Cluster Computing 16 Dicembre 2003 Il supercalcolo fai-da-te Il cluster computing - un’ esperienza ENEA Roberto Guadagni ENEA - Servizio Centralizzato Informatica e Reti R. Guadagni

2 Alcune definizioni ENEA INFO Cluster : collezione di nodi + rete di comunicazione Commodity Cluster : nodi e reti “commerciali” Beowulf cluster : pc & linux Workstation cluster : workstation & unix Beowulf cluster workstation cluster Cluster NOW : domina il parallelismo tra nodi (MPI) Constellation : domina il parallelismo sul nodo (OpenMP) Il cluster computing

3 Quindi un “Beowulf” è: “Commodity Cluster” of networked PCs
Il Cluster Computing 16 Dicembre 2003 Quindi un “Beowulf” è: ENEA INFO “Commodity Cluster” of networked PCs Intel Pentium or … Switched 100/1000Mbit/s Ethernet or Myrinet or QsNet or … Linux Parallel and batch software support “cicli di calcolo al più basso costo possibile” Giggigi Il cluster computing R. Guadagni

4 Un storia di successo 1993 prime teorizzazioni (Beker – Sterling)
ENEA INFO 1993 prime teorizzazioni (Beker – Sterling) 1994 “Beowulf Project” starts at CESDIS (Maryland) 16 processori connessi con rete a 10 Mbps Da allora ogni “mattone” evolve nella giusta direzione: Processori sempre più integrati/ più potenti / più economici Reti sempre più economiche, veloci ed efficenti “Esplosione” della comunità Linux  S.O. sempre più efficaci Il cluster computing

5 Cluster Beowulf in ENEA (siamo nel febbraio 2000)
Il Cluster Computing 16 Dicembre 2003 Cluster Beowulf in ENEA (siamo nel febbraio 2000) ENEA INFO Non solo: Integrazione nodi commerciali e reti commerciali Anche requisiti più stringenti: Facilità di gestione Recupero dei guasti Facile espansione Integrazione nella Griglia ENEA Il cluster computing R. Guadagni

6 Quindi … Requisiti dell’architettura:
ENEA INFO Requisiti dell’architettura: montato su rack processore up-to-date basso parallelismo nel nodo gestione flessibile rete adeguata alle necessità Requisiti del partner industriale: condivisione obiettivi affidabilità cooperazione Il cluster computing

7 Quindi …. Requisiti dell’architettura:
ENEA INFO Requisiti dell’architettura: montato su rack processore up-to-date basso parallelismo nel nodo gestione flessibile rete adeguata alle necessità Requisiti del partner industriale: condivisione obiettivi affidabilità cooperazione Scheda biprocessore alpha Il cluster computing

8 Quindi ….. Requisiti dell’architettura:
ENEA INFO Requisiti dell’architettura: montato su rack processore up-to-date basso parallelismo nel nodo gestione flessibile rete adeguata alle necessità Requisiti del partner industriale: condivisione obiettivi affidabilità cooperazione Scheda biprocessore alpha QSW Il cluster computing

9 Quindi …… Requisiti dell’architettura:
ENEA INFO Requisiti dell’architettura: montato su rack processore up-to-date basso parallelismo nel nodo gestione flessibile rete adeguata alle necessità Requisiti del partner industriale: condivisione obiettivi affidabilità cooperazione Scheda biprocessore alpha QsNet + FastEth. QSW Il cluster computing

10 Quindi ……. Requisiti dell’architettura:
ENEA INFO Requisiti dell’architettura: montato su rack processore up-to-date basso parallelismo nel nodo gestione flessibile rete adeguata alle necessità Requisiti del partner industriale: condivisione obiettivi affidabilità cooperazione Scheda biprocessore alpha “Pandora” QsNet + FastEth. QSW Il cluster computing

11 Scheda biprocessore Alpha
ENEA INFO Two Alpha processors running at 667, each with integrated 4Mb, L2 Cache 3.2GB/s L2 Cache bandwidth 2.65GB/s memory bandwidth 1GB RAM with ECC 256-bit wide memory bus 6 PCI slots: Two 64-bit and four 32-bit One shared ISA expansion slot Two serial ports with modem control Dual USB ports Thermal sensor Il cluster computing

12 Rete QsNet Elan 3 Topologia fath-tree Latenza: 4.6 µs
Il Cluster Computing 16 Dicembre 2003 Rete QsNet ENEA INFO Elan 3 Topologia fath-tree Latenza: 4.6 µs Larghezza di banda: 300 Mbytes/s Il cluster computing R. Guadagni

13 Cluster “Feronia” Il cluster computing Il Cluster Computing
16 Dicembre 2003 Cluster “Feronia” ENEA INFO Il cluster computing R. Guadagni

14 Reti specializzate Switch Fast Ethernet Qsnet Switch feronia0 feronia1
Terminal Concetrator Hub Fast Ethernet ENEA INFO Il cluster computing

15 Configurazione 40 nodi biprocessore UP2000 100 Gflops
ENEA INFO 40 nodi biprocessore UP2000 100 Gflops 1 nodo di front-end 3 reti: switch, hub, terminal concentrator Linux, compilatori gnu, librerie compaq MPI-CH NIS/NFS SSH + Tcpwrapper Il cluster computing

16 La storia e l’evoluzione
ENEA INFO 9/ rilascio con QsNet e 16 nodi 6/ upgrade a 40 nodi 2/ nasce “feronix” con 6 nodi Xeon In valutazione  nuova partizione AMD Il cluster computing

17 Usabilità Profili e dati utente omogenei
ENEA INFO Profili e dati utente omogenei Adattabilità ai diversi dialetti di comunicazione (MPI/MPICH/PVM) Più ambienti disponibili Compatibilità con la “griglia computazionale” Supporto on-site Percorsi formativi Il cluster computing

18 Grazie per l'attenzione
Grazie per l'attenzione ENEA INFO Il cluster computing