Il supercalcolo fai-da-te Il Cluster Computing 16 Dicembre 2003 Il supercalcolo fai-da-te Il cluster computing - un’ esperienza ENEA Roberto Guadagni ENEA - Servizio Centralizzato Informatica e Reti roberto.guadagni@casaccia.enea.it R. Guadagni

Alcune definizioni ENEA INFO Cluster : collezione di nodi + rete di comunicazione Commodity Cluster : nodi e reti “commerciali” Beowulf cluster : pc & linux Workstation cluster : workstation & unix Beowulf cluster workstation cluster Cluster NOW : domina il parallelismo tra nodi (MPI) Constellation : domina il parallelismo sul nodo (OpenMP) Il cluster computing

Quindi un “Beowulf” è: “Commodity Cluster” of networked PCs Il Cluster Computing 16 Dicembre 2003 Quindi un “Beowulf” è: ENEA INFO “Commodity Cluster” of networked PCs Intel Pentium or … Switched 100/1000Mbit/s Ethernet or Myrinet or QsNet or … Linux Parallel and batch software support “cicli di calcolo al più basso costo possibile” Giggigi Il cluster computing R. Guadagni

Un storia di successo 1993 prime teorizzazioni (Beker – Sterling) ENEA INFO 1993 prime teorizzazioni (Beker – Sterling) 1994 “Beowulf Project” starts at CESDIS (Maryland) 16 processori connessi con rete a 10 Mbps Da allora ogni “mattone” evolve nella giusta direzione: Processori sempre più integrati/ più potenti / più economici Reti sempre più economiche, veloci ed efficenti “Esplosione” della comunità Linux  S.O. sempre più efficaci Il cluster computing

Cluster Beowulf in ENEA (siamo nel febbraio 2000) Il Cluster Computing 16 Dicembre 2003 Cluster Beowulf in ENEA (siamo nel febbraio 2000) ENEA INFO Non solo: Integrazione nodi commerciali e reti commerciali Anche requisiti più stringenti: Facilità di gestione Recupero dei guasti Facile espansione Integrazione nella Griglia ENEA Il cluster computing R. Guadagni

Quindi … Requisiti dell’architettura: ENEA INFO Requisiti dell’architettura: montato su rack processore up-to-date basso parallelismo nel nodo gestione flessibile rete adeguata alle necessità Requisiti del partner industriale: condivisione obiettivi affidabilità cooperazione Il cluster computing

Quindi …. Requisiti dell’architettura: ENEA INFO Requisiti dell’architettura: montato su rack processore up-to-date basso parallelismo nel nodo gestione flessibile rete adeguata alle necessità Requisiti del partner industriale: condivisione obiettivi affidabilità cooperazione Scheda biprocessore alpha Il cluster computing

Quindi ….. Requisiti dell’architettura: ENEA INFO Requisiti dell’architettura: montato su rack processore up-to-date basso parallelismo nel nodo gestione flessibile rete adeguata alle necessità Requisiti del partner industriale: condivisione obiettivi affidabilità cooperazione Scheda biprocessore alpha QSW Il cluster computing

Quindi …… Requisiti dell’architettura: ENEA INFO Requisiti dell’architettura: montato su rack processore up-to-date basso parallelismo nel nodo gestione flessibile rete adeguata alle necessità Requisiti del partner industriale: condivisione obiettivi affidabilità cooperazione Scheda biprocessore alpha QsNet + FastEth. QSW Il cluster computing

Quindi ……. Requisiti dell’architettura: ENEA INFO Requisiti dell’architettura: montato su rack processore up-to-date basso parallelismo nel nodo gestione flessibile rete adeguata alle necessità Requisiti del partner industriale: condivisione obiettivi affidabilità cooperazione Scheda biprocessore alpha “Pandora” QsNet + FastEth. QSW Il cluster computing

Scheda biprocessore Alpha ENEA INFO Two Alpha 21264 processors running at 667, each with integrated 4Mb, L2 Cache 3.2GB/s L2 Cache bandwidth 2.65GB/s memory bandwidth 1GB RAM with ECC 256-bit wide memory bus 6 PCI slots: Two 64-bit and four 32-bit One shared ISA expansion slot Two serial ports with modem control Dual USB ports Thermal sensor Il cluster computing

Rete QsNet Elan 3 Topologia fath-tree Latenza: 4.6 µs Il Cluster Computing 16 Dicembre 2003 Rete QsNet ENEA INFO Elan 3 Topologia fath-tree Latenza: 4.6 µs Larghezza di banda: 300 Mbytes/s Il cluster computing R. Guadagni

Cluster “Feronia” Il cluster computing Il Cluster Computing 16 Dicembre 2003 Cluster “Feronia” ENEA INFO Il cluster computing R. Guadagni

Reti specializzate Switch Fast Ethernet Qsnet Switch feronia0 feronia1 Terminal Concetrator Hub Fast Ethernet ENEA INFO Il cluster computing

Configurazione 40 nodi biprocessore UP2000 100 Gflops ENEA INFO 40 nodi biprocessore UP2000 100 Gflops 1 nodo di front-end 3 reti: switch, hub, terminal concentrator Linux, compilatori gnu, librerie compaq MPI-CH NIS/NFS SSH + Tcpwrapper Il cluster computing

La storia e l’evoluzione ENEA INFO 9/2000 rilascio con QsNet e 16 nodi 6/2001 upgrade a 40 nodi 2/2003 nasce “feronix” con 6 nodi Xeon In valutazione  nuova partizione AMD Il cluster computing

Usabilità Profili e dati utente omogenei ENEA INFO Profili e dati utente omogenei Adattabilità ai diversi dialetti di comunicazione (MPI/MPICH/PVM) Più ambienti disponibili Compatibilità con la “griglia computazionale” Supporto on-site Percorsi formativi Il cluster computing

Grazie per l'attenzione roberto.guadagni@casaccia.enea.it Grazie per l'attenzione ENEA INFO Il cluster computing