Ing. Antonio De Gaetano antonio.degaetano@frascati.enea.it INFRASTRUTTURA PER IL CALCOLO SCIENTIFICO DEL Centro di FRASCATI Ing. Antonio De Gaetano antonio.degaetano@frascati.enea.it Casaccia, 5, 06, 2002 Infrastrutture e Servizi per il Calcolo Scientifico FRASCATI

Infrastrutture e Servizi per il Calcolo Scientifico FRASCATI PRINCIPALI RISORSE IBM SP CLUSTER LINUX GRAFICA AVANZATA CATIA Casaccia, 5, 06, 2002 Infrastrutture e Servizi per il Calcolo Scientifico FRASCATI

Infrastruttura di calcoloFrascati BACKUP & DIS.-REC. SERVER AFS Mainframe Gest. IBM-SP AFS “enea.it” LAN Posta el. DNS Web Cluster Linux SGI-ORIGIN 3200 Casaccia, 5, 06, 2002 Infrastrutture e Servizi per il Calcolo Scientifico FRASCATI CATIA

Infrastrutture e Servizi per il Calcolo Scientifico FRASCATI IBM-SP Elaboratore General Purpose Massivamente Parallelo ad architettura DMP (Distributed Memory Processor) costituito da un insieme di nodi di calcolo interconnessi tra loro con una rete dedicata ad alta velocità HPS (High Performance Switch) Utilizzato nei principali settori commerciali : Banche, WEB, gestionale, editoria, database, ecc. Casaccia, 5, 06, 2002 Infrastrutture e Servizi per il Calcolo Scientifico FRASCATI

Infrastrutture e Servizi per il Calcolo Scientifico FRASCATI IBM SP FRASCATI SWITCH MEMORY FRAME 1 9,9 GFlops FRAME 2 9,6 GFlops THIN 2 THIN PW3 LAN FRAME 3 SP3 48 GFlops PW3 II R50 R50 PW3 II AFS Casaccia, 5, 06, 2002 Infrastrutture e Servizi per il Calcolo Scientifico FRASCATI

Infrastrutture e Servizi per il Calcolo Scientifico FRASCATI IBM-SP CARATTRISTICHE DEI NODI Mod ARC Freq. CPU PfPk RAM THIN POWER2 66 MHz 1 210 MFlops 256 MB R50 PowerPC 200 MHz 8 1.6 GFlops 2 GB THIN2 PW2SC 160 MHz 1 620 MFlops 512 MB PW3 POWER3 200 MHz 2 1.6 Gflops 1 GB PW3 II POWER3 II 375 MHz 16 24 Gflops 16 GB Casaccia, 5, 06, 2002 Infrastrutture e Servizi per il Calcolo Scientifico FRASCATI

Infrastrutture e Servizi per il Calcolo Scientifico FRASCATI 375 MHz POWER3 SMP High Node New 7/00 Symmetric Multiprocessor (SMP) 4-, 8-, 12- or 16-way 375 MHz POWER3-II 64-bit Copper 1GB - 64GB memory 16 GB Internal disks Base node: 2 internal disks, 0 to 72.8GB 2 X 18 GB SSA DISC PCI bus architecture (base node) One 32-bit bus (one 32-bit slot) Two 64-bit buses (four 64-bit slots) Choice of SP Switch and MX2 Adapter or SP Switch2 and SP Switch2 Adapter* RIO Relative OLTP performance 4-way = 81.7 8-way = 163.7 12-way = 242.3 16-way = 319.3 SPECfp _rate95 (peak) 4-way = 1739 8-way = 3418 12-way = 4985 16-way = 6353 SPECint _rate95 (peak) 4-way = 845 8-way = 1684 12-way = 2523 16-way = 3352 * MX2 and SP Switch2 Adapters do not use PCI slots. Casaccia, 5, 06, 2002 Infrastrutture e Servizi per il Calcolo Scientifico FRASCATI

System Implementation L2 Cache L2 Cache L2 Cache L2 Cache POWER3 POWER3 POWER3 POWER3 Switch DRAM Memory I/O I/O Memory Controller DRAM I/O Memory BUS-BASED SWITCH-BASED Supports bus- and switch-based MP bus memory configurations

Superscalar Processor Floating Floating Fixed Fixed Fixed LD/ST LD/ST Point Point Point Point Point Unit Unit Unit Unit Unit Unit Unit FPU1 FPU2 FXU1 FXU2 FXU3 LS1 LS2 Branch/Dispatch Memory Mgmt Unit Memory Mgmt Unit Instruction Cache Data Cache IU DU 32 Bytes 32 Bytes BIU Bus Interface Unit: L2 Control, Clock 32 Bytes 16 Bytes L2 Cache 6XX Bus 1-16 MB

Infrastrutture e Servizi per il Calcolo Scientifico FRASCATI SP Switch2 New generation of SP Switch and adapter Switch throughput increased (3x bandwidth of SP Switch) 150 to 500MB/sec one-way 300 to 1000MB/sec for bi-directional Supports only POWER3 and POWER3-II high nodes Casaccia, 5, 06, 2002 Infrastrutture e Servizi per il Calcolo Scientifico FRASCATI

Software Installato Localmente S.O. AIX 4.3.3 XLF 7.1 XLC 5.0 ( C, C++) HPF 1.4 POE (Parallel Operating Enviroment) ESSL PESSL Client AFS LSF Casaccia, 5, 06, 2002 Infrastrutture e Servizi per il Calcolo Scientifico FRASCATI

Infrastrutture e Servizi per il Calcolo Scientifico FRASCATI XLF 7.1 Supporto F77, F90, F95, OpenMP e direttive SMP Ottimizzazione di alto livello tramite Interprocedural Analysis xlf -c -O5 (ottimizzazione estrema) -qnostrict (preserva la sintassi ANSI) -qsmp (supporto multiprocessor) -q64 (compilazione 64bit nativi) Casaccia, 5, 06, 2002 Infrastrutture e Servizi per il Calcolo Scientifico FRASCATI

Infrastrutture e Servizi per il Calcolo Scientifico FRASCATI Librerie matematiche ESSL, PESSL Supporto multiprocessor, supporto MPI, BLAS, elevata ottimizzazione per i processori IBM Libreria IBM Libmass disponibile free su http://www.rs6000.ibm.com/resource/technology/MASS/ xlf -o code …… -lmass particolarmente efficiente per le funzioni intrinseche sqrt, div, log, exp, sin, cos, tan, etc. Casaccia, 5, 06, 2002 Infrastrutture e Servizi per il Calcolo Scientifico FRASCATI

Infrastrutture e Servizi per il Calcolo Scientifico FRASCATI Parallel Environment Supporto MPI, MPI-2 ottimizzazione in ambiente share memory ottimizzato per ambiente con interconnessione Switch SPS e SPS-2 poe code -procs np Casaccia, 5, 06, 2002 Infrastrutture e Servizi per il Calcolo Scientifico FRASCATI

Infrastrutture e Servizi per il Calcolo Scientifico FRASCATI debugger DBX & PEDBX per codici paralleli xlf -c -g code.f …. analisi post-mortem analisi in modalita’ running (dbx -attach nid) comandi di analisi print run where quit (detach in modalita’ running) Casaccia, 5, 06, 2002 Infrastrutture e Servizi per il Calcolo Scientifico FRASCATI

Infrastrutture e Servizi per il Calcolo Scientifico FRASCATI Software SP- FRASCATI LIBRERIE MATEMATICHE : NAG IMSL Prodotti: ABAQUS, ANSYS, MCNP, FLUENT, MATLAB, …….. Casaccia, 5, 06, 2002 Infrastrutture e Servizi per il Calcolo Scientifico FRASCATI

Infrastrutture e Servizi per il Calcolo Scientifico FRASCATI CLUSTER LINUX/INTEL 10x IBM PC Intellistation Pentium IV @ 1.8 GHz 512 MB RDRAM 40 GB ATA100 Hard Disk 2x EtherExpress 100 Mb/s 1x GigaEther Rack Mounted LAN Switch Fast eth PC 1 PC 2 X 2 PC (3) PC 3 PC 10 Monitor, tastiera e mouse Console Switch Cavi tastiera, mouse, monitor (m. 30) Casaccia, 5, 06, 2002 Infrastrutture e Servizi per il Calcolo Scientifico FRASCATI

CLUSTER LINUX/INTEL FRASCATI Configurazione Hardware 10.0.0.* Rete per servizi di accesso e monitoring del Beowulf cluster Rete comunicazioni internodo codici paralleli (Fast Ethernet) Rete comunicazioni punto-punto codici paralleli (Gb Ethernet) frascati.enea.it 192.168.1.* Casaccia, 5, 06, 2002 Infrastrutture e Servizi per il Calcolo Scientifico FRASCATI

CLUSTER LINUX/INTEL FRASCATI Software locale S. O. Linux RedHat 7.2 (kernel 2.4.7) AFS: OpenAFS client V1.2.3 Replica dell’installazione (semplificata via NFS) ma maggiore velocita’ di accesso agli eseguibili di sistema Casaccia, 5, 06, 2002 Infrastrutture e Servizi per il Calcolo Scientifico FRASCATI

CLUSTER LINUX/INTEL FRASCATI Configurazione Hardware Tools di sviluppo Compilatori Portland Group (cc, f77/90, c++, hpf, OpenMP) con MPICH Compilatori GNU (gcc, g77, g++) MPI LAM V6.5.6 (Ohio Supercomputer Centre) Casaccia, 5, 06, 2002 Infrastrutture e Servizi per il Calcolo Scientifico FRASCATI

CLUSTER LINUX/INTEL FRASCATI Configurazione Hardware Tools di amministrazione e monitoring Scalable Cluster Environment (Kasetsart University in Thailand) SMILE Cluster Management System Web/VRML based system monitoring Casaccia, 5, 06, 2002 Infrastrutture e Servizi per il Calcolo Scientifico FRASCATI

CLUSTER LINUX/INTEL FRASCATI Configurazione Hardware Tools di amministrazione e monitoring Webmin: Amministrazione e monitoring via WEB (www.webmin.com) Casaccia, 5, 06, 2002 Infrastrutture e Servizi per il Calcolo Scientifico FRASCATI

Infrastrutture e Servizi per il Calcolo Scientifico FRASCATI Prestazioni NetPipe V2.5 Uno tra i migliori software di test delle comunicazioni internodo (punto-punto) Compilato per usare a basso livello TCP/IP MPICH LAM-MPI Casaccia, 5, 06, 2002 Infrastrutture e Servizi per il Calcolo Scientifico FRASCATI

Infrastrutture e Servizi per il Calcolo Scientifico FRASCATI Prestazioni Casaccia, 5, 06, 2002 Infrastrutture e Servizi per il Calcolo Scientifico FRASCATI

Infrastrutture e Servizi per il Calcolo Scientifico FRASCATI Prestazioni Casaccia, 5, 06, 2002 Infrastrutture e Servizi per il Calcolo Scientifico FRASCATI

Infrastrutture e Servizi per il Calcolo Scientifico FRASCATI GRAFICA AVANZATA FTU experiment Misure interferometriche Olografia 3D ENEA GARR Node LAN ENEA CAMPUS Casaccia, 5, 06, 2002 Infrastrutture e Servizi per il Calcolo Scientifico FRASCATI

SGI™ Onyx® 3000 Series MACCHINA MASSIVAMENTE PARALLELA AD ARCHITETTURA NUMAflex COSTITUITA DA UN INSIEME DI CPU INTERCONNESSE TRAMITE ROUTERS R-BRICK

Infrastrutture e Servizi per il Calcolo Scientifico FRASCATI SGI™ Onyx® 3800 (16-512p, 1-16 pipes) 128P System Topology R Rack 1 C Rack 2 Rack 3 Rack 4 1 2 3 4 R-Brick 8-port router G-Brick G-Brick G-Brick C-Brick Power Bay R-Brick I-Brick P, I, or, X-Brick G-Brick R-Brick C-Brick R-Brick C-Brick P-Brick C-Brick C-Brick I-Brick Power Bay Power Bay Power Bay Power Bay Minimum (16p) System 128p System Casaccia, 5, 06, 2002 Infrastrutture e Servizi per il Calcolo Scientifico FRASCATI

System Building Blocks G-brick Graphics Expansion C-brick CPU Module R-brick Router Interconnect The goals are met by the SN architecture. The system sub-components scale independently, giving you extreme flexibility in deploying, maintaining and upgrading your system. These bricks are the basic building blocks of the SN system. The SN architecture allows you to “pick your brick,” tailoring your system to your business needs. These bricks can be combined in a variety of ways. The C-Brick is the basic CPU node. With 4 CPUs per C-Brick, our CPU density is doubled to 32p/rack. The R-Bricks are added as necessary to provide connectivity between the C-Bricks. The I-Brick is the base system I/O component, containing the system disk, CD-ROM, and a small number of PCI slots. For I/O expansion, you’ll choose P-Bricks or X-Bricks. Disks are added in D-Bricks (not pictured). Each D-Brick is a Clarion OEM module that will hold ten 36GB drives. I-brick Base I/O Module P-brick PCI Expansion X-brick XIO Expansion D-brick Disk Storage Casaccia, 5, 06, 2002 Infrastrutture e Servizi per il Calcolo Scientifico FRASCATI

Infrastrutture e Servizi per il Calcolo Scientifico FRASCATI SGI™ Onyx® 3200 4p, 1RM 4 GB RAM G-Brick C-Brick Network Network P P BR BR P P XIO+ This deskside system scales from 2-8p. Every system will have at least the power bay, C-Brick, and I-Brick shown in the left-hand picture. Only S-Class systems can be purchased with 2p bricks instead of 4p bricks, and 2p bricks can only be order with an initial purchase, not a la carte. S-Class systems can be ordered in the following configs: 2p (single 2p brick) 4p (single 4p brick) (2+2)p (two 2p bricks) 6p (one 2p brick, one 4p brick) 8p (two 8p bricks) 2p bricks cannot be added a la carte, but they can be upgrade to 4p bricks by adding the missing PIMM. Therefore, a 2p system could be upgraded to either a 4p (by adding the PIMM) or a 6p (by adding a 4p brick), but once you added a PIMM to go from 2p to 4p, you could not then upgrade to 6p by adding another 2p brick. The (2+2)p config will be more expensive than the 4p, but also more flexible in terms of future upgrade options. XIO+ Ports XIO+ Ports I-Brick P,I, or X-Brick P, I, or, X-Brick I-Brick IR Pipe IR Pipe C-Brick G-Brick Power Bay System Topology 4p System Casaccia, 5, 06, 2002 Infrastrutture e Servizi per il Calcolo Scientifico FRASCATI

InfiniteReality3™ Graphics Pipeline 13 M Polygons/sec 256 MB Texture Mem 320 MB Framebuffer Mem (4RMs) 880 M Pixels/sec 3520 M Samples/sec Transforms Triangles Applies lighting Convolution Converts pixel formats Floating point heavy Gets pixels to the outside world Digital -> Analogue conversion 2 outputs, plus s-video standard Can add digital output 6 more outputs time division multiplexer Geometry Engine® 4 GE-16 Processing Raster Manager RM10 Pixel Processing Display Generator Video Processing 2-8 Outputs Converts triangle outline to dots Inherently parallel Adding RM's adds: Frame Buffer Pixel Fill Does not increase texture memory XIO Second output can be NTSC/PAL Composite or S-video Casaccia, 5, 06, 2002 Infrastrutture e Servizi per il Calcolo Scientifico FRASCATI Image credit: Monitor Image of Bay Bridge courtesy of Coryphaeus Software

Infrastrutture e Servizi per il Calcolo Scientifico FRASCATI File Server AFS AIXFS ( IBM F50 + 7133-600) 150 GB SSA RS2CED (IBM H70 + 7133-D40) 570 GB SSA 43p (IBM 6H1 + 7133-D40) 180 GB SSA (RAID 5 +1) Casaccia, 5, 06, 2002 Infrastrutture e Servizi per il Calcolo Scientifico FRASCATI

PROGETTAZIONE MECCANICA FRASCATI CATIA: 4.2 e 5.2 in AFS multipiattaforma ( IBM, SGI, NT) L’utente non è legato alla ws Tutti i modelli sono accessibili da tutti i sistemi della cella enea.it e dal mondo AFS. Integrazione con l’ambiente di grafica avanzata (ONYX2) per analisi 3D, grafica immersiva, ecc. AMBIENTE DI LAVORO: SGI-ORIGIN 3200 (4 CPU,4 GB RAM), 5 IBM/RS6K-43P( 1 CPU,512 RAM) 7 IBM/RS6K-41T(1 CPU,128 RAM) IBM/RS6K-43P(2 CPU, 1 GB RAM)

Modalità di utilizzo dei server di calcolo del C.E.D. di Frascati

Macchine riservate per lavori interattivi Nome macch. Arc. Sist. Oper. N° cpu RAM Freq. sp01 sp05 sp11 sp12 sp13 sp14 bw09 bw10 fenf PowerPC “ Power3 Pentium IV Pentium III AIX 5.1.0 “ Red Hat 7.2 8 “ 2 1 2 GB “ 1 GB 512 MB 256 MB 200 MHz “ 1.8 GHz 600 MHz

Risorse di calcolo riservate per lavori batch sp2 sp3 linux 16 nodi PW2SC 160 MHz RAM 512MB O.S. AIX 5.1.0 2 nodi Power3II 375 MHz RAM 16GB 32 CPU O.S. AIX 4.3.3 8 nodi Pentiun IV 1.8 GHz RAM 521MB O.S. Linux Red Hat 7.2

Comando per controllare lo stato delle risorse lsload –R nome delle risorsa report delle macchine di una specifica risorsa lsload report di tutte le macchine client (LSF) della cella AFS enea.it lsload frascati report di tutte le macchine client (LSF) di Frascati Ex. lsload –R linux

Ex. Bsub –R sp3 –q medium_2h a.out Run di un job seriale Scheduler LSF Comando bsub Dal prompt di una Shell Unix di una macchina (AFS – LSF) CLIENT della cella enea.it scrivere:  bsub –R nome della risorsa* –q nome della coda ** my_programm dove: * nome della risorsa può essere uguale a (“ sp2, sp3 o linux ”) ** nome della coda può essere uguale a (“ small_10m, medium_2h, large ”). Ex. Bsub –R sp3 –q medium_2h a.out

Run di un job parallelo (SP2 o SP3) Scheduler LSF + LOADLEVELER Parallel environment POE Script poe.bsub Dal prompt di una Shell Unix di una macchina (AFS – LSF) CLIENT della cella enea.it scrivere:  poe.sub my_programm nome della risorsa* -inp my_input –out my_out –err my_error –queue nome della coda ** -procs n*** dove: * nome della risorsa può essere uguale a (“ -sp2 o -sp3 ”) ** nome della coda può essere uguale a (“ small_10m, medium_2h, large ”). *** n = 2-16 per sp2 , 2-32 per sp3 Ex. poe.sub a.out –sp3 –queue medium_2h

Run di un job parallelo (Linux) Scheduler LSF Parallel environment LAM Script lam.bsub Dal prompt di una Shell Unix di una macchina (AFS – LSF) CLIENT della cella enea.it scrivere:  lam.sub my_programm nome della risorsa* -inp my_input –out my_out –err my_error –queue nome della coda ** -procs n*** dove: * nome della risorsa deve essere uguale a -linux ** nome della coda può essere uguale a (“ small_10m, medium_2h, large ”). *** n = 2-8 Ex. lam.sub a.out –linux –queue medium_2h

Comandi per controllare lo stato dei jobs sottomessi bjobs lista dei propri jobs in esecuzione o in coda d’attesa bjobs –u all lista di tutti i jobs bkill cancella un job in coda bpeek lista dello standard output Per ottenere ulteriori informazioni sull’utilizzo dei comandi digitare: man nome del comando

Ulteriori informazioni www.frascati.enea.it Presentazione su www.afs.enea.it/nino/public Casaccia, 5, 06, 2002 Infrastrutture e Servizi per il Calcolo Scientifico FRASCATI

Infrastrutture e Servizi per il Calcolo Scientifico FRASCATI Casaccia, 5, 06, 2002 Infrastrutture e Servizi per il Calcolo Scientifico FRASCATI