La presentazione è in caricamento. Aspetta per favore

La presentazione è in caricamento. Aspetta per favore

Simone Tinti HPC dept. – System Engineer

Presentazioni simili


Presentazione sul tema: "Simone Tinti HPC dept. – System Engineer"— Transcript della presentazione:

1 Simone Tinti HPC dept. – System Engineer

2 Attività R&D Analisi mercato: prodotti e campi di impiego Analisi dei componenti Studi di compatibilità Misura ed analisi di prestazioni Tuning sistemi Validazione soluzioni HPC Affidabilità

3 Evoluzione sistemi HPC Lutilizzo di architetture cluster e in continua ascesa, attualmente costituiscono la piattaforma piu diffusa per lo sviluppo di applicazioni HPC Nov 2006: il 72% dei sistemi presenti nella TOP 500 e basato su cluster

4 Migrazione da sistemi UNIX a Linux Evoluzione sistemi operativi

5 Il 75% dei sistemi è basato su CPU x86 32/64 bit I sistemi di recente adozione sono basati su CPU multi-core Gigabit Ethernet entry level Progressiva riduzione delle soluzioni proprietarie Evoluzione verso gli standard di mercato

6 Evoluzione sistemi HPC La tecnologia basata su commodity of the shelf si va consolidando come la soluzione ideale per le applicazioni HPC: Miglior rapporto prezzo/prestazioni Flessibilità Ampia diffusione => scambio di conoscenze con un ampia community Facile integrazione con infrastrutture preesistenti Architettura sistemi Hardware (CPU, Interconnesioni) Software (SO, MPI) Semplicità Standard Open source

7 Integrazione di un sistema HPC Dimensionamento Requisiti Selezione componentiInterconnessione Integrazione di servizi Deployment Validazione del sistema Progettazione

8 Progettazione di un cluster HPC Elemento essenziale nella progettazione di un sistema CPU bound I/O boundMemory bound Codici eterogenei Analisi dei requisiti Componenti / Dimensionamento Architettura del nodo computazionale UMA (INTEL) NUMA (AMD) Nsocket / nodo Ncore / socket RAM ( GB/core) Interconnessione Topologia Tecnologia GbE 10 GbE Infiniband Myrinet

9 Scelta del nodo computazionale Fattore di forma: [1U,5U] Nsocket: [1,8] Ncore: [2], 4 da luglio 2007 Blade: 264 core/rack (1,37 Dato lalto numero di combinazioni possibili per effettuare la scelta più idonea occorre affidarsi a: Analisi Esperienza Architettura Non Uniform Memory Access (AMD) Fattore di forma: [1U,6U] Nsocket: [1,4] Ncore: [2,4], 8/16 nel 2008 Blade: 7U, 28 socket, 56 core New: blade quad core 528 core/rack!!! (2,8 Architettura Uniform Memory Access (INTEL) … ma soprattutto test!

10 Nodi computazionali INTEL Soluzione classica: biprocessore dual/quad core, 16 DIMM socket (32GB) Twin 1U 2 motherboard in uno chassis 2 CPU quad core / motherboard => 16 core in 1U (85GFLOPS) Alimentatore condiviso => alta efficienza 2 x Infiniband 20Gbps HBA integrati 2 x 8 DIMM socket (32GB/chassis)

11 Nodi computazionali AMD Soluzione classica: biprocessore dual core, 16 DIMM socket (32GB). Quad core da luglio 2007 E8344: 3U - 4 way Opteron 4 CPU Opteron Dual Core 32 DIMM socket (128GB RAM) 3 slot PCI-Express (2 slot 16x) 3 slot PCI-X 133MHz 64 bit 6 HD Versatile: Nodo di calcolo Piattaforma per CAE Server per applicazioni grafiche

12 Nodi computazionali AMD E85xx: 5U - 8 way Opteron 8 CPU Opteron Dual Core 32 DIMM socket (128GB RAM) 2 slot PCI-Express 16x 8 HD Soluzione di managment Sistema SMP ideale per simulazione di modelli complessi in ambito fisico, chimico, biomedico

13 Soluzioni blade AMD / INTEL Densità estrema: 66 blade biprocessore quad core 528 core / rack 2,8TFLOPS / rack 66 blade biprocessore dual core AMD Opteron 264 core / rack 1,37 TFLOPS / rack Sistema di raffreddamento innovativo Alimentazione ad alta efficienza Ie blade sono alimentate in DC, al conversione AC-> DC avviene allingresso del rack. Efficienza 83%, contro i tradizionali 63-73% INTEL AMD Interconnessione : GbE, Myrinet, Infiniband

14 Interconnessioni Gigabit Ethernet entry level su tutte le soluzioni Myrinet 10Gb/s Infiniband DDR Gb/s (100 Gb/s a breve termine), anche integrata sulla motherboard. Infinipath su slot HTX, per latenze inferiori ai 2 microsecondi La prima installazione infiniband (24 nodi Opteron) risale al giugno 2005 (CASPUR). Espansa a 36 nodi dati gli eccellenti risultati.

15 Integrazione di un sistema HPC Dimensionamento Requisiti Selezione componentiInterconnessione Integrazione di servizi Deployment Validazione del sistema Progettazione

16 Integrazione di servizi Lofferta HPC è integrabile da una gamma completa di soluzioni storage (DAS, NAS, SAN) IB storage Infiniband switch FC storage VIC (Virtual I/O controller) IB to FC or Ethernet Tendenza: System Area Network. Interfaccia Infiniband per MPI e accesso a storage (QoS) Recupero degli investimenti tramite integrazione di dispositivi preesistenti sul linfrastruttura infiniband (es. gateway IB to FC trasparenti)

17 Storage Server Soluzione ad alta flessibilità e basso costo sviluppata presso i nostri laboratori, basata su commodity of the shelf: 2 CPU Dual core Woodcrest RAM dimensionabile secondo le esigenze (fino a 16GB DDR2 FBDIMM) Controller SAS/SATA multi lane ad altissime prestazioni 12 TB in 4U 24 TB in 7U 2HD dedicati per il SO Scelta dai professionisti: 65 storage 4U CERN Ginevra, 70 presso uno dei maggiori ISP 7U lab Gran Sasso, CASPUR E5730 – up to 24TB E5475 – up to 12TB

18 Compatibile con le principali distro Linux (Red Hat, SUSE, Scientific Linux…). Implementabile anche su piattaforma MS Windows SATAII/SAS Interfaccia esterna: Dual Gb Aggregated 4Gb 10 Gb Ethernet Infiniband 20Gb+20Gb per soluzioni HPC Differenti campi applicativi: Back up, nearline storage Video server File server Storage HPC Oltre 350 MB/s Writing, 500MB/s Reading (iozone, xfs, 15HD SATA rpm Raid 5) Implementabile in tecnologia SAS rpm Ottime performace in ambienti con accessi concorrenti (stabile con oltre 100 processi da 2GB) 2 HD dedicati al SO (Raid 1) su controller dedicato Gestione hardware dei principali livelli Raid (tipicamente 5,6) Battery backup unit IPMI compliant Managment Alimentazione ridondata hot swap PotenzaFlessibilità Affidabilità

19 Storage Area Network Unico Qlogic Signature Partner in Italia Realizzate con le più recenti soluzioni tecnologiche. Stato dellarte: tecnologia Fibre Channel 4+ 4 Gb multipath Soluzioni in HA Failover per ambienti critici (es finance, biomedics..) Realizzazione di SAN in ambienti eterogenei: Istituti di credito Enti pubblici (Ministero Tesoro) Meteorologia (ARPA) Biomedicina (Chiron/Novartis) Industria/commercio Elaborazione immagini/ visione artificiale

20 E65xx Caratteristiche tecniche Chassis 2U 12 HD SAS/SATA II SATAII: fino a 9 TB SAS: fino a 3,6 TB Full system, 10U – 5 chassis SATA II:42 TB SAS:16,8 TB Possibilità di mix SATAII/SAS per differenziare aree back-up e intensive I/O Interfaccia host: Fibre channel 4Gb SAS iSCSI Infiniband (entro 2007) Super capacitor cache back up Mirrored cache (Simulcache) Assured snapshot

21 Gb/s1.0%0% 2 Gb/s93.0%64.1%17.0%3.0%0% 4 Gb/s5.0%32.4%75.0%85.0%73.0% 8/10 Gb/s1.0%3.5%8.0%12.0%27.0% Source: Gartner Dataquest (November 2005) Fibre Channel Interface Forecast

22 SAN per HPC Grazie alla collaborazione nata con Data Direct Network possiamo offrire soluzioni estreme in ambito storage Fino a 560TB in un singolo storage system +3GB/s sustained performance, sia in lettura che scrittura Petascale solution (transfer rate nellordine dei TB/s) Ideale per: HPC, Visualization, Modeling Simulation, Real-Time Data Acquisition, Biomedicine, Genomics, Medical Imaging, Oil & Gas Soluzioni adottate dai sistemi più performati della TOP500, ma anche nel settore finanziaro e rich media (WB, CNN, Disney, BBC, FOX, Time Warner…)

23 Ulteriori servizi Monitoring / management soluzioni free, open source (Torque, MAUI, System Imager, Ganglia) soluzioni enterprise (SCALI Manage, Altair PBS Pro…) Infrastrutture ambientali Tool di sviluppo ed ottimizzazione Compilatori INTEL, Pathscale, PGI INTEL VTune performance analyzer Dispositivi programmabili multi-threaded array cooprocessor FPGA

24 Integrazione di un sistema HPC Dimensionamento Requisiti Selezione componentiInterconnessione Integrazione di servizi Deployment Validazione del sistema Progettazione

25 Affidabilità: elemento essenziale, garantito dal ciclo produttivo di E4 Selezioni componenti di qualità Processo produttivo curato in tutti i dettagli Burn-in Almeno 72h prove di stress accelerato in stanza con condizioni climatiche limite 24h Test di tutti i sottosistemi singolarmente 48h test di tutti i sottosistemi contemporaneamente Validazione dei sistemi

26 Conclusioni SemplicitàPotenzaAffidabilitàIntegrazione COTS Tool di management Sistemi ad alta densità basati su CPU multi-core Interconnessioni low latency / high bandwith SW consolidato Selezione HW Accurato testing del sistema Monitoring / management Storage Area Network System Area Network FPGA, cooprocessor

27 Grazie per lattenzione!


Scaricare ppt "Simone Tinti HPC dept. – System Engineer"

Presentazioni simili


Annunci Google