Progettazione ed implementazione di un sistema di calcolo distribuito ibrido multithread/multiprocesso per HPC: applicazione allimaging medico Presentata.

Presentazione sul tema: "Progettazione ed implementazione di un sistema di calcolo distribuito ibrido multithread/multiprocesso per HPC: applicazione allimaging medico Presentata."— Transcript della presentazione:

1 Progettazione ed implementazione di un sistema di calcolo distribuito ibrido multithread/multiprocesso per HPC: applicazione allimaging medico Presentata da: Omar Schiaratura schiarat@csr.unibo.it http://wwwfn.csr.unibo.it/ Relatore: Chiar.mo Prof. Renato Campanini Correlatore: Dott. Matteo Roffilli Omar Schiaraturaschiarat@csr.unibo.it19/06/20031

2 Omar Schiaraturaschiarat@csr.unibo.it19/06/20032 OBBIETTIVI Gli obbiettivi del lavoro svolto sono stati: Implementazione HW di un sistema per il calcolo ad alte prestazioni con componentistica comune Implementazione e studio di metodologie per lottimizzazione di programmi Applicazione delle metodologie studiate ad un sistema computerizzato di diagnosi del tumore al seno (CAD) 1- 2- 3-

3 Omar Schiaraturaschiarat@csr.unibo.it19/06/20033 PROBLEMATICHE Sistemi reali come il CAD a cui sono state applicate le metodologie Studiate presentano caratteristiche quali: - Dimensioni delle immagini da elaborare elevate - Preprocessing dellimmagine computazionalmente oneroso Questo comporta: -Tempo di elaborazione non idoneo allutilizzo tipico dellapplicazione

4 CLUSTER : Progettazione 1 - HW Il cluster è stato implementato sul seguente HW: - Nodi slave biprocessore - Doppia rete 100 baseTX - Nodo master biprocessore - Nodi slave diskless Fault-tolerance, responsività elevata Comunicazioni veloci tra processori affini Ottimizzazioni SMP del codice Librerie di MP ottimizzate per SMP Diminuzione dei guasti Amministrazione semplificata Minor conflitto di pacchetti Amministrazione separata dai dati in transito Omar Schiaraturaschiarat@csr.unibo.it19/06/20034

5 CLUSTER : Progettazione 2 - SW I servizi di rete, tutti configurati sul nodo master comprendono: - TFTP - DHCP - ClusterNFS server Fornisce gli indirizzi IP delle 2 reti E servizio di risoluzione dei nomi Fornisce il kernel per il sistema operativo degli slave Fornisce il FS dei client Il software di sviluppo e per il clustering comprende: - Suite GCC - MPICH - openMosix - Mosixtools Tool di sviluppo e di debugging Schedulazione statica e MP SSI, migrazione dei processi e fault-tolerance Gestione centralizzata e monitoring del cluster Omar Schiaraturaschiarat@csr.unibo.it19/06/20035

6 CLUSTER : Progettazione 3 - schema

7 CaratteristicaBEOWULFOpenMOSIX FS distribuitoNOSI Migrazione processi in esecuzione Solo con software aggiuntivo SI Esecuzione BATCH su più nodi Solo con software aggiuntivo Limitatamente alle risorse di rete Fault tolleranceSolo con software aggiuntivo SI Assegnazione statica delle risorse SI, ogni porzione di programma viene eseguita su un processore diverso NO OverheadNelle trasmissioniTrasmissioni, system-call e migrazione Controllo selettivo dei nodiSIIn parte Beowulf Vs openMosix Omar Schiaraturaschiarat@csr.unibo.it19/06/20037 Cluster MPI (8 CPU) 434.94 Cluster + openMosix IPC (8 CPU) 493.33 Speed-upTempo(sec.) Ottimizzazione Architettura

8 Valutazioni latenza trasmissioni allaumentare dei dati Omar Schiaraturaschiarat@csr.unibo.it19/06/20038 2 6.10 9.8 12

9 OTTIMIZZAZIONI Disponendo di un cluster di nodi SMP con processori a tecnologia SSE si hanno a disposizione le seguenti ottimizzazioni: - SWAR - SMP - MP Tipiche dei DSP Utilizzo di istruzioni SSE su processori x86 Processori con memoria condivisa Utilizzo di thread Supportata da tutte le architetture HPC Utilizzo di librerie MPI Omar Schiaraturaschiarat@csr.unibo.it19/06/20039

10 OTTIMIZZAZIONI : SSE 1 SRC DST OPCODEDST,SRC Omar Schiaraturaschiarat@csr.unibo.it19/06/200310

11 OTTIMIZZAZIONI : Processi Vs Thread clone() THREAD Omar Schiaraturaschiarat@csr.unibo.it19/06/200311 PROCESSITHREAD

12 Ottimizzazioni : Schema algoritmo Omar Schiaraturaschiarat@csr.unibo.it19/06/200312 THREAD SSE MPI

13 INPUT OUTPUT CPU2 CPU1 Ottimizzazioni – schema flusso dati Omar Schiaraturaschiarat@csr.unibo.it19/06/200313 nodo3 NODO3

14 Test e valutazioni finali – applicazione CAD Omar Schiaraturaschiarat@csr.unibo.it19/06/200314 Architettura SSE SMP (Thread) MPI (4+1 nodi) #CPUTempo (sec.) Speed- up Speed- up SSE AMD Athlon 165091 AMD Athlon X 149051.331 AMD Athlon X 235401.84 AMD Athlon XX 227402.371.79 Cluster A X 4+122562.88 Cluster A X X 4+118503.522.65 Cluster B XX 8+115824.11 Cluster B XXX 8+113794.723.56 4.72

15 CONCLUSIONI E SVILUPPI FUTURI In definitiva è stato realizzato: - Un sistema HW a basso costo (5000,00) - Uno studio sullottimizzazione a più livelli dellarchitettura implementata Omar Schiaraturaschiarat@csr.unibo.it19/06/200315 Le tecnologie studiate durante il lavoro di tesi trovano la loro naturale evoluzione sia HW che SW: - Embedded- DSP - Porting su SSE di tutti i calcoli FP - altre tecnologie SWAR - Porting su SSE2 - Kernel

16 A multi-level optimization architecture for a fast SVM classifier Omar Schiaraturaschiarat@csr.unibo.it19/06/200316 12-th Euromicro Conference on Parallel, Distributed and Network based Processing sottomesso a: A Coruña - Spain PDP2004 February, 11-13, 2004 Da questo lavoro di tesi ne è stato tratto il seguente articolo:

17 Progettazione ed implementazione di un sistema di calcolo distribuito ibrido multithread/multiprocesso per HPC: applicazione allimaging medico Presentata da: Omar Schiaratura schiarat@csr.unibo.it http://wwwfn.csr.unibo.it/ Relatore: Chiar.mo Prof. Renato Campanini Correlatore: Dott. Matteo Roffilli Omar Schiaraturaschiarat@csr.unibo.it19/06/200317