A GRID approach for Gravitational Waves Signal Analysis with a Multi- Standard Farm Prototype CHEP 2004 27 September Dr. Silvio Pardi Università degli.

Presentazione sul tema: "A GRID approach for Gravitational Waves Signal Analysis with a Multi- Standard Farm Prototype CHEP 2004 27 September Dr. Silvio Pardi Università degli."— Transcript della presentazione:

1 A GRID approach for Gravitational Waves Signal Analysis with a Multi- Standard Farm Prototype CHEP 2004 27 September Dr. Silvio Pardi Università degli Studi di Napoli “Federico II” CHEP 2004 27 September Dr. Silvio Pardi Università degli Studi di Napoli “Federico II”

2 Overview The detection of gravitational waves (GW) is one of the most interesting fields of the modern physics: it will provide a strong proof of the general relativity theory, opening in this way a completely new channel of information on the dynamics and evolution of astrophysical objects. Dr. Silvio Pardi – CHEP 2004 – Interlake Switzerland

3 The Virgo Experiment Dr. Silvio Pardi – CHEP 2004 – Interlake Switzerland FOCUS Analyses of Data coming from interferometric gravitational wave detector signals coming from coalescing binaries signals coming from neutron stars signals coming from coalescing binaries signals coming from neutron stars

4 The Virgo Experiment Dr. Silvio Pardi – CHEP 2004 – Interlake Switzerland Computational cost for Matched filter on VIRGO’s data ~300 Gflops for CB ~1 Tflops for NS we need High Performance Computing Computational cost for Matched filter on VIRGO’s data ~300 Gflops for CB ~1 Tflops for NS we need High Performance Computing

5 Technologies Dr. Silvio Pardi – CHEP 2004 – Interlake Switzerland FOCUS Hardware & Software Technologies Available Bewulf Cluster & Parallel computation GRID COMPUTING Bewulf Cluster & Parallel computation GRID COMPUTING

6 The Virgo Lab of Napoli Dr. Silvio Pardi – CHEP 2004 – Interlake Switzerland SWITCH GIGABIT SWITCH FAST ETHERNET PC SUPERMICRO PENTIM III PC APPRO XEON

7 Hardware 20 Node Dual Processor 12 with Pentium III 1 Gz 8 With Xeon 2.4 Gz –RAM (512 Mb) 20 Node Dual Processor 12 with Pentium III 1 Gz 8 With Xeon 2.4 Gz –RAM (512 Mb) Dr. Silvio Pardi – CHEP 2004 – Interlake Switzerland Network – –Fast Ethernet (100 Mbps) – –Gigabit Ethernet (1Gbps) Network – –Fast Ethernet (100 Mbps) – –Gigabit Ethernet (1Gbps) High Troughtput

8 Linux Farm Operativing system Linux RedHat Distribution S.O. stable library of parallel calculation available Free S.O. stable library of parallel calculation available Free Dr. Silvio Pardi – CHEP 2004 – Interlake Switzerland

9 Linux Farm Every node can work in two possible configuration: Local Cluster (MPI & OpenMosix) GRID (Testbed of GRID-it) Local Cluster (MPI & OpenMosix) GRID (Testbed of GRID-it) Dr. Silvio Pardi – CHEP 2004 – Interlake Switzerland

10 Diskless Cluster Advantages of a diskless cluster Easy Management Single File system Low costs (Beowulf) Easy Management Single File system Low costs (Beowulf) Dr. Silvio Pardi – CHEP 2004 – Interlake Switzerland

11 GRID ARCHITECTURE Dr. Silvio Pardi – CHEP 2004 – Interlake Switzerland USER INTERFACE STORAGE ELEMENT USER FARM COMPUTING ELEMENT GRI D vovo

12 Dr. Silvio Pardi – CHEP 2004 – Interlake Switzerland MASTER NODE1 NODE2 … … … NODE10 NODE11 APPRO MASTER APPRO NODE 1 … … APPRO NODE 7 SWITCH FASTETHERNET 10/100 SWITCH 10/100 UP LINK SERVER ALPHA SWITCH GIGABYTE PUB CE UI SE LCFG ng

13 GRID Configuration MASTER NODE1 … … NODE10 NODE11 APPRO MASTER APPRO NODE1 … APPRO NODE7 LCFG ng SERVER DHCP DHCP REQUEST IP ADDRESS + LOCAL BOOT … Dr. Silvio Pardi – CHEP 2004 – Interlake Switzerland

14 MASTER NODE1 … … NODE11 APP MASTER APP NODE1 … APPNODE7 LCFG ng SERVER DHCP DHCP REQUEST IP ADDRESS + NEXT SERVER MASTER … TFTP REQUEST KERNEL Local Cluster Configuration Dr. Silvio Pardi – CHEP 2004 – Interlake Switzerland

15 Cosa hanno in comune? Prof. Guido Russo - FOCUS ON RESEARCH 2003

16 Conclusion Dr. Silvio Pardi – CHEP 2004 – Interlake Switzerland This double configuration of the cluster’s node :GRID and Local FARM, allow to a laboratory with limited resources to participate to the GRID plans limited resources to participate to the GRID plans without to renounce to a local farm when without to renounce to a local farm when is necessary. is necessary. This double configuration of the cluster’s node :GRID and Local FARM, allow to a laboratory with limited resources to participate to the GRID plans limited resources to participate to the GRID plans without to renounce to a local farm when without to renounce to a local farm when is necessary. is necessary.

17 THE END

18 Esigenze principali Elevata potenza di calcolo Velocità di esecuzione Disponibilita’ di risorse Costi Ridotti Elevata potenza di calcolo Velocità di esecuzione Disponibilita’ di risorse Costi Ridotti Prof. Guido Russo - FOCUS ON RESEARCH 2003 COME FARE?

19 Paradigma di risoluzione GRID CAMPUS GRID BEOWULF CALCOLO PARALLELO GRID CAMPUS GRID BEOWULF CALCOLO PARALLELO Prof. Guido Russo - FOCUS ON RESEARCH 2003 Livelli stratificati che poggiano l’uno sull’altro Livelli stratificati che poggiano l’uno sull’altro GRID Beowulf Calcolo parallelo Campus GRID

20 Cos’e’ GRID Prof. Guido Russo - FOCUS ON RESEARCH 2003 Middleware per la gestione delle risorse di calcolo distribuite sul territorio. GRID

21 Perche’ GRID? La rete GRID, condividendo risorse dislocate, permette di ottenere una potenza di calcolo che difficilmente puo’ essere concentrata in un unico laboratorio Prof. Guido Russo - FOCUS ON RESEARCH 2003 Disponibilita’ di risorse Modularita’ Scalabilita’ Disponibilita’ di risorse Modularita’ Scalabilita’ Vantaggi

22 I servizi GRID Prof. Guido Russo - FOCUS ON RESEARCH 2003 Distributed Computing On-Demand Computing Data-Intensive Computing Collabborative Computing Distributed Computing On-Demand Computing Data-Intensive Computing Collabborative Computing Una struttra tipo GRID fornisce servizi indispensabili per la ricerca.

23 Osservazione Prof. Guido Russo - FOCUS ON RESEARCH 2003 Per ottenere prestazioni migliori con GRID occorrono line veloci e alta disponibilita’ di risorse

24 Problema Ci sono un Chimico un Fisico e un Matematico in un campus Prof. Guido Russo - FOCUS ON RESEARCH 2003 Come fanno a condividere le proprie risorse di calcolo? Zermelo Einstein Mendeleev Domanda

25 Campus GRID Prof. Guido Russo - FOCUS ON RESEARCH 2003 I D E A! Una rete GRID di CAMPUS ovvero: Una Virtual Organization tra Dipartimenti

26 Campus GRID Prof. Guido Russo - FOCUS ON RESEARCH 2003 Reti Veloci Interdisciplinarieta’ Test e sviluppo GRID Reti Veloci Interdisciplinarieta’ Test e sviluppo GRID QUALI SONO I VANTAGGI?

27 Campus GRID Prof. Guido Russo - FOCUS ON RESEARCH 2003 CDS Dip di Chimica Dip di Fisica Dip di Matematica INFN CDS Dip di Chimica Dip di Fisica Dip di Matematica INFN PARTECIPANTI

28 Campus GRID Prof. Guido Russo - FOCUS ON RESEARCH 2003 Cablaggio Stellare Dorsale in Fibra ottica monomodale Cablaggio Stellare Dorsale in Fibra ottica monomodale Specifiche della Rete Matematica CDS Chimica Fisica INFN Banda 1 Gbit Banda 1 Gbit

29 Piantina del Campus Prof. Guido Russo - FOCUS ON RESEARCH 2003 CDS Dip di Chimica Dip di Fisica /INFN Dip di Matematica Fibra ottica CDS Dip di Chimica Dip di Fisica /INFN Dip di Matematica Fibra ottica Campus Grid Di Monte Sant’Angelo Campus Grid Di Monte Sant’Angelo

30 Campus GRID Prof. Guido Russo - FOCUS ON RESEARCH 2003 User Interface macchina a cui collegarsi per mandare i job sulla GRID Information Index servizio che contiene le informazioni sulle risorse della GRID Resource Broker macchina che distribuisce e monitorizza i job sulle risorse disponibili sulla base delle informazioni ricevute dal Information Index Monitoring e Support macchina che monitorizza la funzionalita’ dei nodi e notifica eventuali anomalie User Interface macchina a cui collegarsi per mandare i job sulla GRID Information Index servizio che contiene le informazioni sulle risorse della GRID Resource Broker macchina che distribuisce e monitorizza i job sulle risorse disponibili sulla base delle informazioni ricevute dal Information Index Monitoring e Support macchina che monitorizza la funzionalita’ dei nodi e notifica eventuali anomalie Macchine e servizzi

31 Campus GRID Prof. Guido Russo - FOCUS ON RESEARCH 2003 Richiesta sottomissioni job User Interface Resource Broker Monitor & Suppot Information Index User Farm CICLO DI VITA DI UN JOB SOTTOMESSO SULLA GRID

32 Risorse de Campus GRID Prof. Guido Russo - FOCUS ON RESEARCH 2003 Cosa c’e’ sotto la sovrastruttura di Campus GRID? Macchine SMP Molto veloci ma limitatamente scalabili Cluster BEOWULF La soluzione migliore? Macchine SMP Molto veloci ma limitatamente scalabili Cluster BEOWULF La soluzione migliore?

33 Cluster Beowulf Cluster di PC costituito con materiale facilmente reperibile sul mercato. Prof. Guido Russo - FOCUS ON RESEARCH 2003 Bassi costi di implementazione Alte prestazioni Versatilita’ Scalabilita’ Bassi costi di implementazione Alte prestazioni Versatilita’ Scalabilita’ QUALITA’ PRINCIPALI

34 Network nei Beowulf Prof. Guido Russo - FOCUS ON RESEARCH 2003 Nei cluster Beowulf si prediligono schede di rete performati ma di basso costo Fast Ethernet Gigabit Ethernet Fast Ethernet Gigabit Ethernet High Troughtput

35 Problema Prof. Guido Russo - FOCUS ON RESEARCH 2003 Il TCP/IP satura il 90% della banda teorica

36 Problema Prof. Guido Russo - FOCUS ON RESEARCH 2003 Come si fanno a configurare ed amministrare semplicemente i nodi di un cluster? IDEA!

37 Tecnologie di Calcolo Parallelo Obiettivo: Bilanciamento del carico di lavoro sui nodi. Prof. Guido Russo - FOCUS ON RESEARCH 2003 Distribuzione statica dei processi con MPI Bilanciamento dinamico del carico dei nodi con OpenMosix Distribuzione statica dei processi con MPI Bilanciamento dinamico del carico dei nodi con OpenMosix PRINCIPALI TECNICHE

38 Open Mosix per Beowulf Open Mosix e’ un estensione del kernel di linux che permette di far migrare in maniera trasparente i processi sui nodi disponibili per garantire un dinamico Load-Balancing Prof. Guido Russo - FOCUS ON RESEARCH 2003

39 Conclusioni Beowulf Prof. Guido Russo - FOCUS ON RESEARCH 2003 BEOWULF OPENMOSIX DISKLESS S.S.I. (Single System Image) TIRANDO LE SOMME S.S.I.

40 Requisiti richiesti Prof. Guido Russo - FOCUS ON RESEARCH 2003 Le tecniche utilizzate per l’estrazione del segnale gravitazionale dal fondo di rumore strumentale richiedono 300 Gflops per le Binarie Coalescenti 300 Gflops per le Binarie Coalescenti 1 Tflop per Stelle di Neutroni 1 Tflop per Stelle di Neutroni 300 Gflops per le Binarie Coalescenti 300 Gflops per le Binarie Coalescenti 1 Tflop per Stelle di Neutroni 1 Tflop per Stelle di Neutroni Necessarie archietture di calcolo Parallelo Necessarie archietture di calcolo Parallelo

41 Virgo & GRID Prof. Guido Russo - FOCUS ON RESEARCH 2003 Per frontegiare un tale costo computazionale il lab Virgo di Napoli si avvale di Cluster Beowulf locale (cluster diskless di pc) Cluster Beowulf locale (cluster diskless di pc) GRID (il Virgo partecipa al testbed di EDG) GRID (il Virgo partecipa al testbed di EDG) Cluster Beowulf locale (cluster diskless di pc) Cluster Beowulf locale (cluster diskless di pc) GRID (il Virgo partecipa al testbed di EDG) GRID (il Virgo partecipa al testbed di EDG)

42 Multistandard Farm Prof. Guido Russo - FOCUS ON RESEARCH 2003 Il Beowulf di Virgo e’ un esempio di Multistandard Farm capace di lavorare su Grid ed In locale con MPI o OpenMosix. CARATTERISTICHE Alte prestazioni Flessibilita’ Alte prestazioni Flessibilita’

43 Campus GRID Prof. Guido Russo - FOCUS ON RESEARCH 2003 Il cluster di Virgo e’ un esempio di risorsa utilizabile nella rete di campus COS’E’ LA SINERGIA?

44 Campus GRID & Beowulf Prof. Guido Russo - FOCUS ON RESEARCH 2003 E’ integrazione di varie attività produttive e organizzative allo scopo di raggiungere una maggiore efficienza e risultati più vantaggiosi == CAMPUS GRID

45 Prof. Guido Russo - FOCUS ON RESEARCH 2003 FINEFINE