Workshop tematico Il calcolo scientifico a Padova: Condivisione di competenze e creazione di strutture integrate Il Calcolo Scientifico al Dipartimento di Astronomia S. Casotto Padova – Archivio Antico del Bò – 19 Dicembre 2007

Il calcolo numerico e simbolico è indispensabile in molti settori della ricerca astronomica: Sviluppo e progettazione di nuovi strumenti di osservazione Controllo e gestione delle strumentazioni (telescopi, satelliti) Acquisizione dei dati, telemetria Data management e compressione Riduzione e analisi dati –Realizzazione numerica di modelli teorici –Confronto tra osservazioni e modelli –Elaborazione dei risultati Sviluppo di Teorie Il Calcolo Scientifico al Dipartimento di Astronomia Simulazioni numeriche Calcolo simbolico Visualizzazione grafica

Applicazioni numeriche: esempi Il Sistema Solare Formazione ed evoluzione del Sole e dei pianeti Determinazione delle orbite dei corpi naturali e artificiali Formazione ed evoluzione di Ammassi stellari Galassie Strutture cosmologiche Image Processing (astrometria, fotometria, struttura) di Galassie Ammassi stellari

Applicazioni di calcolo al DipAstro Integrazione numerica di sistemi di equazioni differenziali per modellistica orbitale degli N Corpi per applicazioni al Sistema Solare (N = 12) e all’Universo (N = 10e5 ÷ 10e8) Problemi di ottimizzazione - soluzione di sistemi lineari e non lineari con matrici di grandi dimensioni 10e3 ÷ 10e6 Convoluzioni di immagini (tipicamente su patch di 300×300 pixel, 10e3 volte) Fit parametrici su immagini di campo () Calcolo di autovalori/autovettori di grandi matrici (800×800) Principali interessi di calcolo scientifico dei gruppi del Dipartimento di Astronomia:

Nascita ed evoluzione delle galassie in contesto cosmologico Studio della formazione e dell’evoluzione delle galassie Simulazione 3D con condizioni al contorno periodiche Trattamento di tipi di materia diversamente interagenti, con differenti algoritmi: –Tree-code (gravità) –SPH (idrodinamica) –… È necessario simulare ampie zone di universo per tener conto dell’influenza dall’ambiente sull’evoluzione dell’oggetto finale Bisogna raggiungere una elevata risoluzione spaziale almeno sull’oggetto galattico di interesse

Nascita ed evoluzione delle galassie in contesto cosmologico Le simulazioni in contesto cosmologico sono influenzate da fenomeni che si manifestano su differenti scale: –Regioni di formazioni stellare (1 pc); –Galassie (10 kpc); –Ammassi di galassie (1 Mpc); –Forze di pressione (10 Mpc); –Gravità ( Mpc). Range dinamico enorme (>10 9 ) Necessità di realizzare simulazioni con un numero elevato di particelle anche solo su singoli oggetti di taglia galattica: –Galassia da 10 8 Masse solari e risoluzione di 10 3 masse solari richiede 10 5 particelle. –Galassia da Masse solari e risoluzione di 10 3 masse solari richiede 10 9 particelle.

Tempi e costi di calcolo EvoL è un codice Tree-SPH sviluppato a Padova in grado di descrivere anche fenomeni fisici molto complessi (gravità, idrodinamica, cooling, formazione stellare, feedback energetico, arricchimento chimico, espansione dell’Universo, condizioni al contorno periodiche,…) Una simulazione con EvoL, utilizzato su un tipico PC non di ultimissima generazione, richiede: –Qualche ora di calcolo con 10 4 particelle non collisionali (i.e., Tree- code, solo gravità); –Ma circa 1 mese per 10 4 particelle collisionali (i.e. Tree-SPH, gravità+idrodinamica); –…e circa 8 anni per il calcolo di un modello completo con 10 6 particelle

CCD chip processing 4096 px 2048 px Fit di un campo di 50,000 gaussiane a 3 parametri Opteron 64 bit, 2 GHz, 16 GB ram: CPU time ~1 ora

CCD Mosaic processing (Omegacam – 2008) px 2.7e8 Fit di 1,000,000 di gaussiane CPU time ~90 ore

Long wavelength extragalactic astronomy Galaxy multi-wavelength data reduction, analysis and modeling The Herschel satellite : software development and its science programs Semi-analytical models of galaxy formation Two-point galaxy correlation functions and the evolution of large-scale structure The group employs a combination of procedural (c and fortran), object-oriented (C++ and Java) and scripting (IDL, Mathematica, python and perl) programming languages within Unix (Linux and Mac OS X) environments Computing needs in the field have rapidly scaled up with the development of ever larger digital detectors, new facilities coming online and the mainstreaming of numerical simulation codes While roughly speaking large and fast RAM and HD are required (with a moderate need for parallel processing), in the following we outline what might be achievable by an envisaged reference machine with four dual-core 3 GHz processors, 16 GB of RAM and 10 TB of data

Multi-Wavelength Data Reduction & Analysis SWIRE : largest NASA’s Spitzer satellite program (850 hr /2005), detecting 2 milion objects with broad-band photometry in ~ 10 bands (Opt-MIR) HERMES & PEP ( ) : largest ESA’s Herschel satellite observing ( hr /2010), detecting 100,000s of sources in ~15 bands (Opt-FIR) Multi-wavelength map-making, source extraction and cross-correlation based on increasingly refined statistical priors. Will be breaking new technical ground and will thus need regular access to high-performance machine for software prototyping, testing and standard data product generation for public release

COSMOS Arguably the most ambitious astronomical project to date, employing virtually all world-class observatories to provide a panchromatic view of visible & dark matter and the evolution of large- scale structure over cosmic time Staggering data reduction and analysis undertaking, leading to the public release of massive imaging data and optical spectra (alongside cataloged sources) Herschel observations soon to follow satellite’s launch in 2008, partly under our responsibility

Herschel : Software Development and Data Reduction & Analysis Distributed development led by ESA and contributed to by instrument consortia Herschel’s HCSS is a fully fledged data reduction and analysis package, providing command-line and GUI tools for Herschel (16 GB RAM requirement envisaged) CPU-intensive Map-Making algorithms (e.g. MADMAP) will be applied in post-processing and will call for full algorithm parallelization (under study) NB : HCSS will be the basis for the future SPICA Japan/ESA satellite software

1)Monte Carlo simulations of hierarchical clustering of dark matter halos with M halo ~ x10 14 M ๏, hundreds of realizations per mass and mass resolution of M halo 2) Integration of differential equations describing physical processes affecting baryons in halos  Large arrays describing galaxies within halos (from 100s to 1000s of galaxies for massive halos at z=0) but halos of cluster-like sizes (M~10 15 M ๏ ) are unpractical with currently available 2 GB RAM  Computing time for a single realization ranges from min’s to hr’s with a 3 GHz CPU, needs 2 days to generate 10 realizations of a full halo distribution or (state-of-the-art) 20 days for 100 realizations  With a 16 GB RAM we’ll be able to tackle M~10 15 M ๏ halos and increase mass resolution by ~ 2  Hierarchical nature of code naturally lends itself to massive parallelization (through standard MPI) z=0 z=3 z=1 REDSHIFT Semi-Analytical Models of Galaxy Formation

Gioco di squadra: il parallelismo Usando super computer con librerie di calcolo parallelo, dotati di centinaia e a volte migliaia di processori, i tempi di calcolo scendono in proporzione. Il sistema viene suddiviso spazialmente in differenti domini e l’evoluzione dinamica è eseguita da differenti processori. È essenziale la comunicazioni tra i processori per lo scambio delle variabili remote indispensabili per l’evoluzione del sottosistema locale Bisogna quindi avere un codice opportunamente scritto (MPI) Usando 16 processori POWER5, ad esempio, un modello completo con 10 4 particelle viene calcolato in circa 24 ore (era un mese col PC).

Prospettive In presenza di una macchina parallela ad alte prestazioni... –I test di performace, stabilità e accuratezza di EvoL sarebbero immediati, veloci e comodi –Lo sviluppo e l’implementazione sarebbe più rapida ed efficiente (soprattutto potendo disporre di strumenti di debug potenti - e.g., Totalview) –Realizzare librerie (decine/centinaia) di modelli studiando estesamente tutte le variabili in gioco –Sviluppare e/o utilizzare al meglio software di visualizzazione scientifica per una prima analisi dei dati e per una buona rappresentazione degli stessi, in particolare con animazioni che rappresentino l’evoluzione spaziale e temporale di variabili quali densità, temperatura del gas, metallicità ed età delle stelle ecc.

Strumenti di calcolo al DipAstro 10 Server con cpu ALPHA COMPAQ/HP 1 Server con 4 cpu AMD OPTERON 2 WorkStation SUN 75 Desktop con cpu INTEL (P IV – CORE 2 – CORE 2 DUO – CORE 2 QUAD) 4 Desktop APPLE OSX con una o due CPU Il Dipartimento di Astronomia dispone attualmente delle seguenti risorse di calcolo:

Risorse esterne: CINECA Per lanciare una simulazione sull’elaboratore SP5 del CINECA è necessario attendere la disponibilità delle risorse necessarie: per una simulazione di 24 ore –su 4 processori i tempi di attesa variano da qualche minuto a qualche ora –su 16 processori l’attesa non è mai inferiore a qualche giorno –su 64 processori l’attesa può arrivare a qualche settimana

Desideratum Per affrontare le prevedibili esigenze di calcolo il Dipartimento di Astronomia ha individuato un sistema di calcolo ad alte prestazioni minimale –12 nodi –8 cores/node per massimizzare la memoria condivisa –8 GB ram/CPU –connessione veloce (Gbit Ethernet) tra i nodi ed eventualmente verso l’esterno

Collegamenti rete DipAstro

TRAFFICO DI RETE AL 18 DICEMBRE 2007 Weekly' Graph (30 Minute Average) Max Average Current In kb/s (37%) kb/s (3%) kb/s (1.4%) Out kb/s (43%) kb/s (6%) 59.7 kb/s (0.6%) GREEN ### Incoming Traffic in Bits per Second BLUE ### Outgoing Traffic in Bits per Second

Yearly' Graph (1 Day Average) Max Average Current In kb/s (36%) kb/s (4%) kb/s (1%) Out kb/s (41%) kb/s (8%) 60.8 kb/s (0.1%) GREEN ### Incoming Traffic in Bits per Second BLUE ### Outgoing Traffic in Bits per Second

Multi-Wavelength Data Reduction & Analysis

(Prospettive) 2

Simulazioni Numeriche Le simulazioni numeriche sono un banco di prova per i modelli teorici: Setting up delle condizioni iniziali Individuazione delle leggi significative Trasformazione delle leggi in algoritmi numerici Integrazione delle equazioni dinamiche RISULTATI: Rappresentazione nello spazio reale e delle fasi Confronto con osservabili

Stato attuale Dati tipici delle Simulazioni Dimensioni del Box Numero di Particelle Time step (  t) in Myr Tempo di evoluzione in Gyr Risoluzione in Masse Solari Totale 1 Mpc  (2.7  10 8 Barioni e 7.3  10 8 Dark Matter) Zona Alta Risoluzione 10 kpc  (2.7  10 5 Barioni e 7.3  10 5 Dark Matter)

Prospettive Dati tipici delle Simulazioni Dimensioni del Box Numero di Particelle Time step (  t) in Myr Tempo di evoluzione in Gyr Risoluzione in Masse Solari Totale 1 Mpc  (2.7  10 5 Barioni e 7.3  10 5 Dark Matter) Zona Alta Risoluzione 10 kpc  (2.7  10 3 Barioni e 7.3  10 3 Dark Matter)