IL CALCOLO PARALLELO PER LA MODELLISTICA ATMOSFERICA

Slides:



Advertisements
Presentazioni simili
Qual è per una piccola/media impresa emiliano/romagnola il costo complessivo REALE del sistema informatico nel caso in cui si sia scelto di basarsi su.
Advertisements

Classificazione delle previsioni
CAPI04 - 8^ Workshop: Calcolo ad Alte Prestazioni in Italia, Milano 24-25/11/2004 CESI Problemi operativi di un modello fluidodinamico di atmosfera Paolo.
Gli hard disk.
SISTEMA INFORMATIVO AZIENDALE
Area Progettuale ICT nelle scuole Expo delleducazione e del lavoro – aprile Scuola digitale – Lombardia Antefatto Cronistoria dellAzione.
Costruzione di una base dati storica dei campi di vento sulla Provincia di Torino Realizzazione del progetto S. Finardi.
1 Un anno di vento in Provincia di Torino, dati meteorologici utilizzati e scelta di un periodo rappresentativo Settore Meteoidrografico e Reti di Monitoraggio.
IL NOSTRO LABORATORIO. Di INFORMATICA.. Presentazione: Nel nostro laboratorio abbiamo 24 postazioni con dei computer di tipo Desktop con queste caratteristiche:
Di INFORMATICA IL NOSTRO LABORATORIO. Presentazione Nel nostro laboratorio abbiamo 24 postazioni con dei computer di tipo Desktop con queste caratteristiche:
IL NOSTRO LABORATORIO. Di INFORMATICA..
IL NOSTRO LABORATORIO. Di INFORMATICA.. Presentazione: Nel nostro laboratorio abbiamo 24 postazioni con dei computer di tipo Desktop con queste caratteristiche:
Cluster openMosix Linux Day ’04 Caserta Ing. Diego Bovenzi.
Sandro Finardi, Mihaela Mircea, Gaia Righini con la collaborazione di
Esercizi sulle architetture
23/01/01Alberto Masoni – GR1 - Roma1 I MODELLI DI CENTRI REGIONALI POSIZIONE DI ALICE ITALIA CENTRO ITALIANO: CPU 450 KSI95, DISCO 400 TB (INSIEME TIER-1.
Glossario. AGP Accelerated Graphics Port: architettura di bus che permette alle schede grafiche laccesso diretto al bus di sitema (fino a 100MHz), invece.
Architettura Three Tier
Canale A. Prof.Ciapetti AA2003/04
1 La farm di ATLAS-Napoli 1 Gb/s 7 nodi con 2 CPU PIII a 1 GH, RAM 512 MB, 2 schede di rete a 100 Mb/s. Server con 2 CPU PIII a 1 GH, RAM 1 GB, 2 schede.
WP 2.4 al Cnaf Cnaf 13/11/00 P.M Hardware: - 12 PC Rack mountable IBM XSeries 330 (1U) 2 processori Pentium III 800 Mhz, FSB 133 Mhz 512 MB Mem Ecc, Controller.
Autori Progetto S.Co.P.E. – WP4 Strumento su piattaforma grid per la previsione e il controllo del campo elettromagnetico in aree urbane Giorgio Franceschetti,
IDUL 2012 RETI E PROTOCOLLI. INTERNET.. IDEE PRINCIPALI IN QUESTA LEZIONE Reti: Aspetto logico della rete e tipologie: peer-to-peer, a hub, a bus Trasmissione.
Struttura dei sistemi operativi (panoramica)
I dati osservati. The numbers refer to all data items received over a 24 hour period on 5 July 2004 Starting a forecast: The initial conditions.
Test del Monitoraggio del Tracker usando un Tier2 M.S. Mennea, G. Zito, N. De Filippis Università & INFN di Bari Riunione Consorzio – Torino 18 Novembre.
Un progetto di infomobilità per la città di Milano.
Riunione CRESCO Infrastruttura HPC Cresco Analisi Preliminare.
1 Sezione Meteo del 36° Stormo. 2 a cura del Magg. Villasmunta.
La gestione dell'I/O Architettura degli elaboratori 1 - A. Memo La gestione dellI/O 4Prestazioni e generalità 4.1Modelli di funzionamento 4.2Dischi.
Sistemi Operativi Distribuiti: indice
Dipartimento di Ingegneria Idraulica e Ambientale - Universita di Pavia 1 Simulazione di un esperimento di laboratorio: Caduta di un corpo quadrato in.
WP 14 Grid Applications for Geophysics Istituto Nazionale di Geofisica e Vulcanologia INGV Progetto FIRB Grid.it Documento di rimodulazione.
WORKSHOP – Il Centro Funzionale di supporto alla Protezione Civile della Regione Emilia-Romagna Bologna - 24 Giugno 2003 Massimo Bider Marco Lazzeri Rita.
WORKSHOP – Il Centro Funzionale di supporto alla Protezione Civile della Regione Emilia-Romagna Bologna - 24 Giugno 2003 Carlo Cacciamani Servizio Meteorologico.
Il Centro Funzionale della Regione Toscana
EVOLUZIONE DEL PC Legge di Moore: La potenza dei calcolatori raddoppia ogni 18 mesi Metà anni 80 (Personal Computer IBM AT) Architettura 16 bit interna,
@2000 R. Bisiani1 R. Bisiani2 Dischi u Piatti multipli coperti da materiale magnetizzabile.
UNIVERSITA’ STUDI DI ROMA “FORO ITALICO”
Linux Riunione Referenti-CCL 2-Luglio Utilizzo di Linux Principale (unica) piattaforma di calcolo per HEP Grid Supportato dalle maggiori industrie.
Michele Michelotto INFN-Padova
LNL M.Biasotto, Bologna, 13 dicembre La farm di Legnaro Massimo Biasotto – INFN LNL.
LNL M.Biasotto, Bologna, 18 ottobre La farm CMS di Padova - Legnaro Proposta di acquisto hardware 2° semestre 2001.
LNL M.Biasotto, Bologna, 19 marzo La farm CMS di Padova - Legnaro Proposta di acquisto hardware 1° semestre 2001.
5 Feb 2002Stefano Belforte – INFN Trieste calcolo per CDF in Italia1 Calcolo per CDF in Italia Prime idee per lanalisi di CDF al CNAF Numeri utili e concetti.
Case study Maiora srl.
GIADA O N L I N E.
LA RETE WEB di DOT s.r.l. DOT s.r.l. articola le sue offerte su formule di Hosting e di Housing che garantiscono e integrano numerosi servizi in grado.
1 Alert Meteo Dati meteo dai sensori su strada Temperatura, Pressione, Precipitazioni Stato del suolo, Salatura … Previsioni Meteo da fonti esterne Aeronautica.
Climatologia (Clima) studio delle variazioni statistiche in un arco di tempo Il servizio meteorologico internazionale (WSI - Weather Service International)
Ordine degli Ingegneri di Bologna, 26 novembre 2010 Ordine degli Ingegneri di Bologna, 26 novembre /22 Gabriele Tonelli consulente CNR IRPI
27/04/ Fondazione Geometri Emilia Romagna Rete GNSS So.G.E.R. Partner ufficiale I servizi della Rete GNSS So.G.E.R. a disposizione dellutenza Bologna.
Benigno Gobbo – INFN Trieste 1 CSNI 21 maggio 2001 Stato della farm di COMPASS-TS CSNI Roma, 21 maggio 2001 Benigno Gobbo INFN Trieste
Centro Regionale di Competenza Analisi e Monitoraggio del Rischio Ambientale Centro Regionale di Competenza Analisi e Monitoraggio del Rischio Ambientale.
Servizi Grid ed agenti mobili : un ambiente di sviluppo e delivering
Isobaramento ed interpretazione del campo barico al suolo
Cosè la GAIA2 Un acquisitore sismico progettato nei laboratori del CNT nel 2002/3 Nasce per essere utilizzato prevalentemente nella Rete Sismica Nazionale,
Attività e ricerche dellIstituto di Scienze dellAtmosfera e del Clima (ISAC) ISAC è il maggior istituto che opera sulle tematiche di scienze dellatmosfera.
Valutazioni ambientali strategiche (Cap
P.L. Fabbri Gli Hard Disks sono oggetti molto affidabili. Strategie di Backup dei dati … fino a che non si guastano !!!
Dietro le quinte del servizio meteo, strumenti e applicazioni
Il supercalcolo fai-da-te
IDUL 2013 RETI E PROTOCOLLI. INTERNET.. IDEE PRINCIPALI IN QUESTA LEZIONE Reti: Aspetto ‘logico’ della rete e tipologie: peer-to-peer, a hub, a bus Trasmissione.
La Farm di Alice a Torino Workshop sulle problematiche di calcolo e reti Isola d’Elba 6-9 maggio 2002 Mario Sitta (Università del Piemonte Orientale e.
AULA INFORMATICA MULTIMEDIALE DONAZIONE MCKINSEY & COMPANY ITALIA.
Corso linux RiminiLUG presenta Rete a bassissimo budget per il piccolo ufficio architettura di rete LTSP in contesti professionali corso linux 2008.
RISICO Descrizione del sistema e porting in gLite Mirko D'Andrea, Paolo Fiorucci, Francesco Gaetani, Riccardo Minciardi. 12 Novembre 2007.
Roberto Covati – Roberto Alfieri INFN di Parma. Incontri di lavoro CCR dicembre Sommario VmWare Server (in produzione dal 2004) VmWare ESX.
La Famiglia di Prodotti Network Analyzer. L’analizzatore J6801A DNA è un probe di cattura dati ultra leggero che comprende un sistema di acquisizione.
Alessandro Tirel - Sezione di Trieste Storage servers & TCP Tuning Proposta di studio delle problematiche connesse alla fornitura di servizi di storage.
Transcript della presentazione:

IL CALCOLO PARALLELO PER LA MODELLISTICA ATMOSFERICA CAPI 2004 8° Workshop sul Calcolo ad Alte Prestazioni in Italia IL CALCOLO PARALLELO PER LA MODELLISTICA ATMOSFERICA M.Pasqui1, B. Gozzini1, L. Ruffo2. G. Giuliani2, G. Maracchi1 1) IBIMET-CNR, Via Caproni, 8, 50145 Firenze e-mail: m.pasqui@ibimet.cnr.it 2) LaMMA-IBIMET, Via Madonna del Piano, 50019 Sesto Fiorentino (FI) www.ibimet.cnr.it

Laboratorio per la Meteorologia e la Modellistica Ambientale www.lamma.rete.toscana.it Laboratorio per la Meteorologia e la Modellistica Ambientale Progetto Regione Toscana - Unione Europea Contratto FERS (U.E.) reg. 2081/93 Attuale gestione: Istituto di Biometeorologia IBIMET - CNR LEGGE REGIONALE 6 aprile 2000, n. 55 Servizio Meteorologico Regionale LaMMA-SKYMED SPA soci: Regione Toscana, Agenzia Spaziale Italiana, Consiglio Nazionale delle Ricerche, FMA www.lamma.rete.toscana.it Campi di applicazione: Meteorologia Qualità dell’aria Climatologia Osservazione della terra Sistemi informativi

SERVIZIO METEOROLOGICO REGIONALE monitoraggio dello stato del tempo atmosferico in atto mediante osservazioni remote (radar, satelliti, …) previsioni meteo per RAI (TG3 e GR1), Web, Comuni, Lago di Bilancino, giornali, radio locali, UVB, stagionali, … fornitura campi meteorologici per l’ARPAT supporto alla Protezione Civile con presenza operativa di un previsore meteo 7 giorni su 7 sperimentazione di nuove tecnologie per l’osservazione dei fenomeni: satelliti, pluviometro lineare, ….. 22/11/2004

Osservazioni satellitare Ogni previsione meteorologica si basa su una fase di osservazione dell’atmosfera che può essere di due tipi: Osservazioni da terra Osservazioni satellitare Esigenza servizio operativo: dati in tempo reale Osservazioni: base di partenza per le previsioni elaborate utilizzando modelli meteorologici Modello Meteorologico: modello matematico che, a partire dallo stato attuale, è in grado di simulare l'evoluzione dell’atmosfera per un determinato numero di giorni Esigenza servizio operativo: previsioni in tempi utili ed alto dettaglio sul territorio

LA CATENA PREVISIONALE Rete globale di rilevazione dati atmosferici Centri di elaborazione dati e produzione previsioni a scala globale: per l’Europa ECMWF presso Reading, UK Centri elaborazione dati e previsioni a scala locale Utenti finali

Pressione al livello del mare e geopotenziale 500 hPa MODELLI GLOBALI A partire dalla situazione attuale a livello globale effettuano la previsione di parametri meteorologici per l’intero globo Precipitazioni previste (mm/6h) Pressione al livello del mare e geopotenziale 500 hPa Dati da reti di rilevamento globale: stazioni meteo boe palloni sonda Dati satellitari Modello globale Risol. Oriz. 50/60 Km

IL MODELLO RAMS PRESSO IL LaMMA I Modelli Globali elaborano previsioni sull’intero globo, ma poco dettagliate (a bassa risoluzione) Per ottenere previsioni più dettagliate si impiegano i modelli ad area limitata (RAMS) che grazie alle informazioni dei modelli globali forniscono previsioni ad alta risoluzione Elaborazioni modello RAMS LaMMA Modello RAMS 60 km. GFS/AVN Model 00/12 UTC Run Elaborazioni modello globale

Enorme potenza di calcolo, di memoria, di spazio disco. Previsioni Meteorologiche richiedono elaborazioni su domini quadrimensionali: calcolo di stime su milioni di variabili e trilioni di operazioni per secondo in virgola. Maggiore Accuratezza Aumento esponenziale numero di operazioni Maggiore tempo per l’elaborazione Enorme potenza di calcolo, di memoria, di spazio disco. Maggiore è l’accuratezza che vogliamo ottenere e maggiore è il numero di operazioni che devono essere fatte e maggiore è il tempo di elaborazione. Questo implica enorme richiesta di potenza di calcolo, di memoria, di spazio disco. 22/11/2004

COMPAQ XP900-ALPHASTATION Cenni storici 1998 Grid 1 40 kM COMPAQ XP900-ALPHASTATION RAMS 3b Model Configuration Grid 2 8 kM TWO NESTED GRIDS GRID 1: 40x36 points (40 Km), 24 levels. GRID 2: 42x52 points (8 Km), 24 levels. INITIALIZED with ECMWF-GCM (T319) 12:00 UTC RUN (0.5°X0.5° Resolution) FORECAST PERIOD: 72 HOURS COMPUTATIONAL TIME: 13 HOURS 22/11/2004

Un’unica macchina non riesce a sopperire alle risorse richieste Cluster Supercomputer soluzione disponibile dal 1970 Dallo sviluppo delle tecnologie di rete e del sistema distribuito raggiunti nel 1990 Alta Scalabilità Alta affidabilità ed efficienza Buon rapporto prezzo/prestazioni Hardware reperibile da più fonti (costi contenuti e facile manutenzione). Protocolli e librerie standard (software facilmente reperibile) Alte prestazioni Tecnologia Proprietaria Elevati costi Bassa scalabilità Scalabilità: qualora lo spazio disco e/o la memoria (le risorse fisiche) non siano più sufficienti con questa soluzione il sistema è facilmente ed economicamente migliorabile semplicemente aumentando il numero di nodi in funzione alle nuove richieste. Con un semplice Supercomputer non sempre era possibile aumentare le risorse fisiche con costi bassi. A volte tutta la macchina andava sostituita e quella vecchia (differentemente dalla soluzione cluster) non era più utilizzabile. Nostra Scelta 22/11/2004

Novembre 2000 - Inizia l’avventura Cluster

... l’avventura continua (febbraio 2001)

2000 MASTER Node MASTER SWITCH Node Node BELLEROFONTE 17 PC Linux Cluster MASTER PIII-800 Mhz 512 Mbyte RAM 80 GByte HD Linux Red Hat 6.2 with Kernel 2.2.14 10 PIII/800 MHz 7 PIII/1 GHz 1 Switch 3COM 3300 24 porte a 100Mb/s PIII 800/1000 Mhz 256 Mbyte RAM 20 GByte HD Linux Red Hat 6.2 with Kernel 2.2.14 Node MASTER SWITCH Node Node

RAMS MPICH Conceptual Scheme #1 Appl. MiddleWare SoftWare BELLEROFONTE Linux Cluster Appl. RAMS MiddleWare MPICH Linux Red Hat SoftWare MPI (Message Passing Interface):livello di comunicazione a scambio di messaggi (message passing), che si interpone tra il sistema operativo e l’applicativo, per la sincronizzazione dei nodi. MPI è una API (Application Program Interface) per gli sviluppatori di programmi paralleli che garantisce una piena astrazione dall’hardware correntemente utilizzato senza alcuna necessità di inserire nel codice del programma alcuna direttiva di effettiva distribuzione dei segmenti di codice fra i nodi del cluster garantendo, fra l’altro, una buona portabilità del codice prodotto. Tipologia di diagramma di flusso del cluster

Conceptual Scheme #2: Domain Decomposition BELLEROFONTE Linux Cluster Esempio: 10 PC - Linux Cluster Il processo computazionale seriale viene scomposto in: 1 processo master: inizializzazione e I/O 9 processi node/compute: calcolo effettivo Domain decomposition: rappresenta la strategia di distribuzione del carico computazionale sui nodi di calcolo presenti. Ogni Nodo comunica con i Nodi adiacenti scambiandosi le righe di overlap dei subdomain ad ogni timestep della simulazione. Il RAMS è stato sviluppato per architetture con memoria distribuita, ma possiede un’elevata efficienza di calcolo anche su architetture con memoria condivisa. Subdomain

CENTRO EUROPEO PER LE PREVISIONI A MEDIO TERMINE IL MODELLO RAMS presso il LaMMA 2000 CENTRO EUROPEO PER LE PREVISIONI A MEDIO TERMINE MODELLO GLOBALE ECMWF 20 km. ECMWF Model 12 UTC Run 60 km. LaMMA “Bellerofonte” Cluster Linux 4 km. 22/11/2004

RAMS Operativo “Toscana” Wall Time (I/O + Sys) Wall Time (I/O) Crescita comput. Spin-up Wall Time (Comp.)

2000 2 Griglie innestate (Two-Way nesting) Configurazione Operativa RAMS 4 Km 20 Km 4 Km TEMPISTICA DI BELLEROFONTE Ore 1:00 dati modello ECMWF (12 UTC) disponibili al LaMMA Ore 1:00 parte in cascata la run del modello RAMS Ore 7:00 escono le previsioni relative alle prime 24 ore Ore 8:00 quelle per domani (24-48) Ore 9:00 quelle di dopodomani (48-72) 2 Griglie innestate (Two-Way nesting) “Specifiche Griglia 1” 100x97 punti griglia, 26 liv. Vert., 11 liv. suolo r.o. 20 Km, r.v. 50m < Z < 1000m, Simulaz. giorn. a + 60h. Circa 6 min per 1 ora di previsione “Specifiche Griglia 2” 90x97 punti griglia, 26 liv. Vert., 11 liv. suolo r.o. 4 Km, 50m < Z < 1000m, Simulaz. Giorn. a + 60h. Circa 6 min per 1 ora di previsione

RAMS Operativo “Toscana” Grazie a nuovi flags di compilazione

Il cluster aderisce al modello Beowulf DESMO 2003 L’attuale Cluster è costituito da 21 nodi di calcolo e da un Master che svolge anche la funzione di Server I/O fornendo tutti i servizi di rete di cui necessitano i vari nodi Software: S.O. RedHat Linux 9C Kernel 2.24.26 smp gcc 3.2.2-5 MPICH 1.2.5 Intel PGHPF90 5.2-1 Il cluster aderisce al modello Beowulf Nodi bi-processore AMD Athlon ™ MP 2400 - 2,4GHz RAM 512 MB Hard Disk EIDE 30GB Schede rete 3COM: 100BaseTx, 1000BaseTx Master processore AMD Athlon ™ MP 2400 - 2,4GHz RAM 512 MB 2 Hard Disk SCSI da 72GB Schede rete 3COM: 100BaseTx, 1000BaseTx Scheda rete Intel Pro 100 22/11/2004

CAMPI PER INIZIALIZZAZIONE MODELLO RAMS 2003 CAMPI PER INIZIALIZZAZIONE MODELLO RAMS Orografia: U.S. Geological Survey (USGS). risoluzione orizzontale spaziale di circa 1 Km; “land use”: U.S. Geological Survey (USGS). risoluzione nominale di 1 Km, è basato sul sensore AVHRR temperatura superficiale del mare derivata dal sensore AVHRR/NOAA. La risoluzione a terra dei dati è di 4 km Dati GFS modello globale AVN run 00/12, risoluzione 50 Km

CONFIGURAZIONE OPERATIVA DI RAMS 2003 Terza griglia (158x178) centrata sulla Toscana e non usa nessuna parametrizzazione convettiva Seconda griglia (158x178) copre l’intera penisola e usa la parametrizzazione convettiva KF Prima griglia (184x120) copre tutto il Mediterraneo e usa la parametrizzazione convettiva KF The Regional Atmospheric Modeling System, RAMS, was developed since the seventies at the Colorado State University. As a full physics (non-hydrostatic) model, RAMS is virtually able to represent the atmospheric circulation at any horizontal resolution. RAMS is in principle able to represent any atmospheric phenomena due to the very sophisticated cloud and precipitation microphysics representation (five ice species beyond the cloud and rain water !!!) and the worldwide best representation of the land surface processes by means of a complete hydrological model (surbsurface water transport included) and a vegetation model. RAMS is integrated every day from 12 UTC for 72 hours ahead; the initial and boundary conditions are provided by the European Centre for Medium-Range Weather Forecasts (ECMWF) global model every 6 hours at 1x1 degrees spatial horizontal resolution. only One grid is used, at 10 km resolution and 100x80 grid points, with a spatial horizontal resolution of 10 km. The vertical resolution is 80 m near the ground, up to 1.2 km near the top with 26 levels. Doppia run al giorno (00 e 12 UTC) Risoluzione verticale da 50 metri vicino al suolo a 1,2 km al top, con 36 livelli totali.

2003 SCHEDA: le griglie di RAMS Operativo “Toscana” Le nuove griglie Griglia 1 (32 Km): 1. 184 x 120 punti griglia, 36 livelli verticali, 11 livelli di suolo. 2. Risoluzione spaziale orizzontale: 32 km. 3. Risoluzione spaziale verticale: da 50 m fino a 1100 m, con un fattore di stretching di 1.125. 4. Time-step: 90 sec. 5. Parametrizzazione convettiva attivata Griglia 2 (8 Km): 1. 158 x 178 punti griglia, 36 livelli verticali, 11 livelli di suolo. 2. Risoluzione spaziale orizzontale: 8 km. 4. Time-step: 90/4 sec, NNDRAT = 4 5. Parametrizzazione convettiva attivata. Griglia 3 (2 Km): 2. Risoluzione spaziale orizzontale: 2 km. 4. Time-step: 90/16 sec, NNDRAT = 16 5. Nessuna parametrizzazione convettiva.

RAMS: la catena operativa 2003 SCARICO DATI DA AVN (RUN 00): dati disponibili ore 05:00 1° RUN 2-WAY NESTING Prev. 72 H Tempi: circa 6 ore 2 volte al giorno 32 km. 8 km. 2° RUN 2-WAY NESTING Prev. 48 H Tempi: circa 6,5 ore 1 volta al giorno 8 km. 2 km. DOPPIA RUN DATI AVN (run 12):dati disponibili ore 17:00 22/11/2004

CONFIGURAZIONE DEL MODELLO RAMS PRESSO IL LaMMA 2003 CONFIGURAZIONE DEL MODELLO RAMS PRESSO IL LaMMA vento a 10 metri (m/s) pioggia (mm) nuvolosità Esempi di alcune variabili a diverse risoluzioni: The Regional Atmospheric Modeling System, RAMS, was developed since the seventies at the Colorado State University. As a full physics (non-hydrostatic) model, RAMS is virtually able to represent the atmospheric circulation at any horizontal resolution. RAMS is in principle able to represent any atmospheric phenomena due to the very sophisticated cloud and precipitation microphysics representation (five ice species beyond the cloud and rain water !!!) and the worldwide best representation of the land surface processes by means of a complete hydrological model (surbsurface water transport included) and a vegetation model. RAMS is integrated every day from 12 UTC for 72 hours ahead; the initial and boundary conditions are provided by the European Centre for Medium-Range Weather Forecasts (ECMWF) global model every 6 hours at 1x1 degrees spatial horizontal resolution. only One grid is used, at 10 km resolution and 100x80 grid points, with a spatial horizontal resolution of 10 km. The vertical resolution is 80 m near the ground, up to 1.2 km near the top with 26 levels.

ATTUALE CONFIGURAZIONE OPERATIVA DI RAMS 2004 Prima griglia (200x172), 35 livelli verticali, 11 livelli di suolo, risol. orizzontale: 20 km. Risoluzione verticale: da 50 m fino a 1100 m, con un fattore di stretching di 1.133. Time-step: 60 sec. Parametrizzazione convettiva attivata (Kain - Fritsch). Seconda griglia (180x134), 36 livelli verticali, 11 livelli di suolo, risol. orizzontale: 6.5 km. Risoluzione verticale: da 50 m fino a 1100 m, con un fattore di stretching di 1.125. Time-step: 20 sec. Parametrizzazione convettiva attivata (Kain - Fritsch). The Regional Atmospheric Modeling System, RAMS, was developed since the seventies at the Colorado State University. As a full physics (non-hydrostatic) model, RAMS is virtually able to represent the atmospheric circulation at any horizontal resolution. RAMS is in principle able to represent any atmospheric phenomena due to the very sophisticated cloud and precipitation microphysics representation (five ice species beyond the cloud and rain water !!!) and the worldwide best representation of the land surface processes by means of a complete hydrological model (surbsurface water transport included) and a vegetation model. RAMS is integrated every day from 12 UTC for 72 hours ahead; the initial and boundary conditions are provided by the European Centre for Medium-Range Weather Forecasts (ECMWF) global model every 6 hours at 1x1 degrees spatial horizontal resolution. only One grid is used, at 10 km resolution and 100x80 grid points, with a spatial horizontal resolution of 10 km. The vertical resolution is 80 m near the ground, up to 1.2 km near the top with 26 levels.

ATTUALE CONFIGURAZIONE OPERATIVA DI RAMS 2004 nuvolosità pioggia (mm) vento a 10 metri (m/s) Esempi di alcune variabili a diverse risoluzioni: The Regional Atmospheric Modeling System, RAMS, was developed since the seventies at the Colorado State University. As a full physics (non-hydrostatic) model, RAMS is virtually able to represent the atmospheric circulation at any horizontal resolution. RAMS is in principle able to represent any atmospheric phenomena due to the very sophisticated cloud and precipitation microphysics representation (five ice species beyond the cloud and rain water !!!) and the worldwide best representation of the land surface processes by means of a complete hydrological model (surbsurface water transport included) and a vegetation model. RAMS is integrated every day from 12 UTC for 72 hours ahead; the initial and boundary conditions are provided by the European Centre for Medium-Range Weather Forecasts (ECMWF) global model every 6 hours at 1x1 degrees spatial horizontal resolution. only One grid is used, at 10 km resolution and 100x80 grid points, with a spatial horizontal resolution of 10 km. The vertical resolution is 80 m near the ground, up to 1.2 km near the top with 26 levels.

2004 MODELLO METEOROLOGICO RAMS I tempi della catena operativa SCARICO DATI DA AVN (RUN 00): dati disponibili ore 04:00 Tempo di scarico via FTP 10 min. Tempi di calcolo: 20 km 40 minuti per 24 ore 6,5 Km 72 minuti per 24 ore 04:10 circa: inizio run 05:40 circa: 20 km 3 giorni 08:30 circa: 6,5 km 2 giorni dati su web e per modelli in cascata DOPPIA RUN DATI AVN (12): dati disponibili ore 16:00 dati su web e per modelli in cascata 22/11/2004

Svantaggi Soluzione Cluster Amministrazione più onerosa di quella di un singolo sistema In fase di studio sistema di monitoraggio dello stato di “salute di rete” automatico Procedure di installazione e aggiornamento automatico Dati Sniffer Analisi dei grafici e-mail Registrazione dati Lo svantaggio principale della soluzione CLUSTER è fondamentalmente il maggior carico di lavoro per quanto riguarda la amministrazione del sistema non più centralizzato (supercomputer unica macchina da gestire) ma bensì distribuito su più nodi. Al fine di ridurre le problematiche legate a questo (quali aggiornamenti software oppure colli di bottiglia dovuti alla rete di calcolatori così impiegata) e i tempi di intervento che nel nostro caso, per il servizio che offriamo, devono essere più brevi possibili siamo intervenuti in due direzioni: - realizzazione di cd-rom di auto-installazione e/o aggiornamento S.O. e librerie attraverso applicativo FTP da una macchina master. - realizzazione, di un tool ancora in fase di collaudo, in grado di rilevare eventuali problematiche legate alla rete (congestioni, perdita pacchetti, latenze) e segnalarle tempestivamente attraverso e-mail all’operatore di turno. Poiché l’analisi della rete del Cluster tra le altre cose ha evidenziato un funzionamento migliore qualora il software operativo tra master e nodi sia allineato (stessa versione del sistema operativo e delle relative librerie) si è posto il problema dell’aggiornamento tempestivo di tutti i nodi, master compreso. Fino lo scorso anno tale operazione richiedeva che l’amministratore di rete aggiornasse a mano ogni nodo installandoci la nuova versione software. Poiché ogni cluster è costituito da un numero di nodi pari a 20 tale operazione richiedeva da parte dell’amministratore di rete almeno due giorni pieni di lavoro, salvo eventuali imprevisti. Situazione questa inaccettabile qualora solo un cluster sia funzionante e il calcolo delle previsioni climatiche sia incombente. Oggi il processo di installazione automatica è realizzato impiegando un SERVER LINUX FTP attraverso il quale ogni CLIENT può prelevare mediante una connessione rete FTP, in modalità automatica, sia il KERNEL sia i moduli RPM per la configurazione corretta e completa della macchina. La realizzazione di un CD di installazione automatica, e quindi l’utilizzo della connessione FTP per prelevare il software, riduce il tempo di l’installazione di tutte le macchine costituenti il cluster in un massimo di 1 ora. La precisione di calcolo dei parametri meteorologici, di conseguenza la capacità di prevedere le variazioni climatiche giornaliere/settimanali con piccolo errore, è strettamente legata alla velocità del modello computazionale utilizzato. Qualora il cluster sia di tipologia Beowulf tale velocità dipende sia dal tempo di calcolo impiegato dal processore, sia dal tempo impiegato per il trasferimento dati, cioè dal cosiddetto tempo di rete. -Il tempo di rete è influenzato da molteplici fattori, quali: -La tipologia di protocollo impiegata per il trasferimento delle informazioni; -La dimensione dei buffer utilizzati dal software (protocolli TCP/IP) per la pacchettizzazione dei dati informativi. -La dimensione dei buffer delle schede di rete. -La velocità di trasmissione; -La tipologia del mezzo di trasporto (influenza il tempo di propagazione del segnale); -I nodi di commutazione ( tempo di processazione dei pacchetti, dimensione dei buffer di ingresso di uscita); -Eventuali fenomeni di congestione. La necessità di fornire un servizio meteorologico continuativo di buona qualità richiede l’abbattimento dei ritardi lungo tutta la catena operativa. Mentre a priori il tempo di calcolo del processore può essere considerato costante, il tempo di rete è una grandezza aleatoria che deve essere tenuta sotto continuo controllo. Da qui l’esigenza di creare un sistema di monitoraggio di rete che permetta l’intervento tempestivo dell’operatore, qualora il verificarsi di congestioni possa comportare un notevole rallentamento della trasmissione. 22/11/2004

Scopo: analisi delle grandezze caratteristiche del protocollo TCP per l’individuazione e/o risoluzione dei ritardi lungo tutta la catena operativa Analisi dati raccolti risultati grafici Latenza Congestione switch Traffico pkt/sec L’applicativo attualmente in fase di sviluppo, MonitorNetwork, si propone di effettuare in modo automatico: - Monitoraggio passivo di una specifica connessione - Nel caso si verifichino situazioni di “allarme”, invio e-mail di avvertimento all’operatore. - Registrazione grafica delle grandezze di interesse. Il termine “monitoraggio passivo” sancisce la capacità dell’applicativo di non interferire in alcun modo con il traffico scambiato durante la connessione. Affinché questo sia possibile MonitorNetwork dovrà sfruttare la modalità di trasmissione del protocollo di livello trasporto di Internet orientato alla connessione: Trasmission Control Protocol (TCP). Il TCP progettato per fornire un flusso affidabile, end-to-end, a partire da un Internet inaffidabile, impiega la tecnica fondamentale nota come "riscontro positivo con ritrasmissione". Questa tecnica, del tutto trasparente all'utente, richiede che l'host destinatario comunichi con l'host sorgente inviando in risposta un messaggio di riscontro (acknowledgement) una volta ricevuti i dati. L'host trasmettitore ogni volta che trasmette un segmento memorizza il numero sequenziale che lo identifica e inizializza un timer di ritrasmissione, prima di inviare il segmento successivo. Qualora il timer scada prima che sia giunto il corrispondente riscontro (timeout) il segmento viene nuovamente trasmesso. Tenendo conto di tale modalità di funzionamento, il principio su cui si basa il tool implementato, MonitorNetwork, è la registrazione, per ogni connessione TCP attiva, dei messaggi di riscontro e del timer di ritrasmissione in modo da ricavare il valore dei parametri del protocollo di trasporto che caratterizzano la specifica connessione e la cui misura indicativa delinea la Quality of Service (QoS) del collegamento passivamente, non interferendo in alcun modo con le connessioni in corso. Una volta realizzato il sistema di monitoraggio di cui sopra è stato spiegato il funzionamento di massima, l’obbiettivo successivo sarà analizzare, grazie al suo impiego, il software protocollare delle macchine costituenti il cluster così da apportare le modifiche a livello di kernel in grado di ottimizzare i ritardi dovuti all’utilizzo di TCP come protocollo di trasporto ed eventualmente pensare ad una sua possibile sostituzione. In futuro un ulteriore tool verrà realizzato al fine di monitorare lo stato di salute “hardware” delle macchine quali: innalzamento di temperature, sovraccarico di hard-disk, malfunzionamento delle schede di rete, ecc. 22/11/2004 Traffico byte/sec

CHE FINE HA FATTO IL VECCHIO BELLEROFONTE? La piattaforma è ancora utilizzata dopo 4 anni !! Master kernel 2.6.9 con 3 dischi SCSI 18 GB ed 1 disco EIDE 80 GB. 16 nodi calcolo diskless kernel 2.6.9 con immagine NBI 64MB etherboot e tftp, montano in NFS la directory HOME del master. Rete 100Mb tra i nodi con il master con 2 interfacce in bonding. Prestazioni superiori del 50% rispetto alla versione originale del cluster grazie agli sviluppi del solo software ! Utilizzato operativamente per i modelli marini WAVEWATCHIII e ROMS e per provare le nuove versioni di compilatori, middleware e modelli. La scelta del “modello” cluster è vincente anche in termini di aumento del tempo di vita operativa delle piattaforme.

Nuova Struttura Catena Operativa Struttura di memorizzazione centralizzata (MSA1000). Nuova macchina di visualizzazione ed elaborazione risultati RAMS, collegata ai dischi di memorizzazione e con un numero di utenti ad accesso limitato. 2 Cluster operativi (Desmo e Desmo2) con Master dotati di porte ottiche in modo che la comunicazione con i dispositivi di memorizzazione avvenga attraverso fibra ottica 1 Bellerofonte come Cluster di sviluppo Attraverso software gratuito ottenuto in rete, per un paio di mesi consecutivi, durante l’esecuzione del modello RAMS (piena operatività) è stato mio compito la registrazione dei parametri di rete (software legati alla pila protocollare e fisici legati al collegamento effettivo) che delineano la qualità del collegamento. Le grandezze ottenute hanno evidenziato difficoltà di comunicazione in presenza di più attività, indipendenti da quelle inerenti al solo calcolo del modello computazionale, svolte su uno stesso nodo. Da qui l’esigenza di realizzare una nuova architettura operativa che scomponga le attività di calcolo del RAMS da quelle legate alle rielaborazioni, registrazione e visualizzazione dei risultati. La nuova struttura della catena operativa, attualmente in fase di studio e attuazione, da noi progettata prevede: - Struttura di memorizzazione centralizzata (MSA1000). -Nuova macchina di visualizzazione ed elaborazione risultati RAMS, collegata ai dischi di memorizzazione e con un numero di utenti ad accesso limitato. -Master di rete dotati di porte ottiche in modo che la comunicazione con i dispositivi di memorizzazione avvenga non più attraverso cavi in rame bensì attraverso fibra ottica, notevolmente più veloce. -Accesso ai master e nodi limitato ai soli amministratori di sistema così che l’unica applicazione possibile attiva in ogni momento, sia solo il calcolo del modello computazionale RAMS. 22/11/2004