La presentazione è in caricamento. Aspetta per favore

La presentazione è in caricamento. Aspetta per favore

M.Pasqui 1, B. Gozzini 1, L. Ruffo 2. G. Giuliani 2, G. Maracchi 1 1) IBIMET-CNR, Via Caproni, 8, 50145 Firenze 2) LaMMA-IBIMET,

Presentazioni simili


Presentazione sul tema: "M.Pasqui 1, B. Gozzini 1, L. Ruffo 2. G. Giuliani 2, G. Maracchi 1 1) IBIMET-CNR, Via Caproni, 8, 50145 Firenze 2) LaMMA-IBIMET,"— Transcript della presentazione:

1 M.Pasqui 1, B. Gozzini 1, L. Ruffo 2. G. Giuliani 2, G. Maracchi 1 1) IBIMET-CNR, Via Caproni, 8, Firenze 2) LaMMA-IBIMET, Via Madonna del Piano, Sesto Fiorentino (FI) M.Pasqui 1, B. Gozzini 1, L. Ruffo 2. G. Giuliani 2, G. Maracchi 1 1) IBIMET-CNR, Via Caproni, 8, Firenze 2) LaMMA-IBIMET, Via Madonna del Piano, Sesto Fiorentino (FI) IL CALCOLO PARALLELO PER LA MODELLISTICA ATMOSFERICA CAPI ° Workshop sul Calcolo ad Alte Prestazioni in Italia

2 Progetto Regione Toscana - Unione Europea Contratto FERS (U.E.) reg. 2081/93 Attuale gestione: Istituto di Biometeorologia IBIMET - CNR LEGGE REGIONALE 6 aprile 2000, n. 55 Servizio Meteorologico Regionale LaMMA-SKYMED SPA soci: Regione Toscana, Agenzia Spaziale Italiana, Consiglio Nazionale delle Ricerche, FMA Laboratorio per la Meteorologia e la Modellistica Ambientale Campi di applicazione: Meteorologia Qualità dellaria Climatologia Osservazione della terra Sistemi informativi Campi di applicazione: Meteorologia Qualità dellaria Climatologia Osservazione della terra Sistemi informativi

3 monitoraggio dello stato del tempo atmosferico in atto mediante osservazioni remote (radar, satelliti, …) osservazioni remote (radar, satelliti, …) previsioni meteo per RAI (TG3 e GR1), Web, Comuni, Lago di Bilancino, giornali, radio locali, UVB, stagionali, … giornali, radio locali, UVB, stagionali, … fornitura campi meteorologici per lARPAT supporto alla Protezione Civile con presenza operativa di un previsore supporto alla Protezione Civile con presenza operativa di un previsore meteo 7 giorni su 7 meteo 7 giorni su 7 sperimentazione di nuove tecnologie per losservazione dei fenomeni: sperimentazione di nuove tecnologie per losservazione dei fenomeni: satelliti, pluviometro lineare, ….. satelliti, pluviometro lineare, ….. SERVIZIO METEOROLOGICO REGIONALE 22/11/2004

4 Ogni previsione meteorologica si basa su una fase di osservazione dellatmosfera che può essere di due tipi: Osservazioni da terra Osservazioni satellitare Modello Meteorologico: modello matematico che, a partire dallo stato attuale, è in grado di simulare l'evoluzione dellatmosfera per un determinato numero di giorni Osservazioni: base di partenza per le previsioni elaborate utilizzando modelli meteorologici Esigenza servizio operativo: dati in tempo reale Esigenza servizio operativo: previsioni in tempi utili ed alto dettaglio sul territorio

5 5 Rete globale di rilevazione dati atmosferici Centri di elaborazione dati e produzione previsioni a scala globale: per lEuropa ECMWF presso Reading, UK Centri di elaborazione dati e produzione previsioni a scala globale: per lEuropa ECMWF presso Reading, UK Centri elaborazione dati e previsioni a scala locale Utenti finali LA CATENA PREVISIONALE

6 MODELLI GLOBALI Dati da reti di rilevamento globale: stazioni meteo boe palloni sonda Dati satellitari A partire dalla situazione attuale a livello globale effettuano la previsione di parametri meteorologici per lintero globo Precipitazioni previste (mm/6h) Pressione al livello del mare e geopotenziale 500 hPa Modello globale Risol. Oriz. 50/60 Km

7 I Modelli Globali elaborano previsioni sullintero globo, ma poco dettagliate (a bassa risoluzione) Per ottenere previsioni più dettagliate si impiegano i modelli ad area limitata (RAMS) che grazie alle informazioni dei modelli globali forniscono previsioni ad alta risoluzione 60 km. GFS/AVN Model 00/12 UTC Run Elaborazioni modello globale IL MODELLO RAMS PRESSO IL LaMMA LaMMA Modello RAMS Elaborazioni modello RAMS

8 22/11/2004 Previsioni Meteorologiche richiedono elaborazioni su domini quadrimensionali: calcolo di stime su milioni di variabili e trilioni di operazioni per secondo in virgola. Maggiore Accuratezza Maggiore tempo per lelaborazione Aumento esponenziale numero di operazioni Enorme potenza di calcolo, di memoria, di spazio disco.

9 9 Model Configuration TWO NESTED GRIDS 40 GRID 1: 40x36 points (40 Km), 24 levels. 8 GRID 2: 42x52 points (8 Km), 24 levels. 12:00 UTC INITIALIZED with ECMWF-GCM (T319) 12:00 UTC RUN (0.5°X0.5° Resolution) 72 FORECAST PERIOD: 72 HOURS 13 COMPUTATIONAL TIME: 13 HOURS Grid 1 40 kM Grid 2 8 kM RAMS 3b XP900-ALPHASTATION COMPAQ XP900-ALPHASTATION /11/2004 Cenni storici

10 Ununica macchina non riesce a sopperire alle risorse richieste Supercomputer soluzione disponibile dal 1970 Cluster Dallo sviluppo delle tecnologie di rete e del sistema distribuito raggiunti nel /11/2004 Alta Scalabilità Alta Scalabilità Alta affidabilità ed efficienza Alta affidabilità ed efficienza Buon rapporto prezzo/prestazioni Buon rapporto prezzo/prestazioni Hardware reperibile da più fonti (costi contenuti e facile manutenzione). Hardware reperibile da più fonti (costi contenuti e facile manutenzione). Protocolli e librerie standard (software facilmente reperibile) Protocolli e librerie standard (software facilmente reperibile) Alte prestazioni Alte prestazioni Tecnologia Proprietaria Tecnologia Proprietaria Elevati costi Elevati costi Bassa scalabilità Bassa scalabilità Nostra Scelta

11 Novembre Inizia lavventura Cluster

12 ... lavventura continua (febbraio 2001)

13 NodeNodeNodeNodeNodeNodeNodeNodeNode MASTER SWITCH MASTER PIII 800/1000 Mhz 256 Mbyte RAM 20 GByte HD Linux Red Hat 6.2 with Kernel PIII 800/1000 Mhz 256 Mbyte RAM 20 GByte HD Linux Red Hat 6.2 with Kernel Node PIII-800 Mhz 512 Mbyte RAM 80 GByte HD Linux Red Hat 6.2 with Kernel PIII-800 Mhz 512 Mbyte RAM 80 GByte HD Linux Red Hat 6.2 with Kernel BELLEROFONTE 17 PC Linux ClusterBELLEROFONTE 10 PIII/800 MHz 7 PIII/1 GHz 1 Switch 3COM porte a 100Mb/s 10 PIII/800 MHz 7 PIII/1 GHz 1 Switch 3COM porte a 100Mb/sNodeNodeNodeNodeNodeNodeNodeNode2000

14 Linux Red Hat MPICH RAMS BELLEROFONTE Linux Cluster Conceptual Scheme #1 Tipologia di diagramma di flusso del cluster

15 BELLEROFONTE Linux Cluster Conceptual Scheme #2: Domain Decomposition Il processo computazionale seriale viene scomposto in: 1 processo master: inizializzazione e I/O 9 processi node/compute: calcolo effettivo Domain decomposition: rappresenta la strategia di distribuzione del carico computazionale sui nodi di calcolo presenti. NodoNodi Ogni Nodo comunica con i Nodi adiacenti scambiandosi le righe di overlap dei subdomain ad ogni timestep della simulazione. Il RAMS è stato sviluppato per architetture con memoria distribuita, ma possiede unelevata efficienza di calcolo anche su architetture con memoria condivisa. Subdomain Esempio : 10 PC - Linux Cluster

16 LaMMA IL MODELLO RAMS presso il LaMMA CENTRO EUROPEO PER LE PREVISIONI A MEDIO TERMINE MODELLO GLOBALE ECMWF 20 km. 4 km. 60 km. ECMWF Model 12 UTC Run Bellerofonte Cluster Linux /11/2004

17 RAMS Operativo Toscana Wall Time (Comp.) Wall Time (I/O) Wall Time (I/O + Sys) Crescita comput. Spin-up

18 Configurazione Operativa RAMS 4 Km 20 Km 4 Km Specifiche Griglia 1 100x97 punti griglia, 26 liv. Vert., 11 liv. suolo r.o. 20 Km, r.v. 50m < Z < 1000m, Simulaz. giorn. a + 60h. Circa 6 min per 1 ora di previsione 2000 Specifiche Griglia 2 90x97 punti griglia, 26 liv. Vert., 11 liv. suolo r.o. 4 Km, 50m < Z < 1000m, Simulaz. Giorn. a + 60h. Circa 6 min per 1 ora di previsione 2 Griglie innestate (Two-Way nesting) TEMPISTICA DI BELLEROFONTE Ore 1:00 dati modello ECMWF (12 UTC) disponibili al LaMMA Ore 1:00 parte in cascata la run del modello RAMS Ore 7:00 escono le previsioni relative alle prime 24 ore Ore 8:00 quelle per domani (24-48) Ore 9:00 quelle di dopodomani (48-72) TEMPISTICA DI BELLEROFONTE Ore 1:00 dati modello ECMWF (12 UTC) disponibili al LaMMA Ore 1:00 parte in cascata la run del modello RAMS Ore 7:00 escono le previsioni relative alle prime 24 ore Ore 8:00 quelle per domani (24-48) Ore 9:00 quelle di dopodomani (48-72)

19 RAMS Operativo Toscana Grazie a nuovi flags di compilazione

20 DESMO Lattuale Cluster è costituito da 21 nodi di calcolo e da un Master che svolge anche la funzione di Server I/O fornendo tutti i servizi di rete di cui necessitano i vari nodi Il cluster aderisce al modello Beowulf Nodi bi-processore AMD Athlon Nodi bi-processore AMD Athlon MP ,4GHz MP ,4GHz RAM 512 MB RAM 512 MB Hard Disk EIDE 30GB Hard Disk EIDE 30GB Schede rete 3COM: 100BaseTx, Schede rete 3COM: 100BaseTx, 1000BaseTx 1000BaseTx 22/11/ Software: S.O. RedHat Linux 9C S.O. RedHat Linux 9C Kernel smp Kernel smp gcc gcc MPICH MPICH Intel PGHPF Intel PGHPF Master processore AMD Athlon Master processore AMD Athlon MP ,4GHz MP ,4GHz RAM 512 MB RAM 512 MB 2 Hard Disk SCSI da 72GB 2 Hard Disk SCSI da 72GB Schede rete 3COM: 100BaseTx, Schede rete 3COM: 100BaseTx, 1000BaseTx 1000BaseTx Scheda rete Intel Pro 100 Scheda rete Intel Pro 100

21 CAMPI PER INIZIALIZZAZIONE MODELLO RAMS Orografia: U.S. Geological Survey (USGS). risoluzione orizzontale spaziale di circa 1 Km; land use: U.S. Geological Survey (USGS). risoluzione nominale di 1 Km, è basato sul sensore AVHRR temperatura superficiale del mare derivata dal sensore AVHRR/NOAA. La risoluzione a terra dei dati è di 4 km Dati GFS modello globale AVN run 00/12, risoluzione 50 Km 2003

22 CONFIGURAZIONE OPERATIVA DI RAMS Prima griglia (184x120) copre tutto il Mediterraneo e usa la parametrizzazione convettiva KF Seconda griglia (158x178) copre lintera penisola e usa la parametrizzazione convettiva KF Terza griglia (158x178) centrata sulla Toscana e non usa nessuna parametrizzazione convettiva Risoluzione verticale da 50 metri vicino al suolo a 1,2 km al top, con 36 livelli totali. Doppia run al giorno (00 e 12 UTC) 2003

23 SCHEDA: le griglie di RAMS Operativo Toscana Griglia 1 (32 Km): x 120 punti griglia, 36 livelli verticali, 11 livelli di suolo. 2. Risoluzione spaziale orizzontale: 32 km. 3. Risoluzione spaziale verticale: da 50 m fino a 1100 m, con un fattore di stretching di Time-step: 90 sec. 5. Parametrizzazione convettiva attivata Griglia 2 (8 Km): x 178 punti griglia, 36 livelli verticali, 11 livelli di suolo. 2. Risoluzione spaziale orizzontale: 8 km. 3. Risoluzione spaziale verticale: da 50 m fino a 1100 m, con un fattore di stretching di Time-step: 90/4 sec, NNDRAT = 4 5. Parametrizzazione convettiva attivata. Griglia 3 (2 Km): x 178 punti griglia, 36 livelli verticali, 11 livelli di suolo. 2. Risoluzione spaziale orizzontale: 2 km. 3. Risoluzione spaziale verticale: da 50 m fino a 1100 m, con un fattore di stretching di Time-step: 90/16 sec, NNDRAT = Nessuna parametrizzazione convettiva. Le nuove griglie2003

24 SCARICO DATI DA AVN (RUN 00): dati disponibili ore 05:00 RAMS: la catena operativa DOPPIA RUN DATI AVN (run 12):dati disponibili ore 17:00 22/11/ km. 32 km. 1° RUN 2-WAY NESTING Prev. 72 H Tempi: circa 6 ore 2 volte al giorno 2° RUN 2-WAY NESTING Prev. 48 H Tempi: circa 6,5 ore 1 volta al giorno 8 km. 2 km.

25 Esempi di alcune variabili a diverse risoluzioni: vento a 10 metri (m/s) pioggia (mm) nuvolosità CONFIGURAZIONE DEL MODELLO RAMS PRESSO IL LaMMA2003

26 Prima griglia (200x172), 35 livelli verticali, 11 livelli di suolo, risol. orizzontale: 20 km. Risoluzione verticale: da 50 m fino a 1100 m, con un fattore di stretching di Time-step: 60 sec. Parametrizzazione convettiva attivata (Kain - Fritsch). Seconda griglia (180x134), 36 livelli verticali, 11 livelli di suolo, risol. orizzontale: 6.5 km. Risoluzione verticale: da 50 m fino a 1100 m, con un fattore di stretching di Time-step: 20 sec. Parametrizzazione convettiva attivata (Kain - Fritsch). 2004ATTUALE CONFIGURAZIONE OPERATIVA DI RAMS

27 Esempi di alcune variabili a diverse risoluzioni: ATTUALE CONFIGURAZIONE OPERATIVA DI RAMS vento a 10 metri (m/s) pioggia (mm) nuvolosità 2004

28 I tempi della catena operativa inizio run 04:10 circa: inizio run 05:40 circa: 20 km 3 giorni 08:30 circa: 6,5 km 2 giorni SCARICO DATI DA AVN (RUN 00): dati disponibili ore 04:00 Tempo di scarico via FTP 10 min. dati su web e per modelli in cascata dati su web e per modelli in cascata MODELLO METEOROLOGICO RAMS DOPPIA RUN DATI AVN (12): dati disponibili ore 16:00 22/11/ Tempi di calcolo: 20 km40 minuti per 24 ore 6,5 Km72 minuti per 24 ore

29 22/11/2004 Dati Sniffer Analisi dei Dati grafici Registrazione dati Svantaggi Soluzione Cluster Amministrazione più onerosa di quella di un singolo sistema Procedure di installazione e aggiornamento automatico In fase di studio sistema di monitoraggio dello stato di salute di rete automatico

30 Scopo: analisi delle grandezze caratteristiche del protocollo TCP per lindividuazione e/o risoluzione dei ritardi lungo tutta la catena operativa Traffico pkt/sec Traffico byte/sec Congestione switch Latenza risultati grafici Analisi dati raccolti 22/11/2004

31 CHE FINE HA FATTO IL VECCHIO BELLEROFONTE? La piattaforma è ancora utilizzata dopo 4 anni !! La piattaforma è ancora utilizzata dopo 4 anni !! Master kernel con 3 dischi SCSI 18 GB ed 1 disco EIDE 80 GB. Master kernel con 3 dischi SCSI 18 GB ed 1 disco EIDE 80 GB. 16 nodi calcolo diskless kernel con immagine NBI 64MB 16 nodi calcolo diskless kernel con immagine NBI 64MB etherboot e tftp, montano in NFS la directory HOME del master. etherboot e tftp, montano in NFS la directory HOME del master. Rete 100Mb tra i nodi con il master con 2 interfacce in bonding. Rete 100Mb tra i nodi con il master con 2 interfacce in bonding. Prestazioni superiori del 50% rispetto alla versione originale del Prestazioni superiori del 50% rispetto alla versione originale del cluster grazie agli sviluppi del solo software ! cluster grazie agli sviluppi del solo software ! Utilizzato operativamente per i modelli marini WAVEWATCHIII e Utilizzato operativamente per i modelli marini WAVEWATCHIII e ROMS e per provare le nuove versioni di compilatori, middleware e ROMS e per provare le nuove versioni di compilatori, middleware e modelli. modelli. La scelta del modello cluster è vincente anche in termini di aumento La scelta del modello cluster è vincente anche in termini di aumento del tempo di vita operativa delle piattaforme. del tempo di vita operativa delle piattaforme. CHE FINE HA FATTO IL VECCHIO BELLEROFONTE? La piattaforma è ancora utilizzata dopo 4 anni !! La piattaforma è ancora utilizzata dopo 4 anni !! Master kernel con 3 dischi SCSI 18 GB ed 1 disco EIDE 80 GB. Master kernel con 3 dischi SCSI 18 GB ed 1 disco EIDE 80 GB. 16 nodi calcolo diskless kernel con immagine NBI 64MB 16 nodi calcolo diskless kernel con immagine NBI 64MB etherboot e tftp, montano in NFS la directory HOME del master. etherboot e tftp, montano in NFS la directory HOME del master. Rete 100Mb tra i nodi con il master con 2 interfacce in bonding. Rete 100Mb tra i nodi con il master con 2 interfacce in bonding. Prestazioni superiori del 50% rispetto alla versione originale del Prestazioni superiori del 50% rispetto alla versione originale del cluster grazie agli sviluppi del solo software ! cluster grazie agli sviluppi del solo software ! Utilizzato operativamente per i modelli marini WAVEWATCHIII e Utilizzato operativamente per i modelli marini WAVEWATCHIII e ROMS e per provare le nuove versioni di compilatori, middleware e ROMS e per provare le nuove versioni di compilatori, middleware e modelli. modelli. La scelta del modello cluster è vincente anche in termini di aumento La scelta del modello cluster è vincente anche in termini di aumento del tempo di vita operativa delle piattaforme. del tempo di vita operativa delle piattaforme.

32 22/11/2004 Struttura di memorizzazione centralizzata (MSA1000). Struttura di memorizzazione centralizzata (MSA1000). Nuova macchina di visualizzazione ed elaborazione risultati RAMS, collegata Nuova macchina di visualizzazione ed elaborazione risultati RAMS, collegata ai dischi di memorizzazione e con un numero di utenti ad accesso limitato. ai dischi di memorizzazione e con un numero di utenti ad accesso limitato. 2 Cluster operativi (Desmo e Desmo2) con Master dotati di porte ottiche in modo che la comunicazione con i dispositivi di memorizzazione avvenga modo che la comunicazione con i dispositivi di memorizzazione avvenga attraverso fibra ottica attraverso fibra ottica 1 Bellerofonte come Cluster di sviluppo 1 Bellerofonte come Cluster di sviluppo Nuova Struttura Catena Operativa


Scaricare ppt "M.Pasqui 1, B. Gozzini 1, L. Ruffo 2. G. Giuliani 2, G. Maracchi 1 1) IBIMET-CNR, Via Caproni, 8, 50145 Firenze 2) LaMMA-IBIMET,"

Presentazioni simili


Annunci Google