MINNI GRID ENEA EmMa/Farm su GRID: avanzamento dei lavori per la Convenzione e prestazioni del sistema Andrea Cappelletti – ENEA Pisa Gino Briganti – ENEA.

Presentazione sul tema: "MINNI GRID ENEA EmMa/Farm su GRID: avanzamento dei lavori per la Convenzione e prestazioni del sistema Andrea Cappelletti – ENEA Pisa Gino Briganti – ENEA."— Transcript della presentazione:

1 MINNI GRID ENEA EmMa/Farm su GRID: avanzamento dei lavori per la Convenzione e prestazioni del sistema Andrea Cappelletti – ENEA Pisa Gino Briganti – ENEA Pisa Progetto MINNI Riunione plenaria 23-24 marzo 2011

2 Minni/GRID Obiettivi fare il punto sulle simulazioni fatte nel quadro della Convenzione; dare una idea, seppure sommaria, dellevoluzione delle prestazioni del sistema MINNI su GRID; evidenziare problemi e punti critici; aggiornare sui tempi di esecuzione del calcolo delle concentrazioni, emissioni e matrici in vista del lavoro futuro;

3 Minni/GRID Convenzione NicknameAnno emiss. Anno meteo Versioni EmMa/Farm 20Km4KmNote 1999 4.0/2.9.1IT0XX0XX = NI, CI, SI, SC, SA 2005old2005 4.0/2.9.1IT0XX0 2005svi2005 4.0/2.9.1IT0XX0Rispetto al 2005old : sottoinsieme di emi., con., dep. ATMtest2005 4.0/2.1220x20Termini del 1°, 2° ordine e misti (2x2x5=20) 2005 5.1/2.13.5IT0XX0Rispetto al 2005old: agg. emis., param. punt. e areali, traf. mar., risosp, att.agr., layers. OMP, (TUV, data ass.),LSODE,debug, t=300s 2003 5.1/2.13.5IT0XX0 2015noCP201520055.1/2.13.5IT2XX2Scenari GAINS senza C.P. Convenzione: solo 20 Km 2005noCP2005 5.1/2.13.5IT2XX2 2010noCP201020055.1/2.13.5IT2 2020noCP202020055.1/2.13.5IT2 ATM201520055.1/2.13.520x20Termini del 1° ordine (5 x 20 = 100 runs) Bold: dallultima plenaria, Ciano: Arianet, Rosso: fuori Convenzione

4 Minni/GRID ubicazione concentrazioni NicknameServerMain directoryZonaUbicazione concentrazioni 1999gpor_minni1 minni/minnifarm/farm/out XX0 1999_2.9.1_saprc90noTUV 2005oldgpor_minn1XX0 2005_2.9.1_saprc90noTUV 2005svigpor_minni1XX0 2005svi ATMtestgpor_minni2minni/minnifarm/ATM/outanno_em/anno_me/fact%/precurs/ regione 2005gpor_minn1 minni/minnifarm/farm/out XX0 2005_2.13.5_saprc90noTUV 2003gpor_minni2XX0 2003_2.13.5_saprc90noTUV 2015noCPgpor_minni3XX2 2015_2.13.5_saprc90noTUV 2005noCPgpor_minni3XX2 2005_2.13.5_saprc90noTUV 2010noCPgpor_minni3XX2 2010_2.13.5_saprc90noTUV 2020noCPgpor_minni3XX2 2020_2.13.5_saprc90noTUV ATMgpor_minni2minni/minnifarm/ATM/outanno_em/anno_me/fact%/precurs/ regione XX = IT (Italy 20x20), NI (Nord 4x4), SI (Sud 4x4), CI (Centro 4x4), SC (Sicilia 4x4), SA (Sardegna 4x4)

5 Minni/GRID ubicazione emissioni NicknameServerMain directoryZonaUbicazione emissioniNote 1999gpor_minni1 minni/minnifarm/farm/inp XX0 1999 2005oldgpor_minn1XX0 2005old 2005svigpor_minni1XX0 2005svi ATMtestgpor_minni2minni/minnifarm/ATM/inpfact%/precurs/ regione/anno/decade/giorno 2005gpor_minn1 minni/minnifarm/farm/inp XX0 2005 2003gpor_minni2XX0 2003 2015noCPgpor_minni3XX2 2015 2005noCPgpor_minni3XX2 2005No IT 2010noCP 2020noCP ATMgpor_minni2minni/minnifarm/ATM/inpfact%/precurs/ regione/anno/decade/giorno XX = IT (Italy 20x20), NI (Nord 4x4), SI (Sud 4x4), CI (Centro 4x4), SC (Sicilia 4x4), SA (Sardegna 4x4)

6 Minni/GRID post processing Anni meteo/scenari: medie stagionali ed annuali di CO, SO2, O3, NO2, PM10 valori annuali di AOT40f, AOT40c, SOMO35, superamenti O3 > 120 ug/m3 scores 2005 (confronti db AirBase/BRACE) ATM: medie annuali di O3, PM25, PM10, NO2 deposizioni totali di S, N, NH SOMO35, AOT40f, AOT40c medie stagionali (calda/fredda) ed annuali di PM10, PM10w, PM25, PM25w coefficienti del 1° ordine per ATM (20 x 5 = 100 files ascii) Post processing si trova su /gpor_minni2/minni/minnifarm/post_farm

7 Minni/GRID evoluzione FARM Estate 08 – Fine 09 versione 2.9.1 codice seriale notevole disponibilità di code seriali GRID poco affollata Inizio 10 – Marzo 11 versione 2.13.5 codice parallelo OMP numerose code parallele GRID affollata 1 mese 20x20 20 ore 1 mese 4x4 (NI) 120 ore max 40/50 jobs alla volta Tempo di attesa = 14 g 1 mese 20x20 8 ore 1 mese 4x4(NI) 24 ore max 40/50 jobs alla volta Tempo di attesa = 7 g

8 Minni/GRID evoluzione EmMa Estate 08 – Fine 09 versione 4.0 codice seriale strategia « giorni tipo » prevista ma non utilizzata numerose code seriali GRID poco affollata Inizio 10 – Marzo 11 versione 5.1 codice seriale Strategia « giorni tipo »* integrata 1 coda seriale affollata 1 dec 20x20 1.5 ore 1 dec 4x4 (NI)5 ore max 40/50 jobs alla volta Tempo di attesa = 2 g 1 mese* 20x202-3 ore 1 mese* 4x4 7-12 ore max 5/10 jobs alla volta Tempo di attesa = 5-10 g

9 Minni/GRID tests su EmMa (fpga6) PFS: uso di fs PFS come scratch, TMP: uso del fs /tempwork come scratch

10 Minni/GRID ATM Emissioni (5.1) Jobs annuali coda seriale affollata Solo 1° termine (5 x 20 = 100) 5-10 jobs alla volta Concentrazioni (2.13.5) Jobs annuali codice parallelo code parallele disponibili 30-40 jobs per volta Tempo di attesa = 5-10 gTempo di attesa = 10-15 g 1 feb 2011 – 10 marzo 2011

11 Minni/GRID prestazioni del sistema la parallelizzazione di FARM ha permesso un abbattimento dei tempi sia di per se che per laccesso alle code parallelle ma il vantaggio è stato annullato dal peggioramento delle prestazioni di EmMa e dallaffollamento della coda seriale 16 gg -> 14-19 gg; il contenimento dei tempi di esecuzione di EmMa ha comportato la riscrittura delle procedure e ladozione di strategie ad hoc poco automatizzabili e condivisibili (dallindustriale allartigianale). Tempi di attesa molto variabili; laffollamento dellunica coda seriale obbliga a calcoli mensili/annuali per EmMa (non si sfrutta la multiserialità) Tempo (gg)EmMaFarmTotale 20x20112 4x45-10712-17 ATM5-1010-1515-25

12 Minni/GRID attività sviluppo Programma per il calcolo degli scores statistici (F90 OMP); Riscrittura degli scripts per il lancio di EmMa (versione 5.1) su GRID: Aggiornamento degli scripts di lancio di FARM/ATM per sfruttare al massimo la presenza di molte code parallele di breve durata; Sviluppo di routine F90 per la lettura/scrittura di file netcdf MINNI bypass dei makefiles originari e controllo diretto degli eseguibili crtemp, mpem2farm, pem2grid (modulazione temporale); ricerca automatica delle aree scratch disponibili (/dev/shm -> /tempwork -> GPFS) ricerca dei nodi liberi sulla coda seriale e distribuzione dei jobs in modo da evitare laccumulo di jobs su un unico nodo (da perfezionare a mano)

13 Minni/GRID evoluzione software Estate 08 – Fine 09 Uso dei filesystem condivisi (AFS/PFS) come aree per dati e aree di lavoro Uso delle utilities NCO per manipolare files netcdf Uso delle code seriali per il pre/post processing Inizio 10 – Marzo 11 Uso dei fs condivisi per i dati e fs locali (/tempwork /dev/shm) come aree di lavoro Sviluppo di programmi F90 per manipolare files netcdf Parallelizzazione programmi F90 e uso delle code parallele anche per le attività di pre/post processing I nodi di CRESCO hanno tutti un disco locale veloce da 20 GB (le macchine cresco-fpga1,2,3,4,6 hanno un disco da 250 GB Tutti i nodi di CRESCO hanno una ragguardevole RAM (da 32 a 216 GB) e un disco su RAM di 8-32 GB Il paradigma OMP per la parallelizzazione è relativamente facile

14 Minni/GRID problemi aperti e warnings run identici di Farm possono dare luogo a risultati differenti sui « balance », anche dellordine del 10-20%. E stato compilato Farm 2.13.5 su grid con diverse opzioni (scalare, parad. OMP) ma non si è capito il motivo. A livello di medie stagionali e ATM ciò non costituisce problema. Prove sospese per mancanza di tempo; segnalazione di errore con EmMa 5.1 su GRID in fase di preprocessamento: errore in lettura di un file. Comportamento casuale. è emerso un problema con la versione 5.1 in concomitanza con lesecuzione di più istanze EmMa (modulazione temporale) sullo stesso nodo: non si può utlizzare come area di lavoro il fs PFS e la situazione è critica con i fs locali del nodo (/tempwork); coda seriale perennemente affollata; ladozione dello schema chimico SAPRC99+TUV aumenterà di 3-4 volte (20x20) il tempo di esecuzione per FARM; inventory comunali comporteranno un aumento di 2-4 volte (1999) il tempo di attesa per EmMa; criticità dellipotesi « giorni tipo » per EmMa;

15 Minni/GRID da fare Software per la ricostruzione degli scenari GAINS dalle ATM (si parte da programmi ARIANET); Stabilizzare (se possibile) le procedure di EmMa5, esplorando la possibilità di avere una coda seriale dedicata a MINNI; Calcolare le ATM con anni meteo (1999), 2003, 2007 Run nazionale anno 2007 Completare i test su FARM E auspicabile stabilire una convenzione sui nomi da assegnare alle directories per larchiviazione delle emissioni/con./dep./icbc/meteo di MINNI

16 Minni/GRID cluster MINNI rapporto cpu/nodo minore possibile (8 nodi da 8 cpu anziche 4 nodi da 16 cpu) disco alta performance per ciascun nodo > 100 GB RAM di almeno 32 (meglio 64) GB di cui metà da dedicare a disco