MINNI GRID ENEA EmMa/Farm su GRID: avanzamento dei lavori per la Convenzione e prestazioni del sistema Andrea Cappelletti – ENEA Pisa Gino Briganti – ENEA Pisa Progetto MINNI Riunione plenaria marzo 2011

Minni/GRID Obiettivi fare il punto sulle simulazioni fatte nel quadro della Convenzione; dare una idea, seppure sommaria, dellevoluzione delle prestazioni del sistema MINNI su GRID; evidenziare problemi e punti critici; aggiornare sui tempi di esecuzione del calcolo delle concentrazioni, emissioni e matrici in vista del lavoro futuro;

Minni/GRID Convenzione NicknameAnno emiss. Anno meteo Versioni EmMa/Farm 20Km4KmNote /2.9.1IT0XX0XX = NI, CI, SI, SC, SA 2005old /2.9.1IT0XX0 2005svi /2.9.1IT0XX0Rispetto al 2005old : sottoinsieme di emi., con., dep. ATMtest /2.1220x20Termini del 1°, 2° ordine e misti (2x2x5=20) /2.13.5IT0XX0Rispetto al 2005old: agg. emis., param. punt. e areali, traf. mar., risosp, att.agr., layers. OMP, (TUV, data ass.),LSODE,debug, t=300s /2.13.5IT0XX0 2015noCP /2.13.5IT2XX2Scenari GAINS senza C.P. Convenzione: solo 20 Km 2005noCP /2.13.5IT2XX2 2010noCP /2.13.5IT2 2020noCP /2.13.5IT2 ATM / x20Termini del 1° ordine (5 x 20 = 100 runs) Bold: dallultima plenaria, Ciano: Arianet, Rosso: fuori Convenzione

Minni/GRID ubicazione concentrazioni NicknameServerMain directoryZonaUbicazione concentrazioni 1999gpor_minni1 minni/minnifarm/farm/out XX0 1999_2.9.1_saprc90noTUV 2005oldgpor_minn1XX0 2005_2.9.1_saprc90noTUV 2005svigpor_minni1XX0 2005svi ATMtestgpor_minni2minni/minnifarm/ATM/outanno_em/anno_me/fact%/precurs/ regione 2005gpor_minn1 minni/minnifarm/farm/out XX0 2005_2.13.5_saprc90noTUV 2003gpor_minni2XX0 2003_2.13.5_saprc90noTUV 2015noCPgpor_minni3XX2 2015_2.13.5_saprc90noTUV 2005noCPgpor_minni3XX2 2005_2.13.5_saprc90noTUV 2010noCPgpor_minni3XX2 2010_2.13.5_saprc90noTUV 2020noCPgpor_minni3XX2 2020_2.13.5_saprc90noTUV ATMgpor_minni2minni/minnifarm/ATM/outanno_em/anno_me/fact%/precurs/ regione XX = IT (Italy 20x20), NI (Nord 4x4), SI (Sud 4x4), CI (Centro 4x4), SC (Sicilia 4x4), SA (Sardegna 4x4)

Minni/GRID ubicazione emissioni NicknameServerMain directoryZonaUbicazione emissioniNote 1999gpor_minni1 minni/minnifarm/farm/inp XX oldgpor_minn1XX0 2005old 2005svigpor_minni1XX0 2005svi ATMtestgpor_minni2minni/minnifarm/ATM/inpfact%/precurs/ regione/anno/decade/giorno 2005gpor_minn1 minni/minnifarm/farm/inp XX gpor_minni2XX noCPgpor_minni3XX noCPgpor_minni3XX2 2005No IT 2010noCP 2020noCP ATMgpor_minni2minni/minnifarm/ATM/inpfact%/precurs/ regione/anno/decade/giorno XX = IT (Italy 20x20), NI (Nord 4x4), SI (Sud 4x4), CI (Centro 4x4), SC (Sicilia 4x4), SA (Sardegna 4x4)

Minni/GRID post processing Anni meteo/scenari: medie stagionali ed annuali di CO, SO2, O3, NO2, PM10 valori annuali di AOT40f, AOT40c, SOMO35, superamenti O3 > 120 ug/m3 scores 2005 (confronti db AirBase/BRACE) ATM: medie annuali di O3, PM25, PM10, NO2 deposizioni totali di S, N, NH SOMO35, AOT40f, AOT40c medie stagionali (calda/fredda) ed annuali di PM10, PM10w, PM25, PM25w coefficienti del 1° ordine per ATM (20 x 5 = 100 files ascii) Post processing si trova su /gpor_minni2/minni/minnifarm/post_farm

Minni/GRID evoluzione FARM Estate 08 – Fine 09 versione codice seriale notevole disponibilità di code seriali GRID poco affollata Inizio 10 – Marzo 11 versione codice parallelo OMP numerose code parallele GRID affollata 1 mese 20x20 20 ore 1 mese 4x4 (NI) 120 ore max 40/50 jobs alla volta Tempo di attesa = 14 g 1 mese 20x20 8 ore 1 mese 4x4(NI) 24 ore max 40/50 jobs alla volta Tempo di attesa = 7 g

Minni/GRID evoluzione EmMa Estate 08 – Fine 09 versione 4.0 codice seriale strategia « giorni tipo » prevista ma non utilizzata numerose code seriali GRID poco affollata Inizio 10 – Marzo 11 versione 5.1 codice seriale Strategia « giorni tipo »* integrata 1 coda seriale affollata 1 dec 20x ore 1 dec 4x4 (NI)5 ore max 40/50 jobs alla volta Tempo di attesa = 2 g 1 mese* 20x202-3 ore 1 mese* 4x ore max 5/10 jobs alla volta Tempo di attesa = 5-10 g

Minni/GRID tests su EmMa (fpga6) PFS: uso di fs PFS come scratch, TMP: uso del fs /tempwork come scratch

Minni/GRID ATM Emissioni (5.1) Jobs annuali coda seriale affollata Solo 1° termine (5 x 20 = 100) 5-10 jobs alla volta Concentrazioni (2.13.5) Jobs annuali codice parallelo code parallele disponibili jobs per volta Tempo di attesa = 5-10 gTempo di attesa = g 1 feb 2011 – 10 marzo 2011

Minni/GRID prestazioni del sistema la parallelizzazione di FARM ha permesso un abbattimento dei tempi sia di per se che per laccesso alle code parallelle ma il vantaggio è stato annullato dal peggioramento delle prestazioni di EmMa e dallaffollamento della coda seriale 16 gg -> gg; il contenimento dei tempi di esecuzione di EmMa ha comportato la riscrittura delle procedure e ladozione di strategie ad hoc poco automatizzabili e condivisibili (dallindustriale allartigianale). Tempi di attesa molto variabili; laffollamento dellunica coda seriale obbliga a calcoli mensili/annuali per EmMa (non si sfrutta la multiserialità) Tempo (gg)EmMaFarmTotale 20x x ATM

Minni/GRID attività sviluppo Programma per il calcolo degli scores statistici (F90 OMP); Riscrittura degli scripts per il lancio di EmMa (versione 5.1) su GRID: Aggiornamento degli scripts di lancio di FARM/ATM per sfruttare al massimo la presenza di molte code parallele di breve durata; Sviluppo di routine F90 per la lettura/scrittura di file netcdf MINNI bypass dei makefiles originari e controllo diretto degli eseguibili crtemp, mpem2farm, pem2grid (modulazione temporale); ricerca automatica delle aree scratch disponibili (/dev/shm -> /tempwork -> GPFS) ricerca dei nodi liberi sulla coda seriale e distribuzione dei jobs in modo da evitare laccumulo di jobs su un unico nodo (da perfezionare a mano)

Minni/GRID evoluzione software Estate 08 – Fine 09 Uso dei filesystem condivisi (AFS/PFS) come aree per dati e aree di lavoro Uso delle utilities NCO per manipolare files netcdf Uso delle code seriali per il pre/post processing Inizio 10 – Marzo 11 Uso dei fs condivisi per i dati e fs locali (/tempwork /dev/shm) come aree di lavoro Sviluppo di programmi F90 per manipolare files netcdf Parallelizzazione programmi F90 e uso delle code parallele anche per le attività di pre/post processing I nodi di CRESCO hanno tutti un disco locale veloce da 20 GB (le macchine cresco-fpga1,2,3,4,6 hanno un disco da 250 GB Tutti i nodi di CRESCO hanno una ragguardevole RAM (da 32 a 216 GB) e un disco su RAM di 8-32 GB Il paradigma OMP per la parallelizzazione è relativamente facile

Minni/GRID problemi aperti e warnings run identici di Farm possono dare luogo a risultati differenti sui « balance », anche dellordine del 10-20%. E stato compilato Farm su grid con diverse opzioni (scalare, parad. OMP) ma non si è capito il motivo. A livello di medie stagionali e ATM ciò non costituisce problema. Prove sospese per mancanza di tempo; segnalazione di errore con EmMa 5.1 su GRID in fase di preprocessamento: errore in lettura di un file. Comportamento casuale. è emerso un problema con la versione 5.1 in concomitanza con lesecuzione di più istanze EmMa (modulazione temporale) sullo stesso nodo: non si può utlizzare come area di lavoro il fs PFS e la situazione è critica con i fs locali del nodo (/tempwork); coda seriale perennemente affollata; ladozione dello schema chimico SAPRC99+TUV aumenterà di 3-4 volte (20x20) il tempo di esecuzione per FARM; inventory comunali comporteranno un aumento di 2-4 volte (1999) il tempo di attesa per EmMa; criticità dellipotesi « giorni tipo » per EmMa;

Minni/GRID da fare Software per la ricostruzione degli scenari GAINS dalle ATM (si parte da programmi ARIANET); Stabilizzare (se possibile) le procedure di EmMa5, esplorando la possibilità di avere una coda seriale dedicata a MINNI; Calcolare le ATM con anni meteo (1999), 2003, 2007 Run nazionale anno 2007 Completare i test su FARM E auspicabile stabilire una convenzione sui nomi da assegnare alle directories per larchiviazione delle emissioni/con./dep./icbc/meteo di MINNI

Minni/GRID cluster MINNI rapporto cpu/nodo minore possibile (8 nodi da 8 cpu anziche 4 nodi da 16 cpu) disco alta performance per ciascun nodo > 100 GB RAM di almeno 32 (meglio 64) GB di cui metà da dedicare a disco