La presentazione è in caricamento. Aspetta per favore

La presentazione è in caricamento. Aspetta per favore

Reti Neurali nella previsione di variabili ambientali.

Presentazioni simili


Presentazione sul tema: "Reti Neurali nella previsione di variabili ambientali."— Transcript della presentazione:

1 Reti Neurali nella previsione di variabili ambientali

2 Organizzazione dellesposizione Il problema previsionale Soluzione lineare (ARX) Intelligenza artificiale e idrologia: approccio con reti neurali Pruning Risultati (Olona, Tagliamento) Previsione del PM10 a Milano

3 Requisiti di un sistema previsionale accuratezza previsionale.. anche nel caso in cui non siano disponibili i dati rilevati da tutte le stazioni (robustezza) velocità computazionale minimo orizzonte temporale utile

4 Problematiche Idrologiche Variabilità spaziale: piogge/ permeabilità Non linearità: imbibimento del terreno. Pioggia cumulata 5gg Rainfall/Runoff ingressi pluviometrici concentrati / distribuiti modelli lineari/ non lineari

5 Schema di previsione y(t, t-1,..): termini autoregressivi (portate) u1,u2(t-,t - -1,..): termini esogeni (piogge) : tempo di corrivazione piogge portate (ritardo) PREVISORE y(t+1) y(t) y(t-1) y(t-m)... u2(t- ) u2(t- -1) u2(t- -m)... u1(t- ) u1(t- -1) u1(t- -m)...

6 Previsione ricorsiva a K passi y t u1 t- y t-1 u1 t- -1 …. y t-L+1 … PREVISORE La del passo precedente diventa il primo termine autoregressivo nella nuova previsione K max = min( 1, 2.. M)+1 PREVISORE u1 t- +1 y t u1 t- …. y t-L …

7 Approccio black-box lineare (ARX) pioggia media: un unico ingresso X (perdita di informazione) n ingressi esogeni : pluviometri disponibili (es: 2) stima parametrica MQ linearità ordini delle parti = ??? ARX1X2

8 Misure in tempo reale Se Xi non è disponibile si ha il blocco del predittore. Soluzione: previsori demergenza 1 3 X2 2 X1 AR X1 X2 X3 Xn

9 Un diverso modello ARX per ogni classe idrologica ARX con soglie dominio di portata (mc/sec) In corrispondenza delle soglie si ha un brutale cambio di modello Soglia S1 S1=???? Soglia S2 S2=???? Predittore 1Predittore 2Predittore 3

10 Dagli ARX alle ANN Richiesta di modellizzazione non lineare ARX vs reti neurali Quale complessità per il predittore neurale? Ottimalità parametri Ottimalità ingressi (robustezza) pruning

11 Reti Neurali Artificiali (ANN) x0x0 x1x1 x2x2 y xrxr... f w 1,1 w n,r input strato nascosto (n neuroni) output neurone duscita

12 Modelli di neuroni artificiali xtxt x t-1 x t-2... w 1,1 w 1,r b 1 input neurone = f(Wx+b) x t- x t somma pesata degli ingressi (cfr. dendriti) funzione logistica (cfr. assone)

13 Reti Neurali Artificiali (ANN) input strato nascosto (n neuroni) output neurone duscita x0x0 x1x1 x2x2 y xrxr... w 1,1 w n,r

14 Apprendimento Il numero di parametri può arrivare a diverse centinaia Algoritmi di ottimizzazione non lineare per la stima dei parametri,ad es minimizzando overfitting

15 Ann: problematiche Diversi training di una medesima struttura neurale Minimi locali Early stopping Regolarizzazione Sovrataratura Tentativi ed errori Architettura ottimale Pruning: rimozione di parametri da una rete di partenza completamente connessa ottimale ed automatica selezione della struttura, non completamente connessa

16 Analisi di Salienza S j è misura dellincertezza di stima la rimozione del peso con minima S j genera il minimo incremento di Etrain

17 Lidea del pruning Calibrazione = training + testing Training (LM) della rete iniziale sovraparametrizzata Valutazione errore di test Stima salienza dei pesi Eliminazione peso a minore salienza Retrain della nuova rete Test error Training error Num parametri E test E train

18 Caso Di Studio: Previsione in Tempo Reale Delle Portate Del Fiume Olona

19 Inquadramento Idrologico Area bacino (Castellanza): 190 kmq Portata media: 2.5 mc/sec Portata attesa per T=10 anni: 108 mc/sec Minimo orizzonte previsionale utile: 3ore basse correlazioni piogge/portate Stazioni di misura: un idrometro, tre pluviometri 15 eventi considerati (circa 1100 passi orari)

20 Struttura dei previsori ARX: ordini 2,111 5 par. ANN1: 19 par. (6 neur, 3 pluv) ANN2: 5 pars. (2 neur, 2 pluv)

21 Risultati 3 h avanti ANN vs ARX: miglioramento del 10% in training miglioramento del 20% in validazione utilizzando una stazione pluviometrica in meno!! TaraturaValidazione RMSE ARX.016 ANN1.011 ANN2.014 ARX.017 ANN1.013 ANN2.013 Varianza non spiegata Corr V/P

22 Caso di studio: Tagliamento Area bacino: 2480 kmq Q media: 90 mc/sec Picco piena (1966) : 4000 mc/sec 5 stazioni pluviometriche 2000 dati di piena a passo orario

23 Letteratura Campolo et. Al. Water Resources Research, 1999 Rete neurale completamente connessa (5 pluviometri) Efficienza 5h avanti: 85%

24 Risultati di pruning Rete non completamente connessa Utilizzo di 3 soli pluviometri Efficienza 5h avanti: 84,5 %

25 Conclusioni (1) ANN permettono migliore qualità previsione rispetto ai lineari ARX (efficienza) pruning trova in modo analitico una struttura ottimale riduzione degli ingressi pluviometrici senza penalizzazione delle prestazioni previsionali

26 Basin saturation issues The catchment response to rainfall impulses depends strongly on the saturation state of the basin An indirect measure at time (t) may be obtained by using the information R(,t), i.e. cumulated rainfall on the time window [t-,t] The proxy can be noisy (spatial interpolation from local rain measures, differences between saturation and precipitation) The basin state at time (t) is classified in a fuzzy way. For instance: u 1 (t) : membership related to saturation class 1 (dry class) u 2 (t) : membership related to class 2 (wet class) u 1 (t) + 2 (t) =1 (constraint)

27 Fuzzyfication of cumulated rainfall R(,t) Suitable values of are found via hydrological analyses A set of centroids is identified on R(,t) (C-means fuzzy clustering algorithm) We fuzzify the basin state at each time step of the dataset

28 Coupling fuzzy logic and neural networks The rationale: each saturation class results in a different non-linear rainfall-runoff relationship The idea: u to train a different, specialized neural network on each saturation class u to issue the forecast by linearly combining the prediction of the different models u the higher the membership related to a given saturation class, the higher the weight of the corresponding predictor on the forecast

29 Specialized predictors training We implemented a weighted least squares variant of the LM training algorithm: To prevent overfitting, we jointly use regularization and early stopping during the training The optimal architectures are selected via trial and error (20 estimates of each model) The model showing the lowest wls on the validation set is finally chosen

30 Issuing the forecast As in Takagi Sugeno systems, we linearly combine the output of the specialized models: is the prediction of the j-th specialized model Switching between models is smooth and ruled by the state of the basin at time (t)

31 Olona: 3-hours ahead prediction performances (testing set) Model Efficiency (R 2 ) Correlation RMSE High flows error FFNN Fuzzy ( =2 days) Fuzzy ( =5 days) The fuzzy framework with =5 days appears the most effective forecasting approach

32 Simulation sample

33 CASO DI STUDIO: Tagliamento Suddivisione dati: Set di addestramento 1273 istanti Set di prova 483 istanti Set di validazione 599 istanti

34 Calcolo centroidi e membership: Addestramento delle reti: Funzione wls_trial Stima dellaltezza idrometrica: Funzione fuzzy_report Funzione C-Means Clustering SOFTWARE: nnsyssid20

35 RISULTATI 1/2 Valutazione statistica Errore quadratico medio: Indice di correlazione: Efficienza modello: F o varianza dati reali F errore quadratico medio

36 RISULTATI 2/2 Previsione con Pcum 5gg (t+5) Confronto tra le altezze idrometriche previste e quelle registrate sullintero set di validazione per i dati orari tra il 1978 e il 1996.

37 CONFRONTO CON LETTERATURA Previsione con passo di 5h eff 90,5 % Corani e Guariso rmse ρ0,9480 eff0,8790 Campolo et al. rmse ρ eff0,8500

38 Conclusions (2) The proposed approach uses specialized models and couples their output via fuzzy logic, in order to account for the basin saturation state The framework outperforms the classical FFNN rainfall-runoff approach The framework complexity does not involve significant computational overload nor additional measurement costs to issue the prediction

39 Unaltra applicazione: reti neurali per la previsione del PM10 a Milano

40 Milan case study Significant reduction of the yearly average of pollutants such as SO 2, NO x, CO, TSP (-90%, -50%, -65%, -60% in the period ). A major concern is constituted by PM10. Its yearly average is stable (about 45 g/m 3 ) since the beginning of the monitoring (1998). The limit value on the daily average (50 g/m 3 ) is exceeded about 100 days every year. The application: prediction at 9 a.m. of the PM10 daily average concentration of the current (and the following) day.

41 Air pollutants trends on Milan SO 2, NOx and CO: decreasing trends (catalytic converters, improved heating oils) PM10 and O 3 : increasing from the early 90s

42 Prediction methodology: FFNN The input set contains both pollutants (PM10, NO x, SO 2 ) and meteorological data (pressure, temperature, etc). The input hourly time series are grouped to daily ones as averages over of given hourly time windows (chosen by means of cross- correlation analysis). The architecture is selected via trial and error and trained using the LM algorithm and early stopping. PM10 expected concentration Hidden layer: logistic Input set X1X1 X2X2 X3X3 XnXn

43 PM10 time series analysis Available dataset: Winter concentrations are about twice as summer ones, both because of unfavorable dispersion conditions and higher emissions On average, concentrations are about 25% lower on Sundays than in other days

44 Deseasonalization approach Yearly and weekly PM10 periodicities are clearly detected also in the frequency domain The same periodicities are detected also on NO x and SO 2 On each pollutant, we fit a periodic regressor R(,t) before training the predictors. PM10 pred (t)= R(,t) + y(t) [y(t) is the actual output of the ANN] R(,t)= =c+f( 1,t)+ f( 2,t) where: f(,t)= k [a k sin(k t)+b k cos(k t)] k= 1,2 1 =2 /365 day -1 ; 2 =2 /7 day -1 Meteorological data are standardized as usual.

45 Prediction at 9 a.m. for the current day t DeseasonalizedNormalized average behavior MAE7.70 (17% ) 8.71 (19% ) 50 g/m 3 threshold detection CPO CPP FA CPP: CPO: FA: Satisfactory performances. Deseasonalization allows to increase the average goodness of fit indicators As a term of comparison, a linear ARX predictor results in = 0.89 and MAE=11 g/m 3

46 Prediction for the following day (t+1) To meet such an ambitious target, we added further meteorological improper (i.e., unknown at 9 a.m. of day t) input variables, such as rainfall, temperature, pressure etc. measured over both day t and t+1 The performances obtained in this way can be considered as an upper bound of what can be achieved by inserting actual meteorological forecasts in the predictor Pollutant time series have been again deseasonalized via periodic regressor We tried - besides trial and error - also a different identification approach for neural networks, namely pruning

47 OBS pruning algorithm training of the initial fully connected architecture; ranking of parameters on the base of their relevance (saliency); elimination of the parameter with the lowest saliency; generation of a new architecture (one parameter less); re-training of the obtained network; evaluation of the mean square error over the validation set; back to step 2, until there are parameters left

48 Pruned ANNs The network showing the lowest validation error is finally chosen as optimal Pruned ANNs are parsimonious: they contain one order of magnitude less parameters than fully-connected ones X1X1 X2X2 X3X3 XnXn Pruned network sample Selection

49 Results Connected NNPruned NN average behavior 0.76 MAE13.08 (29% ) (29% ) 50 g/m 3 threshold detection CPO CPP FA Performances of the two models are very close to each other, decreasing strongly with respect to the 1-day case As a term of comparison, the network trained without improper meteorological information looses just a few percent over the different indicators, showing an almost irrelevant gap

50 Conclusions (3) Performances on the 1-day prediction appears to be satisfactory: in this case, the system can be really operated as a support to daily decisions (traffic blocks, alarm diffusion,…). Deseasonalization of data before training the predictors seems to be helpful in improving the performances. 2-days forecast are disappointing, even if improper meteo data are introduced. Performance differences between pruned and fully connected neural networks are neglegible. More comprehensive meteorological data (vertical profiles, mixing layer) may be more substantial than training methods in improving the quality of longer term forecasts.

51 Altre architetture di reti PROBLEMA: come effettuare laddestramento? Possibile soluzione: prevedere un numero massimo di cicli RETI RICORRENTI: alcune uscite ritornano in ingresso alliterazione successiva. Utilizzate in diversi campi (http://www.idsia.ch/~juergen/rnn.html).

52 Utili, ad esempio, per la diagnostica di reti di sensori (un sensore guasto dà risultati diversi da quelli in uscita dalla rete). RETI AUTOASSOCIATIVE: addestrate a riprodurre gli ingressi, passando per uno strato con pochi neuroni: servono per estrarre caratteristiche (come Componenti Principali) utili per scoprire i legami (non lineari) tra gli ingressi


Scaricare ppt "Reti Neurali nella previsione di variabili ambientali."

Presentazioni simili


Annunci Google