Ottimizzazione multi obiettivo e vincolata applicata ad un modello di regressione lineare multipla Studio dell’effetto congiunto che variabili macro e microeconomiche esercitano sui rendimenti azionari ing. Mattia Ciprian (DipEne) dott. Giulia Nogherotto (DETA) dott. Massimiliano Kaucic (DETA)

Lo studio prende l’avvio dalla volontà di costruire un modello di regressione lineare multifattoriale per lo studio dell’indice MSCI Europe in relazione all’andamento di alcune variabili di tipo macroeconomico e microeconomico nel tempo L’indagine si concentra in un primo momento sullo studio dell’indice settoriale Energy del MSCI Europe Il lavoro che presentiamo si pone l’obiettivo di ottimizzare il procedimento di determinazione del modello più che di valutare le singole variabili considerate nella regressione Questo costituirà lo step successivo dell’analisi

Il metodo econometrico, usato per la costruzione di modelli econometrici, può essere classificato in tre fasi: specificazione del modello, stima dei parametri e test nella prima fase di specificazione del modello un ruolo importante lo svolgono le ipotesi che si fanno su come è fatto il processo statistico che ha generato i dati. La teoria economica suggerisce l’elenco delle variabili di interesse del problema che si intende affrontare e la direzione di causalità un metodo largamente utilizzato per la stima del modello parametrico è quello dei minimi quadrati ordinari (OLS ordinary least squares) le ipotesi di specificazione formano l’oggetto dei test

Il modello Il modello di regressione lineare multipla utilizzato assume la seguente forma generale: Insieme delle osservazioni della variabile dipendente Insieme delle osservazioni delle variabili (macro e micro) considerate moltiplicate i coefficienti di regressione Componente di disturbo Trieste, 7 Febbraio 2005 Complex Systems in Economics

Definizione del problema Una volta effettuata la stima dei coefficienti, utilizzando un metodo dei minimi quadrati, è necessario verificare la misura in cui le variabili macroeconomiche e microeconomiche risultano statisticamente significative nello spiegare i rendimenti dell’indice azionario. A questo scopo sono state calcolate due serie di test: test di significatività dei parametri della regressione test di scorretta specificazione del modello Trieste, 7 Febbraio 2005 Complex Systems in Economics

Complex Systems in Economics Nel primo gruppo di test si distinguono - test che interessano l’intera regressione (Es: R2, test F) - test legati alle singole variabili esplicative (Es: t-test) I secondi sono test che hanno a che vedere con le scelte di specificazione del modello e si concentrano sull’analisi dei residui della regressione Trieste, 7 Febbraio 2005 Complex Systems in Economics

Test di significatività dei parametri R quadro corretto Fornisce una misura sintetica della bontà della regressione ovvero della misura in cui la variabile dipendente è spiegata dalle variabili esplicative piuttosto che dai termini di errore SQE = somma quadrati errore SQR = somma quadrati regressione n = numero di osservazioni p = numero variabili indipendenti

Complex Systems in Economics Test F F = statistica test F avente una distribuzione F con p e n – p – 1 gradi di libertà Sotto l’ipotesi nulla di assenza di relazione lineare tra la variabile dipendente e le variabili esplicative tale statistica assume valore inferiore al valore critico individuato sulle tavole Se p-value < α (solitamente 0,05) allora l’apporto del modello di regressione alla spiegazione della variabilità della variabile dipendente è significativo. Trieste, 7 Febbraio 2005 Complex Systems in Economics

Complex Systems in Economics Criterio di Schwartz l = funzione di logverosimiglianza Questa statistica (Information criterion) permette di indirizzarsi verso una regressione con il numero migliore di ritardi (scostamenti temporali tra le serie storiche) Si sceglie la regressione con il valore più basso del test Trieste, 7 Febbraio 2005 Complex Systems in Economics

T-test sulle singole variabili p = numero di variabili esplicative bk= inclinazione di Y rispetto alla variabile k tenendo costanti le altre variabili Sbk = errore standard del coefficiente di regressione bk t = statistica test con distribuzione t con n – p – 1 gradi di libertà. Sotto l’ipotesi nulla di assenza di relazione lineare tra la singola variabile indipendente e la variabile dipendente tale statistica assume valore inferiore al valore critico delle tavole (p-value < livello di significatività scelto) Trieste, 7 Febbraio 2005 Complex Systems in Economics

Test sulle assunzioni di base del modello di regressione lineare Test di scorretta specificazione Ipotesi sui residui Il valore atteso dell’errore è nullo La varianza degli errori è costante (omoschedasticità) Gli errori non sono correlati tra di loro nel tempo (incorrelazione seriale dei disturbi) Gli errori assumono una distribuzione normale Trieste, 7 Febbraio 2005 Complex Systems in Economics

Ipotesi nulla: assenza di eteroschedasticità Test LM ARCH Il test mira a verificare se i residui della regressione seguono o meno un modello ARCH il quale per definizione è caratterizzato da eteroschedasticità condizionale Test di White Si basa su una regressione ausiliaria dove i quadrati dei residui sono la variabile dipendente mentre tra le variabili esplicative sono incluse le variabili della regressione originaria, i residui standardizzati e i loro rispettivi quadrati Trieste, 7 Febbraio 2005 Complex Systems in Economics

Complex Systems in Economics Ipotesi nulla: assenza di correlazione seriale dei residui Test Durbin Watson = valore dei residui in ciascun periodo In caso di assenza di correlazione seriale dei residui di primo ordine la statistica assume un valore prossimo a 2 Trieste, 7 Febbraio 2005 Complex Systems in Economics

Ipotesi nulla: normalità dei residui Test di Jarque Bera S = indice di asimmetria K = indice di Kurtosi S deve essere prossimo a 0 K deve essere prossimo a 3 Sotto l’ipotesi di normalità la statistica JB si distribuisce come una Chi quadro con 2 gradi di libertà Il test JB deve avere probabilità alta per accettare l’ipotesi nulla Trieste, 7 Febbraio 2005 Complex Systems in Economics

Complex Systems in Economics Approccio Classico: Tuning dei dati con correzioni successive di un operatore esperto; 1 settimana di lavoro “a mano” continuato rischio di non raggiungere la soluzione ottima Proposto: Metodo autonomo ed automatico di ricerca operativa; Realizzazione algoritmi statistici (MatLab®) e ottimizzazione vincolata (modeFRONTIER®) Trieste, 7 Febbraio 2005 Complex Systems in Economics

Complessità del problema Alta variabilità del modello; Alto numero di variabili (L & P); Alto numero di combinazioni possibili (34 variabili = 2.7345e+037 combinazioni); Soluzioni inattese. Trieste, 7 Febbraio 2005 Complex Systems in Economics

Complex Systems in Economics Obiettivi e Vincoli Constraints: P-value < 0.05 (equivalente a T-test >2-3); Omoschedasticità (Arch LM test su residui); Nessuna correlazione seriale (Ljung-Box Q-statistic su residui); Normalità dei disturbi (Jarque-Bera test su residui); Objectives: |Durbin-Watson| 2.0; R2 1.0; Max “F-statistic”; Min “Schwartz criterion”; Trieste, 7 Febbraio 2005 Complex Systems in Economics

Elaborazione con MATLAB VARIABLE = -89.39330035283315 29.28174450645721 -3.05286798514071 0.00296344763259 7.15362111261956 2.62051774852393 2.72985028117021 0.00759294072889 0.88752314222490 1.12088889969602 0.79180295430314 0.43051240108602 1.29767688899965 1.84901533701817 0.70182051117670 0.48456280119687 -3.45283082863135 1.68512599764740 -2.04900454532886 0.04330971021216 3.29910540012864 0.40909669820450 8.06436574679821 0.00000000000265 0.12896559962647 1.11016733375858 0.11616771247434 0.90777282593419 0.17903257073845 0.18939333279196 0.94529500114509 0.34698438184647 0.74223279975027 0.25427124298342 2.91905915526065 0.00441370564728 Adj_R_squared = 0.93457117572405 SE_of_regression = 5.02793003404184 sum_squared_resid = 2.325767399304235e+003 LogLikelihood = -3.017153748060340e+002 Durbin_Watson_stat = 2.10077128035871 Mean_dependent_var = 1.004370297029703e+002 SD_dependent_var = 19.65643105828494 AIC = 6.15277969912939 SC = 6.38581024023405 F_statistic = 1.795472966361125e+002 Prob_F_statistic = 0 C'è eteroschedasticità! Non c'è correlazione seriale! C'è la normalità dei disturbi! Constraint p-value = 4 Trieste, 7 Febbraio 2005 Complex Systems in Economics

Main Diagram (mF) Lags Objectives Constraints Statistics Presences DOE (+MOGA) Trieste, 7 Febbraio 2005 Complex Systems in Economics

Pre-processing (Reduced Factorial 2048) Trieste, 7 Febbraio 2005 Complex Systems in Economics

Correlazione degli Obiettivi Trieste, 7 Febbraio 2005 Complex Systems in Economics

Scatter Chart: F-Statistic vs. Schwartz Criterion Trieste, 7 Febbraio 2005 Complex Systems in Economics

Complex Systems in Economics Rottura dei Vincoli Trieste, 7 Febbraio 2005 Complex Systems in Economics

P-value vs. Num. Serie Storiche Trieste, 7 Febbraio 2005 Complex Systems in Economics

Revisione Obiettivi e Vincoli Constraints: P-value < 0.05; Omoschedasticità (Arch LM test su residui); Nessuna correlazione seriale (Ljung-Box Q-statistic su residui); Normalità dei disturbi (Jarque-Bera test su residui); Objectives: |Durbin-Watson| 2.0; R2 1.0; Max “F-statistic”; Min “Schwartz criterion”; Serie Storiche utilizzate  10 |2-DurbinWatson| < 0.1 R2 > 0.92 F-statistic > 200 Trieste, 7 Febbraio 2005 Complex Systems in Economics

Ricerca del DOE iniziale Trieste, 7 Febbraio 2005 Complex Systems in Economics

Complex Systems in Economics Ottimizzazione Dopo circa 15.000 calcoli complessivi equivalenti a 4 ore effettive di lavoro (0,92 s / calcolo AMD 2200+ 512 Mb RAM) si è ritenuta conclusa l’ottimizzazione. Trieste, 7 Febbraio 2005 Complex Systems in Economics

Storia degli obiettivi (feasible) Trieste, 7 Febbraio 2005 Complex Systems in Economics

Durbin-Watson History Chart Trieste, 7 Febbraio 2005 Complex Systems in Economics

F-Statistic History Chart Trieste, 7 Febbraio 2005 Complex Systems in Economics

R2 Adjusted History Chart Trieste, 7 Febbraio 2005 Complex Systems in Economics

Schwarz Criterion History Chart Trieste, 7 Febbraio 2005 Complex Systems in Economics

Complex Systems in Economics 4D Bubble Chart |DW-2| F-Stat Diameter: R2 Adj Color: Design ID Trieste, 7 Febbraio 2005 Complex Systems in Economics

Scatter Chart: F-Statistic vs. Schwartz Criterion Trieste, 7 Febbraio 2005 Complex Systems in Economics

Vincoli rotti nel corso dell’ottimizzazione Trieste, 7 Febbraio 2005 Complex Systems in Economics

Complex Systems in Economics Parallel Chart |DW-2| R2 F-stat Schwarz n. Serie Trieste, 7 Febbraio 2005 Complex Systems in Economics

Un esempio di regressione: elaborazione manuale Riportiamo i risultati parziali ottenuti da un operatore intenzionato a costruire “a mano” con l’uso del programma E-views un modello di regressione Il tempo impiegato è stato di parecchie giornate La finestra che segue è quella di output di E-views e contiene le determinazioni per i coefficienti di regressione e i risultati di alcuni test Trieste, 7 Febbraio 2005 Complex Systems in Economics

Complex Systems in Economics Dependent Variable: Y Method: Least Squares Date: 09/15/04 Time: 14:56 Sample(adjusted): 1995:03 2003:11 Included observations: 105 after adjusting endpoints Variable Coefficient Std. Error t-Statistic Prob. C 0.352252 0.080518 4.374809 0.0000 A5(-1) -4.672518 0.818599 -5.707943 A6(-1) 3.976680 0.815423 4.876833 A10(-1) -3.921346 0.527958 -7.427385 A11(-1) 1.929414 0.613754 3.143629 0.0022 A12 1.940204 0.190056 10.20861 A14 -0.308445 0.075848 -4.066613 0.0001 A16 -0.298675 0.108295 -2.757981 0.0070 A18(1) 2.028787 0.281547 7.205867 A23(-1) 6.262742 0.925704 6.765385 A27(-1) -3.923107 0.822130 -4.771880 R-squared 0.690991 Mean dependent var -0.021301 Adjusted R-squared 0.658118 S.D. dependent var 1.009837 S.E. of regression 0.590459 Akaike info criterion 1.883025 Sum squared resid 32.77233 Schwarz criterion 2.161059 Log likelihood -87.85882 F-statistic 21.01982 Durbin-Watson stat 1.463535 Prob(F-statistic) 0.000000 Trieste, 7 Febbraio 2005 Complex Systems in Economics

Complex Systems in Economics Residui Series: residuals Observations: 105 Mean: 1,58E -15 Median: -0,005875 Maximum: 1,477394 Minimum: -1,286199 Skewness: 0,095080 Kurtosis: 2,698769 Jarque-Bera: 0,555191 Probability: 0,757603 Trieste, 7 Febbraio 2005 Complex Systems in Economics

Complex Systems in Economics I valori evidenziati ci interessano per valutare la bontà della regressione Mentre la prima finestra di output ci mostra risultati abbastanza buoni, i test sui residui (Test LM ARCH, Test di White) determinano il rifiuto dell’ipotesi nulla e dunque dimostrano la non bontà del modello Anche il test di normalità non restituisce un esito positivo Trieste, 7 Febbraio 2005 Complex Systems in Economics

Un esempio di regressione: elaborazione automatizzata Ecco invece quanto ottenuto inserendo in E-views le variabili e i lags suggeriti dal meccanismo di ottimizzazione Abbiamo selezionato, come esempio, un modello con 5 variabili e scostamenti temporali sia positivi che negativi Trieste, 7 Febbraio 2005 Complex Systems in Economics

Complex Systems in Economics Finestra di output di E-views Dependent Variable: PREZZO Method: Least Squares Date: 12/09/04 Time: 17:53 Sample(adjusted): 1995:04 2003:09 Included observations: 102 after adjusting endpoints Variable Coefficient Std. Error t-Statistic Prob. C -105.0189 8.340479 -12.59148 0.0000 VAR1(-1) 6.234941 2.121948 2.938310 0.0041 VAR2(3) 3.497535 1.087860 3.215059 0.0018 VAR6(-1) 3.229388 0.384265 8.404068 VAR13(3) 2.970584 0.549070 5.410213 VAR18(-3) 0.703792 0.151006 4.660695 R-squared 0.939245 Mean dependent var 100.0481 Adjusted R-squared 0.936081 S.D. dependent var 19.94939 S.E. of regression 5.043647 Akaike info criterion 6.131158 Sum squared resid 2442.084 Schwarz criterion 6.285569 Log likelihood -306.6891 F-statistic 296.8250 Durbin-Watson stat 2.018771 Prob(F-statistic) 0.000000 Trieste, 7 Febbraio 2005 Complex Systems in Economics

Complex Systems in Economics Residui Trieste, 7 Febbraio 2005 Complex Systems in Economics

Complex Systems in Economics ARCH Test:   F-statistic 0.198504 Probability 0.976414 Obs*R-squared 1.267732 0.973407 Test Equation: Dependent Variable: RESID^2 Method: Least Squares Date: 12/10/04 Time: 15:47 Sample(adjusted): 1995:10 2003:09 Included observations: 96 after adjusting endpoints Variable Coefficient Std. Error t-Statistic Prob. C 23.46564 7.430890 3.157850 0.0022 RESID^2(-1) 0.007833 0.106151 0.073792 0.9413 RESID^2(-2) 0.000571 0.105896 0.005393 0.9957 RESID^2(-3) -0.060903 0.105626 -0.576593 0.5657 RESID^2(-4) 0.069567 0.105734 0.657945 0.5123 RESID^2(-5) 0.066208 0.106125 0.623864 0.5343 RESID^2(-6) -0.020720 0.106354 -0.194824 0.8460 R-squared 0.013206 Mean dependent var 25.02322 Adjusted R-squared -0.053320 S.D. dependent var 36.29199 S.E. of regression 37.24697 Akaike info criterion 10.14314 Sum squared resid 123473.0 Schwarz criterion 10.33012 Log likelihood -479.8707 Durbin-Watson stat 1.993503 Prob(F-statistic) Trieste, 7 Febbraio 2005 Complex Systems in Economics

Complex Systems in Economics I risultati ottenuti dall’elaborazione con il programma E-views dimostrano come la scelta delle variabili e dei lags suggerita dal processo di ottimizzazione conduca alla determinazione di un ottimo modello di regressione secondo i vincoli imposti dall’operatore Trieste, 7 Febbraio 2005 Complex Systems in Economics

Complex Systems in Economics Thanks to: Esteco http://www.esteco.com/ Eu-Ra http://www.eu-ra.com/ Università degli Studi di Trieste http://www.units.it/ Trieste, 7 Febbraio 2005 Complex Systems in Economics

Ottimizzazione multi obiettivo e vincolata applicata ad un modello di regressione lineare multipla Studio dell’effetto congiunto che variabili macro e microeconomiche esercitano sui rendimenti azionari ing. Mattia Ciprian (DipEne) dott. Giulia Nogherotto (DETA) dott. Massimiliano Kaucic (DETA)

Complex Systems in Economics Basi del GA Principali meccanismi di funzionamento: Riproduzione Mantenimento dei caratteri dominanti nelle successive generazione Incrocio o crossover Determinazione degli individui figli a partire dalla divisione delle stringhe genitori Mutazione Introduzione di anomalie su di un campione della popolazione al fine di ricercare nuove configurazioni Trieste, 7 Febbraio 2005 Complex Systems in Economics