Metodi Quantitativi per Economia, Finanza e Management Lezione n° 11

Presentazione sul tema: "Metodi Quantitativi per Economia, Finanza e Management Lezione n° 11"— Transcript della presentazione:

1 Metodi Quantitativi per Economia, Finanza e Management Lezione n° 11

2 Il modello di regressione lineare
Le ipotesi del modello Equazione di regressione lineare multipla i-esima oss. su Y i-esima oss. su X1 errore relativo all’i-esima oss. intercetta coefficiente di X1 La matrice X=[1,X1,…,Xp] è detta matrice del disegno.

3 Il modello di regressione lineare
Le ipotesi del modello Errori a media nulla Errori con varianza costante (omoschedasticità) Errori non correlati (per ogni i≠j) Errori con distribuzione Normale * 1 – 3  hp deboli 1 – 4  hp forti

4 Il modello di regressione lineare
La stima del modello Stimando la retta di regressione si commette un errore di previsione: Metodo dei Minimi Quadrati VALORE OSS. Y X ERRORE VALORE STIMATO

5 Il modello di regressione lineare
La stima del modello Equazione teorica  coefficienti non noti Equazione stimata  coefficienti stimati (una delle infinite rette possibili) stime dei coefficienti errore di previsione previsione

6 Il modello di regressione lineare
La stima del modello Proprietà dello stimatore LS non distorto consistente (se valgono certe hp su X’X) coincide con lo stimatore di max verosimiglianza sotto hp forti  BLUE (Best Linear Unbiased Estimator) Consistenza vale sotto particolari ho sugli elementi di X’X  si ha consistenza sse gli elementi diagonali della matrice inversa di X’X vanno a 0 per n che va a infinito

7 Il modello di regressione lineare
La stima del modello Indicatori sintetici di bontà del Modello R-quadro  OK valori alti R-quadro adjusted  OK valori alti Test F  OK p-value con valori bassi

8 Il modello di regressione lineare
La stima del modello Test t per valutare la significatività dei singoli coefficienti ipotesi nulla (j=1,…,p) statistica test valutazione  il coefficiente è significativo (significativamente diverso da 0) se il corrispondente p-value è piccolo (ossia, rifiuto l’ipotesi di coefficiente nullo)  il regressore a cui il coefficiente è associato è rilevante per la spiegazione del fenomeno

9 Il modello di regressione lineare
La stima del modello Root MSE 55693 R-Square 0.6207 Dependent Mean 32431 Adj R-Sq 0.6200 Coeff Var Parameter Estimates Variable Label DF Parameter Estimate Standard Error t Value Pr > |t| Intercept 1 -15016 -6.46 <.0001 PAG_ORD Pagato in contrassegno 21.78 PAG_MES Pagato con rate mensili 24.98 TOT_ORD Totale ordini 14881 21.76 LISTA Numero di liste di appartenenza 0.54 0.5871 SESSO Sesso 1.73 0.0835 CEN Residenza Centro -2.48 0.0133 SUD Residenza Sud -18390 -8.85

10 Il modello di regressione lineare
La stima del modello Interpretazione dei coefficienti impatto di Xj su Y posto che nel modello sono presenti altre variabili tasso di variazione di Y al variare di Xj come varia Y al variare di una unità di Xj se gli altri regressori non variano

11 Il modello di regressione lineare
La stima del modello Segno del coefficiente indica la direzione dell’impatto del regressore a cui è associato segno atteso diverso da quello osservato può indicare interazione tra i regressori (multicollinearità) Ordine di grandezza dipende dall’unità di misura per valutarlo usare coefficienti standardizzati

12 Il modello di regressione lineare
Introduzione ai modelli di regressione – Case Study Obiettivi Le ipotesi del modello La stima del modello La valutazione del modello Commenti

13 Il modello di regressione lineare
L’analisi di Influenza INFLUENTI ? OUTLIERS ? Se hii va a 0 residui standardizzati e studentizzati coincidono. Se hii va a infinito i residui studentizzati sono molto più piccoli di quelli standardizzati. Valori alti di entrambi i residuioutlier Valori alti dei residui studentizzati e bassi dei residui standardizzatioss influente

14 Il modello di regressione lineare
L’analisi di Influenza Osservazione anomala rispetto alla variabilità di Y  non attira a sé il modello in maniera significativa OUTLIER

15 Il modello di regressione lineare
L’analisi di Influenza Osservazione anomala rispetto alla variabilità di Y attira a sé il modello in maniera significativa OUTLIER

16 Il modello di regressione lineare
L’analisi di Influenza Valutazione dell’impatto delle singole osservazioni osservazioni outlier che creano distorsione nella stima del modello - plot dei residui - plot X/Y osservazioni influenti che contribuiscono in modo “sproporzionato” alla stima del modello - statistiche di influenza

17 Il modello di regressione lineare
Statistiche di Influenza Leverage H: i-esimo elemento della diagonale della matrice di proiezione. misura quanto un’osservazione è lontana dal centro dei dati (ma tende a segnalare troppe oss influenti e tratta tutti i regressori nello stesso modo)  oss influente se lev H>2*(p+1)/n Distanza di Cook: misura la variazione simultanea dei coefficienti quando un’osservazione viene rimossa  oss influente se D>1 Leverage alto per i-esima oss la correlazione tra Yi e il suo valore previsto è quasi 1Yi ha forte influenza sulla stima del valore previsto. Se il valore è piccolo vuol dire che ci sono tante oss che contribuiscono alla stima del valore previsto. Un’oss con alto leverage fa spostare di tanto la retta stimata.

18 Il modello di regressione lineare
Statistiche di Influenza Plot delle statistiche di influenza  attenzione alle osservazioni nel quadrante in alto a destra D INFLUENTI - D INFLUENTI – SIA D CHE LEVERAGE H INFLUENTI - LEVERAGE H lev H

19 Il modello di regressione lineare
Statistiche di Influenza Root MSE 55693 R-Square 0.6207 Dependent Mean 32431 Adj R-Sq 0.6200 Coeff Var Parameter Estimates Variable Label DF Parameter Estimate Standard Error t Value Pr > |t| Intercept 1 -15016 -6.46 <.0001 PAG_ORD Pagato in contrassegno 21.78 PAG_MES Pagato con rate mensili 24.98 TOT_ORD Totale ordini 14881 21.76 LISTA Numero di liste di appartenenza 0.54 0.5871 SESSO Sesso 1.73 0.0835 CEN Residenza Centro -2.48 0.0133 SUD Residenza Sud -18390 -8.85

20 Il modello di regressione lineare
Statistiche di Influenza

21 Il modello di regressione lineare
Statistiche di Influenza DATA REGRESS1 (DROP = COOK H REDD_PRE RES_STUD); SET RESID_0; WHERE COOK < & H < 0.015; PROC REG DATA=REGRESS1; MODEL REDD=PAG_ORD PAG_MES TOT_ORD LISTA SESSO CEN SUD ; PAINT RSTUDENT.> 2 / SYMBOL='O'; PAINT RSTUDENT.<-2 / SYMBOL='O'; PLOT RSTUDENT.*P.; PLOT P.*REDD; PLOT COOKD.*H.; RUN;

22 Il modello di regressione lineare
Statistiche di Influenza

23 Il modello di regressione lineare
Statistiche di Influenza

24 Il modello di regressione lineare
Statistiche di Influenza Root MSE 52693 R-Square 0.6204 Dependent Mean 30935 Adj R-Sq 0.6197 Coeff Var Parameter Estimates Variable Label DF Parameter Estimate Standard Error t Value Pr > |t| Intercept 1 -14624 -6.63 <.0001 PAG_ORD Pagato in contrassegno 21.05 PAG_MES Pagato con rate mensili 26.85 TOT_ORD Totale ordini 14434 21.41 LISTA Numero di liste di appartenenza 0.83 0.4071 SESSO Sesso 1.69 0.0911 CEN Residenza Centro -2.57 0.0103 SUD Residenza Sud -17923 -9.09

25 Il modello di regressione lineare
La selezione dei regressori Poche variabili capacità previsiva  fit  parsimonia  interpretabilità  Tante variabili capacità previsiva  fit  parsimonia  interpretabilità  Criteri di selezione valutazioni soggettive confronto tra tutti i possibili modelli algoritmi di selezione automatica In SAS 9 possibili metodi di selezione delle variabili

26 Il modello di regressione lineare
La selezione dei regressori Procedura di calcolo automatico che seleziona il sottoinsieme di variabili ottimo tra quelli possibili forward selection  inserisce nell’equazione una variabile per volta, basandosi sul contributo del regressore inserito alla spiegazione della variabilità di Y backward selection  rimuove dall’equazione una variabile per volta, basandosi sulla perdita di capacità esplicativa della variabilità di Y conseguente all’eliminazione del regressore forward+backward selection  ogni variabile può entrare/uscire dal modello

27 Il modello di regressione lineare
La Multicollinearità X1,…,Xp non sono vettori linearmente indipendenti forte correlazione tra i regressori (o alcuni di essi) La varianza dello stimatore dei minimi quadrati tende ad esplodere Problema di stabilità delle stime In realtà X ha rango pieno ma esistono delle costanti a1,…,ap non nulle tali per cui sum(aiXi) molto vicina a zero  si ha una quasi dipendenza lineare tra X1,…,Xp. Vedi caso estremo con p=2 e X1=X2  beta1 e beta2 non sono identificabili, si riesce a stimare solo beta1+beta2 (varianza delle stime così grande che può succedere che le stime di beta1 e beta2 abbiano segno opposto pur essendo associate allo stesso regressore.

28 Il modello di regressione lineare
La Multicollinearità Y X1 X2 1

29 Il modello di regressione lineare
La Multicollinearità Y X1 X2 1

30 Il modello di regressione lineare
La Multicollinearità Per verificare la presenza di multicollinearità regressione lineare di Xj sui rimanenti p-1 regressori - Rj² misura la quota di varianza di Xj spiegata dai rimanenti p-1 regressori  valori alti=multicollin. - VIFj = 1 / (1 – Rj²) misura il grado di relazione lineare tra Xj e i rimanenti p-1 regressori  valori alti= multicollin.

31 Il modello di regressione lineare
La Multicollinearità Soluzioni rimozione delle variabili correlate selezione di una variabile rappresentativa dal gruppo di variabili legate da relazione lineare analisi delle componenti principali  trasformazione dei regressori in componenti non correlate (nella nuova regressione andranno incluse tutte le componenti principali) Vanno incluse tutte le CP perché le ultime componenti possono essere rilevanti da un punto di vista previsivo pur non essendolo dal punto di vista della spiegazione della variabilità di X1,…,Xp.

32 Il modello di regressione lineare
La Multicollinearità Parameter Estimates Variable Label DF Parameter Estimate Standard Error t Value Pr > |t| Standardized Estimate Variance Inflation Intercept 1 -14624 -6.63 <.0001 PAG_ORD Pagato in contrassegno 21.05 PAG_MES Pagato con rate mensili 26.85 TOT_ORD Totale ordini 14434 21.41 LISTA Numero di liste di appartenenza 0.83 0.4071 SESSO Sesso 1.69 0.0911 CEN Residenza Centro -2.57 0.0103 SUD Residenza Sud -17923 -9.09 Vanno incluse tutte le CP perché le ultime componenti Parameter EstimatesVariableLabelDFParameter EstimateStandard Errort ValuePr > |t|Standardized EstimateVariance InflationInterceptIntercept < PAG_ORDPagato in contrassegno < PAG_MESPagato con rate mensili < TOT_ORDTotale ordini < LISTANumero di liste di appartenenza SESSOSesso CENResidenza Centro SUDResidenza Sud < essere rilevanti da un punto di vista previsivo pur non essendolo dal punto di vista della spiegazione della variabilità di X1,…,Xp.

33 Il modello di regressione lineare
La Multicollinearità Root MSE 52693 R-Square 0.6204 Dependent Mean 30935 Adj R-Sq 0.6197 Coeff Var Parameter Estimates Variable Label DF Parameter Estimate Standard Error t Value Pr > |t| Variance Inflation Intercept 1 30935 35.56 <.0001 Factor1 61162 70.30 Factor2 -0.34 0.7340 Factor3 24154 27.76 Factor4 3.96 Factor5 0.99 0.3220 Factor6 -13861 -15.93 Factor7 0.08 0.9326 Vanno incluse tutte le CP perché le ultime componenti Parameter EstimatesVariableLabelDFParameter EstimateStandard Errort ValuePr > |t|Standardized EstimateVariance InflationInterceptIntercept < PAG_ORDPagato in contrassegno < PAG_MESPagato con rate mensili < TOT_ORDTotale ordini < LISTANumero di liste di appartenenza SESSOSesso CENResidenza Centro SUDResidenza Sud < essere rilevanti da un punto di vista previsivo pur non essendolo dal punto di vista della spiegazione della variabilità di X1,…,Xp.

34 Il modello di regressione lineare
La Multicollinearità Root MSE 52679 R-Square 0.6203 Dependent Mean 30935 Adj R-Sq 0.6199 Coeff Var Parameter Estimates Variable Label DF Parameter Estimate Standard Error t Value Pr > |t| Standardized Estimate Variance Inflation Intercept 1 30935 35.57 <.0001 Factor1 61162 70.32 Factor3 24154 27.77 Factor4 3.96 Factor6 -13861 -15.94 Vanno incluse tutte le CP perché le ultime componenti Parameter EstimatesVariableLabelDFParameter EstimateStandard Errort ValuePr > |t|Standardized EstimateVariance InflationInterceptIntercept < PAG_ORDPagato in contrassegno < PAG_MESPagato con rate mensili < TOT_ORDTotale ordini < LISTANumero di liste di appartenenza SESSOSesso CENResidenza Centro SUDResidenza Sud < essere rilevanti da un punto di vista previsivo pur non essendolo dal punto di vista della spiegazione della variabilità di X1,…,Xp.

35 Il modello di regressione lineare
La Valutazione del modello Si vuole verificare bontà delle stime adattamento del modello ai dati impatto delle singole osservazioni impatto dei regressori Strumenti test statistici indicatori di performance analisi dei residui analisi degli outliers analisi di influenza valutazione dei coefficienti e correlazioni parziali