La presentazione è in caricamento. Aspetta per favore

La presentazione è in caricamento. Aspetta per favore

1 MODELLO DI REGRESSIONE LINEARE MULTIPLA 1.Il problema 2.Specificazione del modello 3.Le assunzioni 4.Stimatori OLS e proprietà 5.R 2, variabilità totale,

Presentazioni simili


Presentazione sul tema: "1 MODELLO DI REGRESSIONE LINEARE MULTIPLA 1.Il problema 2.Specificazione del modello 3.Le assunzioni 4.Stimatori OLS e proprietà 5.R 2, variabilità totale,"— Transcript della presentazione:

1 1 MODELLO DI REGRESSIONE LINEARE MULTIPLA 1.Il problema 2.Specificazione del modello 3.Le assunzioni 4.Stimatori OLS e proprietà 5.R 2, variabilità totale, spiegata, residua 6.Previsione 7.Variabili dummy 8.Specificazione del modello 9.Violazioni delle ipotesi del modello

2 2 1. IL PROBLEMA Ricerca di un modello matematico in grado di esprimere la relazione esistente tra una variabile di risposta y (quantitativa) e ( ad esempio) k variabili esplicative Si tratta di una relazione asimmetrica del tipo Nel caso del modello di regr.lineare multipla abbiamo che: che geometricamente corrisponde ad un iperpiano a k dimensioni Perché si studia tale modello i)facilità con cui può essere interpretato un iperpiano a k dimensioni ii)Facilità di stima dei parametri incogniti  j ( j = 1…k) Nella realtà studiamo un modello del tipo Componente componente sistematica casuale

3 3 2. IL MODELLO In forma matriciale dove : vettore (n x 1) di osservazioni sulla variabile dipendente : matrice (n x k) di osservazioni su k regressori : vettore (k x 1) di parametri incogniti : vettore (n x 1) di disturbi stocastici

4 4 N.B. La matrice X ha la prima colonna unitaria nel caso in cui si consideri un modello con intercetta  1 nel sistema di riferimento multidimensionale Le matrici e i vettori sono così definiti

5 5 3. LE ASSUNZIONI DEL MODELLO 1)Esiste legame lineare tra variabile dipendente e regressori 2)Le variabili sono tutte osservabili 3)I coefficienti  i non sono v.c. 4)I regressori X sono non stocastici 5)Il termine u non è osservabile 6) 7) le u i sono omoschedastiche ed incorrelate 8)X ha rango pieno rank (X) = k condizione necessaria 9) hp aggiuntiva da utilizzare nell’analisi inferenziale

6 6 4. STIMATORE OLS y = X  + u Si cercherà quel vettore che minimizza gli scarti al quadrato: dove X i è la riga i-esima di X In forma matriciale = perché scalare (1)

7 7 è uno scalare dalla (1) si ottiene pre-moltiplicando ambo i membri perché rank (X’X) = rank (X) = k X’X è a rango pieno ovvero invertibile stimatore OLS di  perché

8 8 CARATTERISTICHE STIMATORE OLS Teorema di Gauss-Markov è uno stimatore di tipo BLUE Best Linear Unbiased Estimator ovvero ha varianza minima nella classe degli stimatori Lineari e Corretti 1. La matrice è formata da elementi costanti per cui è una trasformazione lineare di y. 2. È uno stimatore corretto Inoltre:

9 9 Si consideri più in dettaglio Pertanto la varianza di ogni parametro si desume prendendo il corrispondente valore sulla diagonale principale della, moltiplicato per : 3.

10 10 Definiamo uno stimatore alternativo lineare e corretto dove C è una matrice (n x k) ma Pertanto la è la minima nella classe degli stimatori lineari e corretti, e risulta provato il teorema di Gauss-Markov.

11 11 STIMA DI M X è simmetrica e idempotente, cioè: Da queste proprietà di M X si ottiene perché scalare tr(ABC)= tr(BCA)= tr(BAC)

12 12 è uno stimatore corretto ESEMPIO (Greene p.200) i : 1960 … 1986, n = 27 G i = consumo di benzina in $ P gi = indice dei prezzi benzina Y i = reddito pro-capite in $ P qi = indice dei prezzi auto nuove Se definiamo

13 13 Vettore y x 1 1 x x x Matrice X’X; e Matrice inv (X’X); e e e Stime b=inv(X’X) * X’y;

14 14 Y n=10 X (X’X) Inv (X’X) Beta = inv(X’X)*X’y X X e e X

15 15 RICAPITOLANDO Fino ad ora nessuna ipotesi è stata posta per la distribuzione degli errori nel problema della stima. Aggiungiamo :

16 16 TEST PER LA VERIFICA DI IPOTESI Dal teorema di GAUSS-MARKOV : Vogliamo testare Ovvero vogliamo verificare se il regressore X i è effettivamente sulla variabile dipendente Y. Nel caso (improbabile) che sia nota  2 la statistica test è: Sotto si distribuisce come una normale standardizzata.

17 17 Se il valore cade all’esterno dell’intervallo di confidenza, per esempio al 95%, della N(0,1) rifiutiamo H 0 ed il parametro  i sarà “significativamente” diverso da zero; altrimenti non rifiutiamo H 0 e concludiamo che il parametro  i non sarà “significativo” In generale per un sistema di ipotesi H 0 :  i =c contro H 0 :  i  c rifiuto, al livello 100  % di significatività, quando

18 18 QUANDO  2 NON E’ NOTA Utilizziamo la sua stima In questo caso la statistica test è dove è l’elemento generico di posto ii nella diagonale della (X’X) Le ipotesi su  i possono essere verificate sostituendo i valori nella statistica test e controllando poi che la statistica superi o meno i valori della regione critica della distribuzione t n-k.

19 19 Quindi per verificare la significatività di  i procederò nel seguente modo: H 0 :  i =0 contro H 1 :  i  0 Statistica test: Che sotto H 0 si distribuisce come una t(n-k). Pertanto fissato  se il valore della statistica test cade all’esterno dell’intervallo di confidenza Rifiuto H 0 di non significatività del parametro, altrimenti non rifiuto H 0 e concludo che il parametro non è significativo.

20 20 5. ADATTAMENTO DEL MODELLO Come nel caso del modello di regressione semplice, il coefficiente di determinazione rappresenta la proporzione di variabilità totale spiegata dal modello, ovvero una misura dell’adattabilità del modello ai dati osservati. La formula per esprimere il coefficiente è analoga a quella dell regressione semplice, solo che in questo caso per variabilità spiegata dal modello si intende la variabilità spiegata dall’insieme dei regressori

21 21 Alternativamente si può scrivere:  ΣTSS, total sum of squares: somma totale dei quadrati degli scarti della variabile dipendente rispetto alla media  RSS, residual sum of sqares:somma dei quadrati residua o non spiegata dal modello  ESS, explained sum of squares: somma dei quadrati spiegata dal modello

22 22 Il coefficiente di determinazione è un indicatore del legame lineare tra Y e i regressori. Ha però un difetto: Esso può aumentare anche se viene aggiunto un regressore anche se non “spiega” y. Se dividiamo le devianze per i gradi di libertà andiamo a pesare il contributo a R 2 di ogni regressore

23 23 TABELLA ANOVA Causa var. DevianzaG.L.Stime var. Modello x 2 …..x k k-1 Residuo n-k Totale n-1 Nota: direttamente dalla tabella ANOVA si può costruire il coefficiente di determinazione.

24 24 Per valutare la significatività del modello si ricorre a: H 1 : almeno uno dei  i  0 Si costruisce la statistica test F Si individua il quantile 95% o il 99% della distribuzione F (k-1),(n-k) Se si rifiuta H 0 ovvero si accetta la significatività congiunta di tutte le variabili esplicative.

25 25 APPLICAZIONE (calcolo non matriciali) n = 12 k = 3 Facendo riferimento ai valori Determinare il vettore di stime OLS

26 26 Se consideriamo il modello in forma di scarti dalle medie Dove

27 27 da cui

28 28 priceBDRFLRFPRMSSTLOTTAXBTHCONGaRCDNL1L Price=selling price of house in thousands of dollars *BDR= Number of bedrooms *FLR= Floor space in sq.ft(computed bfrom dimension of each room and then augmented by 10%) *FP=Number of fireplaces ; * RMS=Number of rooms *ST=Storm windows (1 if present, 0 if absent) LOT=Front footage of lot in feet ; TAX=Annual taxes BTH=Number of bathrooms GAR=Garage size (0=no garage, 1=one-car garage,…) CDN=Condition (1=‘needs work’, 0 otherwise) L1=Location (L1=1 if property is in zone A, L1=0 otherw.) L2=Location (L2=1 if property is in zone B, L2=0 otherw.) R=14, n=26 SOURCE: Ms.Terry Tasch of Long-Kogan Realty, Chicago.

29 29 MULTIPLE REGRESSION dependent variable : Price Var-Covar matrix of Regression Coefficients (B) Below diagonal : Covariance. Above : Correlation FLR ST FP BDR RMS FLR 1.116E ST 5.112E FP E BDR 7.452E RMS Variables in the Equation Variable B SE B 95%Conf. Intrvl B Beta FLR ST FP BDR RMS Const in Variable T Sig T FLR ST FP BDR RMS (Const.) End Block Number 1 PIN=.050 Limits reached PRICE= *FLR *ST *FP-7.827*BDR *RMR= *(100) *(1) *(0) *(3)+4.864*(6)= (prezzo stimato)

30 30 RIPRENDIAMO L’ESERCIZIO (Applicazione lucidi precedenti) ( F 0.01, 2, 9 = 8.02) Ricordiamo: n = 12 k = 3 con intercetta 2 var. esplicative in forma di scarti valore empirico di F Si rifiuta H 0 con un livello di significatività del 99% F empirico = >F 0.01,2,9 = 8.02

31 31 Se avessimo voluto testare Ovvero la significatività di X 2 (t 99.9 = 2.82) valore empirico di t Anche adesso rifiutiamo H 0 il regressore X 2 è significativo

32 32 6. PROBLEMI DI PREVISIONE Si vuole prevedere il valore di Y n+1 per un insieme di valori X non osservati come: E’ possibile fare una previsione puntuale o stimare un intervallo di previsioni. Utilizzando le proprietà BLUE di avremo il PREVISORE PUNTUALE sarà BLUFF Best Linear Unbiased Forecasting Function

33 33 Per ottenere un intervallo di previsione è necessario individuare la distribuzione di Quindi una stima intervallare con un livello fiduciario del 100(1-  )% :

34 34 APPLICAZIONE Voglio prevedere Y dato X= X 0. Per calcolare l’intervallo devo determinare Infatti.

35 35 L’intervallo fiduciario sarà

36 36 A parità di dati osservati l’intervallo sarà tanto più largo quanto più X 0 è distante da

37 37 7. CENNI SULLE VARIABILI DUMMY (Variabili di comodo) Fino ad ora abbiamo assunto che nella equazione generale Y = X  + u Le variabili X siano variabili cardinali date dalla teoria economica. E’ possibile introdurre variabili cosiddette “di comodo” che riescano a rappresentare diversi fattori : – EFFETTI TEMPORALI – EFFETTI SPAZIALI – VARIABILI QUALITATIVE

38 38 È possibile che un modello economico possa subire mutamenti strutturali : FUNZIONE DI CONSUMO Tempo di guerra Tempo di pace Si ipotizza comunque che la propensione marginale al consumo rimanga invariata in entrambi i periodi

39 39 Invece di considerare i due modelli separatamente (stime meno precise) vengono uniti in una sola relazione Dove X 1 e X 2 sono variabili dummy : La matrice  dei coefficienti sarà e la matrice dei dati

40 40 La trappola delle variabili di comodo Quando utilizziamo le variabili dummy è necessario fare attenzione a come viene costruito il modello, per non rendere la matrice (X’X) singolare. Infatti se nel modello precedente lasciavamo una intercetta : Abbiamo che le 4 colonne di X sono linearmente dipendenti (X’X) non è invertibile

41 41 Volendo utilizzare una regressione con intercetta si utilizzerà così solo una dummy :  = PMC in entrambi i periodi  1 =  1 = intercetta anni di guerra  2 =  1 +  2 = intercetta anni di pace  1 –  2 =  2 = differenza tra l’intercetta del periodo guerra e pace Cambiamento di coefficiente angolare  2 –  1 = differenza propensione marginale al consumo nei due periodi

42 42 APPLICAZIONE (p.255 Maddala) Y =  1 +  2 SVA + u Y = km / litro SVA = Stima Vita Auto in anni W = peso in Kg

43 43 8. SPECIFICAZIONE DEL MODELLO In ogni studio econometrico, la scelta del modello è la prima fase del lavoro. Gli aspetti fondamentali sono: a)La scelta della forma funzionale b)La scelta dei regressori c)La verica sulle assunzioni del modello.

44 44 a.La scelta della forma funzionale Abbiamo parlato di modelli di regressione lineari, intendendo lineari nei parametri, ovvero anche di quei modelli che possono essere resi lineari tramite una opportuna trasformazione delle variabili. Ad esempio si consideri la funzione di produzione Cobb- Douglas (Y produzione, L lavoro, K capitale: Y=  L^  K^  Potrebbe sembrare non lineare, tuttavia dopo aver applicato la trasformazione logaritmica otteniamo: Ln(Y)=ln(  )+  ln(L)+  ln(K) Il modello così trasformato è lineare nei parametri e può essere facilmente trattato ed interpretato.

45 45 Esistono forme di modelli che risultano lineari nei parametri, ma sui quali fare attenzione soprattutto in fase di interpretazione. Modelli polinomiali: consideriamo un esempio. In microeconomia si studiano funzioni di produzione, se consideriamo la relazione tra prodotto medio ottenuto da aziende produttrici di materiale elettrico (AP: average product) e l’input (I) necessario alla produzione AP

46 46 È evidente che la relazione non è costante e quindi non può essere rappresentata da un modello “linearenella variabili”. La relazione può essere espressa da un polinomio: Questa forma funzionale ha una forma non lineare ma risulta ancora un modello di regressione lineare essendo lineare nei parametri. Tali parametri si stimano con OLS e gli stimatori hanno tutte le “buone” proprietà; ma attenzione all’interpreatazione! I parametri che si stimano non sono di per se’ le pendenze, che invece sono date da E pertanto cambia per ogni valori di I con i parametri  e .

47 47 Modelli con interazioni: quando in un modello si inserisce ilprodotto tra due variabili esplicative (interazione) l’effeto che si ottiene è quello di alterare la relazione di ognuna di esse con la variabile dipendente del modello. Per capire l’effetto consideriamo un esempio: studiamo l’effetto di reddito (Y) ed età (AGE) sul consumo di pizza C, supponiamo di avere i dati su un campione di individui con età superiore a 17 anni. Il modello senza interazione: C=  +  AGE+  Y+e dE(C)/dAGE=  per qualsiasi livello di reddito la spesa attesa per pizza varia di  per un incremento di un anno di età (si presume  <0). dE(C)/dY=  per qualsiasi età la spesa attesa per pizza varia di  per un incremento di un euro di reddito (si presume  >0).

48 48 In realtà sembrerebbe più ragionevole pensare che da una certa età in poi, con il crescere dell’età, la propensione marginale a spendere in pizza diminuisca. Siamo cioè nel caso in cui l’effetto di una variabile è modificato da un’altra. Per tenere conto di ciò il modello che dobbiamo specificare è il seguente: C=  +  AGE+  Y+ (AGE*Y)+e Gli effetti di Y e AGE sono: dE(C)/dAGE=  + Y al crescere dell’età ci si aspetta che la spesa pe pizza si riduca, inoltre siccome presumibilmente <0, maggiore è il reddito, maggiore è la riduzione della spesa per pizza. dE(C)/dY=  + AGE la propensione marginale a spendere in pizza dipende da AGE, quindi la propensione diminuisce sempre più al crescere dell’età.

49 49 b. La scelta dei regressori Nella scelta delle variabili esplicative di un modello di regressione, si cerca di seguire i principi esistenti sull’argomento trattato, la logica e l’esperienza.Tuttavia può accadere che nella scelta si siano omesse importanti variabili o inserite variabili irrilevanti, vediamo quali problemi si incontrano in questi casi.  Variabili rilevanti omesse: è come introdurre restrizioni (parametro=0) non vere sul modello. La stima OLS dei restanti parametri del modello risulta generalmente distorta, inoltre gli standard error di tali parametri sono sottostimati. Il caso in cui gli stimatori OLS non sono distorti si ha quando le variabili omesse sono incorrelate con le variabili inserite. Per realizzare che alcune variabili rilevanti del modello sono state omesse si deve

50 50 proprio fare attenzione a segni o valori dei coefficienti inaspettati. Si potrebbe pensare che per ovviare a questo problema il ricercatore dovrebbe inserire nel modello tutte le variabili che ha a disposizione; in questo modo tuttavia si potrebbe complicare il modello eccessivamente ed inoltre introdurre variabili irrilevanti.  Variabili irrilevanti inserite: gli stimatori OLS che si ottengono sono corretti, tuttavia la varianza degli stimatori dei parametri relativi alle variabili “buone” risulta maggiore di quella che avremmo ottenuto specificando il modello correttamente. Il motivo di questa sovrastima è legato al fatto che il Teorema di Gauss Markov dice che lo stimatore b.l.u.e. è lo stimatore OLS relaivo ad un modello correttamente specificato.

51 51 9. VIOLAZIONI DELLE IPOTESI DEL MODELLO a)Multicollinearità b)Etroschedasticità c)Autocorrelazione dei residui

52 52 a. MULTICOLLINEARITA’ Quando due o più variabili esplicative di un modello di regressione lineare si muovono sistematicamente “insieme” esiste un problema di multicollinearità. Le conseguenze di una tale situazione in un modello econometrico possono essere riassunte così: Se esiste una relazione lineare esatta tra le variabili esplicative (due o più) si parla di esatta multicollinearità  non si possono determinare le stime OLS dei parametri. Se la dipendenza lineare tra le variabili è quasi perfetta, ma non perfetta (coefficiente di correlazione prossimo a 1),siamo nel caso di quasi multicollinearità  le stime OLS si determinano ma sono molto instabili a causa degli elevati standard error, si determinano intervalli di confidenza molto larghi.

53 53 Cosa fare? Nel caso di esatta multicollinearità si può fare una sostituzione di variabile. Esempio:

54 54 Nel caso in cui due o più regressori siano quasi- collineari, si incontrano i problemi maggiori:  Varianze campionarie molto alte  Covarianze sovrastimate  Forte instabilità dei coefficienti stimati per piccole variazioni dei dati.  Per comprendere il perché di questi effetti si consideri il modello di regressione a tre variabili:

55 55 È facile vedere che valori molto alti di rendono le stime OLS molto imprecise. Inoltre, nell’esempio che segue vediamo che piccole variazioni nella matrice dei dati possono provocare grandi variazioni nella stima dei parametri.

56 56 ESEMPIO-APPLICAZIONE: instabilità delle stime Dati :

57 57 Togliendo solo una osservazione: Si modificano molto le stime

58 58 Come identificare un problema di multicollinearità? La via più intuitiva è quella di osservare la matrice di correlazione delle variabili, se identifichiamo coefficienti di correlazione prossimi a 0.9 (in valore assoluto) abbiamo ragione di credere che il problema della quasi multicollinearità sia presente. Tuttavia con il suddetto metodo si identificano problemi per coppie di variabili, resta il dubbio su cosa fare se sono più di due le variabili a creare multicollinearità. Una strategia è quella di fare “regressioni ausiliarie” tra una variabile “sospetta” e le altre esplicative; se il coefficiente di determinazione che si ottiene è prossimo a 1 sicuramente il coefficiente di regressione della variabile sospetta –nella regressione originale- risente del problema della multicollinearità.

59 59 b.ETEROSCHEDASTICITA’ Avevamo ipotizzato che tale assunzione è in molte situazioni non valida. In effetti, se noi consideriamo come variabile dipendente di un modello la spesa per alimenti Y e come variabile indipendente il reddito X, è poco plausibile assumere omoschedasticità perché al crescere del reddito ci sono molti più fattori di soggettività nella scelta degli alimenti e quindi nella relativa spesa. Il modo più semplice per valutare la validità dell’ipotesi di omoschedasticità è considerare i residui OLS del modello stimato e tracciare un diagramma cartesiano in cui in corrispondenza di ogni valore di X si riporta il corrispondente residuo stimato.Se i residui risultano casualmente dispersi attorno allo zero, si può supporre che l’ipotesi di omoschedasticità sia plausibile, se essi hanno un andamento sistematico a ventaglio o quadratico o sinusoidale la nostra ipotesi

60 60 Risulta presumibilmente non vera. Nel nostro esempio i residui saranno disposti a ventaglio, dato che al crescere del reddito essi cresceranno. Quali sono le conseguenze dell’eteroschedasticità negli stimatori OLS dei parametri? Innanzi tutto è opportuno comprende quale diventa la nuova formulazione dell’ipotesi sul termine stocastico: Le stime OLS dei parametri sono:

61 61 Quindi STIMATORI OLS ancora lineri e corretti, tuttavia vediamo che si perde l’efficienza, infatti: Ne consegue che gli intervalli di confidenza e risultati della verifica di ipotesi possono essere fuorvianti. Per individuare la presenza di eteroschedasticità la via più intuitiva è quella di fare un’analisi dei residui, tuttavia essa può essere complessa se le variabili esplicative sono molte. Ci sono inoltre alcuni test che si basano in generale sempre sui residui.

62 62 GOLDFELD – QUANDT TEST - Si ordinano le osservazioni secondo la variabile X j che si ipotizza sia la causa dell’eteroschedasticità - Si divide il campione in tre parti di numerosità n 1 n 2 n 3. - Dopo la stima OLS nei tre sottocampioni si calcola Sotto H 0 : omoschedasticità : (il valore di F è piccolo)

63 63 RIMEDI  i i = 1, …, n siano valori noti. si applicano i MINIMI QUADRATI PESATI (WLS) ovvero si applica OLS al modello trasformato Ovvero Dove Nella pratica  i non sono noti quindi il metodo non è applicabile in pratica

64 64 2.relazione tra la componente stocastica e uno dei regressori, ad esempio Trasformiamo il modello

65 65 applico OLS e ottengo stimatori B.L.U.E. per i parametri di interesse. 3. Si stima il modello originale ottenendo stimatori lineari e corretti, per il calcolo degli s.e. dei parametri si ricorre allo stimatore di White che tutti i software prevedono.

66 66 ESERCIZIO La stima di un modello lineare sulla base dei valori del Reddito e del Consumo di 30 famiglie americane fornisce i seguenti valori : La stima dello stesso modello sulle prime 12 e sulle ultime 12 osservazioni fornisce i seguenti valori: Verificare l’ipotesi H0 di omoschedasticità Rifiuto H0: c’è eteroschedasticità

67 67 c.AUTOCORRELAZIONE DEI RESIDUI Nelle analisi di dati cross-sectional le osservazioni sono generalmente individui o famiglie o aziende che costituiscono un campione casuale di una popolazione. Il fatto che il campione sia casuale, generalmente implica l’incorrelazione dei termini casuali. Quando si hanno invece serie storiche o comunque osservazioni che seguono un ordine temporale tale ipotesi si altera ed i termini di errore risultano generalmente tra loro correlati. Per illustrare il problema consideriamo una semplice relazione a due variabili

68 68 Le ipotesi aggiuntive su tale modello, detto modello autoregressivo del primo ordine AR(1) sono: Quindi:

69

70 70

71 71 CONSEGUENZE per OLS 1.Stime OLS di  lineari e corrette 2.Varianze di molto grandi ovvero 3.Sottostima di tali varianze inefficienti 4.Conseguente non validità dei test t ed F Infatti si può dimostrare che Solo se  2 = 0 Con N=20 ;  = 0.5 : sottostima 4% Con N=20 ;  = 0.8 sottostima 19%

72 72 TEST DI DURBIN - WATSON residui nella stima OLS per n grande 0 d L d H 2 4-d H 4-d L 4 autocorr.(+) ? No autocorr. ? Autocorr.(-) Il limite tra la zona di accettazione e quella di rifiuto è funzione della matrice X. D – W hanno costruito delle bande valide sempre.

73 73 METODI RISOLUTIVI 1.GLS : se ho una stima di  Riesco a trovare la matrice e trasformo il modello in stima OLS


Scaricare ppt "1 MODELLO DI REGRESSIONE LINEARE MULTIPLA 1.Il problema 2.Specificazione del modello 3.Le assunzioni 4.Stimatori OLS e proprietà 5.R 2, variabilità totale,"

Presentazioni simili


Annunci Google