IL MODELLO DI REGRESSIONE MULTIPLA Per le N osservazioni possiamo scrivere: VETTORE COLONNA (N*1)

MATRICE (N*K) VETTORE VETTORE COLONNA COLONNA (K*1) (N*1) IL MODELLO IN FORMA MATRICIALE DIVIENE:

(N*1) (N*K) (K*1) (N*1) LA MATRICE HA ELEMENTO GENERICO IN CUI L’INDICE j RAPPRESENTA LA VARIABILE (REGRESSORE) CONSIDERATA (j=1,2, … ,K) MENTRE L’INDICE i DENOTA LA i-ESIMA OSSERVAZIONE (i=1,2,…,N). OGNI COLONNA DI È UN VETTORE DI N OSSERVAZIONI COSTANTE PER REGRESSORI j INTERCETTA 1 2 ………K OSSERVAZIONI i 1 2 N

ASSUNZIONI PER STIME OLS 1. SPECIFICAZIONE LINEARE DEL MODELLO 2.a SONO NON STOCASTICI. 2.b IL RANGO DI È UGUALE A K<N 3. 4. LA VARIABILE DI ERRORE HA DISTRIBUZIONE NORMALE LA 2., RANK =K<N, ASSICURA L’ASSENZA DI MULTICOLLINEARITÀ. INFATTI QUANDO RANK < K UNA DELLE COLONNE SAREBBE COMBINAZIONE LINEARE DELLE ALTRE E QUINDI LA MATRICE RISULTEREBBE SINGOLARE LA 3. GARANTISCE CHE GLI ERRORI ABBIANO MEDIA NULLA, VARIANZA FINITA E COSTANTE E COVARIANZA NULLA. ESAMINIAMO LA MATRICE DI VARIANZA E COVARIANZA DERIVANTE DA OMOSCHEDASTICITA’ INCORRELAZIONE

ALLORA TUTTI I VALORI AL DI FUORI DELLA DIAGONALE PRINCIPALE SONO NULLI E QUELLI SULLA DIAGONALE SONO UGUALI A , CIOÈ:

OBIETTIVO: DETERMINARE IL VETTORE CHE MINIMIZZA LA QUANTITÀ STIMA OLS OBIETTIVO: DETERMINARE IL VETTORE CHE MINIMIZZA LA QUANTITÀ DOVE: VETTORE (N*1) DEI RESIDUI VETTORE (N*1) DEI VALORI TEORICI VETTORE DELLE STIME OLS SOSTITUENDO E IN SI HA: A B

QUESTO PERCHÈ A E B SONO ENTRAMBI DUE SCALARI UGUALI. INFATTI A =SCALARE (1*K) (K*N) (N*1) B ANALOGAMENTE MINIMIZZANDO LA , CIOÈ: SI HA: LA MATRICE DETTA MATRICE “CROSS-PRODUCT”, HA CERTAMENTE L’INVERSA per l’ipotesi che implica RANK =K ovvero NON SINGOLARE.

DIMENSIONI DELLE MATRICI MATRICE “CROSS-PRODUCT” = (K*N) (N*K)

VETTORE

PRODOTTO

DALLE RELAZIONI MATRICIALI VISTE SEGUONO DUE RISULTATI UTILI PER SUCCESSIVI SVILUPPI: 1) PERCHÈ 2) PERCHÈ: COME GIÀ VISTO E PERCHÈ: IL RISULTATO 1) CI DICE CHE IL PRODOTTO INCROCIATO TRA I REGRESSORI E GLI ERRORI È NULLO. CIÒ È LA TRADUZIONE CAMPIONARIA DELLA ASSUNZIONE , IN ALTRE PAROLE CHE I RESIDUI NON DEVONO DIPENDERE DAI REGRESSORI.

PROPRIETÀ DEGLI STIMATORI OLS VALORE ATTESO DI CON ALLORA: VETTORE DI STIMATORI CORRETTI

VARIANZA DEGLI STIMATORI DATO CHE GLI ELEMENTI DI A SONO NON STOCASTICI. NB LA matrice cross product è simmetrica

PERTANTO: VEDIAMO SE TALE VARIANZA È MINIMA. RICORDANDO CHE , CONSIDERIAMO LA MATRICE ARBITRARIA E LO STIMATORE LINEARE alternativo . LA MEDIA DI È: CHE RISULTA UGUALE A SE E SOLO SE CALCOLIAMO ORA: QUESTO PERCHÈ

PERTANTO: MA = 0 = AFFINCHÈ SI PUÒ DIMOSTRARE CHE LA MATRICE È POSITIVA SEMIDEFINITA. PERTANTO LA FORMA QUADRATICA AD ESSA ASSOCIATA È POSITIVA, ALLORA . QUANDO TALE FORMA QUADRATICA È NULLA, ALLORA TUTTI GLI ELEMENTI DI SONO ZERO E PERTANTO . QUINDI È BLUE

CONSISTENZA IN MEDIA QUADRATICA DEGLI STIMATORI OLS Gli stimatori dei minimi quadrati sono consistenti in media quadratica. Per dimostrare questa proprietà è necessaria un’ipotesi ulteriore, cioè Con matrice finita e non singolare. Si osservi che tale matrice contiene le medie delle variabili esplicative, dei loro quadrati e dei loro prodotti. E’ quindi ragionevole assumere che il limite di queste quantità, al divergere della numerosità campionaria, sia finito. Per dimostrare la consistenza in media quadratica è necessario verificare le due condizioni seguenti

La prima condizione è verificata: essendo gli stimatori OLS non distorti per n finito, lo sono anche asintoticamente. Per verificare la seconda condizione si considera il limite della matrice di varianza e covarianza di , Asintoticamente la matrice di varianza e covarianza converge ad una matrice nulla e di conseguenza le varianze degli stimatori tendono a zero.

M è una matrice SIMMETRICA e IDEMPOTENTE STIMA DI Obiettivo : ricavare una stima della varianza dei termini di errore del modello. Poiché gli errori non sono osservabili pare ragionevole stimare utilizzando la devianza residua RSS. Il punto è determinare il divisore della devianza residua: la soluzione possiamo trovarla imponendo il vincolo che lo stimatore di appartenga alla classe degli stimatori corretti. dove M è una matrice SIMMETRICA e IDEMPOTENTE Matrice idempotente Una matrice simmetrica P è idempotente se PP = P.

Dalla Idempotenza e simmetria di M segue che si definisce traccia di una matrice, e si utilizza il simbolo tr(A), la somma dei valori di tutti gli elementi che stanno nella diagonale principale della matrice A. tr(AB) = tr(BA) Calcolando il valore atteso:

Dalla definizione di M si ha rappresenta lo stimatore corretto della varianza del termine di errore del modello. La radice quadrata dello stimatore, s, viene detta errore standard della stima.

Una spiegazione intuitiva della circostanza che lo stimatore non distorto è ottenuto dividendo la somma dei quadrati dei residui per n−k, anziché per n, è costituita dal fatto che, benché si considerano n residui, soltanto n−k sono linearmente indipendenti infatti le equazioni impongono k vincoli (si dimostra facilmente esplicitando il sistema che la somma dei residui e la somma dei prodotti dei residui per ciascuna delle variabili esplicative deve essere uguale a zero). Determinato il valore dei primi n−k residui, gli ultimi dovranno essere tali da soddisfare la condizione sopra . Vi sono k vincoli, uno per ogni coefficiente di regressione stimato, e si perdono quindi k gradi di libertà.