INFERENZA NEL MODELLO DI REGRESSIONE LINEARE MULTIPLA: test sui parametri e scelta del modello (parte 3) Per effettuare test di qualsiasi natura è necessaria un’ipotesi sulla distribuzione degli errori in modo da poter derivare una statistica con distribuzione nota per n finito. Si assume perciò che il vettore degli errori abbia una distribuzione normale multivariata. Per quanto già detto in merito alla verifica di significatività dei singoli parametri si considera la distribuzione t di Student TEST A DUE CODE H0: per j= 1, 2,…,k. H1: per j= 1, 2,…,k.

La statistica test di riferimento sotto ipotesi nulla diventa: Fissato il livello di significatività α, la regione critica del test è Ovvero le due code della distribuzione t di Student TEST A UNA CODA H0: per j= 1, 2,…,k. H1: per j= 1, 2,…,k. Fissato il livello di significatività α, la regione critica del test è ovvero la coda sinistra della distribuzione t di Student

TEST A UNA CODA H0: per j= 1, 2,…,k. H1: per j= 1, 2,…,k. Fissato il livello di significatività α, la regione critica del test è ovvero la coda destra della distribuzione t di Student Nelle applicazioni l’ipotesi alternativa, con l’eccezione dell’intercetta, è spesso unidirezionale perché la teoria alla base del modello solitamente fornisce indicazioni sul segno delle relazioni fra la variabile dipendente e le variabili esplicative. Ad esempio nel modello sulla domanda di burro è ragionevole verificare che il parametro che moltiplica il prezzo del burro sia di segno negativo quindi è ragionevole verificare un sistema di ipotesi del tipo

H0: H1: Se il segno della stima del parametro non è conforme alle aspettative, formulate sulla base della teoria, è possibile predire l’esito del test: la statistica test assumerà valore nella regione di accettazione e l’ipotesi nulla non sarà respinta. Quindi, dopo aver stimato un modello di regressione, il primo controllo da effettuare riguarda i segni dei coefficienti e la loro coerenza con le aspettative. NOTA: in generale un segno non conforme alle aspettative è anche un campanello di allarme riguardo alla validità delle ipotesi di base del modello (come vedremo più avanti).

Test sulla significatività di un sottoinsieme di parametri La struttura del test F per verificare la significatività del modello di regressione è un caso particolare del test congiunto sulla significatività di un sottoinsieme di coefficienti. Si consideri il modello di regressione e si supponga di voler sottoporre a test l’ipotesi che più parametri siano nulli H0: H1:

Il modello sotto l’ipotesi nulla è chiamato modello vincolato (restricted model) e risulta Per sottoporre a test questa ipotesi, si confronta la devianza dei residui del modello vincolato Dev(H0) con quella del modello completo, o non vincolato (unrestricted model) , Dev (H1) . La statistica test è Dove è la varianza dei residui sotto H1 . Sotto l’ipotesi nulla la statistica test ha una distribuzione F di Fisher con (k- m) gradi di libertà al numeratore e (n- k) al denominatore. I gradi di libertà del numeratore sono dati dal numero di vincoli imposti sotto l’ipotesi nulla ovvero dalla differenza fra il numero di parametri stimati nei due modelli.

Al numeratore della statistica test vi è la differenza fra le devianze residue sotto H0 e sotto H1 . Quanto maggiore è questa differenza tanto maggiore è il guadagno nella capacità esplicativa che si ottiene considerando i k- m regressori aggiuntivi. Di conseguenza è ragionevole individuare la regione critica nella coda di destra della distribuzione F, poiché valori elevati del numeratore della statistica test indicano che c’è una differenza statisticamente significativa fra la capacità esplicativa del modello vincolato e quella del modello non vincolato. Pertanto regione critica al livello di significatività α risulta percentile di una F di Fisher che isola nella coda sinistra un’are pari a (1- α)

CORRETTO (Adjusted R-square) Per la scelta fra modelli è necessario avere a disposizione degli indici che consentano di confrontarli. Si supponga di dover scegliere fra due modelli alternativi, il primo con k variabili esplicative e il secondo con k +1 variabili esplicative Se si utilizza il coefficiente di determinazione risulta sempre preferibile il modello con il maggior numero di regressori; di conseguenza l’indice non consente di operare una scelta fra modelli con un diverso numero di variabili esplicative.

Il coefficiente di determinazione aumenta al ridursi della devianza residua. Quest’ultima è il valore della funzione obiettivo, che si minimizza quando si stima il modello con i minimi quadrati. Quando si stima il secondo modello si esegue un’ottimizzazione su k +1 variabili, pertanto la devianza residua è quasi certamente minore di quella ottenuta stimando il primo modello con k variabili. La devianza residua del primo modello può infatti essere interpretata come il minimo vincolato della somma dei quadrati dei residui nel secondo modello quando si pone Ciò implica che l’indice è quasi certamente più elevato nel modello con il maggior numero di regressori.Un indice utile per confrontare modelli con un diverso numero di variabili esplicative è l’ corretto

Mentre il secondo termine dell’indice confronta la devianza residua con la devianza totale, il secondo termine dell’ confronta la stima non distorta della varianza degli errori con la stima non distorta della varianza della variabile dipendente. Nel confronto fra diversi modelli si sceglie quello per il quale l’indice è maggiore. Un’altra spiegazione è: se si aggiunge al modello un’ulteriore variabile la quantità diminuisce, ma il rapporto aumenta. La riduzione del termine misura il miglioramento nell’adattamento dovuto all’inserimento del nuovo regressore, mentre l’incremento nel rapporto impone una penalità perché, avendo aggiunto un regressore, il modello è più complicato e si deve stimare un ulteriore parametro. Se il miglioramento nell’adattamento compensa la penalità si preferisce il modello con un più elevato numero di regressori.