PIANIFICAZIONE DEI TRASPORTI Regressione lineare Università di Cagliari DICAAR – Dipartimento di Ingegneria Civile, Ambientale e architettura Sezione Trasporti PIANIFICAZIONE DEI TRASPORTI Regressione lineare A.A. 2016-2017 Prof. Italo Meloni

Relazione funzionale Valori noti Incognite Dato un set di dati (X,Y), che graficamente è rappresentato da una nuvola di punti nel piano, si vuole trovare la relazione: Y variabile dipendente; X variabile indipendente; ε variabile aleatoria In particolare la relazione lineare è: Valori noti Incognite

Modello di regressione Media degli errori nulla Funzione di regressione Media della variabile dipendente date le X

Modello di regressione lineare semplice Le εi sono variabili casuali indipendenti con E(εi)=0 e V(εi)=σ2 La X è una variabile non stocastica i cui valori sono noti senza errore. Non vi è una distorsione sistematica La variabilità non dipende dai valori delle X ed è costante (omoschedasticità)

Modello di regressione lineare semplice E(εi)=0 in media, la retta di regressione sia corretta Y X X1 X2 X3

Modello di regressione lineare semplice V(εi)=σ2 varianza costante dei disturbi (omoschedasticità) PDF di εi Y X1 X2 X3 X

Modello di regressione lineare semplice V(εi)=σi2 varianza non costante dei disturbi (eteroschedasticità) PDF di εi Y X1 X2 X3 X

Metodo dei minimi quadrati Ricerchiamo i valori di β0 e β1 che rendono minima la seguente espressione: (intercetta) (pendenza)

Il coefficiente di determinazione

Il coefficiente di determinazione I valori stimati con il metodo dei minimi quadrati soddisfano la seguente relazione (scomposizione della varianza totale): Situazioni estreme che possono verificarsi SSE=0, la relazione di regressione non riduce l’incertezza e i valori stimati sono uguali alla media campionaria. SSR=0, la relazione di regressione elimina tutta l’incertezza e i valori stimati sono uguali a quelli osservati; si tratta di una relazione funzionale. SST (Total Sum of Squares) SSR (Residual Sum of Squares) SSE (Explained Sum of Squares)

Il coefficiente di determinazione Dividendo SSE per il suo valore massimo SST, otteniamo il coefficiente di determinazione: Rappresenta la proporzione di variabilità di Y spiegata dalla variabile esplicativa X attraverso il modello di regressione.

Il coefficiente di determinazione Si può dimostrare che il coefficiente di determinazione è il quadrato del coefficiente di correlazione lineare ρXY :

Il coefficiente di determinazione Se R2 = 0 vuol dire che la variabilità residua coincide con quella totale, la retta di regressione è parallela all’asse ed il modello ha un adattamento pessimo. Se R2 = 1 vuol dire che la variabilità residua è nulla e quindi la retta passa esattamente lungo tutti i punti che sono, ovviamente, allineati.

Proprietà degli stimatori Siano B0 e B1 gli stimatori di β0 e β1: B0 e B1 sono stimatori corretti di β0 e β1 Nella classe degli stimatori lineari corretti, sono quelli più efficienti.

Stimatore della varianza Uno stimatore corretto della varianza dei residui è dato dalla seguente formula:

Inferenza sui parametri

Verifica d’ipotesi

Verifica d’ipotesi Una procedura alternativa alla verifica dell’ipotesi H0:β1=0 è l’Analisi della Varianza (ANOVA) Se H0 è vera la statistica F ha distribuzione F di Fisher con 1 e n-2 gradi di libertà. In particolare se Fα è tale che P(F1,n-2 > Fα) = α allora si respinge l’ipotesi nulla in favore di quella alternativa se F> Fα .

Verifica d’ipotesi In particolare se H0: β1= 0 allora con: H1: β1>0 respingo H0 se toss>tα H1: β1<0 respingo H0 se toss<-tα H1: β1≠0 respingo H0 se toss>tα/2 dove α è il livello di significatività del test.

Tavola dei valori critici di t In riga sono riportati i gradi di libertà mentre in colonna sono riportati gli errori di primo tipo (a). Nella prima riga sono indicati i livelli di probabilità di errore per il t-test a una coda e per il t-test a due code.

Modello multilineare In questo modello compare più di una variabile esplicativa. (n x 1) (n x k+1) (k+1 x 1) (n x 1)

Stima dei coefficienti Questi stimatori godono delle stesse proprietà degli stimatori precedentemente calcolati, in particolare:

Inferenza sui parametri Stimatore di σ2:

Verifica d’ipotesi

Verifica d’ipotesi dove Usualmente si fa l’ipotesi che βi sia uguale a 0, contro l’ipotesi che sia diverso da 0.

Variabile esplicativa aleatoria La distribuzione condizionata della Y per X=xi è Normale con media β0+β1xi e varianza σ2. Le Xi sono variabili aleatorie indipendenti, le cui distribuzioni non dipendono da β0, β1 e σ2. Le variabili aleatorie Xi ed εi sono indipendenti.