1 Y Modello di regressione semplice Supponiamo che una variabile Y sia funzione lineare di unaltra variabile X, con parametri incogniti 1 e 2 che vogliamo stimare. 1 X X1X1 X2X2 X3X3 X4X4

A questo fine usiamo un campione di 4 osservazioni con i valori della X sopra indicati. Modello di regressione semplice 2 1 Y X X1X1 X2X2 X3X3 X4X4

Se la relazione fosse esatta, le osservazioni si disporrebbero su una retta e non avremmo problemi a stimare 1 e 2. Q1Q1 Q2Q2 Q3Q3 Q4Q4 Modello di regressione semplice 3 1 Y X X1X1 X2X2 X3X3 X4X4

P4P4 In pratica, gran parte delle relazioni economiche non sono esatte e i valori osservati di Y non coincidono con quelli disposti sulla linea retta. P3P3 P2P2 P1P1 Q1Q1 Q2Q2 Q3Q3 Q4Q4 Modello di regressione semplice 4 1 Y X X1X1 X2X2 X3X3 X4X4

P4P4 Per tener conto di questo fatto, riscriviamo il modello come Y = X + u, dove u è un termine di disturbo stocastico. P3P3 P2P2 P1P1 Q1Q1 Q2Q2 Q3Q3 Q4Q4 Modello di regressione semplice 5 1 Y X X1X1 X2X2 X3X3 X4X4

P4P4 Ogni valore di Y ha una componente sistematica, X, e una componente stocastica, u. Losservazione 1 è stata decomposta in queste due parti. P3P3 P2P2 P1P1 Q1Q1 Q2Q2 Q3Q3 Q4Q4 u1u1 Modello di regressione semplice 6 1 Y X X1X1 X2X2 X3X3 X4X4

P4P4 In pratica, noi osserviamo solo i punti (realizzazioni) P. P3P3 P2P2 P1P1 Modello di regressione semplice 7 Y X X1X1 X2X2 X3X3 X4X4

P4P4 Ovviamente, possiamo usare i punti P per tracciare una retta che è unapprossimazione di Y = X. Se scriviamo questa approssimazione come Y = b 1 + b 2 X, b 1 è una stima di 1 e b 2 è una stima di 2. P3P3 P2P2 P1P1 Modello di regressione semplice 8 b1b1 Y X X1X1 X2X2 X3X3 X4X4

P4P4 La retta viene detta modello stimato e i valori previsti di Y si dicono valori interpolati o stimati (indicati nel grafico con la lettera R). P3P3 P2P2 P1P1 R1R1 R2R2 R3R3 R4R4 Modello di regressione semplice 9 b1b1 (valore stimato) Y (valore osservato) Y X X1X1 X2X2 X3X3 X4X4

P4P4 X X1X1 X2X2 X3X3 X4X4 La differenza tra valori osservati e valori interpolati di Y viene detta residuo. P3P3 P2P2 P1P1 R1R1 R2R2 R3R3 R4R4 (residuo) e1e1 e2e2 e3e3 e4e4 Modello di regressione semplice 10 b1b1 (valore stimato) Y (valore osservato) Y

P4P4 Osserviamo che i residui non coincidono con i termini di disturbo. Il diagramma mostra ora sia la retta vera (della popolazione) sia la retta stimata. P3P3 P2P2 P1P1 R1R1 R2R2 R3R3 R4R4 b1b1 Modello di regressione semplice 11 1 (valore stimato) Y X X1X1 X2X2 X3X3 X4X4 Y (valore osservato)

P4P4 Il termine di disturbo indica la differenza tra la componente sistematica della relazione vera e il valore osservato. P3P3 P2P2 P1P1 Modello di regressione semplice 12 Q2Q2 Q1Q1 Q3Q3 Q4Q4 1 b1b1 (valore stimato) Y (valore osservato) Y X X1X1 X2X2 X3X3 X4X4

P4P4 Il residuo misura la differenza tra il valore osservato e il valore interpolato. P3P3 P2P2 P1P1 R1R1 R2R2 R3R3 R4R4 Modello di regressione semplice 13 1 b1b1 (valore stimato) Y (valore osservato) Y X X1X1 X2X2 X3X3 X4X4

P4P4 Se il fit (accostamento, interpolazione) è buono, allora i residui e i termini di disturbo tenderanno a coincidere, ma concettualmente sono elementi che devono essere tenuti distinti. P3P3 P2P2 P1P1 R1R1 R2R2 R3R3 R4R4 Modello di regressione semplice 14 1 b1b1 (valore stimato) Y (valore osservato) Y X X1X1 X2X2 X3X3 X4X4

P4P4 Entrambe le rette verranno usate nella nostra analisi, in quanto ciascuna permette di decomporre il valore di Y in due parti. Illustriamo la decomposizione riferendoci alla osservazione numero 4. Modello di regressione semplice 15 Q4Q4 u4u4 1 b1b1 (valore stimato) Y (valore osservato) Y X X1X1 X2X2 X3X3 X4X4

P4P4 Riferendoci alla relazione nella popolazione, Y può essere decomposta nella componente sistematica e nella componente stocastica u. Modello di regressione semplice 15 Q4Q4 u4u4 1 b1b1 (valore stimato) Y (valore osservato) Y X X1X1 X2X2 X3X3 X4X4

P4P4 Si tratta di una scomposizione teorica, in quanto non conosciamo i valori di 1 e 2, o i valori del termine di disturbo. Utilizzeremo questa scomposizione per studiare le proprietà degli stimatori dei coefficienti. Modello di regressione semplice 17 Q4Q4 u4u4 1 b1b1 (valore stimato) Y (valore osservato) Y X X1X1 X2X2 X3X3 X4X4

P4P4 Laltra scomposizione si riferisce alla retta stimata. Per ogni osservazione, il valore osservato di Y è uguale alla somma del valore interpolato più il residuo. Si tratta di una decomposizione che tornerà utile ai fini pratici. Modello di regressione semplice 18 e4e4 R4R4 1 b1b1 Y (valore osservato) (valore stimato) Y X X1X1 X2X2 X3X3 X4X4

Modello di regressione semplice Criterio OLS: Minimizzare RSS (residual sum of squares), dove Cioè, la retta interpolante è tale da minimizzare la somma dei residui al quadrato, RSS. Questo fatto viene definito come criterio dei minimi quadrati. 19

Modello di regressione semplice Ma perchè la somma dei residui al quadrato? Perchè non minimizzare semplicemente la somma dei residui? Criterio OLS: Perchè non minimizzare 20 Minimizzare RSS (residual sum of squares), dove

P4P4 La risposta è che si otterrebbe un fit apparentemente perfetto tracciando una linea orizzontale passante per la media di Y. La somma dei residui sarebbe zero. P3P3 P2P2 P1P1 Modello di regressione semplice Y 21 X X1X1 X2X2 X3X3 X4X4 Y

P4P4 Dobbiamo evitare di applicare un criterio per il quale i residui negativi si elidono con quelli positivi; un modo per non cadere in questa trappola è quello di usare la somma dei residui al quadrato. P3P3 P2P2 P1P1 Modello di regressione semplice 22 X X1X1 X2X2 X3X3 X4X4 Y Y

P4P4 Naturalmente ci sono altri metodi per affrontare il problema. Il criterio OLS ha il vantaggio che gli stimatori che si ottengono hanno delle proprietà ottimali sotto certe condizioni. P3P3 P2P2 P1P1 Modello di regressione semplice 23 X X1X1 X2X2 X3X3 X4X4 Y Y

P4P4 La prossima sequenza mostra come il criterio OLS viene messo in pratica per stimare i coefficienti della retta di regressione. P3P3 P2P2 P1P1 24 X X1X1 X2X2 X3X3 X4X4 Y Y Modello di regressione semplice