Regressione lineare

Misure Meccaniche e Termiche - Università di Cassino2 Distribuzioni Correlate Una variabile casuale z, può derivare dalla composizione di più variabili casuali. Ad esempio: Se x e y non sono correlate tra loro si ha: Se, invece, vi è correlazione, si ha: dove sx,y è la covarianza delle due variabili, definita come:.

Misure Meccaniche e Termiche - Università di Cassino3 Metodo dei minimi quadrati Se due popolazioni sono correlate tra loro e se il coefficiente di correlazione r non vale esattamente ±1, certamente i dati yi non sono esattamente una funzione lineare dei dati xi. Tuttavia, se analizzando il diagramma di dispersione verifichiamo un andamento di tipo lineare ed il valore di r è prossimo a ± 1, è possibile determinare l'equazione di una retta che approssimi "nel modo migliore" i dati assegnati.

Misure Meccaniche e Termiche - Università di Cassino4 Metodo dei minimi quadrati Dato un insieme di n punti ( x1, y1),...,(yn, xn ) e Y = A X+B l’equazione della retta che si vuole determinare. numero letturexy 10,03,8 210,05,6 320,07,6 430,09,3 540,010,6 650,012,1 760,013,4 870,014,9 980,016,6 1090,018, ,020,3

Misure Meccaniche e Termiche - Università di Cassino5 Metodo dei minimi quadrati Una strategia per determinare tale retta potrebbe consistere nel trovare i valori A e B per i quali è minima la somma ∑ [ Y(xi) - yi ], ma questo criterio risulterebbe inadeguato in quanto, fissati ad esempio due punti, qualsiasi retta passante per il punto medio del segmento che congiunge i due punti rende minima la quantità la somma Si potrebbe allora pensare di minimizzare la somma dei valori assoluti ∑ | Y(xi) - yi |, ma anche questo criterio non risulta adeguato, in quanto, fissati ad esempio 4 punti, qualunque retta compresa tra le due rette r e s che uniscono i punti a due a due soddisfa tale criterio.

Misure Meccaniche e Termiche - Università di Cassino6 Metodo dei minimi quadrati Il metodo dei minimi quadrati consiste nel trovare i valori A e B per i quali è minima la somma ∑ [Y(xi) - yi] 2 Questo criterio consente di determinare un’unica retta di regressione per ogni insieme di dati. Dal grafico si evince che tale metodo minimizza la somma dei quadrati delle lunghezze dei segmenti che costituiscono le distanze verticali dei punti dalla retta.

Misure Meccaniche e Termiche - Università di Cassino7 Equazioni normali I coefficienti A e B dell'equazione della retta di regressione sono le soluzioni del seguente sistema lineare di due equazioni nelle incognite A e B, detto sistema delle equazioni normali: E’ possibile dimostrare che la soluzione del sistema esiste ed è unica, purché i punti non siano tutti allineati verticalmente. La soluzione di questo sistema può essere trovata con il metodo di Cramer.

Misure Meccaniche e Termiche - Università di Cassino8 Esempio

9 Regressione polinomiale In alcuni casi, la correlazione esistente fra due variabili osservate non è di tipo lineare. E’ possibile verificare ciò rappresentando semplicemente i punti su di un diagramma. Per trovare la funzione Y che approssima tali dati è possibile utilizzare come funzione approssimante un polinomio di grado più elevato al primo. Nel caso più semplice del polinomio di secondo grado si trova la parabola dei minimi quadrati. In tal caso dati i punti (x 1, x 1 2, y 1 ),..., (x n, x n 2, y n ) cerchiamo la parabola Y=AX 2 +BX+C per cui è minima la quantità. Si può dimostrare che i coefficienti A, B, C della parabola si trovano risolvendo il sistema delle equazioni normali: Anche in tal caso è possibile dimostrare che la soluzione esiste ed è unica, purché i punti non siano tutti allineati verticalmente.

Misure Meccaniche e Termiche - Università di Cassino10 Tecniche di linearizzazione Qualora i dati sperimentali non presentino una correlazione di tipo lineare è possibile ricondursi alla ricerca della retta di regressione con un procedimento detto di linearizzazione dei dati che consiste in un semplice cambiamento di variabile. Se ad esempio se tra i dati assegnati intercorre una relazione del tipo y = C x A ovvero y cresce proporzionalmente con una potenza di x, prendendo i logaritmi naturali di entrambi i membri si ottiene ln y = ln C + A ln x e quindi sostituendo X = ln x; Y = ln y; B = ln C si ottiene: Y = A X + B

Misure Meccaniche e Termiche - Università di Cassino11 Tecniche di linearizzazione L’equazione così linearizzata esprime un legame lineare tra le variabili X e Y e quindi la retta di regressione cercata è quella relativa ai dati: (X 1, Y 1 )= (ln x 1, ln y 1 ); … (X n, Y n )= (ln x n, ln y n ); e può essere ricavata dall'equazione della curva approssimante y =C x A con C=e B dove A e B sono i coefficienti della retta di regressione linearizzata.

Misure Meccaniche e Termiche - Università di Cassino12 Casi notevoli di linearizzazione

Misure Meccaniche e Termiche - Università di Cassino13 Altre tecniche di regressione Regressione totale Regressione robusta Regressione non lineare