Tecniche quantitative per l’analisi nella ricerca sociale TQuArs – a.a. 2010/11 Tecniche quantitative per l’analisi nella ricerca sociale Giuseppe A. Micheli Lezione B.7 Correlare

In questa lezione… In questa lezione facciamo conoscenza con la principale misura di asso-ciazione, il coefficiente di correlazione lineare (xy). Esso si appli-ca a variabili entrambe quantitative, ed è efficace soprattutto se imma-giniamo ci possa essere un particolare tipo di relazione, quella definita da una funzione rettilinea. Procederemo nella presentazione con questi passi: Identificheremo la Covarianza come misura per eccellenza di calcolo del grado di ‘covariazione’ tra due fenomeni. Perverremo al coefficiente xy normalizzando la covarianza e svolgeremo tramite esempi le procedure di calcolo. Esamineremo le capacità diagnostiche di xy con riferimento alle opposte situazioni di perfetta indipendenza e di perfetta dipen-denza. Concluderemo confrontando le tre misure fin qui introdotte.

Ripartiamo da uno scatter Età al I f Mesi interc 1 16 56 2 72 3 17 66 4 19 75 5 20 48 6 22 54 7 23 8 25 36 9 42 10 26 11 12 27 39 13 29 14 30 33 15 32 Ripartiamo da un esempio già usato. Nel diagramma di dispersione la coordinata orizzontale indica l’età della madre al primo figlio, quella verticale il numero di mesi intercorsi tra il 2° e il 3° figlio. Abbiamo già imparato che la linea ellissoida-le blu ci dà la sensa-zione che tra età al primo figlio (coordina-ta orizzontale) e inter-vallo di tempo tra le nascite successive (coordinata verticale) esista una sorta di as-sociazione inversa (più precoce la prima nascita, più ritardate le successive). Possiamo trovare qualche strumento per diagnosticare il tipo di relazione (diretta, inversa) e per misurarla?

e ripartiamo da Durkheim La prima cosa che va chiarita è che ‘studiare l’associazione tra variabili’ non è un concetto unico, ma ne include due ben distinti: una cosa è diagnosticare il tipo di associazione (quando au-menta X che fa Y: aumenta, cala, aumenta e poi cala, o cosa altro?) altra cosa è studiare la strettezza dell’associazione individuata. A noi basta fermarci (per ora) alla seconda proprietà. Ma come? Nel 1895, Durkheim aveva formulato in proposito il Principio delle variazioni concomitanti: “se due fenomeni collettivi variano in modo concomitante tra loro o l’uno è causa dell’altro o ne è l’effetto, o comunque v’è tra essi una qualche relazione causale che passa attraverso altri caratteri intermedi”.

Il centroide Per capire il concetto di ‘variazione concomitante’ identifichiamo il 17.mo punto inserito nel nostro diagramma, e che mettiamo in evidenza con una stella. E’ il punto che ha per co-ordinate la media di X e la media di Y. Sappiamo che la media è una specie di baricentro della distribuzione che sinte-tizza. Il punto all’incrocio delle due me-die è allora il baricentro della distri-buzione congiunta: non a caso lo si definisce centroide. Y-my Y P= (my, mx) X-mX my=48,12 X mx = 24,12 Prolunghiamo allora le due semirette, perpendicolari tra loro, delle coordinate di P. Esse costituiscono una nuova coppia di coordinate del grafico. Spostando l’attenzione su questa nuova coppia di assi è come se avessimo traslato l’origine degli assi nel centroide stesso. Ora al posto della coordinata X abbiamo una sua trasformata (X - mX), e al posto della coordinata Y abbiamo la sua trasformata (Y - mY).

Buoni e cattivi Ora il grafico è diviso in quattro parti, lungo le li-nee dei baricentri delle due variabi-li e si distinguono i buoni e i cattivi, ossia quelli so-pra e quelli sotto la media. Sopra l’asse oriz-zontale i valori di Y sono sopra la media, sotto so-no inferiori alla media. A destra dell’asse vertica-le i valori di X sono sopra la media, a sinistra sotto la media. (Y-my)>0 e (X-mX)<0 (Y-my)>0 e (X-mX)>0 II I my III IV (Y-my)<0 e (X-mX)<0 (Y-my)<0 e (X-mX)>0 mx

Variazioni concomitanti Ora le osserva-zioni si collocano tutte o quasi nel II e IV quadran-te, in cui le due coordinate hanno segno opposto: chi ha il primo fi-glio sotto i 24 anni frappone più di 48 mesi tra il secondo e il ter-zo, chi ha il pri-mo figlio oltre i 24 anni ha inve-ce intervalli infe-riori ai 4 anni tra secondo e terzo. Tra i 2 caratteri le variazioni so-no ‘concomitanti’ (Y-my)>0 e (X-mX)<0 (Y-my)>0 e (X-mX)>0 II I my III IV (Y-my)<0 e (X-mX)<0 (Y-my)<0 e (X-mX)>0 mx

Distinguere tipo e intensità dell’associazione B X Età Y Mesi 16 40 18 45 20 48 22 54 23 53 24 56 61 25 58 Confrontiamo le situazioni A (già nota) e B: due sono le differenze importanti: In A la relazione tra X e Y è inversa (al crescere di X cala Y), in B è diretta In B la relazione è più stretta, in A è più lasca (lo si intuisce guardando la ‘larghezza’ delle ellissoidi con cui circoscriviamo le nuvole di punti) I caratteri da diagnosticare e misurare sono due: tipo e intensità dell’associazione

I prodotti degli scarti come spie di una relazione Cerchiamo allora una misura del grado di strettezza (e del tipo) dell’associazione. Dicotomizzando le variabili con i due nuovi assi abbiamo fatto assumere loro valori positivi (superiori alla media) e negativi (inferiori alla media). Diamo un’occhiata al segno delle nuove coordinate: nel I e III quadrante (quelli in cui si dovrebbero addensare i punti se c’è una relazione diretta, come nel caso B) i segni delle coordinate sono uguali tra loro, entrambi positivi (I quadrante) o entrambi negativi (III); negli altri due quadranti invece i segni sono alternati. IDEA!! Facciamo il prodotto delle coordinate y*=Y-m e x*=X-m: quadrante Segno della funzione: (X-mx) (Y-my) (X-mx) x (Y-my) I Positivo II Negativo III IV y*=Y-m y*>0 X*<0 y*>0 X*>0 x*=X-m y*<0 X*<0 y*<0 X*>0 A coordinate di segno uguale corrisponde un prodotto positivo; a coordinate di segno oppo-sto corrisponde un prodotto negativo.

Fare la media tra i prodotti degli scarti y*>0 X*<0 y*>0 X*>0 A y*>0 X*>0 B y*>0 X*<0 II I II I y*<0 X*<0 III IV y*<0 X*>0 y*<0 X*>0 y*<0 X*<0 III IV Che succede ai prodotti (X-mx)(Y-my) in A e in B? in A i punti si collocano nel II e IV qua-drante e i pro-dotti sono tutti negativi. Nel caso B i punti si collocano nel I e III quadrante, i prodotti sono tutti positivi, la somma è una misura positiva assai elevata. Situazioni intermedie porteranno a misure intermedie. Covarianza è la media aritmetica dei prodotti delle variabili-scarto ponde-rate per le rispettive frequenze.

Calcolo della covarianza Calcoliamo la covarianza nel caso B, affiancando alle colonne delle x e delle y le colonne con i corrispondenti scarti dalle rispettive medie, poi quella dei prodotti tra gli scarti. In questo caso ogni coppia di osservazione è rilevata singolarmente quindi con numerosità 1 (la colonna delle numerosità è superflua). Xi Yi ni (Xi-m) ni (Yi-m) ni (Xi-m) (Yi-m) ni 16 40 1 -5 -10 +50 18 -3 +30 45 +15 20 -1 +5 48 -2 +2 22 54 4 +4 23 53 2 3 +6 24 56 6 +18 61 11 +33 25 58 8 +32 210 500 10 +195 Calcoli intermedi: E(X) = 210/10=21 E(Y) = 500/10=50 E[(X-mX)(Y-mY)]=19,5 La covarianza è positiva, il che conferma la relazione diretta tra X e Y: ma quanto è stretta? Ancora non sappiamo valutarlo..

Formula operativa per il calcolo della covarianza Come per la varianza, passare attraverso gli scarti dalle medie è una procedura lunga e carica di decimali. MA anche per la covarianza esiste una procedura operativa più snella. Si dimostra che la formula definitoria della CovXY equivale a Xi Yi XiYi 16 40 640 18 720 45 810 20 900 48 960 22 54 1188 23 53 1219 24 56 1344 61 1464 25 58 1450 210 500 10695 La covarianza è pari alla differenza tra la media della variabile prodotto XY e il prodotto delle medie di X e Y Il risultato è proprio lo stesso. Ma attenti a non invertire minuendo e sottraendo, in tal caso senza accorgervene invertireste il segno.. Calcoli intermedi: E(X)=210/10=21 E(Y)=500/10=50 E(XY)=1069,5 Cov(XY)=19,5

Proprietà della covarianza La covarianza è la misura di base della ‘covariazione’ tra due carat-teri statistici. Essa possiede queste proprietà: CovXY è una misura che cresce al crescere dell’associazione tra X e Y, sia che essa sia diretta, sia che sia inversa. Il segno di CovXY riflette fedelmente il tipo di relazione: diretta se il segno è positivo, inversa se è negativo. Si può mostrare che se X e Y sono tra loro indipendenti (stocasticamente o in media) allora CovXY è pari a zero. Non possiamo invece dire con certezza che, se CovXY=0, allora c’è indipendenza stocastica, e nemmeno semplicemente indipen-denza in media. La covarianza nulla può essere il risultato di me-re compensazioni interne di calcolo. In tal caso si parla di indi-pendenza correlativa.

Indipendenza e covarianza In queste due situa-zioni di indipendenza stocastica (azzurro) e in media (giallo) troviamo conferma a quanto detto. X Y XY 1 4 2 3 5 15 6 12 20 10 30 90 Calcoli intermedi: E(X) = 30/10=3 E(Y) = 30/10=3 E(XY)=9 CovXY=0 Calcoli intermedi: E(X) = 30/10=3 E(Y) = 50/10=5 E(XY)=15 CovXY=0 X Y XY 1 4 2 3 6 5 7 14 8 24 9 36 10 50 30 150 Se tra X e Y c’è indipendenza stoca- stica o anche solo in media allora CovXY è pari a zero

La fallacy della covarianza nulla In questa terza simulazione la covarianza è nulla. Eppure la forma così ‘lisciata’ del grafico non lascia ombra di dubbi che tra X e Y una qualche relazione esiste, anzi una relazione esatta! Y = (X-mX)2 Ribadiamo allora la regola generale: Se tra X e Y c’è indipendenza sto- castica o in media allora CovXY = 0, ma se CovXY = 0 possiamo solo dire che tra X e Y c’è indipendenza ‘correlativa’ X Y XY 25 1 16 2 9 18 3 4 12 6 7 28 8 72 144 10 250 50 110 550 Calcoli intermedi: E(X)=5 E(Y) =11 E(XY)=55 CovXY=0 Da che dipende questa trappola imbarazzante? Guardando il grafico si nota come la relazione è esatta, ma non rettilinea (è una parabola). Ha a che fare con questa ‘insofferenza alle regole ’ di CovXY?

Normalizzare la covarianza Per rispondere all’ultima domanda occorre concludere l’elenco delle proprietà della covarianza, esaminando quelle che concernono il suo massimo Sia in positivo sia in negativo, CovXY raggiunge lo stesso massi-mo quando l’associazione tra X e Y non solo è perfetta (conosciamo già il significato di perfetta dipendenza funzionale) ma si esprime in una relazione di tipo rettilineo. A differenza della varianza, che non aveva un massimo (dipenden-do dall’ordine di grandezza e dalla numerosità della popolazione), CovXY possiede un massimo in valore assoluto (‘in modulo’), identificato dalla disuguaglianza di Cauchy: ovvero Usiamo separatamente le due proprietà. Con la seconda possiamo normalizzare la covarianza, rapportandola al suo massimo. Riprenderemo poi la prima proprietà, per dare una risposta alla domanda sulla fallacy della covarianza nulla.

Il coefficiente di correlazione lineare Chiamiamo la CovXY normalizzata coeffi-ciente di CORRELAZIONE LINEARE: Se guardiamo dentro alla formula, esplicitando le formule di covarianza e varianze, scopriamo che il coefficiente di correlazione lineare è la media del prodotto tra variabili standardizzate: xy ha lo stesso segno della covarianza, perché il denominatore a cui viene rapportato è il prodotto di misure sempre positive (xy). xy vale 1 in caso di perfetta correlazione lineare (cioè rettilinea) diretta, vale –1 in caso di perfetta correlazione lineare inversa. Se c’è indipendenza stocastica vale zero: ma non vale l’inverso..

In caso di relazione non lineare.. X Y XY 1 10 2 5 3 3,3 4 2,5 6 1,7 21 24,5 60 X Y XY 1 10 2 8 16 3 6 18 4 5 21 30 70 Per l’iperbole è cov=-4,29. Per la retta invece cov=-5,83. Ma per confrontarle occorre passare ai coefficienti rxy (rispettivamente -0,879 e –1) Facciamo l’ipotesi di una relazione iperbolica Y=10/X. In tal caso tra X e Y c’è una relazione di perfetta dipendenza funzionale ma il coefficiente di correlazione non è massimo (confrontatelo col caso rettilineo a fianco). Come mai? Il fatto è che in caso di relazioni - monotone almeno non decrescenti - anche perfette ma non lineari tra X e Y, pur essendoci perfetta associazione la cova-rianza non sarà massima perché alcuni punti della nuvola, non essendo rettilinea, si collocheranno nel quadrante ‘sbagliato’!

..mantenere opportune cautele La trappola si complica ancora se la relazione non solo non è lineare, ma nemmeno monotona. Se i punti della nuvola giacciono tutti su una parabola a due rami, come nell’esempio già fatto (ma anche su altre funzioni esatte, come una sinusoide), i segni dei prodotti degli scarti delle coordinate si compenseranno tra loro e produrranno addirittura una covarianza nulla! Questi sono casi limite. Ma in generale possiamo affermare che Un xy=0 non è garanzia di indipendenza tra X e Y, perché si può ottenere anche solo per mera compensazione interna tra i segni dei prodotti; meglio limitarsi a dire che tra X e Y sussiste indipendenza correlativa. Un xy<1 non è garanzia di assenza di dipendenza funzionale perché questa misura isola come caso a sé solo quello della perfetta relazione lineare.

Un primo esempio L’European Community Household Pa-nel (1995), mette in relazione per 12 paesi europei due indicatori di ‘pari op-portunità’: X è la % di donne che lavo-ra, Y una misura ritenuta robusta della disuguaglianza nella distribuzione dei redditi familiari (niente di più del buon vecchio coefficiente di variazione!). Cinque colonne bastano per calcolare deviazioni standard e covarianza. regione X Y X2 Y2 XY Italia 0,42 0,82 0,176 0,672 0,344 Portogallo 0,59 0,76 0,348 0,578 0,448 Gran Bret. 0,65 0,74 0,422 0,548 0,481 Grecia 0,44 0,68 0,194 0,462 0,299 Spagna 0,32 0,67 0,102 0,449 0,214 Irlanda 0,39 0,152 0,261 Olanda 0,60 0,61 0,360 0,372 0,366 Austria 0,56 0,51 0,314 0,260 0,286 Belgio 0,50 0,250 0,300 Germania 0,53 0,281 0,265 Finlandia 0,72 0,45 0,518 0,202 0,324 Danimarca 0,78 0,608 0,177 0,328 TOTALE/N 0,55 0,320 0,389 0,326 E(X)=0,55; E(X2)=0,320; V(X)=0,0175 E(Y)=0,61; E(Y2)=0,389; V(Y)=0,0169 E(XY)=0,326; E(X)E(Y)=0,3355; Cov=-0,0095; XY= 0,0172; XY=-(0,0095/0,0172)=-0,55

Altro esempio altra trappola Un altro esempio su 19 regioni ita-liane (senza la Val d’Aosta). Sia X= tasso di occupazione giovani 25-34 anni e Y=suicidi per milione di abi-tanti (‘92). Dalle colonne si ottiene Cov=+0,0258 XY= 0,0353, quindi XY=+0,73. Il coefficiente  è mol-to elevato: ma siamo davvero sicuri che occupazione e suicidio vadano di pari passo? (si considerino sepa-ratamente le due cerchie delle re-gioni del centronord e del sud) regione X Y X2 Y2 XY Piemonte 0,88 1,14 0,7744 1,2996 1,0032 Lombardia 0,75 0,5625 0,6600 Trentino 0,91 1,00 0,8281 1,0000 0,9100 Veneto 0,89 0,85 0,7921 0,7225 0,7565 Friuli 1,23 1,5129 1,0455 Liguria 0,80 0,96 0,6400 0,9216 0,7680 Emilia 1,29 1,6641 1,1352 Toscana 0,84 0,86 0,7056 0,7396 0,7224 Umbria 0,83 1,01 0,6889 1,0201 0,8383 Marche 0,82 0,6724 0,6888 Lazio 0,70 0,60 0,4900 0,3600 0,4200 Abruzzi 0,76 0,61 0,5776 0,3721 0,4636 Molise 0,71 0,58 0,5041 0,3364 0,4118 Campania 0,38 0,1444 0,2204 Puglie 0,48 0,2304 0,3360 Basilicata 0,64 0,67 0,4096 0,4489 0,4288 Calabria 0,55 0,46 0,3025 0,2116 0,2530 Sicilia 0,63 0,3969 0,4221 Sardegna 0,65 0,4225 0,5590

Calcolare la covarianza su tabelle a due entrate Il calcolo della covarianza e di  può essere effettuato su qualunque coppia di va-riabili quantitative, anche se in forma di tabella. In questo caso nella formula compare correttamente il doppio suffisso per riga (i) e colonna (j). Come per le serie disaggregate le statistiche intermedie da calcolare sono 6: la numerosità N La media di X E(X) La media di Y E(Y) Il momento secondo di X E(X2) Il momento secondo di Y E(Y2) La media del prodotto, E(XY). L’unica statistica noiosa da calcolare, in questo caso, è E(XY). Occorre infatti, per ogni casella non nulla della tabella, calcolare il prodotto tra le due modalità di riga e di colonna e la numerosità riportata in casella (xiyjnij), sommarle poi tutte e dividerle per N.

Un ultimo esempio Riprendiamo l’esempio della distribuzione delle 20 regioni per indice di vecchiaia e numero di posti letto geriatrici. In blu le numerosità congiunte, in nero modalità e numerosità, in rosso le elaborazioni successive, in marrone il calcolo di E(XY). Yj =I.Vec Xi=P.Letto 60-120 y1=90 120-180 y2=150 180-240 y3=210 Nj Xi ni Xi2ni 100-250[x1=125] 1 2 4 500 62500 50-100 [x2=75] 6 450 33750 0-50 [x3=25] 3 10 250 6250 N.j 8 N=20 1200 102500 Yj nj 720 840 2760 Yj2nj 64800 180000 176400 421200 E(X)=60 E(X2)=5125 E(Y)=138 E(Y2)=21060 V(X)=1525 V(Y)=2016 X=39,05 y=44,90 E(XY)={(125x90x1)+(125x150x2)+(125x210x1)+ (75x90x4)+(75x150x2)+(25x90x3)+(25x150x4)+ (25x210x3)}/20= {11250+37500+26250+27000+ 22500+6750+15000+15750}/20 = 8100 Cov = E(XY) – E(X)E(Y) = 8100-(60x138)= -180 XY=rXY=(-180)/(39,05x44,90)= -180/1753 = -0,10

Confrontare tre misure Il coefficiente di correlazione è dunque per certi versi molto occhiuto (separa at-tentamente diversi tipi di dipendenza perfetta), per altri molto miope (non distin-gue diversi tipi di indipendenza). Confrontiamo allora le capacità diagnostiche delle tre misure di associazione studiate: 2 , 2 , || Situazioni di Indipendenza 2 = 2 = || = Indipendenza stocastica Indipendenza in media Tra 0 e 1 Indipendenza correlativa Situazioni di Dipendenza 2 = 2 = || = Relazione non lineare non monotona 1 <1 Relazione non lineare monotona >0 e <1 Relazione lineare Misure diverse sono sensibili a situazioni limite differenti. Utilizzarne dunque più di una permette un miglior dettaglio nella diagnosi