LEZIONE A.10 Simmetria e ‘normalità’

Presentazione sul tema: "LEZIONE A.10 Simmetria e ‘normalità’"— Transcript della presentazione:

1 LEZIONE A.10 Simmetria e ‘normalità’
TQuArs – a.a. 2010/11 Tecniche quantitative per l’analisi nella ricerca sociale Giuseppe A. Micheli LEZIONE A.10 Simmetria e ‘normalità’

2 In questa lezione.. In questa lezione faremo tesoro dei risultati già ottenuti, e compiremo altri passi utili per rifinire la nostra capacità di analizzare una variabile: Dapprima applicheremo la trasformata standard su esempi di distribuzioni differenti, per imparare a cogliere le differenze di forme al di là dell’ordine di grandezza e della misura di dispersione. Daremo a questo punto una definizione della proprietà di simme-tria o asimmetria di una variabil, e ne indicheremo una misura. C’è una distribuzione simmetrica per eccellenza, di fondamentale importanza in Statistica (soprattutto per l’inferenza): la distri-buzione Normale o di Gauss. Ne faremo la conoscenza. Impareremo infine a usare i valori tabulati delle frequenze sottese alla distribuzione Normale ‘ridotta’ (standardizzata) per stimare – conoscendo solo media e deviazione standard di una variabile – la frequenza di osservare valori entro o fuori di una qualunque ‘regione di accadimento’.

3 La forma delle distribuzioni: un esempio
xi-xi+1 ni hi 0,4-0,8 400 1000 0,8-1,2 2000 5000 1,2-1,6 4000 10000 1,6-2,0 1600 2,0-3,0 3,0-4,0 600 4,0-6,0 200 zi-zi+1 hi -1,43--1,00 930 -1,00--0,57 4651 -0,57--0,14 9302 -0,14- 0,29 3721 0,29- 1,35 943 1,35- 2,42 561 2,42- 4,56 187 Densità ricalco-late! Diecimila coscritti secondo il reddito familiare m=1,732; =0,9365; Me=1,46; Md=1,40 Osserviamo una leva di coscritti secondo il reddito familiare. La trasformata stan-dard mostra un addensamento a sinistra, compensato da una lunga coda a destra.

4 Due caratteri, una popolazione
xi-xi+1 ni hi 50-58 20 2,5 58-66 400 50,0 66-74 1400 175,0 74-82 2900 362,5 82-90 2100 262,5 90-98 2700 337,5 98-114 480 30,0 10000 zi-zi+1 hi -3,20--2,43 26 -2,43--1,67 526 -1,67--0,91 1842 -0,91--0,15 3816 -0,15- 0,62 2727 0,62- 1,38 3553 1,38- 2,91 314 Densità ricalco-late! Diecimila coscritti secondo il peso m=83,535; =10,483; Me=83,07; Md=78 E’ ragionevole che i redditi siano distri-buiti in modo ineguale, asimmetrico. Invece la distribuzione del peso sembra più centrata intorno alla media: essa mo-stra però una marcata polarizzazione. La trasformata standard la evidenzia.

5 Confrontare la forma standardizzando
Se sovrappongo le due di-stribuzioni standardizzate, fa-cendo attenzione a uniforma-re le scale degli assi (quello orizzontale con i valori z, quello verticale con le densità ricalcolate), possiamo ora co-gliere le differenze nella forma delle v.s. depurate dall’influenza sia dell’or-dine di grandezza che del-la dispersione, ora tenute sotto controllo. Ma quali altri caratteri della forma di una distribuzione possono essere catalogati? La distribuzione dei redditi è ‘asimme-trica’, quella del peso molto meno Blu:reddito Rosso: peso Dopo l'ordine di grandezza e la dispersione, la terza proprietà fondamentale della forma di una variabile è la asimmetria.

6 Una distribuzione ‘simmetrica’
xi-xi+1 ni hi 62 6,2 606 60,6 2417 241,7 3830 383,0 10000 zi-zi+1 hi -3,36--2,40 65 -2,40--1,44 631 -1,44--0,48 2518 -0,48- 0,48 3990 0,48- 1,44 1,44- 2,40 2,40- 3,36 Diecimila coscritti secondo la statura m=175; =10,391; Me=175; Md=175 Consideriamo un terzo carattere. La di-stribuzione delle stature (Quetelet insegna) dà veramente una sensazione di simmetria…

7 Un’altra distribuzione ‘simmetrica’
xi-xi+1 ni hi 75-85 1450 145 85-95 1400 140 95-105 1500 150 10000 zi-zi+1 hi -1,75- -1,25 2900 -1,25- -0,75 2800 -0,75- -0,25 -0,25– 0,25 3000 0,25 – 0,75 0,75 – 1,25 1,25 –1,75 m- m+ Coscritti secondo il Quoziente di Intelligenza m=110; =20,02; Me=110; Md=110 Ma anche la distribuzione dei Q.I. dà la stessa sensazione. Come definire allora la simmetria o asimmetria di una variabile? E, se è possibile, come misurarla?

8 Come definire la simmetria
Il concetto di simmetria implica un polo centrale della distribuzione, ri-spetto a cui si osservi questa proprietà. Immaginiamo il profilo della distri-buzione di una v.s. come il fondale di un palcoscenico chiuso da un sipario. Man mano che il sipario si apre (quindi a pari distanza a sinistra e a destra del centro del palco) il profilo varia ma sempre con pari altezza sui due lati. Un sipario è sempre di velluto rosso

9 Una definizione più formale
Diamo allora una definizione più formale. Anzitutto noi non sappiamo defi-nire la asimmetria in sé, ma solo come assenza di simmetria. Una distri-buzione è asimmetrica se non è simmetrica. In generale: Una distribuzione è simmetrica rispetto a un polo se per ogni mo-dalità xi =  + k ne esiste una speculare xj=–k con la medesima frequenza: È abbastanza intuitivo che se X è simmetrica allora il polo centrale deve coincidere sia con la mediana (il ‘valore di mezzo’) che con la media aritmetica (il ‘baricentro’). Cioè  = M(X) = Me(X). Se poi la distribuzione è, come si dice, ‘regolare’ (cioè ha un unico valore modale), la simmetria comporta la sovrapposizione delle tre misure cen-trali m=Me=Md. Su questa ultima proprietà si basa una misura della asimmetria come scostamento dalla perfetta simmetria. 

10 Definire la asimmetria
Curva skew destra Curva skew sinistra Definiamo asimmetria “positiva" (skewness destra) quella di una distribuzione regolare che presenta una co-da a destra di valori lontani dalla media e un massimo spo-stato a sinistra ri-spetto al baricentro. Definiamo asimmetria "negativa" (skewness sinistra) quella di una distribuzione regolare che presenta una co-da a sinistra di valori lontani dalla media e un massimo spo-stato a destra ri-spetto al baricentro. Rispetto alla situazione di perfetta simmetria possiamo distinguere due situazioni opposte

11 Misurare la asimmetria
media=mediana=moda Sk  0 moda Sk 0 moda mediana Sk = 0 mediana media media La differenza (m-Me), depurata dell’effetto della dispersione dei dati divi-dendola per ) è allora u-na buona misura di asim-metria, detta skewness: In caso di skewness destra la media (nel cui calcolo entrano tutte le xi incluse le più alte) è trascinata più a destra della me-diana, a sua volta più a destra della moda: Md  Me  m (m-Me)  0 Analogamente in caso di skewness sinistra la media (che coinvolge anche le xi più basse) è trascinata più a sini-stra della mediana, a sua volta più a sini-stra della moda: m  Me  Md (m-Me)  0 Sk = (m-Me)/  NB: lo skewness non è misura normalizzata tra 0 e 1 (altre lo sarebbero).

12 Un miscuglio, due distribuzioni
xi-xi+1 ni 50-58 20 58-66 300 66-74 1100 74-82 2140 82-90 90-98 98-114 40 5000 Sottogruppo con alto red-dito secondo il peso m=78,13; =8,164 Me=78,04; Md=78 Sk=+0,011 La distribuzione del pe-so tra i 10mila coscritti aveva forma bipolare e una certa asimmetria positiva (Sk=+0,044). Ma essa ‘mischia’ due popolazioni distinte in base al reddito, con dif-ferenti m,  e Sk xi-xi+1 ni 50-58 58-66 100 66-74 300 74-82 760 82-90 1000 90-98 2400 98-114 440 5000 Sk=-0,226 Sottogruppo con basso red-dito secondo il peso m=88,94; =9,69 Me=91,13; Md=94

13 Una distribuzione tutta particolare
xi-xi+1 ni 9 10 16 27 45 72 108 159 222 300 389 484 579 665 736 781 796 xi-xi+1 ni 781 736 665 579 484 389 300 222 159 108 72 45 27 16 10 9 10000 m+2=195 m-2=155 mx=175 m-=165 m+=185 xi Torniamo alla distribuzione delle stature e disaggreghiamo le classi. L’istogramma as-sume forma simmetrica e campanulare. Se facciamo tendere gli intervalli i di base a misure infinitesime..

14 La distribuzione Normale o di Gauss
Va sotto il nome di Gauss la legge di frequenza di una v.s. continua, dalla forma simmetrica e campanulare, per la quale sono stati dimostrati fondamentali risultati di convergenza, tanto da farne una legge di riferimento o “Normale”. Una distribuzione Normale con media m e deviazione standard  (la indicheremo con N(m,) possiede queste proprietà: Ha forma simmetrica e campanulare Dipende da due parametri che corri-spondono alle statistiche m e  Tende asintoticamente a zero per x È unimodale, con massimo in x=m=Me Ha due punti di flesso (dove cambia o-rientamento la concavità della curva) in x=m  N(m, ) m m-2 m+2 m- m+

15 Due buoni motivi di interesse
Ci sono almeno due motivi di interesse per la N(m,). Il primo è che già Gauss la identifica come legge di distribu-zione degli errori accidentali intorno a una misura centrale. Il teorema del limite centrale, formulato nel ‘900, indica nella Normale la legge a cui converge la somma di un numero crescente di ‘esperimenti’ ripetuti, qualunque sia la loro distribuzione. Il secondo motivo è che la legge di densità dipende solo dai due parametri m e  (e,  e 2 = costanti!), interni alla distri-buzione stessa. Quindi se noi standardizziamo le modalità di una distribuzione osservata, qualunque ne sia la forma, la di-stribuzione così ‘ridotta’ N(0,1) non dipende da nessun parametro. Insomma, una distribuzione ‘universale’! zi

16 La distribuzione Normale ridotta
Ripetiamo questo concetto, così utile e importante. Se noi constatiamo, o sappiamo per certo (o almeno ipotizziamo) che il carattere X si distribui-sce secondo una Normale di media m e deviazione standard (lo scriviamo così: X~N(m;)), e consideriamo i valori standardizzati z=(x-m)/ questi si distribuiranno ancora secondo una Normale, ma con media m=0 e deviazione standard =0 (e lo scriviamo così: Z ~ N(0,1)). 34,1% 34,1% Quindi la distribuzione normale standardizzata ha legge di den-sità fissa qualunque sia la distri-buzione N(m,) di partenza. L’area sottesa alla curva in un qualunque intervallo dato è quindi fissa e tabulabile. Per esempio: f(-1<x<1)=68,2% 13,6% 13,6% 2,3% 2,3% m m-2 m- m+ m+2 zi

17 La tavola della Normale ridotta
Per usare la tavola della Normale ridotta N(0,1) si cerca nella prima colonna (intero e primo decimale) e prima riga (secondo deci-male) l’estremo superiore di un intervallo 0<Z<z (dove z=0 corrisponde al valore medio): all’incrocio tra riga e colonna di entrata si indi-vidua la frequenza di quella regione: f(0<Z<z)=(z). Se z=1,96 (z)=0,475

18 (z)=f(0<Z<z)= f(-z<Z<0)=(-z)
Un primo esempio Abbiamo visto che la statura di diecimila coscritti si distribuisce secondo una Normale, con m=175 e =10,39. Senza dover avere sottomano l’intera distribuzione mi bastano questi due parametri e l’ipotesi che X ~ N(m,) Per stimare per es. la frequenza di coscritti di statura compresa tra 175 (media) e 190 cm. Occorre anzitutto trasformare l’intervallo in valori z: Se x=190 allora z=( )/10,39=1,44 Nella tavola in corrispondenza di z=1,44 trovo (z)=f(0<Z<z)=0,4251. Dunque le stature tra 175 (media) e 190 capitano nel 42,5% dei casi. (-z)=42,5% (z)=42,5% E se avessi voluto stimare la frequenza di stature comprese tra 160 e 190 cm., cioè 15 cm sopra e sotto la media? Niente di più facile, visto che la curva è simmetrica e (z)=f(0<Z<z)= f(-z<Z<0)=(-z) Quindi f(-z<Z<z)=2(z)=85%

19 Un secondo esempio Prendiamo ora la distribuzione del peso dei coscritti. Supponiamo di non avere l’intera distribuzione ma solo i parametri m=83,5 e =10,5. Per avere una stima della frequenza di osservazioni compresi tra 82 e 90 chili, facciamo la solita ipotesi che X ~ N(m,). Ora però l’intervallo non è centrato sulla media (è spostato a destra). Calcoliamo separatamente due frequenze (sapendo che (-z)= (z)): f{m<X<90}=f{0<Z<(90-m)/)}=f{0<Z<0,62}=(0,62)=0,2324 f{82<X<m}=f{(82-m)/<Z<0}=f{-0,14<Z<0}=(-0,14)=(0,14)=0,0557 f{82<X<90}= (0,62)+ (0,14)=0,2324+0,0557=0,288=28,8% (0,62)=23,2% (-0,14)=5,6% In base all’ipotesi di normalità di X si stima che tra 82 e 90 chili stia il 29% dei casi. In realtà la v.s. X ha un ‘buco’ proprio in quella classe che contiene solo il 21% delle osservazioni. Ma più di così non potevamo fare!

20 Un ultimo esempio A volte siamo interessati a stimare la frequenza di casi non entro una data re-gione, bensì al di fuori di essa. Per es.: La frequenza dei bocciati La frequenza di frecce scagliate fuori bersa-glio (troppo a destra e troppo a sinistra)… Sappiamo che la distribuzione del peso dei coscritti ha m=83,5 e =10,5. Fissia-mo una soglia critica a k=m+2=104,5 chili e chiediamo: date le diverse di-stribuzioni per alti e bassi redditi, quale sarà nei due casi la frequenza di ragaz-zi sovrappeso? Detto k* il valore stan-dardizzato (k-m)/, vale la relazione: (k*) 0,5-(k*) Alto reddito: m=78,1; =8,16 K*=(104,5-78,1)/8,16=3,23 ½ - (3,23)=0,5 – 0,4995  0 Basso reddito: m=88,9; =9,69 K*=(104,5-88,9)/9,69=1,61 ½ - (1,61)=0,5 – 0,4463=5,4% f(X>k)=f(Z>k*)=f(0<Z<)-f(0<Z<k*)=(+)- (k*)=0,5 - (k*)

21 Un confronto con Cebicev
L’assunzione di normalità di una distri-buzione, la standardizzazione di una variabile e l’uso della tavola della N(0,1) ci consentono, dati solo m e , di avanzare una valutazione della frequenza di osser-vazioni in un certo intervallo: f{m-z<X<m+z}= f{-z<Z<z}=2(z) Con un po’ di esercizio si può valutare qualunque frequenza, interna o esterna a una data regione, a sua volta centrata intorno alla media o no. La valutazione così ottenuta della fre-quenza f{|x-m|z} (espressione equiva-lente a quella sopra) è comunque assai più elevata del ‘pavimento’ fissato dal teorema di Cebicev [=1-(1/z2)]. z 2(z) 1-(1/z2) 1,0 68,3% 1,5 86,6% 55,5% 2,0 95,4% 75,0% 2,5 98,8% 84,0% 3,0 99,7% 88,9%