La presentazione è in caricamento. Aspetta per favore

La presentazione è in caricamento. Aspetta per favore

LEZIONE A.8 Misurare la variabilità TQuArs – a.a. 2010/11 Tecniche quantitative per l’analisi nella ricerca sociale Giuseppe A. Micheli.

Presentazioni simili


Presentazione sul tema: "LEZIONE A.8 Misurare la variabilità TQuArs – a.a. 2010/11 Tecniche quantitative per l’analisi nella ricerca sociale Giuseppe A. Micheli."— Transcript della presentazione:

1 LEZIONE A.8 Misurare la variabilità TQuArs – a.a. 2010/11 Tecniche quantitative per l’analisi nella ricerca sociale Giuseppe A. Micheli

2 In questa lezione.. In questa lezione smettiamo di cercare misure ‘centrali’ di una variabile e passiamo a strumenti per misurare la dispersione in-torno a tali modalità. Poiché le variabili hanno gradi diversi di misurabilità individueremo una misura per ciascuno dei tre livelli:  Per variabili ordinali, intorno alla mediana abbiamo già fatto la conoscenza con il Range Interquartilico  Per variabili quantitative faremo la conoscenza della misura regina della Statistica, la Varianza  Per le variabili solo nominali cercheremo un concetto di variabilità assimilabile a quello di dispersione intorno a un polo, e proporremo la Eterogeneità. L’eterogeneità (a differenza della varianza) ha un massimo implicito nella sua definizione, e può quindi essere ‘relativizzato’. Ma questo è un tema che riprenderemo presto..

3 Range Range Il modo più naturale di cogliere la variabilità di un carattere è quello di vedere quanta è la differenza tra i ‘primi’ e ‘gli ultimi’, tra le unità di anali- si che stanno all’inizio e quelle che stanno alla fine della serie ordinata: X={x 1,x 2,x 3,..,x N-2,x N-1,x N }. Range è la differenza tra ultima e prima modalità della serie ordinata: valori ‘anomali’ Ma il Range risente trovo di valori ‘anomali’ sulle code della distri- buzione. Cosa succede al Range se, per esempio:  Di una classe scolastica di cui si studiano i redditi entra a far parte il nipote di Rockfeller?  Tra gli impiegati di Los Alamos su cui si valuta il Q.I. si inseriscono Fermi e von Neumann?  Nella serie delle vostre ‘pesate’ mattutine lasciate anche quella rile- vata quando vostro fratello ha appoggiato un’incudine sulla bilancia? R= x N - x 1

4 Range interquantilico Meglio allora premunirsi, prendendo come estremi su cui valutare il Range non proprio le osservazioni più piccola e più grande, ma quelle osser- vazioni (un po’ più ‘interne’ alla serie) che si situano a uguale distanza dal valore centrale della serie ordinata (cioè a pari distanza dalla mediana). Se siamo molto prudenti (perché non ci fidiamo dei valori sulle code, o perché le code non sono nemmeno completate, come nel caso di serie statistiche troncate) prenderemo la differenza tra il terzo e il primo quartile: 3 Q 4 (X)- 1 Q 4 (X) = Range Interquartile (IQR o DIQ). Se ci fidiamo dei valori assunti dalle osservazioni del primo decile (che la- sciano solo il 10% con valori più bassi) e al nono decile (lasciano solo un 10% più alto), prenderemo 9 Q 10 (X)- 1 Q 10 (X) = Range Interdecilico. Differenza interquantilica 9 Q 10 (X)- 1 Q 10 (X) 4 Q 5 (X)- 1 Q 5 (X) 3 Q 4 (X)- 1 Q 4 (X) D.i.Q Milano 4,341 2,176 1,585 D.i.Q Paesi 2,760 1,775 1,405 Il range interquartile a Milano e nei paesi è assai simile. Il range inter- decile è invece assai diverso. Segno che la differenza sta nella distri- buzione tra il 75° e il 90° percentile.

5 Minima funzione quadratica di perdita Sappiamo che la media aritme- tica è la misura di posizione che rende minima una funzione qua- dratica di perdita di informazione La varianza è la minima funzione quadratica di perdita intorno alla media aritmetica varianza. E’ quindi ragionevole usare come mi- sura di dispersione la funzione qua- dratica centrata sulla media aritme- tica. La chiamiamo varianza. Per una variabile quantitativa come misurare la dispersione intorno al centro?

6 Calcolo della varianza xixi fifi x i f i x1x1 f1f1 x 1 f 1 x2x2 f2f2 x 2 f 2 x3x3 f3f3 x 3 f 3 x4x4 f4f4 x 4 f 4 x5x5 f5f5 x 5 f 5 1mXmX x i –m x x 1 -m x x 2 -m x x 3 -m x x 4 -m x x 5 -m x Per calcolare una varianza useremo le colonne già imposta- te per il calcolo della media, cui aggiungerne tre:  le differenze semplici rispetto alla media (la loro somma ponderata per le frequenze è zero!),  le differenze al quadrato,  le differenze quadratiche ponderate con le frequenze. Nota: se nella ultima colonna moltiplichere- mo gli scarti quadratici per le numerosità invece che per le frequenze assolute, nes- sun problema: basterà divi- dere il totale per N: Var(X) = (x i –m)n i /N (x i –m x ) 2 f i (x 1 –m x ) 2 f 1 (x 2 –m x ) 2 f 2 (x 3 –m x ) 2 f 3 (x 4 –m x ) 2 f 4 (x 5 –m x ) 2 f 5 Var(X) (x i –m x ) 2 (x 1 –m x ) 2 (x 2 –m x ) 2 (x 3 –m x ) 2 (x 4 –m x ) 2 (x 5 –m x ) 2

7 Dalla varianza alla ‘deviazione standard’ xixixixi nininini xixi nini x i n i x i –m x (x i –m x ) 2 (x i –m x ) 2 n i ,74137, , ,26798, , ,266124, , ,8696 Torniamo ai 46 azionisti e loro azioni. m X =x i n i /N= =1000/46=21,74 V X =(x i –m x ) 2 n i /N=24260,8696/46=527,41 m=21,7 La misura ottenuta è confrontabile con quel- la di altre variabili e ha molte belle proprietà (altre ne vedremo) ma è poco comprensibile. Essa (somma di quadrati di scarti) è di ordine quadratico rispetto alle modalità osservate. La radice quadrata di V(X) si chiama Deviazione Standard o Scarto Quadratico Medio. La indichiamo con  X = 2 X. Essa misura l’unità standard di dispersione della v.s. intorno alla media.  X =527,41=22,96 m+ =44,7 m+2=67,7

8 Come varia la varianza? Per valutare la capacità di misurare la variabilità di  simuliamo quattro possibili distribuzioni di una v.s., tutte con media 4. Nel primo caso le 10 osservazioni sono uguali. In assenza di variabilità tutti gli scostamenti dalla media sono nulli: c’è corrispondenza biunivoca tra =0 e zero-variabilità. Nel secondo caso invece le osservazioni iniziano ad aprirsi, sia pur limitatamente, intorno alla media:  ne risente.

9 La varianza cresce se cresce la polarizzazione Nel terzo caso (distribuzione uniforme, amodale) il peso delle osservazioni addensate intorno alla media diminuisce notevolmente:  cresce. E cresce ancora quanto più aumenta il peso sulle code della distribuzione. Dunque la varianza misura la dispersione intorno alla media, e assume valori positivi o nulli, valendo zero in caso di zero-variabilità.

10 I due significati della deviazione standard Sono dunque due i significati utili della deviazione standard: misura sintetica della dispersione  Come misura sintetica della dispersione di una v.s. intorno alla media, per valutare complessivamente la variabile stessa, unità di misura della dispersione  Come unità di misura della dispersione intorno alla media, per valutare lo scostamento di una singola osservazione dal polo centrale. Pazienti anoressiche per età di insorgenza x i -x i+1 fifi (x i +x i+1 )/2 x i x f i (x i –m x ) 2 f i 9-110,077100,7702, ,31712,53,9633, ,44416,57,3260, ,162223,5646,5879 N=142 15,62312,4557 m x =15,6 Anche per la varianza come per la media il cal- colo per variabili per classi passa attraverso i va- lori centrali delle classi. V X =12,456  X =3,529 m-2=8,6 m-=12,1 m+2=22,6 m+=19,1 nininini xixixixi

11 Una formula operativa per il calcolo di V(X) Come si era visto per la media, già l’uso di frazioni nel calcolo richiedeva di portarsi dietro un ‘congruo’ numero di decimali. La farraginosità della procedura di calcolo della varianza è accentuata dal passaggio attraverso quadrati di scarti, scarti che non sono necessariamente in cifra tonda. Vale però l’equivalenza tra la definizione di V(X) e una sua utile scomposizione: Dimostrazione

12 Media quadratica o momento secondo Nella formula operativa la varianza è scomposta nella differenza di due misure sintetiche di X, che appartengono ad un'unica famiglia di misure di sintesi, dette momenti di ordine k: In particolare: se k = 1 [momento primo] se k = 2 [momento secondo] la varianza è uguale alla differenza tra il momento secondo e il quadrato del momento primo Dunque la varianza è uguale alla differenza tra il momento secondo e il quadrato del momento primo:

13 Equivalenza della formula operativa xixi nini x i n i xi2xi2 x i 2 n i niente Verifichiamo l’equivalenza tra formula definitoria e formula operativa della varianza, sui nostri 46 azionisti. m X =x i n i /N=1000/46=21,739 m 2X =x i 2 n i /N= 46000/46 = 1000 V X = m 2X -(m X )2 =1000-(21,74) 2 =527,41 Attenzione: la varianza è una somma di quadrati: quindi non potrà mai essere negativa!!! La formula operativa produce esattamente lo stesso risultato della formula ufficiale. Essa è però di più semplice applicazione, perché non richiede di calcolare “quadrati di scarti” dalla media: quadrati che possono trascinarsi dietro parecchi decimali e fastidiosi errori di arrotondamento.

14 Un esempio fifi 0,1146 0,3995 0,3148 0,1119 0,0337 0,0200 0,0055 1,0000 xixi x i x f i 1,146 11,985 15,740 7,833 3,033 2,600 1,265 43,602 xixi hihi Famiglie lombarde per reddito annuo (in milioni di lire) m x = 43,6 m 2X =2608,24 V x =2608,24-(43,6) 2 = 707,28  x = 26,6 m x =43,6 x i 2 x f i 11,46 359,55 787,00 548,31 272,97 338,00 290, ,24 m-m+ m+2 Come unità di dispersione, lo sd permette di analizzare i dati a livello micro: sappiamo per es. che i redditi sopra i 97 milioni sono superiori a m+2 e sono quindi nella fascia alta. Come misura di sintesi invece sd e varianza sono di uso più problematico. Possiamo dare un senso al loro ordine di grandezza solo mettendo a confronto popolazioni differenti (e anche in questo caso con prudenza!!)

15 Un secondo esempio n i MI xixi 0,4 1,0 1,4 1,8 2,2 2,6 3,0 3,4 3,8 4,2 4,6 5,0 5,6 7,0 10,0 x i n i MI 1,6 1,0 9,8 18,0 19,8 59,8 33,0 51,0 30,4 25,2 13,8 15,0 16,8 56,0 30,0 381,2 n i PIC xixi 0,4 1,0 1,4 1,8 2,2 2,6 3,0 3,4 3,8 4,2 4,6 5,0 5,6 7,0 10,0 x i n i PIC 2,8 9,0 77,0 185,4 193,6 319,8 204,0 170,0 114,0 172,2 69,0 55,0 67,2 91,0 30,0 1760,0 m x M =3,3438 m x P =2,8025 m 2X M =14,6063 m 2X P =9,4924 V x M =3,425 V x P =1,638  x M =1,85  x P =1,28 In città il reddi- to medio è più alto. Ma è an- che parecchio più alta la di- spersione intor- no alla media x i 2 n i MI 0,64 1,00 13,72 32,40 43,56 155,48 99,00 173,40 115,52 105,84 63,48 75,00 94,08 392,00 300, ,12 x i 2 n i PIC 1,12 9,00 107,80 333,72 425,92 831,48 612,00 578,00 433,20 723,24 317,40 275,00 376,32 637,00 300, ,20

16 L’utilità del confronto Rosso = Milano Blu = Paesi Più redditi alti in città Più poveri in città In città più ricchi ma anche più poveri in valore assoluto: la varianza (che a Milano è il doppio di quella dei paesi) conferma quello che già ci diceva la lettura del grafico A che soglia un reddito familiare è elevato? Prendiamo come para- metro il valore m+2: esso è pari a 53 milioni e mezzo (5,36) nei piccoli paesi, ed è invece pari a 70milioni (7,04) a Milano: più del 30% superiore. Nei due contesti dunque le due soglie corrispondono a un’uguale condizione di ricchezza. P.S.: per comodità avevamo diviso i redditi per 10: ora torniamo a espri- mere m e  nella misura originaria. E’ lecito?

17 Un terzo esempio Alto redditosdp9/p1 Svezia0,201,53 Olanda0,221,62 Australia0,241,80 Italia0,271,76 Regno Unito0,282,04 USA0,342,31 Giappone0,351,96 Germania0,372,52 Basso redditosdp9/p1 Sudan0,422,28 Mozambico0,453,19 Bangladesh0,503,34 Thailandia0,503,82 India0,584,51 Camerun0,716,72 Tchad0,765,66 Rep.CentrAfr.0,786,05 L’International Labour Review (2001) ha pubblicato un con- fronto dei differenziali salariali su un ampio ventaglio di occupa- zioni in 80 paesi. Qui riportiamo solo 16 paesi, 8 ad alto reddito e 8 a basso. Per questa analisi cross section sono state adottate due misure:  Lo sd dei (logaritmi dei) salari  Il rapporto interdecilico Le due misure sono concordi nel de- scrivere una regola statistica: i divari nelle remunerazioni occupazionali salgo- no al calare del reddito procapite nazio- nale (ma questa è già analisi bivariata!) P.S.:Come spieghereste il fatto che Giappone e Camerun infrangono la concordanza?

18 La variabilità in caratteri qualitativi xixi nini fifi Sinistra 200,113 Centrosin. 450,254 Centro 390,220 Centrodes 590,290 Destra 200,113 Schieramento 1771,000 xixi nini fifi Imprenditori 230,130 Docenti univers. 320,181 Manager 240,136 Avvocati 730,412 Commercianti 250,141 Professione1771,000 Con variabili ordinali (es. deputati per schieramento da sinistra a destra) sarebbe impossibile misurare la variabilità attraverso la varianza (le distan- ze tra modalità non hanno infatti valore assoluto). Altrettanto impossibile è applicare la varianza a variabili nominali (come la composizione della Came- ra per professioni). Eppure in tutti questi casi avevamo trovato un modo per ‘misurare’ la modalità più rappresentativa (la moda) facendo uso delle sole frequenze (e non delle modalità). Possiamo inventarci qualcosa anche per la variabilità?

19 Costruire una misura di eterogeneità Confrontiamo le due v.s. Y e X: la varianza della prima è molto maggiore. Ma supponiamo che le modalità siano soltanto le codifiche di risposte di- verse a una domanda di un questionario. In Y i numeri sono più dispersi, ma di fatto c’è lo stesso grado di uniformità o eterogeneità osservato in X: una risposta ha avuto il 40% delle osservazioni, altre due il 30% ciascuno. Una misura di eterogeneità deve quindi basarsi esclusivamente sulle fre- quenze. Noi la costruiamo a tavolino in modo che soddisfi due condizioni: 1.L’indice sia 0 e sia 0 in assenza di va- riabilità, quando tutte le N osservazioni corrispondano a una sola modalità 2.L’indice sia massimo quando la popo- lazione si distribuisce equamente tra m modalità con uguale frequenza 1/m.

20 L’indice E di Gini Tra gli indici che soddisfano le due proprietà uno è più semplice degli altri. In caso di assenza di eterogeneità tutte le frequenze sono nulle, tranne quella della modalità osservata che sarà =1. Quindi E=1-1=0 In caso di massima eterogeneità tutte le m modalità hanno uguale frequenza 1/m, quindi: Tre annotazioni: 1.E max è sempre inferiore a 1, e tende a 1 se le modalità sono numerose 2.Se E ha un massimo che varia col numero delle modalità osservate conviene relativizzare E rapportandolo al suo massimo: E*=E/ E max. 3.E ha un massimo, la varianza no. Ci avete fatto caso?

21 Calcolo di E: un esempio Nel settore dei tubi magici operavano 5 aziende. Tuc possedeva il 50% delle quote di mercato, Puc il 20%, le altre tre (Cuc, Muc, Gnuc) il 10% ciascuno. Ma a un certo punto Gnuc assorbe le altre due piccole e il mercato si semplifica a tre soli operatori. Come cambia E tra prima e dopo? x i prima fifi fi2fi2 Tuc0,50,25 Puc0,20,04 Cuc0,10,01 Muc0,10,01 Gnuc0,10,01 10,32 y i poi fifi fi2fi2 Tuc0,50,25 Puc0,20,04 Gnuc0,30,09 10,38 E =1-0,32=0,68 E max =(5-1)/5=0,80 E*=0,68/0,80=0,85 E =1-0,38=0,62 E max =(3-1)/3=0,67 E*=0,62/0,67=0,93 Morale: il mercato si è ‘semplificato’ perché vi operano meno attori, e l’ete- rogeneità apparentemente è diminuita (da E=0,68 a E=0,62). Ma se ‘relativizziamo’ (presto parleremo di ‘normalizzazione’) l’eterogeneità rispetto al numero delle modalità, troviamo che l’eterogeneità effettiva è nettamente cresciuta (da E*=0,85 a E*=0,93). In effetti, ora Tuc avrà più difficoltà a controllare il mercato.

22 Tre annotazioni su E di Gini yiyi fifi fi2fi2 100,600,36 200,200,04 500,200,04 1,000,44 Posso calcolare E an- che per v.s. quanti- tative ma ha scarso significato. In questo caso E=0,56 e E*= 0,84, sia che il pac- chetto azionario del 20% di operatori più importanti sia di sole 50 azioni l’uno, sia che sia di 500! Vi siete accorti che la v.s. quantitativa Y qui accanto e la v.s. no- minale X della pagina prima sono conteggi di- versi degli stessi dati? In X le quote di mer- cato erano frequenze relative di possesso da parte di diverse aziende. In Y le quote di mercato sono rapporti statistici assunti come modalità e gli attori sono accorpati secondo la dimensione del ‘pacchetto’. Nelle analisi economiche di settore, per studiare la concentrazione di un settore si utilizza l’indice di Herfindal-Hirschman, calcolato come somma dei quadrati delle quote di mercato di tutte le di- verse imprese: H=  i x i 2 L’indice H è il comple- mento a 1 di E di Gini. E’ minimo se c’è max eterogeneità (polveriz- zazione delle quote di settore) e vale 1 nel ca- so di zero-variabilità, o max concentrazione.


Scaricare ppt "LEZIONE A.8 Misurare la variabilità TQuArs – a.a. 2010/11 Tecniche quantitative per l’analisi nella ricerca sociale Giuseppe A. Micheli."

Presentazioni simili


Annunci Google