Analisi Statistica dei Dati

Presentazione sul tema: "Analisi Statistica dei Dati"— Transcript della presentazione:

1 Analisi Statistica dei Dati
G.Marsella

2 Elementi di teoria della probabilità

3 Eventi aleatori Un evento è aleatorio (casuale) quando non si può prevedere con certezza se avverrà o meno I fenomeni (eventi) aleatori sono studiati attraverso la teoria della probabilità Probabilità di un evento semplice Un evento può risultare: Certo (si verifica sempre) -estrazione di una pallina nera da un’urna contenente solo palline nere Impossibile(non si verifica mai) -estrazione di una pallina bianca da un’urna contenente solo palline nere Probabile(può verificarsi o no) -estrazione di una pallina bianca da un’una contenente sia palline nere che bianche

4 La prova genera l’evento con una certa probabilità
Eventi e probabilità impossibile certo probabile P=0 0<P<1 P=1 Se E indica un evento l’evento corrispondente al non verificarsi di E rappresenta l’evento complementare E con la relazione P(E) = 1 – P(E) La prova genera l’evento con una certa probabilità

5 Eventi aleatori Evento semplice = singola manifestazione di un fenomeno (misura,osservazione, risultato) che esclude altri eventi (eventi incompatibili: testa o croce nel lancio di una moneta) Evento composto = è costituito da una combinazione di più eventi semplici. Possono verificarsi simultaneamente ovvero sono compatibili(l’evento testa di una moneta è compatibile con l’evento croce nel lancio di due monete)

6 Eventi aleatori L’insieme di tutti gli eventi di un fenomeno costituiscono l’universo o spazio campione (Ω) delle possibilità. Si usa il termine successo per segnalare che si è verificato l’evento considerato e insuccesso in caso contrario. Essi sono eventi incompatibili o mutuamente esclusivi

7 Spazio campionario Lo spazio campionario associato al lancio di due monete comprende 4 punti che rappresentano i possibili risultati Si chiama evento ogni sottoinsieme dello spazio campionario TT TC CT CC

8 Teoria e calcolo della probabilità
L’entità di successi in una serie di osservazioni (prove) può essere definita come frequenza relativa o (percentuale) calcolata come rapporto tra il numero di eventi favorevoli rispetto al numero di casi esaminati Il grado di aspettativa circa il verificarsi di un evento E, ovvero la probabilità dell’evento P(E) è

9 Concezione classica della probabilità
La probabilità di un evento E è il rapporto tra il numero di casi favorevoli al verificarsi di E(n) e il numero di casi possibili (N), purché siano tutti equi - probabili Es: probabilità di estrarre un asso da un mazzo di 52 carte = 4/52 = 0.08 probabilità di ottenere testa nel lancio di una moneta =1/2 = 0.5

10 Applicazioni della concezione classica
Probabilità uscita testa Probabilità faccia 6 dado Qual è la probabilità che lanciando due volte una moneta si presenti prima la faccia testa poi la faccia croce 1°- TT 2°- TC 3°- CT 4°- CC p = p=

11 Concezione frequentista della probabilità
La probabilità di un evento è la frequenza relativa di successo in una serie di prove tendenti all’infinito, ripetute sotto identiche condizioni Nella concezione frequentista la probabilità è ricavata a posteriori dall’esame dei dati Frequenza relativa su un gran numero di prove Es: qual è la probabilità post-operatoria dopo l’intervento xyz ? I dati su un decennio in un territorio presentano 30 morti su 933 interventi Frequenza relativa = 30/933= 3.22% = Probabilità di mortalità post-operatoria

12 Legge dei grandi numeri
P(E): ripetendo la prova un gran numero di volte si osserva che il rapporto f= m/n (frequenza relativa) dove m= numero di successi ed n= numero di prove tende ad avvicinarsi sempre più alla probabilità P(E) La frequenza relativa f al crescere del numero delle prove, tende, pur oscillando, verso un valore costante (stabilità della frequenza)

13 Elementi di statistica

14 Elementi di statistica
La statistica è un’estensione del calcolo delle probabilità Si parte dai concetti fondamentali Si estende la definizione di probabilità Si introducono delle nuove variabili

15 Estensione del concetto di probabilità

16 Estensione del concetto di probabilità
La probabilità viene fatta passare da un numero razionale ... ... ad un numero reale La probabilità può essere infinitesima Anche se poi si darà significato sempre alla probabilità finita Tramite integrazioni

17 Estensione del concetto di probabilità
Si suppongono valide tutte le leggi delle probabilità già stabilite Non si può più definire la probabilità come rapporto fra casi favorevoli e casi possibili

18 Le variabili aleatorie (variate)

19 Le variabili aleatorie
Una variabile aleatoria è una variabile... ... reale ... discreta o continua ... associata ad una probabilità

20 Le variabili aleatorie
Una variabile aleatoria discreta Assume i valori ... ... con probabilità

21 Le variabili aleatorie
Esempio classico: il dado Variata: un numero da 1 a 6 Probabilità associata: 1/6

22 Si definisce Valore atteso Speranza matematica Valore medio

23 La variabile aleatoria discreta può essere definita da una tabella
Esempio: I numeri riportati sulle facce di un dado Attenzione: i numeri potrebbero essere diversi Anche le probabilità se il dado fosse truccato...

24 Il dado xk Pk 1 0.167 2 3 4 5 6

25 Ed ecco una rappresentazione grafica
Distribuzione Spettro

26

27 Se si conoscono solo valori proporzionali alle probabilità occorrerà normalizzarli

28 Una variata continua Assume valori reali in un dominio D con probabilità infinitesima La è la funzione di distribuzione (spettro) Funzione densità

29 Il dominio D sarà per noi, praticamente sempre, uno dei seguenti insiemi
Tutto l’asse reale Il semiasse reale positivo Un intervallo (e di solito chiuso) Indicheremo in ogni caso l’estremo inferiore con low e quello superiore con high Ecco degli esempi

30 Binomiale

31 Uniforme

32 Poissoniana

33 In ogni caso vale la condizione di normalizzazione
...ed in generale un valore atteso (“speranza matematica”) vale...

34

35 Il momento di ordine 0 corrispnde alla condizione di Normalizzazione

36 Funzioni di distribuzione
In sintesi, le principali caratteristiche di una funzione di distribuzione sono:

37 Le distribuzioni in generale

38 Le distribuzioni in generale
Di solito hanno quindi dei picchi Il picco più alto si chiama moda della distribuzione Un picco: unimodale Poi bimodale, multimodale...

39 Le distribuzioni in generale
Si definisce la mediana È definita con un’equazione integrale Non gode di proprietà di linearità Molto utile e potente soprattutto nell’analisi delle serie temporali

40 Le distribuzioni in generale
Poi ci sono i quartili Mediane della mediana Poi i percentili ...

41 Le distribuzioni in generale
Quasi sempre di una distribuzione si fornisce La media La standard deviation La moda A volte anche il momento secondo (o la sua radice) Valore quadratico medio È il caso delle velocità in un gas

42 Le distribuzioni in generale
Attenzione a non confondere Facili a confondere se si usa il simbolo

43 Distribuzioni discrete e continue

44 Le principali distribuzioni discrete

45 Le principali distribuzioni discrete
Veramente importanti solamente due Distribuzione di Bernoulli e binomiale Distribuzione di Poisson, o degli eventi rari

46 La distribuzione di Poisson

47 La distribuzione di Poisson
È la distribuzione di eventi rari È ciò che diviene la binomiale quando Legge della distribuzione

48 La distribuzione di Poisson

49 La distribuzione di Poisson

50 La distribuzione di Poisson
Media Varianza

51 La distribuzione di Poisson
Ed infine un grafico per e

52

53 Le principali distribuzioni continue

54 Le principali distribuzioni continue
Molte hanno interesse limitato Qui studiamo solo quelle di maggiore interesse per la misura Definite In un intervallo (solo la uniforme) Semiasse reale positivo Tutto l’asse reale

55 La distribuzione uniforme

56 La distribuzione uniforme
Definita fra –1/2 e 1/2 Di solito però fra 0 e 1 Il calcolatore estrae “numeri a caso” in questo intervallo In realtà i numeri sono pseudocasuali Estratti con un formalismo causale si verifica a posteriori che rispettino la casualità Il caso di p Sono la base per simulazioni statistiche

57

58 La distribuzione uniforme
Definizione della distribuzione In generale

59

60 La distribuzione uniforme
Media Varianza

61 UN PROBLEMA INTERESSANTE

62 Un problema interessante
Visto che il calcolatore mi dà solo numeri (pseudo)casuali fra 0 ed 1, posso (e se sì come) ottenere dei numeri distribuiti fra A e B con una distribuzione f(x) ? La risposta è affermativa Metodo di reiezione

63 Un problema interessante
Uno schizzo grafico...

64 Un problema interessante
Ricetta Calcoliamo anzitutto il massimo della funzione nel nostro intervallo Poi calcoliamo Estraiamo un numero fra 0 ed 1 Calcoliamo

65 Un problema interessante
Ora estraiamo un secondo numero fra 0 ed 1, e moltiplichiamolo per M: Quindi una distribuzione uniforme fra 0 ed M Siamo ora in possesso di due numeri (pseudo)casuali X fra a e b Y fra 0 ed M

66 Un problema interessante
Calcoliamo la Terremo per buono il valore X se è Rigetteremo il valore X

67 Un problema interessante
Il metodo è usatissimo e garantito Funziona a spese di estrazioni a vuoto In pratica Si riempie uniformemente il rettangolo verde di punti Si tengono per buoni solo quelli sotto la curva Funziona anche per più dimensioni ...e si allungano i tempi...

68 La distribuzione gaussiana

69 La distribuzione gaussiana
Noi ci limiteremo alle variate normali Sono le più utili Coprono l’assoluta maggioranza dei casi pratici Quando occorre qualcosa di più si è nei guai In questo caso bastano due momenti Media e SD

70 La distribuzione gaussiana
Caso importante “fuori dal coro” i conteggi Seguono la statistica di Poisson Però Regola a spanne Quando μ > 10 usate pure Gauss con

71 La distribuzione gaussiana
La funzione di distribuzione

72 La distribuzione gaussiana
Media Varianza

73 La distribuzione gaussiana
Definiremo a partire da una variata normale x La variata centrata (detta anche scarto) La variata ridotta (detta anche scarto ridotto) Vediamo degli esempi grafici

74

75 La distribuzione gaussiana
Una proprietà importante: Le probabilità di stare dentro un certo numero N di SD sono sempre le stesse Attenzione: la funzione d’errore è (storicamente) definita per una gaussiana non normalizzata...

76 La distribuzione gaussiana
Definizione

77 La distribuzione gaussiana
In realtà a noi serve

78 La distribuzione gaussiana
1 2 3 4 5

79

80 Curva di Gauss Caratteristiche
E’ simmetrica rispetto alla media:la probabilità di un valore superiore alla media di una quantità prefissata è uguale alla probabilità di un valore inferiore per la stessa quantità L’area compresa tra la funzione e l’area delle ascisse ( da a - ) sia = 1 così da esaurire lo spazio campionario Esiste la probabilità al 100% che la misura sia inclusa nella distribuzione La frazione di area compresa tra due valori della variabile è assimilabile alla probabilità di riscontrare casualmente una misura entro tale intervallo

81 Le aree sottese alla curva normale
Spesso è necessario determinare la probabilità di riscontrare casualmente una misura entro tale intervallo Proprietà della curva normale: l’area sottesa alla porzione di curva che vi è tra le media e una ordinata posta a una distanza data, determinata in termini di una o più deviazione standard, è costante

82 Applicazione curva di Gauss
Se una popolazione di unità classificate secondo un certo carattere X si distribuisce normalmente, la conoscenza di media e varianza (o loro stime) consente di calcolare (o di stimare) la frequenza relativa delle unità che presentano un valore di X compreso in un certo intervallo Calcolare la probabilità che, estraendo da tale popolazione un’unità questa abbia un valore di X compreso in un certo intervallo

83

84

85 Distribuzione gaussiana standardizzata
Per agevolare il ricercatore la variabile x viene trasformata in una nuova variabile La distribuzione standardizzata presenta il vantaggio di consentire la predisposizione di tabelle che permettono di calcolare porzioni di area della distribuzione e di stabilire la probabilità statistica di riscontrate valori in relazione a determinati valori z

86

87 Valori notevoli della distribuzione z
z area compresa area esterna all’intervallo nell’intervallo (- z + z) (code della distribuzione) (-z + z) 1 (-1<z<+1) (≈ 68%) (≈ 32%) 1.96 (-1.96<z<+1.96) (≈ 95%) (≈ 5%) 2.58 (-2.58<z<+2.58) (≈ 99%) (≈ 1%)

88 Esempio di utilizzazione della distribuzione z
Qual è la probabilità che un individuo estratto a caso da una popolazione con peso medio 72 Kg e deviazione standard 25 Kg pesi tra i 60 e 80 Kg:? Occorre calcolare la porzione di area compresa tra 60 e 80 Kg. ai cui valori corrispondono rispettivamente i valori

89 Esempio di utilizzazione della distribuzione Z
Facendo riferimento alla tabella z per z=0.48 nelle due code è 0.631 L’area di interesse tra e 0 è 0.5 - Con analogo procedimento si calcola la porzione di area tra 0 e 0.32 P(60kg<peso<80kg=P(z60<z<z80) = =P(-0.48<z<0) + (P(0<z<+0.32) = = = ,0%

90

91 Ripartizione delle aree di probabilità della distribuzione z
0,5 Ripartizione delle aree di probabilità della distribuzione z

92 Esempio di utilizzazione della distribuzione z
Una popolazione di bambini presenta valori di statura distribuiti in modo gaussiano con media = 120 cm. e deviazione standard = 16 cm. Quale è la probabilità che un bambino scelto a caso presenti una statura inferiore a 132 cm.? Quale è la probabilità che l’altezza sia maggiore di 116 cm., ma inferiore a 132 cm.? 1R

93 Esempio di utilizzazione della distribuzione z
P(Z116<Z<Z132) = %