Analisi Statistica dei Dati G.Marsella
Elementi di teoria della probabilità
Eventi aleatori Un evento è aleatorio (casuale) quando non si può prevedere con certezza se avverrà o meno I fenomeni (eventi) aleatori sono studiati attraverso la teoria della probabilità Probabilità di un evento semplice Un evento può risultare: Certo (si verifica sempre) -estrazione di una pallina nera da un’urna contenente solo palline nere Impossibile(non si verifica mai) -estrazione di una pallina bianca da un’urna contenente solo palline nere Probabile(può verificarsi o no) -estrazione di una pallina bianca da un’una contenente sia palline nere che bianche
La prova genera l’evento con una certa probabilità Eventi e probabilità impossibile certo probabile P=0 0<P<1 P=1 Se E indica un evento l’evento corrispondente al non verificarsi di E rappresenta l’evento complementare E con la relazione P(E) = 1 – P(E) La prova genera l’evento con una certa probabilità
Eventi aleatori Evento semplice = singola manifestazione di un fenomeno (misura,osservazione, risultato) che esclude altri eventi (eventi incompatibili: testa o croce nel lancio di una moneta) Evento composto = è costituito da una combinazione di più eventi semplici. Possono verificarsi simultaneamente ovvero sono compatibili(l’evento testa di una moneta è compatibile con l’evento croce nel lancio di due monete)
Eventi aleatori L’insieme di tutti gli eventi di un fenomeno costituiscono l’universo o spazio campione (Ω) delle possibilità. Si usa il termine successo per segnalare che si è verificato l’evento considerato e insuccesso in caso contrario. Essi sono eventi incompatibili o mutuamente esclusivi
Spazio campionario Lo spazio campionario associato al lancio di due monete comprende 4 punti che rappresentano i possibili risultati Si chiama evento ogni sottoinsieme dello spazio campionario TT TC CT CC
Teoria e calcolo della probabilità L’entità di successi in una serie di osservazioni (prove) può essere definita come frequenza relativa o (percentuale) calcolata come rapporto tra il numero di eventi favorevoli rispetto al numero di casi esaminati Il grado di aspettativa circa il verificarsi di un evento E, ovvero la probabilità dell’evento P(E) è
Concezione classica della probabilità La probabilità di un evento E è il rapporto tra il numero di casi favorevoli al verificarsi di E(n) e il numero di casi possibili (N), purché siano tutti equi - probabili Es: probabilità di estrarre un asso da un mazzo di 52 carte = 4/52 = 0.08 probabilità di ottenere testa nel lancio di una moneta =1/2 = 0.5
Applicazioni della concezione classica Probabilità uscita testa Probabilità faccia 6 dado Qual è la probabilità che lanciando due volte una moneta si presenti prima la faccia testa poi la faccia croce 1°- TT 2°- TC 3°- CT 4°- CC p = p=
Concezione frequentista della probabilità La probabilità di un evento è la frequenza relativa di successo in una serie di prove tendenti all’infinito, ripetute sotto identiche condizioni Nella concezione frequentista la probabilità è ricavata a posteriori dall’esame dei dati Frequenza relativa su un gran numero di prove Es: qual è la probabilità post-operatoria dopo l’intervento xyz ? I dati su un decennio in un territorio presentano 30 morti su 933 interventi Frequenza relativa = 30/933= 3.22% = Probabilità di mortalità post-operatoria
Legge dei grandi numeri P(E): ripetendo la prova un gran numero di volte si osserva che il rapporto f= m/n (frequenza relativa) dove m= numero di successi ed n= numero di prove tende ad avvicinarsi sempre più alla probabilità P(E) La frequenza relativa f al crescere del numero delle prove, tende, pur oscillando, verso un valore costante (stabilità della frequenza)
Elementi di statistica
Elementi di statistica La statistica è un’estensione del calcolo delle probabilità Si parte dai concetti fondamentali Si estende la definizione di probabilità Si introducono delle nuove variabili
Estensione del concetto di probabilità
Estensione del concetto di probabilità La probabilità viene fatta passare da un numero razionale ... ... ad un numero reale La probabilità può essere infinitesima Anche se poi si darà significato sempre alla probabilità finita Tramite integrazioni
Estensione del concetto di probabilità Si suppongono valide tutte le leggi delle probabilità già stabilite Non si può più definire la probabilità come rapporto fra casi favorevoli e casi possibili
Le variabili aleatorie (variate)
Le variabili aleatorie Una variabile aleatoria è una variabile... ... reale ... discreta o continua ... associata ad una probabilità
Le variabili aleatorie Una variabile aleatoria discreta Assume i valori ... ... con probabilità
Le variabili aleatorie Esempio classico: il dado Variata: un numero da 1 a 6 Probabilità associata: 1/6
Si definisce Valore atteso Speranza matematica Valore medio
La variabile aleatoria discreta può essere definita da una tabella Esempio: I numeri riportati sulle facce di un dado Attenzione: i numeri potrebbero essere diversi Anche le probabilità se il dado fosse truccato...
Il dado xk Pk 1 0.167 2 3 4 5 6
Ed ecco una rappresentazione grafica Distribuzione Spettro
Se si conoscono solo valori proporzionali alle probabilità occorrerà normalizzarli
Una variata continua Assume valori reali in un dominio D con probabilità infinitesima La è la funzione di distribuzione (spettro) Funzione densità
Il dominio D sarà per noi, praticamente sempre, uno dei seguenti insiemi Tutto l’asse reale Il semiasse reale positivo Un intervallo (e di solito chiuso) Indicheremo in ogni caso l’estremo inferiore con low e quello superiore con high Ecco degli esempi
Binomiale
Uniforme
Poissoniana
In ogni caso vale la condizione di normalizzazione ...ed in generale un valore atteso (“speranza matematica”) vale...
Il momento di ordine 0 corrispnde alla condizione di Normalizzazione
Funzioni di distribuzione In sintesi, le principali caratteristiche di una funzione di distribuzione sono:
Le distribuzioni in generale
Le distribuzioni in generale Di solito hanno quindi dei picchi Il picco più alto si chiama moda della distribuzione Un picco: unimodale Poi bimodale, multimodale...
Le distribuzioni in generale Si definisce la mediana È definita con un’equazione integrale Non gode di proprietà di linearità Molto utile e potente soprattutto nell’analisi delle serie temporali
Le distribuzioni in generale Poi ci sono i quartili Mediane della mediana Poi i percentili ...
Le distribuzioni in generale Quasi sempre di una distribuzione si fornisce La media La standard deviation La moda A volte anche il momento secondo (o la sua radice) Valore quadratico medio È il caso delle velocità in un gas
Le distribuzioni in generale Attenzione a non confondere Facili a confondere se si usa il simbolo
Distribuzioni discrete e continue
Le principali distribuzioni discrete
Le principali distribuzioni discrete Veramente importanti solamente due Distribuzione di Bernoulli e binomiale Distribuzione di Poisson, o degli eventi rari
La distribuzione di Poisson
La distribuzione di Poisson È la distribuzione di eventi rari È ciò che diviene la binomiale quando Legge della distribuzione
La distribuzione di Poisson
La distribuzione di Poisson
La distribuzione di Poisson Media Varianza
La distribuzione di Poisson Ed infine un grafico per e
Le principali distribuzioni continue
Le principali distribuzioni continue Molte hanno interesse limitato Qui studiamo solo quelle di maggiore interesse per la misura Definite In un intervallo (solo la uniforme) Semiasse reale positivo Tutto l’asse reale
La distribuzione uniforme
La distribuzione uniforme Definita fra –1/2 e 1/2 Di solito però fra 0 e 1 Il calcolatore estrae “numeri a caso” in questo intervallo In realtà i numeri sono pseudocasuali Estratti con un formalismo causale si verifica a posteriori che rispettino la casualità Il caso di p Sono la base per simulazioni statistiche
La distribuzione uniforme Definizione della distribuzione In generale
La distribuzione uniforme Media Varianza
UN PROBLEMA INTERESSANTE
Un problema interessante Visto che il calcolatore mi dà solo numeri (pseudo)casuali fra 0 ed 1, posso (e se sì come) ottenere dei numeri distribuiti fra A e B con una distribuzione f(x) ? La risposta è affermativa Metodo di reiezione
Un problema interessante Uno schizzo grafico...
Un problema interessante Ricetta Calcoliamo anzitutto il massimo della funzione nel nostro intervallo Poi calcoliamo Estraiamo un numero fra 0 ed 1 Calcoliamo
Un problema interessante Ora estraiamo un secondo numero fra 0 ed 1, e moltiplichiamolo per M: Quindi una distribuzione uniforme fra 0 ed M Siamo ora in possesso di due numeri (pseudo)casuali X fra a e b Y fra 0 ed M
Un problema interessante Calcoliamo la Terremo per buono il valore X se è Rigetteremo il valore X
Un problema interessante Il metodo è usatissimo e garantito Funziona a spese di estrazioni a vuoto In pratica Si riempie uniformemente il rettangolo verde di punti Si tengono per buoni solo quelli sotto la curva Funziona anche per più dimensioni ...e si allungano i tempi...
La distribuzione gaussiana
La distribuzione gaussiana Noi ci limiteremo alle variate normali Sono le più utili Coprono l’assoluta maggioranza dei casi pratici Quando occorre qualcosa di più si è nei guai In questo caso bastano due momenti Media e SD
La distribuzione gaussiana Caso importante “fuori dal coro” i conteggi Seguono la statistica di Poisson Però Regola a spanne Quando μ > 10 usate pure Gauss con
La distribuzione gaussiana La funzione di distribuzione
La distribuzione gaussiana Media Varianza
La distribuzione gaussiana Definiremo a partire da una variata normale x La variata centrata (detta anche scarto) La variata ridotta (detta anche scarto ridotto) Vediamo degli esempi grafici
La distribuzione gaussiana Una proprietà importante: Le probabilità di stare dentro un certo numero N di SD sono sempre le stesse Attenzione: la funzione d’errore è (storicamente) definita per una gaussiana non normalizzata...
La distribuzione gaussiana Definizione
La distribuzione gaussiana In realtà a noi serve
La distribuzione gaussiana 1 2 3 4 5
Curva di Gauss Caratteristiche E’ simmetrica rispetto alla media:la probabilità di un valore superiore alla media di una quantità prefissata è uguale alla probabilità di un valore inferiore per la stessa quantità L’area compresa tra la funzione e l’area delle ascisse ( da + a - ) sia = 1 così da esaurire lo spazio campionario Esiste la probabilità al 100% che la misura sia inclusa nella distribuzione La frazione di area compresa tra due valori della variabile è assimilabile alla probabilità di riscontrare casualmente una misura entro tale intervallo
Le aree sottese alla curva normale Spesso è necessario determinare la probabilità di riscontrare casualmente una misura entro tale intervallo Proprietà della curva normale: l’area sottesa alla porzione di curva che vi è tra le media e una ordinata posta a una distanza data, determinata in termini di una o più deviazione standard, è costante
Applicazione curva di Gauss Se una popolazione di unità classificate secondo un certo carattere X si distribuisce normalmente, la conoscenza di media e varianza (o loro stime) consente di calcolare (o di stimare) la frequenza relativa delle unità che presentano un valore di X compreso in un certo intervallo Calcolare la probabilità che, estraendo da tale popolazione un’unità questa abbia un valore di X compreso in un certo intervallo
Distribuzione gaussiana standardizzata Per agevolare il ricercatore la variabile x viene trasformata in una nuova variabile La distribuzione standardizzata presenta il vantaggio di consentire la predisposizione di tabelle che permettono di calcolare porzioni di area della distribuzione e di stabilire la probabilità statistica di riscontrate valori in relazione a determinati valori z
Valori notevoli della distribuzione z z area compresa area esterna all’intervallo nell’intervallo (- z + z) (code della distribuzione) (-z + z) 1 (-1<z<+1) 0.683 (≈ 68%) 0.317 (≈ 32%) 1.96 (-1.96<z<+1.96) 0.95 (≈ 95%) 0.05 (≈ 5%) 2.58 (-2.58<z<+2.58) 0.99 (≈ 99%) 0.01 (≈ 1%)
Esempio di utilizzazione della distribuzione z Qual è la probabilità che un individuo estratto a caso da una popolazione con peso medio 72 Kg e deviazione standard 25 Kg pesi tra i 60 e 80 Kg:? Occorre calcolare la porzione di area compresa tra 60 e 80 Kg. ai cui valori corrispondono rispettivamente i valori
Esempio di utilizzazione della distribuzione Z Facendo riferimento alla tabella z per z=0.48 nelle due code è 0.631 L’area di interesse tra -0.48 e 0 è 0.5 - Con analogo procedimento si calcola la porzione di area tra 0 e 0.32 P(60kg<peso<80kg=P(z60<z<z80) = =P(-0.48<z<0) + (P(0<z<+0.32) = =1-0.3155 - 0.3745=0.310 31,0%
Ripartizione delle aree di probabilità della distribuzione z 0,5 Ripartizione delle aree di probabilità della distribuzione z
Esempio di utilizzazione della distribuzione z Una popolazione di bambini presenta valori di statura distribuiti in modo gaussiano con media = 120 cm. e deviazione standard = 16 cm. Quale è la probabilità che un bambino scelto a caso presenti una statura inferiore a 132 cm.? Quale è la probabilità che l’altezza sia maggiore di 116 cm., ma inferiore a 132 cm.? 1R
Esempio di utilizzazione della distribuzione z P(Z116<Z<Z132)0.7735-0.4015=0.3720 37.20%