Stima dei parametri di una distribuzione Elaborazione Statistica dei Dati Sperimentali Facoltà di Scienze MM FF e NN, Università Sannio Stima dei parametri di una distribuzione Giovanni Filatrella (filatrella@unisannio.it) G. Filatrella: Corso di Elaborazione Statistica dei Dati Sperimentali

Legame fra statistica e probabilità Statistics: Given the information in your hand, what is the box? Probability: Given the information in the box, what is in your hand? from: Statistics, Norma Gilbert, W.B. Saunders Co., 1976 G. Filatrella: Corso di Elaborazione Statistica dei Dati Sperimentali

Cos’è la statistica inferenziale? Tratta i metodi per fare delle valutazioni sulla popolazione basate sulle proprietà del campione estratto dalla popolazione Terminologia: – Stima: valutazione di un parametro della popolazione – Test delle ipotesi: controllare un’ipotesi fatta su una caratteristica ignota della popolazione Esempi: – Stima: Qual è il diametro di una lotto di pezzi prodotto? – Test delle ipotesi: i pezzi sono conformi alle specifiche? Ci sono due livelli di stime o test delle ipotesi: – Qualitativo: usando i metodi della statistica descrittiva dare una valutazione della correttezza delle affermazioni. -Quantitativo: usando i metodi del calcolo delle probabilità asserire in maniera riproducibile la ragionevolezza della stima (o delle ipotesi) fatte. G. Filatrella: Corso di Elaborazione Statistica dei Dati Sperimentali

Stima puntuale dei parametri Si sono fatte delle misure sperimentali: x1, x2,…,xN Che si suppone derivino da una distribuzione di probabilità dipendenti da M parametri f(x,l1,l2,...,lM): Si definisce “Stimatore” T, una funzione vettoriale che permette di valutare (stimare) i parametri, cioè che colleghi i parametri ai dati sperimentali. G. Filatrella: Corso di Elaborazione Statistica dei Dati Sperimentali

G. Filatrella: Corso di Elaborazione Statistica dei Dati Sperimentali Le funzioni con le quali si stimano i parametri sono definite a prescindere dagli esperimenti effettuati, ma dipendono dalla distribuzione che si suppone abbia generato i dati. I dati degli esperimenti dipendono dalle misure effettivamente svolte La stima dei parametri. I valori trovati dipendono dai dati specifici. G. Filatrella: Corso di Elaborazione Statistica dei Dati Sperimentali

Proprietà degli stimatori Ovviamente , altrimenti conosceremmo la distribuzione da cui sono generati i dati sperimentali. è una quantità fluttuante – cioè una variabile casuale di cui dobbiamo scoprire le caratteristiche. Importante: La distribuzione delle differenze non è la stessa delle distribuzioni dei dati sperimentali xi. G. Filatrella: Corso di Elaborazione Statistica dei Dati Sperimentali

Terminologia degli stimatori Stima: il valore numerico calcolato a partire dagli esperimenti effettuati Stimatore: una funzione dei dati = Tl(x1,x2,…,xn) sperimentali osservati. Poiché i dati osservati sono una variabile casuale, lo stimatore è una variabile casuale. G. Filatrella: Corso di Elaborazione Statistica dei Dati Sperimentali

La funzione di verosimiglianza Definizione: Supponendo di conoscere i parametri della distribuzione, potremmo calcolare la probabilità di ottenere i dati sperimentali che abbiamo ottenuto. Questa probabilità (o qualsiasi grandezza ad essa proporzionale con costante di proporzionalità positiva) si chiama verosimiglianza. La verosimiglianza è una funzione, perché in effetti non conosciamo i parametri, e quindi non conosciamo neanche la probabilità di ottenere una determinata sequenza di dati sperimentali. G. Filatrella: Corso di Elaborazione Statistica dei Dati Sperimentali

Interpretazione della verosimiglianza Per interpretare cosa intende quantitativamente per verosimiglianza, si può immaginare il seguente ragionamento: Supponendo di conoscere il valore dei parametri, qual è la probabilità che quei parametri abbiano generato i dati che sono stati trovati? G. Filatrella: Corso di Elaborazione Statistica dei Dati Sperimentali

G. Filatrella: Corso di Elaborazione Statistica dei Dati Sperimentali Metodo per ricavare gli stimatori: Il principio di massima verosimiglianza Per trovare un metodo generale che colleghi i dati sperimentali ai parametri della distribuzione di probabilità che li ha generati si ragiona come segue: La migliore stima che possiamo attribuire ai valori dei parametri è quella che, se fosse esatta, renderebbe massima la probabilità di ottenere i dati sperimentali che abbiamo ottenuto. G. Filatrella: Corso di Elaborazione Statistica dei Dati Sperimentali

Perché viene definito un principio e non un teorema Non è possibile dimostrare che il valore del parametro della distribuzione che massimizza la probabilità di realizzare i dati sperimentali sia davvero il miglior valore della stima. G. Filatrella: Corso di Elaborazione Statistica dei Dati Sperimentali

G. Filatrella: Corso di Elaborazione Statistica dei Dati Sperimentali Un problema concettuale connesso al principio di massima verosimiglianza In questo approccio si scambia il ruolo dei dati sperimentali e delle stime: le stime diventano dei dati “certi” del problema. Fatto questo ai dati sperimentali già ottenuti si attribuisce una probabilità di verificarsi. G. Filatrella: Corso di Elaborazione Statistica dei Dati Sperimentali

La logica del principio di massima verosimiglianza Modello Esperimenti La realizzazione del modello teorico è avvenuta secondo la più semplice delle traiettorie, ovvero la più probabile G. Filatrella: Corso di Elaborazione Statistica dei Dati Sperimentali

Un errore molto comune: I valori ottenuti con il principio di massima verosimiglianza sono i più probabili. Non è vero perché sarebbe un’asserzione sulla realtà, come se la realtà avesse una certa probabilità di verificarsi, il che non è il caso. Concettualmente si ragiona come se fosse: Realtà 1 Realtà 2 Esperimenti G. Filatrella: Corso di Elaborazione Statistica dei Dati Sperimentali

G. Filatrella: Corso di Elaborazione Statistica dei Dati Sperimentali Definizioni per il principio di massima verosimiglianza o Maximum Likelihood Estimation (MLE) Data una distribuzione di probabilità, dipendente da M parametri f(x, l1,l2,.., lM), si introduce una funzione di verosimiglianza che è la probabilità di ottenere N misure, in funzione dei valori assunti dai parametri, che è detta funzione di verosimiglianza L: variabili parametri G. Filatrella: Corso di Elaborazione Statistica dei Dati Sperimentali

Formulazione matematica del principio Per interpretare la L come la probabilità di ottenere i dati, dobbiamo valutare la funzione di massima verosimiglianza in corrispondenza delle N misure effettivamente svolte, così per questa specifica serie di misure la funzione di verosimiglianza diviene: G. Filatrella: Corso di Elaborazione Statistica dei Dati Sperimentali

Formulazione matematica del principio A questo punto la L è comunque indeterminata perché non si conoscono i valori dei parametri. Il principio di massima verosimiglianza asserisce che: Assunto un modello (la f(x, l1,l2,.., lM)) i più ragionevoli valori che si possono assegnare ai parametri l, date le N misure, sono quelli che rendono più plausibile il risultato delle misure: G. Filatrella: Corso di Elaborazione Statistica dei Dati Sperimentali

In un grafico, per un solo parametro: L(x1,x2,...xN,l) Risultato più ragionevole per la stima del parametro l lbest l G. Filatrella: Corso di Elaborazione Statistica dei Dati Sperimentali

Proprietà della verosimiglianza: L1(x,l) L2(x,l) l1best l2best l l Sembra ovvio che uno stimatore costruito a partire da L1 sia migliore di uno costruito a partire da L2. G. Filatrella: Corso di Elaborazione Statistica dei Dati Sperimentali

La distribuzione di probabilità dei parametri di Max Verosimiglianza Dim. 1: supponendo di aver trovato la formula, se questa è una combinazione di variabili casuali si può applicare il Teorema del Limite Centrale, e quindi sarà Gaussiana Dim. 2: senza entrare nei dettagli, sia P(l) la distribuzione (ignota) di probabilità di l, allora: Termine nullo per definizione di Max Ver. Gaussiano G. Filatrella: Corso di Elaborazione Statistica dei Dati Sperimentali

Stima dei parametri di una distribuzione binomiale Si supponga di fare N misure di una variabile casuale che può assumere solo due valori (“successo” ed “insuccesso”). Fra queste misure, n corrispondono ad un successo. Come posso stimare la probabilità di successo p? G. Filatrella: Corso di Elaborazione Statistica dei Dati Sperimentali

Stima diretta applicando la “legge dei grandi numeri” La frequenza delle osservazioni positive è L’approssimare le frequenze alle probabilità avviene per valori sufficientemente alti del numero di osservazioni. G. Filatrella: Corso di Elaborazione Statistica dei Dati Sperimentali

G. Filatrella: Corso di Elaborazione Statistica dei Dati Sperimentali Stima di p di una binomiale utilizzando il principio di max verosimiglianza La “~” ricorda che è una stima In questo caso dunque il principio fornisce la stessa formula, però non è basato sull’ipotesi di infinite misure. G. Filatrella: Corso di Elaborazione Statistica dei Dati Sperimentali

Valutazione della bontà della stima di p di una binomiale Se il valore stimato è quello trovato come il valore che massimizza la probabilità, è naturale valutare la bontà della stima dalla distribuzione delle probabilità attorno a questo valore più probabile. G. Filatrella: Corso di Elaborazione Statistica dei Dati Sperimentali

La bontà di una stima di max verosimiglianza: lbest L1(x,l) L2(x,l) La dispersione dei valori attorno al più probabile, cioè un suo indice (s2), è una valutazione della bontà della stima. Ex.: Var[L1]<Var[L2] => L1 è migliore di L2. G. Filatrella: Corso di Elaborazione Statistica dei Dati Sperimentali

G. Filatrella: Corso di Elaborazione Statistica dei Dati Sperimentali Valutazione della bontà della stima con il metodo di Max Verosimiglianza Nella “formula”per la stima: Gli N tentativi sono in realtà N variabili casuali, con una probabilità incognita p di successo ( è una stima!). La stima è una somma di variabili casuali, e come tale avrà una distribuzione circa gaussiana. La varianza della gaussiana viene assunta come una misura quantitativa della bontà della stima. G. Filatrella: Corso di Elaborazione Statistica dei Dati Sperimentali

La varianza della stima con il metodo di Max Verosimiglianza Ricapitoliamo il teorema del limite centrale, la somma delle variabili casuali X=Si Xi tende ad essere Gaussiana per N , qualunque sia la distribuzione delle Xi, con valore medio: E[X]=Si E[ Xi] e varianza Var[X]=Si Var[ Xi] Per utilizzarlo in questo contesto occorre dunque stimare la varianza di ogni variabile casuale G. Filatrella: Corso di Elaborazione Statistica dei Dati Sperimentali

Applicazione del teorema del limite centrale alla stima Avendo effettuato N misure, la stima: E’ dunque la somma delle N variabili casuali ni. Ogni variabile casuale (ogni singola misura) ha probabilità di successo p (ignota), valore medio p (vedi distribuzione binomiale) e varianza p(1-p) (sempre della distribuzione binomiale). G. Filatrella: Corso di Elaborazione Statistica dei Dati Sperimentali

G. Filatrella: Corso di Elaborazione Statistica dei Dati Sperimentali Calcolo esplicito della varianza della stima della probabilità binomiale: La varianza della stima è dunque: Anche se p non è nota (se fosse conosciuta sapremmo già tutto della distribuzione incognita) si può approssimare con la sua migliore stima: G. Filatrella: Corso di Elaborazione Statistica dei Dati Sperimentali

G. Filatrella: Corso di Elaborazione Statistica dei Dati Sperimentali Problema Perché compare N2? G. Filatrella: Corso di Elaborazione Statistica dei Dati Sperimentali

Esempio numerico di stima di una variabile binomiale Supponiamo di voler stimare il numero di parole che una persona conosce in una lingua. Per fare questo apriamo un dizionario di 20000 voci a caso su 100 termini e controlliamo quante ne riconosce. La stima è dunque: Ed il numero di parole note viene stimato essere: G. Filatrella: Corso di Elaborazione Statistica dei Dati Sperimentali

G. Filatrella: Corso di Elaborazione Statistica dei Dati Sperimentali Esempio numerico di valutazione della bontà della stima di una variabile binomiale A questo punto ci si potrebbe porre il problema: è corretto controllare solo 100 termini? Per fare questo è necessario valutare la deviazione standard: G. Filatrella: Corso di Elaborazione Statistica dei Dati Sperimentali

Osservazioni sulla valutazione della bontà della stima: 1) La migliore stima della probabilità di verificarsi di un evento di tipo binomiale è: 2) La stima così ottenuta è affetta da un’incertezza che è inversamente proporzionale alla radice del numero di misure: G. Filatrella: Corso di Elaborazione Statistica dei Dati Sperimentali

G. Filatrella: Corso di Elaborazione Statistica dei Dati Sperimentali Esercizi **Supponiamo che la stima di parole conosciute sia fatta per una lingua straniera e che su 100 termini se ne conoscano solo 12. Cosa si può dire sul numero di parole note e l’incertezza su questa valutazione? *Cosa succede se si trovano 24 termini noti su 200? **Scrivere le formule generali per questo problema. G. Filatrella: Corso di Elaborazione Statistica dei Dati Sperimentali

Stima dei parametri di una distribuzione poissoniana G. Filatrella: Corso di Elaborazione Statistica dei Dati Sperimentali

Valutazione della bontà della stima della media poissoniana La varianza della stima è dunque: Anche se m non è nota anche in questo caso si può approssimare con la sua migliore stima: G. Filatrella: Corso di Elaborazione Statistica dei Dati Sperimentali

G. Filatrella: Corso di Elaborazione Statistica dei Dati Sperimentali Esercizi **Ripetere l’esercizio della stima di termini sconosciuti approssimando la distribuzione con una poissoniana. **Nello scegliere i termini a caso nel dizionario, si deve evitare di scegliere due volte lo stesso termine? G. Filatrella: Corso di Elaborazione Statistica dei Dati Sperimentali

Stima dei parametri di una distribuzione gaussiana: m G. Filatrella: Corso di Elaborazione Statistica dei Dati Sperimentali

Stima dei parametri di una distribuzione gaussiana: s2 Nota bene: la s2 viene stimata supponendo di conoscere il valore aspettato m, e non di stimarlo. G. Filatrella: Corso di Elaborazione Statistica dei Dati Sperimentali

G. Filatrella: Corso di Elaborazione Statistica dei Dati Sperimentali Stima del parametro di una distribuzione gaussiana s2 senza conoscere a priori m In questo caso la stima differisce per aver diviso per N-1 e non N come direbbe la legge dei grandi numeri. Ovviamente per N   le formule coincidono. G. Filatrella: Corso di Elaborazione Statistica dei Dati Sperimentali

G. Filatrella: Corso di Elaborazione Statistica dei Dati Sperimentali Valutazione della bontà della stima del valore aspettato di una gaussiana: La varianza della stima è dunque: Anche s2 non è nota, e anche in questo caso si può approssimare con la sua migliore stima: G. Filatrella: Corso di Elaborazione Statistica dei Dati Sperimentali

Perché conviene fare più misure La deviazione standard della stima è circa: Poiché S2 tende ad s2 è un valore che rimane all’incirca costante durante le misure. Quindi l’incertezza della media diminuisce come la radice quadrata di N. G. Filatrella: Corso di Elaborazione Statistica dei Dati Sperimentali