G. Filatrella: Corso di Elaborazione Statistica dei Dati Sperimentali 1 Stima dei parametri di una distribuzione Giovanni Filatrella ( ) Elaborazione Statistica dei Dati Sperimentali Elaborazione Statistica dei Dati Sperimentali Facoltà di Scienze MM FF e NN, Università Sannio

G. Filatrella: Corso di Elaborazione Statistica dei Dati Sperimentali 2 Legame fra statistica e probabilità Statistics: Given the information in your hand, what is the box? Probability: Given the information in the box, what is in your hand? from: Statistics, Norma Gilbert, W.B. Saunders Co., 1976

G. Filatrella: Corso di Elaborazione Statistica dei Dati Sperimentali 3 Cos’è la statistica inferenziale? Tratta i metodi per fare delle valutazioni sulla popolazione basate sulle proprietà del campione estratto dalla popolazione Terminologia: – Stima: valutazione di un parametro della popolazione – Test delle ipotesi: controllare un’ipotesi fatta su una caratteristica ignota della popolazione Esempi: – Stima: Qual è il diametro di una lotto di pezzi prodotto? – Test delle ipotesi: i pezzi sono conformi alle specifiche? Ci sono due livelli di stime o test delle ipotesi: – Qualitativo: usando i metodi della statistica descrittiva dare una valutazione della correttezza delle affermazioni. -Quantitativo: usando i metodi del calcolo delle probabilità asserire in maniera riproducibile la ragionevolezza della stima (o delle ipotesi) fatte.

G. Filatrella: Corso di Elaborazione Statistica dei Dati Sperimentali 4 Stima puntuale dei parametri Si sono fatte delle misure sperimentali: x 1, x 2,…,x N Che si suppone derivino da una distribuzione di probabilità dipendenti da M parametri f(x        Si definisce “Stimatore” T, una funzione vettoriale che permette di valutare (stimare) i parametri, cioè che colleghi i parametri ai dati sperimentali.

G. Filatrella: Corso di Elaborazione Statistica dei Dati Sperimentali 5 La stima dei parametri. I valori trovati dipendono dai dati specifici. Le funzioni con le quali si stimano i parametri sono definite a prescindere dagli esperimenti effettuati, ma dipendono dalla distribuzione che si suppone abbia generato i dati. I dati degli esperimenti dipendono dalle misure effettivamente svolte

G. Filatrella: Corso di Elaborazione Statistica dei Dati Sperimentali 6 Ovviamente, altrimenti conosceremmo la distribuzione da cui sono generati i dati sperimentali. è una quantità fluttuante – cioè una variabile casuale di cui dobbiamo scoprire le caratteristiche. Importante: La distribuzione delle differenze non è la stessa delle distribuzioni dei dati sperimentali x i. Proprietà degli stimatori

G. Filatrella: Corso di Elaborazione Statistica dei Dati Sperimentali 7 Terminologia degli stimatori Stima: il valore numerico  calcolato a partire dagli esperimenti effettuati Stimatore: una funzione dei dati  T (x 1,x 2,…,x n ) sperimentali osservati. Poiché i dati osservati sono una variabile casuale, lo stimatore è una variabile casuale.

G. Filatrella: Corso di Elaborazione Statistica dei Dati Sperimentali 8 La funzione di verosimiglianza Definizione: Definizione: Supponendo di conoscere i parametri della distribuzione, potremmo calcolare la probabilità di ottenere i dati sperimentali che abbiamo ottenuto. Questa probabilità (o qualsiasi grandezza ad essa proporzionale con costante di proporzionalità positiva) si chiama verosimiglianza. La verosimiglianza è una funzione, perché in effetti non conosciamo i parametri, e quindi non conosciamo neanche la probabilità di ottenere una determinata sequenza di dati sperimentali.

G. Filatrella: Corso di Elaborazione Statistica dei Dati Sperimentali 9 Interpretazione della verosimiglianza Per interpretare cosa intende quantitativamente per verosimiglianza, si può immaginare il seguente ragionamento: Supponendo di conoscere il valore dei parametri, qual è la probabilità che quei parametri abbiano generato i dati che sono stati trovati?

G. Filatrella: Corso di Elaborazione Statistica dei Dati Sperimentali 10 Metodo per ricavare gli stimatori: Il principio di massima verosimiglianza La migliore stima che possiamo attribuire ai valori dei parametri è quella che, se fosse esatta, renderebbe massima la probabilità di ottenere i dati sperimentali che abbiamo ottenuto. Per trovare un metodo generale che colleghi i dati sperimentali ai parametri della distribuzione di probabilità che li ha generati si ragiona come segue:

G. Filatrella: Corso di Elaborazione Statistica dei Dati Sperimentali 11 Perché viene definito un principio e non un teorema Non è possibile dimostrare che il valore del parametro della distribuzione che massimizza la probabilità di realizzare i dati sperimentali sia davvero il miglior valore della stima.

G. Filatrella: Corso di Elaborazione Statistica dei Dati Sperimentali 12 Un problema concettuale connesso al principio di massima verosimiglianza In questo approccio si scambia il ruolo dei dati sperimentali e delle stime: le stime diventano dei dati “certi” del problema. Fatto questo ai dati sperimentali già ottenuti si attribuisce una probabilità di verificarsi.

G. Filatrella: Corso di Elaborazione Statistica dei Dati Sperimentali 13 La logica del principio di massima verosimiglianza La realizzazione del modello teorico è avvenuta secondo la più semplice delle traiettorie, ovvero la più probabile Modello Esperimenti

G. Filatrella: Corso di Elaborazione Statistica dei Dati Sperimentali 14 Un errore molto comune: I valori ottenuti con il principio di massima verosimiglianza sono i più probabili. Non è vero perché sarebbe un’asserzione sulla realtà, come se la realtà avesse una certa probabilità di verificarsi, il che non è il caso. Concettualmente si ragiona come se fosse: Realtà 1 Esperimenti Realtà 2

G. Filatrella: Corso di Elaborazione Statistica dei Dati Sperimentali 15 Definizioni per il principio di massima verosimiglianza o Maximum Likelihood Estimation (MLE) Data una distribuzione di probabilità, dipendente da M parametri f(x,     M ), si introduce una funzione di verosimiglianza che è la probabilità di ottenere N misure, in funzione dei valori assunti dai parametri, che è detta funzione di verosimiglianza L : variabili parametri

G. Filatrella: Corso di Elaborazione Statistica dei Dati Sperimentali 16 Formulazione matematica del principio Per interpretare la L come la probabilità di ottenere i dati, dobbiamo valutare la funzione di massima verosimiglianza in corrispondenza delle N misure effettivamente svolte, così per questa specifica serie di misure la funzione di verosimiglianza diviene:

G. Filatrella: Corso di Elaborazione Statistica dei Dati Sperimentali 17 Formulazione matematica del principio A questo punto la L è comunque indeterminata perché non si conoscono i valori dei parametri. Il principio di massima verosimiglianza asserisce che: Assunto un modello (la f(x,     M ) ) i più ragionevoli valori che si possono assegnare ai parametri  date le N misure, sono quelli che rendono più plausibile il risultato delle misure:

G. Filatrella: Corso di Elaborazione Statistica dei Dati Sperimentali 18 In un grafico, per un solo parametro: L(x 1,x 2,...x N, ) best Risultato più ragionevole per la stima del parametro

G. Filatrella: Corso di Elaborazione Statistica dei Dati Sperimentali 19 Proprietà della verosimiglianza: Sembra ovvio che uno stimatore costruito a partire da L 1 sia migliore di uno costruito a partire da L 2.  best L 1 (x, ) L 2 (x, )  best

G. Filatrella: Corso di Elaborazione Statistica dei Dati Sperimentali 20 La distribuzione di probabilità dei parametri di Max Verosimiglianza 1.Dim. 1: supponendo di aver trovato la formula, se questa è una combinazione di variabili casuali si può applicare il Teorema del Limite Centrale, e quindi sarà Gaussiana 2.Dim. 2: senza entrare nei dettagli, sia P( ) la distribuzione (ignota) di probabilità di, allora: Termine nullo per definizione di Max Ver. Gaussiano

G. Filatrella: Corso di Elaborazione Statistica dei Dati Sperimentali 21 Stima dei parametri di una distribuzione binomiale Si supponga di fare N misure di una variabile casuale che può assumere solo due valori (“successo” ed “insuccesso”). Fra queste misure, n corrispondono ad un successo. Come posso stimare la probabilità di successo p ?

G. Filatrella: Corso di Elaborazione Statistica dei Dati Sperimentali 22 Stima diretta applicando la “legge dei grandi numeri” La frequenza delle osservazioni positive è L’approssimare le frequenze alle probabilità avviene per valori sufficientemente alti del numero di osservazioni.

G. Filatrella: Corso di Elaborazione Statistica dei Dati Sperimentali 23 Stima di p di una binomiale utilizzando il principio di max verosimiglianza In questo caso dunque il principio fornisce la stessa formula, però non è basato sull’ipotesi di infinite misure. La “~” ricorda che è una stima

G. Filatrella: Corso di Elaborazione Statistica dei Dati Sperimentali 24 Valutazione della bontà della stima di p di una binomiale Se il valore stimato è quello trovato come il valore che massimizza la probabilità, è naturale valutare la bontà della stima dalla distribuzione delle probabilità attorno a questo valore più probabile.

G. Filatrella: Corso di Elaborazione Statistica dei Dati Sperimentali 25 La bontà di una stima di max verosimiglianza: La dispersione dei valori attorno al più probabile, cioè un suo indice (   ), è una valutazione della bontà della stima. Ex.: Var[L 1 ] L 1 è migliore di L 2. best L 1 (x, ) L 2 (x, ) best

G. Filatrella: Corso di Elaborazione Statistica dei Dati Sperimentali 26 Valutazione della bontà della stima con il metodo di Max Verosimiglianza Nella “formula”per la stima: Gli N tentativi sono in realtà N variabili casuali, con una probabilità incognita p di successo ( è una stima!). La stima è una somma di variabili casuali, e come tale avrà una distribuzione circa gaussiana. La varianza della gaussiana viene assunta come una misura quantitativa della bontà della stima.

G. Filatrella: Corso di Elaborazione Statistica dei Dati Sperimentali 27 La varianza della stima con il metodo di Max Verosimiglianza Ricapitoliamo il teorema del limite centrale, la somma delle variabili casuali X=  i X i tende ad essere Gaussiana per N  , qualunque sia la distribuzione delle X i, con valore medio: E[X]=  i E[ X i ] e varianza Var[X]=  i Var[ X i ] Per utilizzarlo in questo contesto occorre dunque stimare la varianza di ogni variabile casuale

G. Filatrella: Corso di Elaborazione Statistica dei Dati Sperimentali 28 Applicazione del teorema del limite centrale alla stima Avendo effettuato N misure, la stima: E’ dunque la somma delle N variabili casuali n i. Ogni variabile casuale (ogni singola misura) ha probabilità di successo p (ignota), valore medio p (vedi distribuzione binomiale) e varianza p(1-p) (sempre della distribuzione binomiale).

G. Filatrella: Corso di Elaborazione Statistica dei Dati Sperimentali 29 Calcolo esplicito della varianza della stima della probabilità binomiale: La varianza della stima è dunque: Anche se p non è nota (se fosse conosciuta sapremmo già tutto della distribuzione incognita) si può approssimare con la sua migliore stima:

G. Filatrella: Corso di Elaborazione Statistica dei Dati Sperimentali 30 Problema Perché compare N 2 ?

G. Filatrella: Corso di Elaborazione Statistica dei Dati Sperimentali 31 Esempio numerico di stima di una variabile binomiale Supponiamo di voler stimare il numero di parole che una persona conosce in una lingua. Per fare questo apriamo un dizionario di voci a caso su 100 termini e controlliamo quante ne riconosce. La stima è dunque: Ed il numero di parole note viene stimato essere:

G. Filatrella: Corso di Elaborazione Statistica dei Dati Sperimentali 32 Esempio numerico di valutazione della bontà della stima di una variabile binomiale A questo punto ci si potrebbe porre il problema: è corretto controllare solo 100 termini? Per fare questo è necessario valutare la deviazione standard:

G. Filatrella: Corso di Elaborazione Statistica dei Dati Sperimentali 33 Osservazioni sulla valutazione della bontà della stima: 1) La migliore stima della probabilità di verificarsi di un evento di tipo binomiale è: 2) La stima così ottenuta è affetta da un’incertezza che è inversamente proporzionale alla radice del numero di misure:

G. Filatrella: Corso di Elaborazione Statistica dei Dati Sperimentali 34 Esercizi **Supponiamo che la stima di parole conosciute sia fatta per una lingua straniera e che su 100 termini se ne conoscano solo 12. Cosa si può dire sul numero di parole note e l’incertezza su questa valutazione? *Cosa succede se si trovano 24 termini noti su 200 ? **Scrivere le formule generali per questo problema.

G. Filatrella: Corso di Elaborazione Statistica dei Dati Sperimentali 35 Stima dei parametri di una distribuzione poissoniana

G. Filatrella: Corso di Elaborazione Statistica dei Dati Sperimentali 36 Valutazione della bontà della stima della media poissoniana La varianza della stima è dunque: Anche se  non è nota anche in questo caso si può approssimare con la sua migliore stima:

G. Filatrella: Corso di Elaborazione Statistica dei Dati Sperimentali 37 Esercizi **Ripetere l’esercizio della stima di termini sconosciuti approssimando la distribuzione con una poissoniana. **Nello scegliere i termini a caso nel dizionario, si deve evitare di scegliere due volte lo stesso termine?

G. Filatrella: Corso di Elaborazione Statistica dei Dati Sperimentali 38 Stima dei parametri di una distribuzione gaussiana: 

G. Filatrella: Corso di Elaborazione Statistica dei Dati Sperimentali 39 Stima dei parametri di una distribuzione gaussiana:   Nota bene: la   viene stimata supponendo di conoscere il valore aspettato , e non di stimarlo.

G. Filatrella: Corso di Elaborazione Statistica dei Dati Sperimentali 40 Stima del parametro di una distribuzione gaussiana   senza conoscere a priori  In questo caso la stima differisce per aver diviso per N-1 e non N come direbbe la legge dei grandi numeri. Ovviamente per N   le formule coincidono.

G. Filatrella: Corso di Elaborazione Statistica dei Dati Sperimentali 41 Valutazione della bontà della stima del valore aspettato di una gaussiana: La varianza della stima è dunque: Anche   non è nota, e anche in questo caso si può approssimare con la sua migliore stima:

G. Filatrella: Corso di Elaborazione Statistica dei Dati Sperimentali 42 Perché conviene fare più misure La deviazione standard della stima è circa: Poiché S 2 tende ad   è un valore che rimane all’incirca costante durante le misure. Quindi l’incertezza della media diminuisce come la radice quadrata di N.