Recap on Measure Theory and Statistical Inference Carola Aiello carola.aiello@uniroma1.it

Strumenti di statistica inferenziale INDICE Richiami di teoria della misura Strumenti di Statistica Inferenziale Today, after a short recap on measure theory, I will show you a statistical technique that will be useful for your ‘essay’ (tesina). Strumenti di statistica inferenziale

Strumenti di statistica inferenziale Richiami di teoria della misura “Non puoi controllare ciò che non puoi misurare” [T. De Marco, 1982] Le misure si effettuano ad esempio per: verificare l'aderenza di alcuni parametri di qualità a dei valori di riferimento (esterni/interni) rilevare delle deviazioni relative alla pianificazione temporale/ allocazione di risorse raccogliere vari indici di produttività validare l'effetto di strategie tese a migliorare un processo produttivo (qualità/ produttività / aderenza alla pianificazione / controllo dei costi) Nel processo di misura la fase progettuale assume la stessa importanza della fase di raccolta e di analisi dei dati vera e propria Durante la fase progettuale devono essere chiariti i seguenti aspetti Definizione requisiti Selezione della metrica Definizione dei criteri di valutazione ...e solo in seguito MISURA Don’t need to stress the importance of measuring in order to control a phenomenenom or a process. In the measuring process the design activity has the same importance of the data collection itself. During the design phase you have to define: Requirements Metrics Evaluation parameters Then, you can collect data! Strumenti di statistica inferenziale

Misura e analisi dei dati Processo di misura Misura e analisi dei dati As you can seein the figure the measuring step is only a part of the process ISO/IEC 9126 Qualità del SW

Strumenti di statistica inferenziale Definizione dei criteri di valutazione Rating (definizione dei livelli di riferimento) Le metriche forniscono valori quantitativi che non sono di per sé una valutazione della qualità, dobbiamo mappare i dati quantitativi su una scala qualitativa A carico dell’ organizzazione Very important when measuring: Metrics only provide quantative data, this is not a quality esteem itself. We have to map these quantitative data on a qualitative scale This mapping only concerns the organization that decides wich value is of enough quality for her and wich not Strumenti di statistica inferenziale

Strumenti di statistica inferenziale Qualità di una misura Le misure, a loro volta, posseggono delle qualità che, in alcuni casi, è possibile quantificare in modo formale. Affidabilità (reliability). L'affidabilità è relativa ai valori che si ottengono effettuando più volte la stessa misura. Se i valori ottenuti sono vicini tra loro la metrica è affidabile. Tipicamente si caratterizza questa qualità analizzando la varianza s2 di misure ripetute. Più piccolo è questo valore più la metrica è affidabile. Validità (validity). La validità indica se la metrica misura effettivamente cosa vogliamo misurare. Per misure poco astratte (peso, volume) la validità coincide con l'accuratezza. Si noti che anche per misure poco astratte i concetti di affidabilità e validità sono differenti: un orologio fermo è perfettamente affidabile ma ha una validità molto ridotta... How to classify a mesure? Measures can be classified according to two qualities: 1.Reliability 2.Validity As you can see in the figures: - a reliable measure gives always similar results independently from the real value A valid measure gives results that in mean …. The best solution is when the measure is bth reliable and valid. Affidabile ma non valida Affidabilee Valida Valida ma non affidabile Strumenti di statistica inferenziale

Strumenti di statistica inferenziale Errori di misura (1) Il risultato di un’operazione di misura è un numero reale x che esprime il valore vero  (incognito) del fenomeno in esame ed è detto misura analitica La successione delle operazioni effettuate per ottenere la misura, secondo un complesso di istruzioni che costituiscono il metodo analitico, è detta procedimento analitico. L’esperienza indica che, se si eseguono più misurazioni di una stessa quantità, raramente le misure coincidono I valori misurati (x) sono in genere diversi dal vero valore () La differenza tra il valore misurato e quello vero è detta errore totale (ET) valore vero misura Θ X procedimento analitico X =  + ET misura errore totale valore vero Strumenti di statistica inferenziale

Strumenti di statistica inferenziale La Variabile Casuale Normale E’ la distribuzione statistica più famosa ed utilizzata: si adatta bene alla rappresentazione grafica di moltissimi fenomeni reali; è fondamentale in inferenza statistica perché approssima molte altre distribuzioni di probabilità; Anche detta: variabile casuale Gaussiana, curva di Gauss, Campana di Gauss, curva degli errori, curva a campana, ogiva. “curva degli errori” perché che questa curva serve a rappresentare la legge con cui si distribuiscono gli errori di natura accidentale. La formula matematica che descrive la funzione della densità di probabilità normale è la seguente: dove µ e σ rappresentano la popolazione media e lo scarto quadratico medio (o deviazione standard). L'equazione della funzione di densità è costruita in modo tale che l'area sottesa alla curva rappresenti la probabilità. Perciò, l'area totale è uguale a 1. The Normal distribution, also known as Gaussian or curve of errors, is the most famous and used distribution. It is known as curve of errors because it represents the law according to which accidental errors occurs Strumenti di statistica inferenziale

Distribuzione normale The normal distribution is symmetric about its mean, and is non-zero over the entire real line. Standard deviation

Distribuzione normale

Strumenti di statistica inferenziale Errori di misura (2) La misurazione non consente di determinare con certezza il vero valore della quantità misurata, ma produce stime la cui capacità di approssimare il vero valore (attendibilità) dipende dal metodo analitico e da come è stato eseguito il procedimento analitico. È necessario considerare la natura degli errori di misura ET = Egrossolani + Esistematici + Ecasuali Si prevengono con un’accorta organizzazione dell’analisi Costituiscono oggetto tipico della metodologia statistica Esistematici Influenzano la validità Ecasuali Influenzano l’affidabilità Strumenti di statistica inferenziale

Strumenti di statistica inferenziale Ma qual è il legame tra statistica e misura? Strumenti di statistica inferenziale

Strumenti di statistica inferenziale Esempio Per validare le ipotesi è necessario introdurre l'unità di analisi (componente o progetto), effettuare analisi statistiche (e.g., analisi della varianza), validare gli indicatori scelti, ovvero effettuare ed interpretare delle misure ESEMPIO: Se presso una software house ottenessimo i seguenti dati tramite 9 esperimenti (3 al 50%, 3 al 70%, 3 al 90%) : Copertura linee di codice Media errori trovati durante il test di sistema 50% 20/KLOC 70% 15/KLOC 90% 12/KLOC Senza una corretta analisi dei dati quale l'analisi della varianza (ANOVA) non potremmo essere sicuri della significatività statistica di quanto ottenuto Ad esempio se 20 è la media di {19, 20, 21}, 15 di {15, 15, 15}, e 12 di {11, 12, 13} ci sentiremmo abbastanza sicuri Se invece 20 è la media di {10, 10, 40}, 15 di {1, 4, 40} e 12 di {3, 3, 30}... Strumenti di statistica inferenziale

Strumenti di statistica inferenziale Richiami di statistica descrittiva Fornisce informazioni sintetiche sulla popolazione osservata nell’ipotesi di disporre di misurazioni che ne riguardano la totalità Data una popolazione di N elementi (noti) su cui si effettua una misura (e.g., il peso delle persone in italia) {x1,...,xN}, si definiscono i seguenti parametri: media m= (x1+ x2+... +xN)/N varianza var=[(x1-m)2+ (x2-m)2 +...(xN-m)2]/N spesso la varianza si indica con s2 deviazione standard s=var1/2 tipicamente gli N elementi si distribuiscono secondo una distribuzione normale (o gaussiana) Strumenti di statistica inferenziale

Strumenti di statistica inferenziale Limiti della statistica descrittiva Costi (economici e di tempo) Popolazione non nota Strumenti di statistica inferenziale

Strumenti di statistica inferenziale Richiami di statistica inferenziale Si analizza una popolazione di M elementi (M non è noto) tramite un campione di N elementi {x1,...,xN} e si definiscono i seguenti parametri: media m= (x1+ x2+... +xN)/N varianza var=[(x1-m)2+ (x2-m)2 +...(xN-m)2]/(N-1) deviazione standard σ=var1/2 spesso la varianza si indica con σ2 tipicamente gli elementi del campione si distribuiscono secondo una distribuzione normale (o gaussiana) o, se così non è, si assume che lo sia… L'inferenza statistica è il procedimento per cui si deducono le caratteristiche di una popolazione dall'osservazione di una parte di essa, detta campione Strumenti di statistica inferenziale

Strumenti di statistica inferenziale Esempio (1) Assumiamo, per semplicità espositiva, che in una software house si conducano attività di test per tre differenti percentuali prefissate: 50 %, 70%, 90% e che, per ciascuna di esse, siano stati osservati per un anno 5 pacchetti software. Calcoliamo la media di DR ed otteniamo la seguente tabella Codice ispezionato Difetti Riscontrati (KT) (e/KLOC) 50% 20 70% 15 90% 12 Il problema è: le medie sono differenti, ma questo accade perchè effettivamente esiste una relazione tra KT e DR, oppure i dati vengono così, "per caso"? Strumenti di statistica inferenziale

Strumenti di statistica inferenziale Esempio (2) KT DR 50% 20 70% 15 90% 12 L’osservazione acritica di questi dati porterebbe a concludere che l’aumento del KT implichi la diminuzione del DR D’altra parte è possibile che le medie della popolazione complessiva (tutti i programmi sw del mondo) siano uguali, ossia che calcolando l'andamento di DR su un numero molto più alto di casi si scopra che KT non abbia nessuna influenza su DR Strumenti di statistica inferenziale

Strumenti di statistica inferenziale Test statistici Molto spesso nell’ambito della ricerca sperimentale è necessario confrontare tra loro serie di misure ripetute (es. confronto di risultati di due o più metodi) Il confronto può essere condotto mediante appropriati test statistici (F di Fisher, t-Student, etc.) I test statistici consistono nel mettere alla prova l’ipotesi formulata su certi parametri delle popolazioni (es. medie o varianze) e nel verificare se con i dati a disposizione è possibile rifiutarla o no: se il campione fornisce risultati fortemente in contrasto con l’ipotesi formulata, questa viene rifiutata in favore dell’ipotesi alternativa Il test viene condotto fissando a priori la probabilità di errore che può essere commesso (α) Strumenti di statistica inferenziale

Strumenti di statistica inferenziale Ipotesi statistica Un’ipotesi statistica è una asserzione o supposizione sulla distribuzione di una o più variabili casuali e si indica con la lettera H Generalmente si mettono a confronto due ipotesi, contrarie tra loro: Ipotesi H0 (IPOTESI NULLA). Costituisce l’oggetto della verifica: specifica i valori dei parametri della popolazione da cui si suppone provenga il campione in esame H0:  = 0 Dove  indica il parametro della popolazione e 0 il parametro che ci si attende. Ipotesi H1 (IPOTESI ALTERNATIVA). È l’ipotesi contraria alla precedente H1:  ≠ 0 Strumenti di statistica inferenziale

Strumenti di statistica inferenziale Test di verifica delle ipotesi Definizione: Un test di ipotesi è una regola attraverso la quale si decide se accettare o meno l'ipotesi formulata sulla base delle risultanze campionarie. Se si indica con C l'universo dei campioni o spazio dei campioni, cioè l'insieme di tutti i possibili risultati campionari, un test delle ipotesi consiste nel bipartire l'insieme C in due sottoinsiemi disgiunti C0 e C1 = C – C0 in modo tale che si decida di rifiutare l'ipotesi H0 se il punto campionario cade in C1, di accettare l'ipotesi se il punto campionario cade in C0. Lo spazio C1 di rifiuto di un'ipotesi viene usualmente detto regione critica, mentre si dice regione di accettazione lo spazio C0. Strumenti di statistica inferenziale

Strumenti di statistica inferenziale Test di ipotesi Il test migliore minimizza la probabilità di commettere un errore di seconda specie β. REALTA’ Ho VERA Ho FALSA DECISIONE Accetto Ho Decisione giusta (1-α, Protezione) Errore di Tipo II (β) Rifiuto Ho Errore di Tipo I (α, significatività) (1-β, Potenza) Strumenti di statistica inferenziale

Strumenti di statistica inferenziale Scelta dell’ipotesi nulla La progettazione delle ipotesi è fondamentale nel processo di test Per come è costruito il test, l’errore di I tipo è quello considerato più grave Strumenti di statistica inferenziale

Strumenti di statistica inferenziale Significatività e potenza del test La probabilità di commettere un errore di I tipo, e cioè la probabilità di rifiutare una ipotesi quando essa è vera, è indicata usualmente con α. dove α viene detto livello di significatività del test e X rappresenta il punto campionario. La probabilità di commettere un errore di II tipo, e cioè la probabilità di accettare un'ipotesi quando essa è falsa, è indicata con β ( Η1 ) L’unico aspetto su cui possiamo intervenire è sul “confine” fra regione di accettazione e regione di Rifiuto Co Strumenti di statistica inferenziale

Strumenti di statistica inferenziale Costruzione del test Errore di Tipo I (α) rappresenta la probabilità di fare un errore decidendo di rifiutare Ho cioè di affermare che vi è una differenza quando in realtà non esiste tale differenza. Viene generalmente posta ad un valore basso (α). Errore di Tipo II (Errore β) Rappresenta la probabilità di commettere un errore assumendo Ho vera anche quando in realtà è falsa. E’ la capacità del test di individuare l’ipotesi alternativa quando è vera. Dipende da α (α = 1- β). Così posto il problema la migliore soluzione è rappresentata da un test che minimizzi simultaneamente le probabilità di commettere gli errori di I e di II tipo. Purtroppo, non è generalmente possibile perseguire un tale obbiettivo. La procedura che si segue generalmente è quella di fissare la misura della probabilità di commettere un errore di primo tipo (si stabilisce cioè il livello di significatività α) e nell'individuare poi il test che minimizza la probabilità di commettere un errore di II tipo. In sintesi: fissato il livello di significatività α (arbitrariamente), si cerca il test più potente (test MP dall’inglese Most Powerful), cioè, quello che minimizza β Se il test statistico dimostra che la probabilità α favore di Ho è inferiore ad α, si può affermare che fra le due misure esiste una differenza statisticamente significativa. Strumenti di statistica inferenziale

Strumenti di statistica inferenziale ) la potenza di un test è influenzata: dal livello di significatività α prescelto (generalmente α = 0,05(5%), o α = 0,01(1%); dalla specificazione dell'ipotesi alternativa; dalla numerosità del campione. Relazione tra la forza di un test e livello di significatività: un test è tanto più potente quanto più è elevata la probabilità dell'errore di I tipo. REALTA’ Ho VERA Ho FALSA DECISIONE Accetto Ho Decisione giusta (1-α, Protezione) Errore di Tipo II (β) Rifiuto Ho Errore di Tipo I (α, significatività) (1-β, Potenza) l’incremento di α (probabilità dell'errore di I tipo), comportando un allargamento dell'intervallo di rifiuto (regione critica), determina una riduzione della probabilità dell'errore di II tipo e di conseguenza un aumento della potenza del test Strumenti di statistica inferenziale

Strumenti di statistica inferenziale ANalysisOfVAriance L’analisi della varianza (ANOVA) è un insieme di tecniche statistiche facenti parte della statistica inferenziale utilizzato per la verifica d’ipotesi e’ nato nell’ambito della ricerca sperimentale per valutare l’effetto di determinati fattori, variabili indipendenti - di tipo continuo o categoriale , sulla variabile dipendente - di tipo continuo. assume nomi diversi a seconda di quante sono le variabili dipendenti e indipendenti: anova ad una via (one-way) quando si ha una sola variabile dipendente e una sola variabile indipendente. anova fattoriale quando si ha una sola variabile dipendente, ma piu’ variabili indipendenti. manova (multivariate analysis of variance) quando c’e’ + di una dipendente e + di una indipendente. Permette di confrontare due o più gruppi di dati confrontando la variabilità interna a questi gruppi con la variabilità tra gruppi L’ipotesi nulla solitamente prevede che i dati di tutti i gruppi abbiano la stessa origine, ovvero la stessa distribuzione stocastica, e che le differenze osservate tra i gruppi siano dovute solo al caso Il confronto si basa sull’idea che se la variabilità interna ai gruppi è relativamente elevata rispetto alla variabilità tra i gruppi, allora probabilmente la differenza tra questi gruppi è soltanto il risultato della variabilità interna. Il più noto insieme di tecniche si basa sul confronto della varianza e usa variabili di test distribuite come la variabile casuale F di Snedecor Requisiti: Osservazioni di ogni trattamento devono essere distribuite normalmente Varianza costante Strumenti di statistica inferenziale

Strumenti di statistica inferenziale ANalysisOfVAriance Il metodo utilizza il rapporto tra varianze ma lo scopo dell’analisi riguarda la verifica dell’ipotesi nulla tra medie. Consiste nella scomposizione della varianza totale dell’esperimento in varianze parziali (corrispondenti a diverse e ben determinate fonti di variazione). La fonte delle variazioni dei dati viene chiamata fattore sperimentale (o trattamento) e può essere: a più livelli quantitativi (e.g. dosi crescenti dello stesso farmaco) a diverse modalità qualitative (e.g. somministrazione di farmaci differenti) Ogni unità od osservazione del gruppo sperimentale viene detta replicazione (o replica) Nell’ANOVA le ipotesi sono: H0: μ1 = μ2 =…μK H1: almeno 2 delle medie sono differenti Strumenti di statistica inferenziale

Strumenti di statistica inferenziale Come funziona Per confrontare i risultati dei diversi esperimenti (es. per controllare l’effetto dei diversi livelli di controllo del sw, ossia per testare la differenza tra le medie dei gruppi sottoposti ai diversi livelli di controllo), separiamo la variabilità complessiva della variabile dipendente in due fonti di variabilità: Varianza Between (VarB): attribuibile alla varianza tra gruppi Varianza Within (VarW): residua all’interno dei gruppi, varianza entro i gruppi Dal confronto delle due varianze possiamo decidere se le differenze osservate nei diversi esperimenti sono significative, ossia se rappresentano effettivamente due popolazioni differenti (es. i controlli diversi hanno avuto effetto oppure no) oppure sono una manifestazione casuale NB: lavoriamo sulla scomposizione della varianza , ma stiamo facendo inferenza sulle medie Strumenti di statistica inferenziale

Strumenti di statistica inferenziale Come funziona L’ANOVA, si applica nel caso si vogliano confrontare gli effetti medi di una variabile su I campioni distinti: {C1,…,CI }. Ciascun campione è assunto avere lo stesso numero J di soggetti (ma non è obbligatorio) Yij è la j-esima osservazione sull’ i-esimo campione Dove: Media del campione i : media generale: Strumenti di statistica inferenziale

Strumenti di statistica inferenziale Requisiti dei dati Prima dell’applicazione di questo test parametrico, occorre verificare se ne esistono le condizioni. Le assunzioni di validità del test F dipendono dagli errori εij , che: devono essere tra loro indipendenti: ogni dato deve avere la stessa possibilità di essere influenzato dai fattori noti (effetto trattamento) e da quelli ignoti (effetto ambiente statistico) devono essere distribuiti normalmente intorno alla media le varianze dei vari gruppi devono essere omogenee (varianza vera σ2) Strumenti di statistica inferenziale

Strumenti di statistica inferenziale Come funziona IDENTITA’ PRINCIPALE DELL’ANOVA (somma dei quadrati) SS totale = SSW + SSB Ovvero: Dove: Strumenti di statistica inferenziale

Strumenti di statistica inferenziale Test di Fisher Dalla teoria dei valori attesi si ricava: ~ È stato dimostrato che questo test ha una distribuzione campionaria F di Snedecor con (I-1) e (I(J-1)) gradi di libertà (F(I-1),(I(J-1)) ) noti tali gradi di libertà (numeratore e denominatore) è possibile valutare la probabilità associata ai valori di F per un valore  prefissato, solitamente =0.05, questo test ci dice quando l’ipotesi nulla è accettata ( F<F(I-1),(I(J-1)) ) e quando viene rifiutata ( F> F(I-1),(I(J-1)) ) Se il valore di F calcolato supera quello tabulato, alla probabilità prefissata, si rifiuta l'ipotesi nulla e si accetta l'ipotesi alternativa: almeno una media è diversa dalle altre Strumenti di statistica inferenziale

Strumenti di statistica inferenziale Test di Fisher Criterio decisionale: Strumenti di statistica inferenziale

Strumenti di statistica inferenziale Esempio Zona di Accettazione Zona di Rifiuto Strumenti di statistica inferenziale

Strumenti di statistica inferenziale Esempio Supponiamo di aver sviluppato due prototipi sw e di volerli testare su un campione di possibili utenti Intervistiamo 7 utenti che hanno utilizzato il prototipo P1 e 7 utenti che hanno usato il prototipo P2 Analizziamo in quest’esempio le risposte alla domanda che indaga la soddisfazione del cliente in merito alla funzione ‘help’ implementata le risposte ammissibili sono valori da 1 a 6 dove 1 indica un basso grado di soddisfazione e sei un alto grado di soddisfazione Nella tabella che segue sono riportate le risposte ottenute con le due indagini Strumenti di statistica inferenziale

Strumenti di statistica inferenziale Esempio   Prototipo P1 P2 Questionario Q1 1 5 Q2 6 3 Q3 Q4 Q5 2 Q6 4 Q7 Strumenti di statistica inferenziale

Strumenti di statistica inferenziale Esempio << Accetto Ho Strumenti di statistica inferenziale

Strumenti di statistica inferenziale Esempio con excel Zona di Accettazione Zona di Rifiuto Strumenti di statistica inferenziale

Strumenti di statistica inferenziale Riferimenti Ronald Aylmer Fisher, Statistical Methods for Research Workers. 13th ed. Hafner, New York, 1958. W. G. Cochran, George W. Snedecor, Statistical Methods 7th ed. Iowa State University Press, Ames, Iowa Metrics and Models In Software Quality Engineering - Second Edtion, Stephen H.Kan, Addison Wesley - 2003 Strumenti di statistica inferenziale