Ricevimento: giovedì 14-16 Esercitazioni di Laboratorio Corso di Statistica Matematica I Modulo Maria Teresa Giraudo mariateresa.giraudo@unito.it tel. 011 6702937 http://www2.dm.unito.it/paginepersonali/giraudo Ricevimento: giovedì 14-16 II piano _________________________________________________ Laboratorio di Statistica Matematica - I Modulo/I L Corso di laurea in Matematica - Università di Torino

Indice delle lezioni I : Introduzione all’uso di software dedicati statistici II : Statistica descrittiva con EXCEL, I (dott. D.Morale) III : Statistica descrittiva con EXCEL, II (dott. D.Morale) IV : Introduzione all’uso del software STATISTICA. V : Generazione di numeri casuali e semplici esempi di simulazione con STATISTICA. VI : Regressione lineare con STATISTICA VII : Test di bontà dell’adattamento con STATISTICA _________________________________________________ Laboratorio di Statistica Matematica - I Modulo/I L Corso di laurea in Matematica - Università di Torino

Software statistico perché? come? quali vantaggi ulteriori? Problemi reali: necessità di estrarre informazioni da un numero spesso piuttosto grande di dati a volte non organizzati Problemi didattici: effettuare analisi statistiche realistiche su sets di dati opportuni come? Personal computer (in certi casi workstation)+ user-friendly software in generale analisi statistiche effettuate più velocemente e con maggiore accuratezza quali vantaggi ulteriori? Possibilità di rianalizzare i dati di uno stesso problema effettuando analisi sempre più avanzate _________________________________________________ Laboratorio di Statistica Matematica - I Modulo/I L Corso di laurea in Matematica - Università di Torino

Programmi informatici per condurre analisi statistiche dei dati: si differenziano per tipo di analisi che supportano, interfaccia utente e modalità di utilizzo, limiti computazionali e tipologia software. Packages statistici general purpose le procedure di calcolo non richiedono particolari competenze per arrivare all’output; supportano la maggior parte delle opzioni standard Programmi statistici specializzati implementazioni sofisticate di una particolare tecnica di analisi o famiglia di tecniche; richiedono una maggiore conoscenza della teoria per sfruttare le opzioni disponibili Macro-programmi ad hoc procedure per specifiche tecniche di analisi scritte in qualche tipo di macro-linguaggio orientato all’elaborazione matematica e statistica; possono essere eseguiti solo all’interno del programma di sviluppo, tipicamente un package matematico o statistico, del quale sono estensioni Librerie di funzioni o procedure statistiche scritte in qualche linguaggio di programmazione (C, FORTRAN, BASIC; macro-linguaggi come MATLAB), possono essere utilizzate per realizzare un programma di calcolo per analisi specifiche _________________________________________________ Laboratorio di Statistica Matematica - I Modulo/I L Corso di laurea in Matematica - Università di Torino

Tra i softwares disponibili: stesse funzioni statistiche di base buona possibilità di manipolare i dati e presentare e elaborare i risultati Considereremo MINITAB - SAS - SPSS - STATISTICA MINITAB sistema bidimensionale: colonne/variabili; righe/casi creazione di nuove variabili a partire da C1, C2, C3, … tramite l’istruzione LET procedure statistiche predefinite da usare con elenco di colonne e parametri si possono inserire molti statements di aiuto (help) è interattivo si può salvare la sessione di lavoro in un file MINITAB per poi riprenderla successivamente _________________________________________________ Laboratorio di Statistica Matematica - I Modulo/I L Corso di laurea in Matematica - Università di Torino

SAS SPSS Disponibile per workstations e per PC Grande flessibilità + vasta libreria di procedure statistiche di alto livello Usa un metodo proprio per denominare gli insiemi di dati DATA: denomina il file e le variabili in esso Occoroono input di programmazione specifici anche se non particolarmente elaborati Occorre un modulo a parte per le rappresentazioni grafiche SPSS Creato per workstations, è disponibile anche per PC Ogni insieme di dati è definito in un data definition statement, che denomina anche le variabili e specifica le colonne in cui vanno collocate Sono disponibili molte procedure statistiche avanzate (p.es. ANOVA) E’ interattivo E’ molto versatile nell’esporre e rappresentare graficamente i risultati _________________________________________________ Laboratorio di Statistica Matematica - I Modulo/I L Corso di laurea in Matematica - Università di Torino

Sviluppato da StatSoft Inc. (1984-1995) STATISTICA Sviluppato da StatSoft Inc. (1984-1995) Riservato ai PC computer (IBM compatibili o Apple) Include analisi di regressione, analisi fattoriale, scaling multidimensionale, analisi di raggruppamento e moltre altre opzioni di analisi statistica vanzata Include uno Statistical Advisor che può essere di utilità nella scelta del metodo di analisi e un linguaggio specializzato per implementare algoritmi di calcolo La versione per Windows è ben integrata con l’ambiente operativo e efficiente nell’uso delle risorse La velocità di elaborazione è buona in base a criteri comparativi Non presenta limitazioni alla dimensione dei files di dati né al numero di records e di variabili Può importare ed esportare dati nei principali formati standard (Excel, Lotus, …), in ASCII e in SPSS _________________________________________________ Laboratorio di Statistica Matematica - I Modulo/I L Corso di laurea in Matematica - Università di Torino

MINITAB: manipolazione dei files Interactive mood: ogni comando non seguito da ; produce un risultato immediato in output, altrimenti occorre attendere un . Al termine di una sessione occorre digitare SAVE se si vuole salvare il worksheet (foglio di lavoro), quindi STOP Per immettere i dati nel worksheet si usa il comando SET per ogni colonna (variabile) Cn, n=1,2,… con un numero dato di righe (casi). Si possono effettuare calcoli e/o creare nuove colonne (variabili) a partire dai dati immessi tramite il comando LET Per salvare l’ouput in un file: WRITE ‘nomefile’ C1-C... Per riaprire il file: READ ‘nomefile’ C1-C… Per salvare il worksheet: SAVE ‘nomeworksheet’ Per riaprirlo e ricominciare la sessione di lavoro: RESTART Per ottenere l’output: PRINT ... _________________________________________________ Laboratorio di Statistica Matematica - I Modulo/I L Corso di laurea in Matematica - Università di Torino

MINITAB: calcoli statistici Statistiche calcolate con il comando DESCRIBE: N, mean, median, stdev, semean (standard error of the mean), max, min, q3, q1, n. of missing (non missing) values, sum Ognuno di tali comandi può essere utilizzato singolarmente o messo in memoria come costante Alcune funzioni statistiche disponibili: regressione lineare (semplice o multipla) REGRESS C3 l, C1 l: numero di variabili di regressione T-test per la media di una distribuzione normale quando la varianza non è nota Test non parametrici (p. es. Mann-Whitney) Regressione polinomiale: specificando l’equazione di regressione oppure usando il metodo stepwise che aggiunge o elimina una variabile alla volta _________________________________________________ Laboratorio di Statistica Matematica - I Modulo/I L Corso di laurea in Matematica - Università di Torino

SPSS: caratteristiche 1960s: Statistical Package for the Social Sciences 1970s: SPSS-X esteso e ampliato 1980s: versione per PC (SPSS/PC) (SPSS Inc. 1983; Norusis e SPSS Inc. 1994) * Sistema interattivo * Si posono maipolare e organizzare dati, originare reports e eseguire analisi statistiche più o meno complesse 1. Comandi di operazioni 2. Definizioni di dati 3. Comandi di procedure 1. Riguardano il sistema. Si ottengono informazioni sulle modalità di lavoro di SPSS. Si possono modificare tali modalità. _________________________________________________ Laboratorio di Statistica Matematica - I Modulo/I L Corso di laurea in Matematica - Università di Torino

2. Si descrivono, denominano e manipolano i dati. In particolare: si ottiene assistenza on line HELP DISPLAY si selezionano opzioni SET si forniscono comandi da un file esterno INCLUDE si termina una sessione di lavoro FINISH 2. Si descrivono, denominano e manipolano i dati. In particolare: si calcolano nuove variabili si modificano i valori di variabili si identificano i missing values si fornisce il titolo e il formato dell’output si denominano le variabili e i loro valori si selezionano i casi per le analisi _________________________________________________ Laboratorio di Statistica Matematica - I Modulo/I L Corso di laurea in Matematica - Università di Torino

3. Si ottengono reports e analisi statistiche e si salvano in files Crea un sistema di file attivo (uno solo) usato in una sessione di lavoro. Contiene tutti i valori, le denominazioni e le informazioni per una sessione Si può salvare e ripristinare: SAVE OUTFILE=‘NOME.SYS’ GET FILE=‘NOME.SYS’ DATA LIST: 3. Si ottengono reports e analisi statistiche e si salvano in files Descriptive: LIST PLOT, FREQUENCIES, DESCRIPTIVE CROSSTABS, … Comparisons: T-TEST, MEANS ONEWAY, ANOVA Multivariate: CORRELATION, REGRESSION FACTOR, CLUSTER, … Nonparametric: NPAR TESTS Utility: SORT CASES, GET/SAVE, EXPORT/IMPORT * Risultati mostrati su schermo dopo l’esecuzione * SET: si inviano i dati su disco o stampante * I files di dati salvati possono essere letti con qualunque text editor (ASCII). _________________________________________________ Laboratorio di Statistica Matematica - I Modulo/I L Corso di laurea in Matematica - Università di Torino

E’ distribuito in moduli acquisibili separatamente che contengono programmi di calcolo per diverse aree di analisi Utilizzo agevole tramite menù e interfaccia utente per le operazioni più comuni Sistema aggiornato frequentemente e dedicato all’analisi statistica Tuttavia: Per operazioni meno comuni o per specificare opzioni di analisi supportate dalle procedure di calcolo, ma non a livello di interfaccia utente, è necessario ricorrere alla digitazione diretta di istruzioni specifiche Le procedure di calcolo possono essere poco efficienti per utilizzo della memoria e per velocità di elaborazione (rilevazione comparativa effettuata da diversi utilizzatori). _________________________________________________ Laboratorio di Statistica Matematica - I Modulo/I L Corso di laurea in Matematica - Università di Torino

SAS: caratteristiche Sviluppato da SAS Institute Inc. (1982, 1993), è il più noto e diffuso sistema di elaborazione dati disponibile. SAS/LAB Software, SAS e-intelligence www.sas.com Disponibile per tutte le piattaforme hardware esistenti e per i più diffusi sistemi operativi (UNIX, DOS, WINDOWS, …) potente nel manipolare sets di dati di notevole estensione e complessità contiene una libreria sempre aggiornata di procedure statistiche Tuttavia: è più complesso da apprendere e utilizzare Utenti: ricercatori, ingegneri, consulenti statistici, programmatori, analisti finanziari Funzionalità: accesso ai dati, elaborazione di dati, analisi di dati e presentazione dei risultati _________________________________________________ Laboratorio di Statistica Matematica - I Modulo/I L Corso di laurea in Matematica - Università di Torino

SAS: struttura E’ un sistema modulare costituito da un kernel (modulo SAS/BASE) che controlla l’acquisizione e la gestione dei dati e da una serie di moduli indipendenti e acquisibili separatamente. Tra i moduli disponibili: SAS/STAT per l’analisi uni- e multivariata SAS/GRAPH per ottenere rappresentazioni grafiche a partire dagli output numerici delle procedure statistiche SAS/IML che supporta l’algebra matriciale Ogni modulo contiene una raccolta di procedure programmi con proprie istruzioni e opzioni Per realizzare una procedura statistica si esegue un job SAS “programma” composto da istruzioni SAS tramite cui si richiede l’esecuzione delle procedure disponibili sul set di dati a disposizione E’ disponibile un on-line journal per salvare gli output di grafica e testo, interpretazioni e commenti. _________________________________________________ Laboratorio di Statistica Matematica - I Modulo/I L Corso di laurea in Matematica - Università di Torino

SAS: alcune funzioni Analisi della varianza uni- e multivariata Regressione con varie procedure specializzate e impiego dei minimi quadrati per la stima dei parametri Analisi categorica dei dati a partire dalle tabelle di contingenza Analisi multivariata per modelli con 2 o più variabili di risposta Analisi delle componenti principali Analisi discriminante Analisi di sopravvivenza (per dati che misurano tempi di vita o tempi di attesa) Analisi psicometrica (su giudizi o percezioni umane, utile p.es. nelle ricerche di mercato) Cluster analysis (si suddividono le osservazioni in gruppi suggeriti dai dati in modo da raggruppare il più possibile osservazioni simili) Analisi non parametriche _________________________________________________ Laboratorio di Statistica Matematica - I Modulo/I L Corso di laurea in Matematica - Università di Torino

SAS: peculiarità Tuttavia: Non presenta limitazioni per quanto riguarda il numero di record e di variabili che possono essere elaborati Ha un’ottima gestione dei dati Acquisisce dati da file ASCII, da alcuni formati standard e da file SPSS e esporta dati verso ASCII e alcuni altri formati standard. Tuttavia: La complessità delle procedure richiede un periodo di addestramento (corsi specifici organizzati da SAS Italia o altri) La realizzazione di output grafico fornito dalle procedure statistiche è soltanto approssimativo, mentre occorrono le complesse procedure grafiche specifiche per ottenere grafici soddisfacenti. _________________________________________________ Laboratorio di Statistica Matematica - I Modulo/I L Corso di laurea in Matematica - Università di Torino

STATISTICA: alcune opzioni E’ organizzato in moduli in ognuno dei quali si trovano varie opzioni di analisi (Analysis dal menu a tendina) Più finestre si possono aprire contemporaneamente per effettuare varie analisi statistiche sul set di dati in esame L’interfaccia grafica è immediata e di facile utilzzo per la generazione di grafici di qualsivoglia formato esportabili sotto forma di immagine Modulo DATA MANAGEMENT: ampia selezione di metodi per l’analisi esplorativa dei dati comprendente tutte le comuni statistiche descrittive di uso generale e un’ampia varietà di grafici (istogrammi, box and whisker plots, scatterplots, normal probability plots,…) in 2 e 3 dimensioni QUICK BASIC STAT(ISTICS): produce statistiche di base e grafici in ogni momento dell’analisi; disponibile da tutte le barre degli strumenti e da tutti i moduli; produce gli output istantaneamente tramite finestre di dialogo intermedie; include correlazione, tavole di frequenza e vari test. _________________________________________________ Laboratorio di Statistica Matematica - I Modulo/I L Corso di laurea in Matematica - Università di Torino

STATISTICA: alcune opzioni CALCOLATORE DI PROBABILITA’ INTERATTIVO: accessibile da tutte le barre degli strumenti e interattivo; offre un’ampia gamma di distribuzioni, incluse beta, chi-quadro, gamma, F, logistica, t, Z con piccoli grafici compresi nella finestra di dialogo Modulo BASIC STATISTICS AND TABLES: ampia varietà di opzioni per controllare l’aspetto e il formato delle tabelle; visualizza tra l’altro frequenze normali attese, test di Kolmogorov-Smirnov, test del chi-quadro di Pearson; le opzioni grafiche includono istogrammi semplici e categorizzati Modulo MULTIPLE REGRESSION: regressione semplice, multipla, stepwise (in avanti, all’indietro o a blocchi), gerarchica, non lineare, con o senza intercetta; include una tabella di regressione completa con errori standard ecc. per vari parametri; comprende un’ampia selezione di plots _________________________________________________ Laboratorio di Statistica Matematica - I Modulo/I L Corso di laurea in Matematica - Università di Torino

Analisi discriminante ... Modulo NONPARAMETRIC STATISTICS: tra gli altri, il test di Kolmogorov-Smirnov e il test chi-quadro di adattamento; tutti i tests sono integrati con grafici. Tests e statistiche non parametriche sono parte anche di altri moduli quali SURVIVAL ANALYSIS e PROCESS ANALYSIS. Altre Funzioni: ANOVA ANCOVA/MANCOVA Cluster Analysis Analisi discriminante ... _________________________________________________ Laboratorio di Statistica Matematica - I Modulo/I L Corso di laurea in Matematica - Università di Torino