La presentazione è in caricamento. Aspetta per favore

La presentazione è in caricamento. Aspetta per favore

Marcello DOrazio, Daniela Pagliuca, Valeria Stancati, un Ambiente Statistico Open Source: Esperienze e Prospettive Istat Roma, 4 marzo 2008 Il software.

Presentazioni simili


Presentazione sul tema: "Marcello DOrazio, Daniela Pagliuca, Valeria Stancati, un Ambiente Statistico Open Source: Esperienze e Prospettive Istat Roma, 4 marzo 2008 Il software."— Transcript della presentazione:

1 Marcello DOrazio, Daniela Pagliuca, Valeria Stancati, un Ambiente Statistico Open Source: Esperienze e Prospettive Istat Roma, 4 marzo 2008 Il software per la statistica ufficiale: dai sistemi proprietari a quelli open source

2 Cosè R R può essere considerato come una implementazione di S S è una sorta di linguaggio sviluppato presso i BELL Laboratories della AT&T (adesso Lucent Technologies) da John Chambers et al., oltre 20 anni fa S nasce con lobiettivo di sviluppare un ambiente/linguaggio per lanalisi dei dati, per limplementazione di modelli statistici, per condurre simulazioni e produrre grafici Il codice sorgente di R è disponibile come Free Software il cui utilizzo è regolato dalla GNU General Public License della Free Software Foundation Roma, 4 marzo 2008, un Ambiente Statistico Open Source: Esperienze e Prospettive Istat

3 Roma, 4 marzo 2008 Breve storia di R, un Ambiente Statistico Open Source: Esperienze e Prospettive Istat 1991: Ross Ihaka e Robert Gentleman (R & R, Univ. of Auckland) iniziano a lavorare al progetto che poi diventa R 1992: disegno e implementazione del pre-R 1993: primo annuncio di R 1995: R diviene disponibile attraverso FTP con licenza GPL 1996: Martin Maechler alla ETH avvia e mantiene una mailing-list su R 1997: Viene fondato il gruppo R core 1999: DSC meeting in Vienna, primo incontro dei membri dell R Core 2000: R viene rilasciato 2002: (16 Agosto): creazione di R Foundation for Statistical Computing con sede presso la University of Technology di Vienna … 2008: R è lultima versione rilasciata (8 Febbraio 2008)

4 R, un Ambiente Statistico Open Source: Esperienze e Prospettive Istat Roma, 4 marzo 2008 R è disponibile sia sotto forma di codici sorgenti (essenzialmente in C) che in formato pre-compilato da installare su: Linux; Windows (95 e successive versioni); MacOS Sviluppo e distribuzione di R sono curati da R Development Core Team un Ambiente Statistico Open Source: Esperienze e Prospettive Istat

5 R, un Ambiente Statistico Open Source: Esperienze e Prospettive Istat Roma, 4 marzo 2008 R è allo stesso tempo: un ambiente in cui sono integrate numerosissime tecniche di analisi statistica e per la produzione di grafici complessi un linguaggio di programmazione funzionale (functional programming language) in quanto basato su delle funzioni che lutente richiama di volta in volta (ma può anche modificare) In questo senso è un linguaggio di programmazione NON procedurale ma object oriented, un Ambiente Statistico Open Source: Esperienze e Prospettive Istat

6 R, un Ambiente Statistico Open Source: Esperienze e Prospettive Istat Roma, 4 marzo 2008 Tecnicamente R è strutturato in un sistema concentrico Funzionalità base Pacchetti aggiuntivi (packages) Nucleo (core), un Ambiente Statistico Open Source: Esperienze e Prospettive Istat

7 R, un Ambiente Statistico Open Source: Esperienze e Prospettive Istat Attualmente sono disponibili oltre package aggiuntivi, distribuiti attraverso una rete di siti internet chiamata CRAN (Comprehensive R Archive Network) analisi dati ambientali/spaziali cluster analysis inferenza bayesiana modelli grafici econometria finanza matematica genetica machine learning … Roma, 4 marzo 2008, un Ambiente Statistico Open Source: Esperienze e Prospettive Istat

8 R negli Istituti Nazionali di Statistica Impressione iniziale di una carenza di funzioni per condurre le operazioni tipiche di un processo di produzione di statistiche in un Istituto Nazionale di Statistica. In particolare: (i)funzioni per gestire e manipolare grandi moli di dati; (iii) funzioni per progettazione ed elaborazioni tipiche delle indagini complesse: progettazione campioni; controllo e correzione dei dati; riponderazione pesi e calcolo stime; … Roma, 4 marzo 2008, un Ambiente Statistico Open Source: Esperienze e Prospettive Istat

9 R allIstat Si è deciso di affrontare le problematiche attraverso: a) avvio di sperimentazioni approfondite su alcune funzionalità ritenute importanti sia in R base che in alcuni package aggiuntivi (reshape, survey, …) b) costituzione di un gruppo informale di esperti (statistici ed informatici) - il gruppo R - che si incontra mensilmente c) Creazione di una Wiki Istat su R sulla Intranet: per condividere e diffondere il materiale e le informazioni d) Analisi delle interfacce grafiche (GUI) disponibili: R Commander (Rcmdr) modificata per aggiungere funzionalità aggiuntive per trattamento dei dati (merge, sort, …) e) corsi di formazione su R (base e avanzato) per il personale Roma, 4 marzo 2008, un Ambiente Statistico Open Source: Esperienze e Prospettive Istat

10 R e il trattamento dei dati: pro Si possono importare ed esportare le tipologie di dati più comunemente utilizzate in Istat (CSV, TXT, XLS, SAS, …) Laccesso alle basi di dati RDBMS ORACLE è possibile attraverso ODBC (per laccesso a MySQL esiste un driver specifico) Molte operazioni di manipolazione dei dati si risolvono con lutilizzo di funzioni base senza necessità di scrivere codice con strutture condizionali e cicliche E possibile produrre anche tavole statistiche complesse (doppia o tripla entrata) attraverso funzioni ad hoc disponibili nel package aggiuntivo reshape Roma, 4 marzo 2008, un Ambiente Statistico Open Source: Esperienze e Prospettive Istat

11 R e il trattamento dei dati: contro a inizio sperimentazione sono state riscontrate difficoltà nel trattamento di grandi moli di dati (>70Mb). Il problema è ridimensionato: da versione 2.6.0, è stato possibile gestire file dati fino a 250Mb; le restanti difficoltà dovrebbero essere superate dalle funzioni del package aggiuntivo ff; Vi sono esigenze non sono ancora coperte da funzioni R già esistenti e per le quali è necessario creare delle funzioni ad hoc; Per rendere più agevole lutilizzo dellambiente si reso è necessario creare alcune funzioni generalizzate che risolvano problematiche trasversali ai vari processi produttivi Roma, 4 marzo 2008, un Ambiente Statistico Open Source: Esperienze e Prospettive Istat

12 R e il trattamento dei dati: alcune conclusioni Sperimentazioni di manipolazione e tabulazione condotte su: (a) dati dellindagine su Fallimenti dichiarati e fallimenti chiusi delle imprese; (b) dati dellindagine sui Consumi delle famiglie in Bosnia Erzegovina (con la quale esiste da tempo un rapporto di cooperazione) I risultati ottenuti sono stati ampiamente positivi. Si ritiene che le funzionalità di R, già esistenti o create ad hoc, possano essere adottate con successo in questa fase di produzione Roma, 4 marzo 2008, un Ambiente Statistico Open Source: Esperienze e Prospettive Istat

13 R per la elaborazione dei dati di indagini campionarie complesse: il package survey Il package aggiuntivo survey permette di elaborare/trattare i dati raccolti con indagini campionarie complesse al fine di: calcolare stime di totali, rapporti, … calcolare stime dellerrore campionario calibrare pesi delle unità campione; post-stratificare le unità … In merito alla calibrazione dei pesi è stata avviata una sperimentazione volta al confronto con Genesees (SW Istat basato su SAS). La sperimentazione si è conclusa positivamente ed è stato avviato un progetto di migrazione di Genesees da SAS in R, che si propone anche di implementare metodologie più recenti. Nellottica del SW generalizzato si intende creare e rilasciare una versione di Genesees basata su R e dotata di una propria GUI Roma, 4 marzo 2008, un Ambiente Statistico Open Source: Esperienze e Prospettive Istat

14 R e le elaborazioni tipiche dei dati di indagini complesse LIstat si è posta da tempo il problema di disporre di strumenti, non contemplati nei package statistici commerciali, per: determinare ampiezza ottimale campioni complessi; controllare e correggere dei dati; imputare i valori mancanti; riponderare i pesi delle unità campione e calcolare le stime; … In passato, in diversi casi, si è deciso di sviluppare ex novo il SW necessario. Spesso lo sviluppo è avvenuto in ambito SAS. Ci si è orientati verso lo sviluppo di SW generalizzati che: implementassero metodologie e tecniche avanzate trattassero elevate moli di dati fossero utilizzabili senza richiedere ulteriore sviluppo di SW fossero utilizzabili in indagini diverse Roma, 4 marzo 2008, un Ambiente Statistico Open Source: Esperienze e Prospettive Istat

15 R: un motore di analisi statistiche in SW generalizzati Con la diffusione del SW open source lattenzione si sta spostando dallo sviluppo di SW ex novo alla possibilità di utilizzare e personalizzare i SW open source in base alla proprie specifiche esigenze. La disponibilità in R di: un linguaggio di programmazione semplice e ben definito; una ampia suite di strumenti per le operazioni con le matrici (e array); una ampia gamma di tool per lanalisi dei dati e potenti strumenti per la grafica lo rendono un motore di analisi ideale attorno al quale costruire un SW di tipo generalizzato Roma, 4 marzo 2008, un Ambiente Statistico Open Source: Esperienze e Prospettive Istat 1

16 R: un motore di analisi statistiche in SW generalizzati pro: la diffusione di SW generalizzati non legati ad un sistema proprietario (es. SAS) è più facile (es. in ambito Sistan); permette lo sviluppo di programmi, anche complessi, sfruttando le funzionalità già esistenti e il linguaggio di programmazione R contro: limitata competenza ed esperienza (sperimentazioni iniziate nel 2005); difficoltà nello sviluppo di interfacce grafiche (GUI) user friendly. A tal fine si possono utilizzare tool interni allambiente (tcltk, gWidgets) o esterni (PHP, Java) Roma, 4 marzo 2008, un Ambiente Statistico Open Source: Esperienze e Prospettive Istat 2

17 Titolo del convegno anche su più righe Nonostante le perplessità iniziali, R sembra ormai un ambiente maturo e affidabile che offre grandi potenzialità per lutilizzo nei processi di produzione delle statistiche sfruttando le funzionalità di base (analisi descrittive, grafici) attraverso la GUI R Commander modificata ad hoc per le esigenze Istat; sfruttando sia le funzioni già esistenti che funzioni nuove dedicate alla produzione statistica ufficiale; utilizzandolo come motore di analisi allinterno di SW generalizzati Conclusioni Roma, 4 marzo 2008, un Ambiente Statistico Open Source: Esperienze e Prospettive Istat 1

18 Titolo del convegno anche su più righe Permangono ovviamente alcune criticità legate a: limiti nella gestione di grandi moli dati (es. archivi amministrativi) che si spera siano superabili a breve; assenza di supporto tecnico esterno e conseguente necessità di costituire in Istat un gruppo di persone con molta esperienza su R in grado di risolvere le problematiche che dovessero emergere Conclusioni Roma, 4 marzo 2008, un Ambiente Statistico Open Source: Esperienze e Prospettive Istat 2


Scaricare ppt "Marcello DOrazio, Daniela Pagliuca, Valeria Stancati, un Ambiente Statistico Open Source: Esperienze e Prospettive Istat Roma, 4 marzo 2008 Il software."

Presentazioni simili


Annunci Google