Integrazione delle fonti e utilizzo statistico degli archivi amministrativi nei comuni per la conoscenza del territorio e il supporto alle decisioni pubbliche: archivi gestionali, basi dati di interesse nazionale, big data URBES, ARCHIMEDE, Censimento permanente I Comuni verso l’uso statistico degli archivi amministrativi e dei sistemi di integrazione delle fonti Napoli - 28 ottobre 2015 Marco Palamenghi Comune di Brescia Unità di staff Statistica

Produrre statistiche e indicatori affidabili e tempestivi a supporto dei processi di policy per uno sviluppo sostenibile. Innovare metodi, fonti e integrazione dei dati, per una statistica più adeguata alle esigenze degli utenti finali, accompagnata dalla riduzione dei costi e del disturbo statistico La buona statistica migliora la vita

LA FUNZIONE STATISTICA COMUNALE La statistica per conoscere e per deliberare Supporto informativo-statistico ai decisori  Raccolta dati: reperimento e integrazione dei dati statistici esistenti, e raccolta dati  Elaborazione dei dati amministrativi gestionali della propria amministrazione  Reportistica (studi e ricerche)  elaborazione di dati amministrativi, provenienti da altre fonti organizzate pubbliche e private appartenenti anche a soggetti non Sistan  realizzazione di rilevazioni sul campo Promozione e diffusione della cultura statistica (sembra più compito Istat) Supporto per l’attuazione delle leggi di riforma della P.A.  controllo di gestione, costi standard, ecc. La funzione statistica

LE TRE ANIME DELLA STATISTICA LOCALE  Ufficio dell’amministrazione: Soggetto attivo per conto dell'Ente di appartenenza  Ufficio Sistan: Soggetto attivo/passivo in ambito SISTAN  Ufficio Istat: Soggetto passivo per conto dell'ISTAT Le nuove tecnologie, lo sfruttamento massivo degli archivi amministrativi nazionali e locali e i big data porteranno ad un superamento di questo quadro E’ prevedibile un sempre minor coinvolgimento dei Comuni nella rilevazione dei dati, ma maggiore nello sfruttamento, analisi e diffusioni dei dati a livello comunale e subcomunale. La statistica comunale

I principi, della statistica e del trattamento dei dati individuali di basi di dati amministrative ( e non solo) etici (rapporto mezzi/fini, protezione dei dati personali, imparzialità obiettività, inattaccabilità metodologica) giuridici (conoscere per deliberare e per controllare) economici (efficacia, efficienza ed economicità) I principi della statistica pubblica

 la PA definisce i propri criteri di intervento sulla base di dati amministrativi (ad esempio tasse tariffe ecc.)  La popolazione di riferimento (domanda potenziale) è spesso quella residente  Costi ridotti  Disturbo statistico assente  Continuità nel tempo  Dettaglio territoriale  Dettaglio sulle unità di rilevazione Le fonti di dati Perché utilizzare le fonti amministrative

Le fonti amministrative comunali  Anagrafe della popolazione residente  Archivi e Sistemi informativi gestionali Le basi di dati di interesse nazionale  Archivi statistici ISTAT  Archivi statistici e gestionali SISTAN I Big Data Le fonti di dati

L'organizzazione dei dati dal Modello Sequenziale al Modello Relazionale al Data warehouse La gestione dei dati dai Sistemi Informatici (trattamento di basi di dati) ai Sistemi Informativi (integrazione di basi di dati) alla Progettazione concettuale e al Modello Entità- Relazione per dati disaggregati Gli Archivi di dati

Fonti Amministrative Natura degli archivi PregiDifetti  Dinamicità degli archivi  Aggiornamento “automatico”  Organizzazione dei dati  Immagini amministrative dei fenomeni (pratiche e non eventi)  Analisi delle fonti giuridiche  Non sono implementate per finalità statistiche  La popolazione di riferimento non è quella che incide effettivamente sul territorio

Fonti Amministrative Implementazione PregiDifetti  Immediata disponibilità dei dati  Costi molto bassi  Progettazione e implementazione da parte di soggetti diversi e in tempi e con metodologie diverse  Visione parziale e non unitaria dei sistemi informativi  Scarsa attenzione alla correlazione delle basi di dati  Viscosità dei sistemi informativi

Fonti Amministrative Gestione PregiDifetti  Analiticità dei dati  Qualità elevata per le informazioni certificate  Completezza  Qualità variabile delle informazioni  Coerenza -> normalizzazione

Fonti Amministrative Organizzazione dei dati  Soggetto (chiave –-> CF)  Data dell’evento  Evento  Attributi dell’evento  Data di registrazione Schema “biografico”

Fonti Amministrative Ricadute organizzative Impostazione a tavolino dell’indagine  Il quadro di riferimento  L’impianto metodologico Le fonti dei dati  Individuazione delle fonti  Qualità delle fonti Recupero dei dati  Parcellizzazione del lavoro  Standardizzazione dei dati  Qualità dei dati

Fonti Amministrative Profili di privacy Finalità istituzionali accesso a tutte le fonti interne accesso alle fonti a cui il Comune accede per le finalità istituzionali Tipi di dati utilizzati (comuni/sensibili) Garanzie per gli interessati Misure di sicurezza Modalità del trattamento: Codice della privacy e Codice deontologico

La statistica per deliberare Progetti Basi di dati Comunali (Anagrafe, Servizi Sociali, Tributi, ecc.) Basi di dati ISTAT (Censimenti, ASIA, Incidenti stradali, ecc.) Basi di dati SISTAN (Agenzia delle Dogane e dei Monopoli, Banca data OMI, Agenzia delle Entrate, Ragioneria dello Stato, Motorizzazione Civile-PRA) Altre fonti (dati di telefonia mobile)

Basi dati comunali L'Anagrafe della popolazione residente Chiave di volta dei sistemi informativi comunali  il codice fiscale: chiave univoca di linkage La matrice di contabilità: dalle storie individuali ai comportamenti collettivi  Stock (popolazione al 31 dicembre)  Eventi (ingresso e uscita dall'Anagrafe) L'integrazione con altre basi di dati comunali:  Il modello persona-famiglia-abitazione-automobile  Il modello persona-famiglia-tributi-servizi

Basi dati ISTAT ASIA – Archivio Statistico Imprese Attive (Unità Locali) Il codice fiscale: chiave univoca di linkage con gli archivi amministrativi comunali Esaustiva anche se con alcune criticità Poche informazioni Grossi problemi di normalizzazione  difficoltà a ricostruire gli elementi per la geocodifica  difficoltà a ricostruire gli elementi per la georeferenziazione

Basi dati ISTAT ASIA – Geocodifica u. l. commercio – Brescia Città

Basi dati ISTAT ASIA – Geocodifica u.l. commercio Centro Storico

Basi dati SISTAN Agenzia delle Dogane e dei Monopoli Il codice fiscale: chiave univoca di linkage con gli archivi amministrativi comunali Grossa difficoltà al recupero dei dati Scarico manuale dal sito Variabile di interesse locale distribuite in due archivi distinti Considerevole lavoro di standardizzazione e normalizzazione per recuperare le variabili di interesse e linkarle con gli archivi comunali

Basi dati SISTAN

PRA – Pubblico Registro Automobilistico Il codice fiscale: chiave univoca di linkage con gli archivi amministrativi comunali Disponibilità dei dati a pagamento (diversi anni fa) Problemi di normalizzazione degli indirizzi per l'estrazione dei dati di aree subcomunali Problemi di geocodifica e georeferenziazione Elevata qualità dei dati

Basi dati SISTAN

Big Data Telefonici per le Analisi di Eventi Obiettivo: Analizzare i dati statistici del traffico di telefonia mobile per valutare l’impatto di (grandi) eventi promossi in Città, integrandoli con dati provenienti da indagini statistiche classiche (questionario) Elaborazioni sperimentali dei dati (individuali e anonimi) delle reti di monitoraggio del traffico mobile Disponibili per tutta la Provincia a intervalli regolari di 15 minuti da Maggio 2014 ad Aprile 2016 Numero di SIM agganciate alle rete di monitoraggio del traffico mobile (compreso il roaming) I dati di cella (antenna) vengono imputati (con un algoritmo proprietario) ai pixel di una griglia regolare di 150m di lato (circa pixel per Brescia) Ogni utente viene assegnato all’ultima cella utilizzata al termine dell’intervallo di 15 minuti

Big Data Telefonici per le Analisi di Eventi Brescia, 26 maggio 2013 ore 17:00

Big Data Telefonici per le Analisi di Eventi MEGAPIXEL CENTRO DI BRESCIA

Big Data Telefonici Mille Miglia e Giro d’Italia 2013 MEGAPIXEL CENTRO DI BRESCIA

Big Data Telefonici Mille Miglia e Giro d’Italia 2013 MEGAPIXEL CENTRO DI BRESCIA

Big Data Telefonici Notte Bianca 2014 MEGAPIXEL CENTRO DI BRESCIA Profilo di densità SIM nel Centro di Brescia differenza percentuale tra la media dei primi due weekend di maggio 2014 e weekend della Notte Bianca (dati in percentuale)

Big Data Telefonici Mille Miglia 2015 Profilazione presenze di stranieri MEGAPIXEL CENTRO DI BRESCIA

BIG DATA & ANALYTICS Social Media Analysis Miglia 2015 – Il «sentiment» del pubblico