Sistema Informativo al CNAF Guido Guizzunti – Luglio 2012

Il gruppo Guido Guizzunti Marco Canaparo Claudio Galli Enrico Capannini Chiara Simoni Stefano Bovina Antonio Rondini Michela Pischedda Barbara Martelli Guido Guizzunti – Luglio 2012

Sala calcolo Tier1 Guido Guizzunti – Luglio 2012

Architettura hardware 4 Storage Area Network Produzione Test bug fix Sviluppo SD Test migliorie Cluster Libreria Nastro BI Test BI Sviluppo BI VamWeb Backup su disco Guido Guizzunti – Luglio 2012 Plugin Tivoli

Guido Guizzunti – Luglio 2012

Infrastruttura attuale 1 cluster active/backup a 4 nodi RedHat 5.5 per application e DB Oracle (contabilità di produzione)  Due "failover domain” configurati in modo che i due servizi OracleDB e OracleAPP non possano mai girare contemporaneamente sulla stessa macchina per garantire l’integrità del sistema  Poiché il servizio OracleAPP dipende dal servizio OracleDB, è stato predisposto un meccanismo che consente al servizio OracleAPP di sapere se in un dato momento il servizio OracleDB risulta down. In tal caso, anche se il servizio OracleAPP fosse correttamente running, il cluster stoppa il servizio lato application, restarta il servizio OracleDB e solo dopo che ha verificato il corretto stato del database restarta il servizio OracleAPP 1 cluster a 8 nodi Centos 6.2 con diverse macchine virtuali su storage fiber channel. In questo caso i servizi clusterizzati sono le stesse VM I cluster garantiscono che i servizi sopravvivano a spegnimenti di una o più macchine fisiche (per rotture HW o aggiornamenti SW), venendo migrati sulle macchine del cluster sopravvissute in maniera trasparente all’utente. Per le VM il cluster utilizza la live-migration, e non viene perso nemmeno un ping Guido Guizzunti – Luglio 2012

Infrastrutura network Sistema Informativo Juniper virtual chassis GARR Internet ACL sysinfo Guido Guizzunti – Luglio 2012  2 switch in virtual chassis per alta affidabilità  A breve non saremo più sotto la rete del CNAF ma avremo un collegamento diretto al GARR  Al Juniper è collegato un ASA che fa da VPN concentrator per la comunicazione lan-to-lan con Frascati ASA

Hardware al CNAF (1) 14 server fisici (divisi in 2 rack APC) 6 server fisici in arrivo a Luglio 40 server virtuali 3.5 TB storage su SAN (Tier1) Storage dedicato SI 2 switch fiber channel 2 switch ethernet Juniper 1 server Sun Solaris (sxgest1) Guido Guizzunti – Luglio 2012

Hardware al CNAF (2) L’infrastruttura HW è inserita all’interno del Tier1 al CNAF: questo ci garantisce alta ridondanza e affidabilità a livello elettrico, di raffreddamento, di storage Tutti i server acquistati hanno assistenza NBD on site, doppia alimentazione, dischi in raid1 hardware Ogni server ha due interfacce di rete in bonding round robin, per ridondanza I due switch Juniper sono in virtual chassis per aumentarne la ridondanza Come storage attualmente è utilizzata la SAN del Tier1, con lun in raid1 e raid5 Guido Guizzunti – Luglio 2012

Monitoring (1) Il monitoraggio avviene con gli strumenti Oracle Grid Console e Nagios La Grid Console controlla diversi parametri relativi ai DB Oracle, alle EBS e all’hardware dei server: stato delle connessioni, stato dei servizi, prestazioni, numero di utenti e di sessioni, utilizzo CPU, ram e spazio disco, etc., ed invia un in caso di problemi Diversi script sono nel crontab dei server e monitorano alcuni servizi critici e alcuni parametri vitali dei server, avvisando via in caso di problemi Nagios controlla molti parametri vitali dei server e la maggior parte dei servizi critici. Attualmente è configurato solo per inviare alert via , a breve invierà sms e sarà collegato alla dashboard del CNAF Guido Guizzunti – Luglio 2012

Monitoring (2) Procedure Custom INFN-CNAF  PROD_EBS_CNAF_CHK_HR1157: controlla lo stato del dblink segnalando eventuali down via mail  INFN_AUTOCOMPILE_OBJ: Procedura di ricompilazione automatica giornaliera degli eventuali oggetti custom invalidi, invia mail alla lista con il risultato delle operazioni ogni mattina  Report Nuovi Account EBS : Procedura che verifica i nuovi account EBS creati tramite Portale missioni e AAI o da maschere di contabilità, invia mail con risultato ogni Lunedì mattina e segnala con un warning i casi in cui non ci sia nessuna associata all’account creato.  HR-BatchCopy Procedure : Procedura di refresh delle tabelle sull’istanza del DB di frontiera utilizzato come clone per le macchine di test, invia mail ogni mattina con il resoconto delle operazioni.  Script di bonifica delle sulla tabella degli account (da utilizzare periodicamente fino al go-live Nuovo HR)  Script di cambio passwd automatici per utenze e amministrativi (con periodicità di 6 mesi) Guido Guizzunti – Luglio 2012

Sicurezza (1) Ovunque l'accesso ssh è consentito solo tramite chiave pubblica/privata, che richiede comunque la conoscenza della password di criptazione. E' stato disabilitato l'accesso ssh con password Sono state effettuate scansioni con Nessus e chiuse le falle di sicurezza Tramite le ACL sul Juniper (gestite dal gruppo del SI al CNAF) sono stati limitati gli accessi ai servizi esposti all'esterno alle porte strettamente necessarie e solo a pochi IP specifici Tramite iptables gli ambienti di test e produzione sono stati isolati fra loro, per evitare che modifiche su un ambiente di test possano erroneamente influenzare/corrompere dati di produzione Analisi dei log (logwatch e script custom) Installazioni patch di sicurezza e aggiornamenti librerie e SO (ove possibile) Guido Guizzunti – Luglio 2012

Sicurezza (2) VamWeb  Accesso al pannello di controllo Web solo tramite protocollo https  Accesso solo dalla rete interna al cnaf  Versione del software Selesta aggiornato all’ultima disponibile  Accesso tramite username e password (cambiato l'utente di default)  La comunicazione tra il server e i terminali avviene criptata  File di configurazione criptati Presenze  Accesso al frontoffice web via https tramite AAI  Accesso al backoffice web via https tramite user/password ma solo dalla rete interna CNAF o da specifici IP Guido Guizzunti – Luglio 2012

Sicurezza (3) Sincro  Sw su ambiente windows  Windows costantemente aggiornato  Firewall e antivirus attivi  Disabilitati servizi insicuri (telnet)  Comunicazione Sincro -> Banca crittografata  Comunicazione Oracle EBS -> Sincro interna alla rete CNAF EBS  Accesso via https con username/password, limitato a specifici IP Guido Guizzunti – Luglio 2012

Servizi al CNAF: attuali VamWeb: rilevazione presenze Presenze (backoffice+cartellino web) Portale missioni Contabilità EBS Sincro (mandato informatico) Business Intelligence Jira per gestione ticket e svn Guido Guizzunti – Luglio 2012

Servizi al CNAF: futuri VamWeb: rilevazione accessi Documentale (?) Gestione del patrimonio/ricognizione inventariale (CNAF) Guido Guizzunti – Luglio 2012

Server al CNAF: attuali Presenze: prod, svil, test SD, test CNAF VamWeb Portale missioni: prod, svil, test sogea, test CNAF, test Perugia, Server statistiche EBS: prod DB, prod APPS, test DB SD, test APPS SD, svil APPS SD, test DB CNAF, test APPS CNAF, DB di frontiera Patrimoniale test SD Nuovo HR test SD Server RMAN per backup DB BI: prod, test, svil BI datawarehouse prod, test Sincro prod, test DB di frontiera Server Jira e SVN Server Grid console Server Nagios Server per gestione certificati, password e log Guido Guizzunti – Luglio 2012

Server al CNAF: futuri Server fisico presenze Server fisico per BI Server fisici per ampliamento cluster VM BI DB dedicato a datawarehouse test Server fisico per gestione cespiti Server per documentale Guido Guizzunti – Luglio 2012

Attività al CNAF (1)  Gestione infrastrutturale e sistemistica  Amministrazione sistemistica di tutti i server  Gestione delle ACL sul virtual chassis Juniper  Gestione backup su disco e tape dei DB e degli applicativi  Amministrazione del server RMAN per backup a caldo di tutti i DB Oracle  Messa in sicurezza dei dati e dei sistemi  Monitoring e allarmistica, con invio alert su dashboard, sms, (Nagios+Grid console)  Gestione guasti e assistenza server  Realizzazione documentazione tecnica interna  Collaudo, installazione, configurazione nuovi server Dell  Test di recupero backup  Installazione/configurazione SW gestione cespiti tramite tecnologia rfid  Acquisto storage  Configurazione dell’IPMI/iDrac per invio alert su problemi HW  Passaggio rete del SI sotto rete del GARR  Configurazione nagios graph per grafici sull'andamento delle grandezze monitorate  Utilizzo del plugin RMAN per Tivoli  Logserver  Studio e test di soluzioni per la virtualizzazione: RHEV/OVIRT  Spostamento in isola ad alta densità di tutti i server SI Guido Guizzunti – Luglio 2012

Attività al CNAF (2)  Presenze: cartellino web e backoffice  Attività di amministrazione sistemistica e DBA  Assistenza di primo livello  Formazione del personale  Analisi e definizione delle migliorie e affiancamento nell’implementazione  Testing  Produzione della manualistica e documentazione ad uso utente  Installazione patch e migliorie e definizione di un workflow dei rilasci  Estensione della repositistica di backoffice con nuovi report nazionali (iReport) per la BI  Reportistica tramite la business intelligence, con aggregazione e navigazione dei dati  Ottimizzazione delle prestazioni (tuning)  Reinstallazione del sistema presenze su redhat 6.2 con tomcat  Realizzazione documentazione tecnica interna  Installazione e adattamento del sistema presenze all'università di Bari  Reinstallazione presenze su server fisico  Script per export/import DB presenze prod per allineare i dati di test e sviluppo  Creazione e amministrazione di un repository SVN per la gestione del SW presenze e dei rilasci  Training on the job con SD per acquisizione conoscenze su codice presenze  Studio e sviluppo del SW presenze  Valutazione debolezze codice java presenze tramite Jtest Guido Guizzunti – Luglio 2012

Attività al CNAF (3)  Contabilità  Attività di amministrazione sistemistica e DBA  Installazione patch e migliorie  Tuning e bonifica dati  Nuovo HR  Script di reportistica e tool di sviluppo contabilità  Cloni EBS per SD e per nuovi sviluppi  Monitoring tramite Oracle Grid console e script custom  Sincro: supporto sistemistico e realizzazione script di monitoring  Realizzazione documentazione tecnica interna  Importazione dati in Oracle HR da Nuova Piattaforma Anagrafica  Bonifica pratiche per renderle consistenti con la nuova Anagrafica  Identificazione tabelle coinvolte nella ricognizione inventariale e studio per la riscrittura nelle Oracle EBS  Aggiornamento della grid console per sfruttare tutte le caratteristiche dei DB 11g (in vista del passaggio alle EBS 12)  Sostituzione dell’organigramma usato in contabilità per le approvazioni delle missioni con quello piu' completo delle presenze  Analisi documentazione SD  Audit DB  Creazione e amministrazione di un repository SVN per la gestione del SW contabilità  Studio/sviluppo della soluzione HR Oracle master  Migrazione Oracle R12 e upgrade DB 11g  Sviluppo Guido Guizzunti – Luglio 2012

Attività al CNAF (4)  Business Intelligence  Amministrazione DBA  Layout grafico  Reportistica presenze  Reportistica contabilità  Costruzione ETL produzione e sviluppo  Progettazione e creazione Datawarehose  Studio oggetti Jasper: crosstab, ad hoc report  Studio e analisi delle performance  Correlazione ed integrazione di sistemi  Oracle Applications EBs (Area Contabilita’)  Oracle Database (Area Presenze)  AS 400 (Area Personale)  AS 400 (Area Contabilità)  DATAWEB (Area Assegnazioni)  Altra reportistica: report Inps, report percentuali assenze/presenze  Realizzazione documentazione tecnica interna Guido Guizzunti – Luglio 2012

Attività al CNAF (5)  Portale missioni  Installazione patch e aggiornamenti  Sviluppo  Creazione e amministrazione repository SVN  Server statistiche accessi  VamWeb: rilevazione presenze e accessi  1 server virtuale per 72 terminali in tutto l'INFN  Gestione ticketing per tutti i marcatempo INFN  Supporto utenti  Upgrade di licenza per gestione accessi  Migrazione server VamWeb su rete del sistema informativo (attualmente sotto la rete del T1) e avviso strutture del cambio IP e apertura nuova porta  Documentale  Analisi comparativa di: Invenio del Cern, Alfresco, Ugov del Cineca, Filnet di IBM, TopMedia di Sogea  Studio sull’integrazione col portale missioni e con le EBS  Studio della normativa sull’archiviazione dei dati  Scelta del tool  Installazione e test della soluzione scelta Guido Guizzunti – Luglio 2012

Attività al CNAF (6)  Jira per gestione ticketing e SVN (Barbara Martelli)  Jira sarà il software di gestione ticketing e task a livello nazionale  In Jira saranno integrati anche i repository SVN e GIT, tramite un apposito plugin  Server nazionale SVN/GIT code.infn.it (già pronto) su cui saranno migrati tutti i progetti ora su Forge  Configurati su Jira i progetti: Supporto Utente, Business Intelligence, Portale missioni, Presenze, Contabilità  Configurati su Jira i workflow per i progetti: Supporto Utente e Business Intelligence  Definiti utenti e gruppi utilizzati per gestire la visibilità delle azioni sui ticket  Integrare Jira ad AAI al fine di permettere l’accesso di tutti i dipendenti  Necessario aggiungere all’albero LDAP un attributo che descriva i gruppi Jira ai quali ogni dipendente appartiene Guido Guizzunti – Luglio 2012

Attività al CNAF (7) Disaster recovery: analisi e progetto Gestione degli accessi: analisi Guido Guizzunti – Luglio 2012

Sistema informativo al CNAF Miglioramento delle performance di un fattore 5 Risparmio di migliaia di euro annui per manutenzione hardware e gestione sistemistica Risparmio di migliaia di euro annui per manutenzione SW Oracle di SD Compatibilità del sistema contabile su tutti i browser standard e con l'utilizzo della normale JVM, invece del jiniziator Maggior autonomia di gestione, che si traduce in maggiore indipendenza da partner esterni Maggior know-how: che ci permette di valutare meglio le scelte che ci vengono proposte da SD e aumentare il controllo sul lavoro svolto Maggiori garanzie di ridondanza, sicurezza e backup Unico sistema presenze in tutte le strutture dell'INFN, che si traduce in un trattamento univoco del personale su tutto il territorio nazionale Maggior rapidità nello svolgimento delle pratiche relative alla gestione del personale e abolizione delle pratiche cartacee Maggiore fruibilità dei dati messi a disposizione dal Sistema Informativo grazie alla BI Correlazione ed integrazione di sistemi (contabilità, presenze, as400, dataweb) grazie alla BI Miglioramento nelle procedure dei rilasci Introduzione dell’SVN per la gestione del SW (Sogea, SD) Realizzazione di documentazione tecnica sia di SD che interna Assunzione di nuovo personale Guido Guizzunti – Luglio 2012