Preventivo attività R&D 2013 Davide Salomoni, Dicembre 2012

Attività R&D 2012 – stato e proposte R&D: “loose term” – Intendo qui in generale progetti di tipo tecnologico con contenuto innovativo per il Centro, le nostre comunità e il nostro settore Punto di partenza: stato delle attività 2012 presentato a marzo scorso Proposte R&D 2013, D.Salomoni26/12/2012

Pubblicazioni, conferenze Avevamo detto di creare e mantenere aggiornata una lista di conferenze, journal, workshop, con date per la sottomissione di articoli – Questo non è avvenuto – Recentemente è stato definito un gruppo per la valutazione dei criteri per la pubblicazione degli articoli – Bisogna riprendere questa attività e collegarla anche a pubblicazioni presenti in ISI e valutabili dal MIUR (Elisabetta ha già fatto qualcosa con colleghi di Padova) – Nota: CHEP non è in ISI. – Occorre incentivare disseminazione delle attività perché gli articoli prodotti siano noti e referenziati fuori dal centro (articoli non referenziati hanno poca rilevanza scientifica) – Fondi di partecipazione a conferenze centralizzati per permettere una visione di insieme? 6/12/2012Proposte R&D 2013, D.Salomoni3

Intel Lab Nessuno sviluppo da parte Intel, nonostante varie generiche manifestazioni di interesse. – Per Intel evidentemente contiamo poco (sia in termini di $$$ che in termini di visibilità) – Non vediamo attualmente grosse prospettive per questa attività 6/12/2012Proposte R&D 2013, D.Salomoni4

COKA Computing on Knights Architecture – MIC uscirà a gennaio Non siamo riusciti ad avere una board fisicamente al CNAF ma: Abbiamo definito un accordo trilaterale tra INFN, Intel e Julich per accesso a MIC presso Julich Abbiamo definito un accordo informale con CINECA per accesso a MIC presso CINECA – Abbiamo ottenuto primi risultati dai test su MIC (performance pessime ma era atteso). – Relazione presentata in Gruppo V – Pensiamo di acquistare: un sistema con NVIDIA Kepler (COKA = Computing on Kepler Architectures?) MIC (ora Xeon Phi) non appena disponibile commercialmente Un sistema CARMA per test su ARM – Nel 2013: D.Salomoni, F.Giacomini, M.Manzali – Previste pubblicazioni 6/12/2012Proposte R&D 2013, D.Salomoni5

SuperB / Experiment framework SuperB – E’ stata fatta una analisi ed investigazioni preliminari su un framework per la assistenza a esperimenti “piccoli” nella definizione del proprio modello di calcolo. Pubblicati risultati su analisi efficienza calcolo come nota interna di SuperB. – Il progetto SuperB è stato cancellato ma vogliamo continuare il lavoro sul framework e su un toolkit per semplificare la vita ai fisici INFN (in collegamento con un esperimento esistente? Quale?) – Nel 2013: F.Giacomini, M.Manzali, V.Ciaschini – Previste pubblicazioni 6/12/20126Proposte R&D 2013, D.Salomoni

Power management / green computing Green computing w/ Intel – E’ stato effettuato un test della piattaforma Intel DCM e si prevede l’acquisizione di qualche licenza (infrastruttura + farming) – Non sono purtroppo state fatte pubblicazioni sull’attività svolta. Sviluppi? (attività extra R&D) 6/12/20127Proposte R&D 2013, D.Salomoni

COIN / Prisma COIN: A Cloud Open and Interoperable – Progetto P.O.N. approvato e ridefinito in “Prisma” – Nel 2013: D.Salomoni, M.Caberletti (partenza effettiva del progetto) – Previste pubblicazioni 6/12/20128Proposte R&D 2013, D.Salomoni

DVN DVN: Dynamic Virtual Networks – Prima implementazione realizzata. Discussa tesi di laurea su DVN, presentazioni a CHEP e a NDM 2012 (quest’ultima con paper che verrà pubblicato su IEEE Digital Proceedings) – Prevediamo la piena integrazione in WNoDeS, l’utilizzo di DVN per realizzare servizi aggiuntivi come Cloud bursting, interconnessione di Cloud multiple e Cluster as a Service (anche in PRISMA). E’ anche prevista l’estensione di DVN con l’utilizzo di multicast address e di encryption. – Sono previste pubblicazioni. – Nel 2013: E.Ronchieri, M.Caberletti 6/12/20129Proposte R&D 2013, D.Salomoni

Mixed Mode WNoDeS Mixed Mode – Realizzato, integrato in WNoDeS e rilasciato in EMI. Mixed mode presentato (con pubblicazioni) a CHEP e all’EGI Technical Forum. – Prevediamo la analisi della estensione del mixed mode per supportare ottimizzazioni possibili con RHEL 6. – Nel 2013: E.Ronchieri, D.Salomoni 6/12/201210Proposte R&D 2013, D.Salomoni

Job Packing (WNoDeS) Job Packing – Estensione per l’esecuzione di job su un set minimo/massimo/intermedio di nodi. Applicazioni possibili per ottimizzazione del calcolo, per MPI e per green computing. – E’ stata fatta (farming) una modellizzazione e una prima implementazione, che va però consolidata e pubblicata. E’ possibile anche una integrazione in WNoDeS. – Nel 2013: farming, D.Salomoni 6/12/201211Proposte R&D 2013, D.Salomoni

CCoMPAAAct CComPAAAct: Cloud Computing for Mobile Platforms: Architectures, Algorithms and Applications Progetto PRIN non approvato da UniBO 6/12/201212Proposte R&D 2013, D.Salomoni

KISTI – Collaborazione con Tier-1/2 KISTI su storage e WNoDeS – Non è stato fatto nulla causa limitazioni di manpower lato KISTI – Nel 2013: (dipende molto da KISTI) possibile definizione attività – D.Salomoni 6/12/201213Proposte R&D 2013, D.Salomoni

LTDP Long-term data (and code) preservation Progetto premiale in fase di definizione (coordinatore Marcello Maggi). Contatti con SLAC (senza grosso seguito) e con CDF (definito piano di attività per replicazione dati tra Fermilab e CNAF). Nel 2013: D.Salomoni, F.Giacomini Sono possibili pubblicazioni 6/12/201214Proposte R&D 2013, D.Salomoni

TEGs TEGs: WLCG Technical Evolution Groups – Attività concluse e presentate a CHEP. – Nel 2013: V.Ciaschini, D.Salomoni per eventuali follow-up. 6/12/201215Proposte R&D 2013, D.Salomoni

Cloud Federations Cloud federations – Nel 2012: connessione di WNoDeS alla EGI Federated Cloud Task Force. Pubblicato in PoS con SIENA – Nel 2013: Primo obiettivo è la costruzione di una federazione di Cloud utilizzanti WNoDeS. Serve studio della letteratura relativa al brokering di Cloud. Definizione di una “Cloud INFN” Integrazione del lavoro in PRISMA Verifica delle soluzioni EGI Cloud tramite portale IGI B.Martelli, D.Salomoni, E.Ronchieri, F.Giacomini Sono previste pubblicazioni 6/12/201216Proposte R&D 2013, D.Salomoni

Software Quality – Progetto presentato e approvato in CCR – Alcuni temi: – Parte sistemistica (in collaborazione con servizi nazionali) – Continuous integration – Definizione di macchine per un pool di sviluppo attraverso strumenti cloud – Stati analysis – Technology tracking e training – Definizione dei repositories (es. con github) – Sono previste pubblicazioni – Nel 2013: F.Giacomini, B.Martelli, E.Ronchieri 6/12/201217Proposte R&D 2013, D.Salomoni

T-StoRM T-StoRM: a StoRM testing framework – Definizione di un framework per l’automazione di service validation, packaging e installazione di StoRM. Nel 2012, scritto primo prototipo. Presentato a CHEP e a EGI Technical Forum. – Nel 2013: implementazione di un metric presentation server con la relativa dashboard. Definizione di metriche e di bunch di test per fornire configurazioni ottimali di StoRM in vari scenari di deployment. Possibile adozione per altri prodotti (CREAM? WMS?) – Sono previste pubblicazioni – E.Ronchieri 6/12/201218Proposte R&D 2013, D.Salomoni

Redundant Cluster Service RCS: Redundant Cluster Service – Avevamo scritto: definizione di un servizio per il CNAF di cluster ridondato. La prima versione deve comprendere una standardizzazione della metodologia. Successivamente si può pensare ad un deployment dinamico. – Non è stato fatto nel 2012 per problemi di tempo. – Nel 2013: B.Martelli (produzione documento di riassunto soluzioni deployment cluster ridondato) 6/12/201219Proposte R&D 2013, D.Salomoni

CNFS-Like Service (alta affidabilità generica) CNFS-Like Service – Avevamo scritto: definizione di un servizio per il CNAF per la gestione di applicazioni in alta affidabilità. Potenzialmente potrebbe andare sotto l’heading HA di un cluster service. – Non è stato fatto nel – Nel 2013: M.Caberletti: si potrebbero sviluppare le competenze acquisite in Marche Cloud per definire un generico servizio di ridondanza (indipendente da GPFS o da altre specificità). 6/12/201220Proposte R&D 2013, D.Salomoni

OpenLab – Avevamo scritto: definizione di un servizio di OpenLab aperto al CNAF (evoluzioni da discutere). 6/12/201221Proposte R&D 2013, D.Salomoni

Cloud Storage – Avevamo scritto: definizione di una architettura per un servizio di storage via cloud interfaces. Tra gli attori da coinvolgere c’era primariamente il gruppo storage (ed esterni, come DDN). – In realtà abbiamo svolto molto lavoro ma all’interno di Marche Cloud. Lavoro presentato all’interno di conferenze come Workshop GARR (pubblicata?) – Continuare il lavoro iniziato con Marche Cloud esplorando: Evoluzioni di Swift (eventualmente soluzioni come Ceph) Interconnessione con altre soluzioni tipo Amazon S3 Integrazione con StoRM, ad esempio tramite WebDav (già presentata preliminarmente) e con il portale IGI – Nel 2013: D.Salomoni, V.Ciaschini – Sono previste pubblicazioni 6/12/201222Proposte R&D 2013, D.Salomoni

ISMB Collaborazione con ISMB (Istituto Superiore Mario Boella) – Attività non sviluppata nel 2012 per mancanza di tempo (lavoro svolto presso INFN Bari) – Nel 2013 attività simili (che coinvolgono soluzioni SaaS/PaaS) verranno portate avanti dentro i progetti Smart Cities / premiali. 6/12/201223Proposte R&D 2013, D.Salomoni

HTTPS Everywhere – Avevamo scritto: analisi per l’adozione di plug-in per aumentare l’uso di https e mitigare problemi di attacchi informatici, man-in-the-middle, password rubate. – Utilizzato da F.Giacomini ma non documentato da nessuno. Incerto se continuare. 6/12/201224Proposte R&D 2013, D.Salomoni

Cluster on Demand – Prevista realizzazione all’interno di progetti Smart Cities (Prisma N) – Sono previste pubblicazioni – Nel 2013: D.Salomoni, M.Caberletti, E.Ronchieri 6/12/201225Proposte R&D 2013, D.Salomoni

MPI – Avevamo scritto: definizione di una infrastruttura di calcolo per il supporto di programmi MPI-based al CNAF. Collegabile all’iniziativa di job packing (farming, ricerca). – Non abbiamo fatto molto nel 2012 per mancanza di tempo. – Nel 2013: da definire. Acquisendo competenze su MPI (ma anche su es. OpenMP, OpenCL, etc.), potremmo forse rappresentare un riferimento per chi vuole portare applicazioni parallele al Tier-1. 6/12/201226Proposte R&D 2013, D.Salomoni

CPU performance testing – Avevamo scritto: test di performance di piattaforme di calcolo di recente uscita e/o non correntemente utilizzate al CNAF. Utile anche per definizione gare. – Fatto e in sviluppo da parte di V.Ciaschini e farming, anche utilizzando sistemi dati in testing a R&D. (vedi anche attività SuperB) – Nel 2013 (per R&D): vedi COKA. 6/12/201227Proposte R&D 2013, D.Salomoni

Nuovi filesystem – Avevamo scritto: test di filesystem di recente uscita o non attualmente utilizzati al CNAF. In particolare: analisi e test di comparazione tra NFS4.1, PVFS, OrangeFS, GFS2, GPFS. Aggiornamento del documento del 2007? – Quanto sopra non è stato fatto, ma all’interno di Marche Cloud abbiamo a lungo testato GlusterFS con OpenStack. (vedi Cloud storage per presentazioni) – Intendiamo nel futuro testare la geo-replicazione dei dati e le evoluzioni di GlusterFS (ed eventualmente Ceph o simili) ed integrazioni con WebDav. Vedi anche parte di Cloud storage. – Sono previste pubblicazioni – Nel 2013: V.Ciaschini, D.Salomoni, B.Martelli, F.Giacomini 6/12/201228Proposte R&D 2013, D.Salomoni

Nuovi batch system – Interesse nella integrazione di nuovi batch system all’interno di WNoDeS – Nel 2013: E.Ronchieri 6/12/201229Proposte R&D 2013, D.Salomoni

Tiered Storage Tiered Storage ed evoluzioni – Avevamo scritto: evoluzione dell’infrastruttura di storage per consentire la definizione di diversi livelli di servizio; studio di GPFS su WAN o come alternativa al RAID hardware (gruppo storage) – Lato R&D, vedi attività su nuovi filesystem 6/12/201230Proposte R&D 2013, D.Salomoni

WNoDeS Enhancements – Diverse realizzazioni nel 2012 (tutte presentate): consolidamento del core, verifica della parte Cloud, mixed mode, DVN, integrazione in EGI FedCloud, integrazione nel portale IGI. Presentazioni a SLAC, EGI Technology Forum (pubblicata), Super Computing 2012, Workshop GARR (pubblicata?) – Prevediamo di lavorare su: realizzazione di accesso interattivo (VIP), rilascio di VIP, Cache manager, nuovo OCCI server, piena integrazione all’interno del portale IGI con meccanismi di autorizzazione, connessione tra siti multipli, test suite, contestualizzazione delle immagini, integrazione di WNoDeS in OpenStack – Sono previste pubblicazioni – Nel 2013: E.Ronchieri, D.Salomoni, M.Caberletti, V.Ciaschini, B.Martelli (+ personale IGI) 6/12/201231Proposte R&D 2013, D.Salomoni

Tecnologie di rete – Avevamo scritto: test di soluzioni alternative per trasmissione dati, come FCoE o iSCSI (reparti rete e storage) 6/12/201232Proposte R&D 2013, D.Salomoni

Circuiti dinamici su WAN – Avevamo scritto: definizione di circuiti dinamici su una SDN (Software Defined Network); sperimentazione DICE ICDP; Autobahn. (reparto rete) – Lato R&D, prevediamo di continuare nel 2013 il lavoro su DVN (vedi) 6/12/201233Proposte R&D 2013, D.Salomoni

Altro/Nuove proposte (1/3) Automazione di registrazione, cancellazione e modifica di nuovi utenti su LDAP, integrazione con AAI – V.Ciaschini, attività in corso (da concludersi nel 2013) Software modeling: definire ed implementare un modello per esprimere dipendenze e metriche per la valutazione della qualità del software – E.Ronchieri (+ M.Canaparo) – Sono previste pubblicazioni 6/12/2012Proposte R&D 2013, D.Salomoni34

Altro / Nuove proposte (2/3) Calcolo, visualizzazione, management su dispositivi mobili. Tre punti principali: – Portabilità di applicazioni su dispositivi mobili – Migrazione di applicazioni in esecuzione da mobile a cloud e viceversa – Controllo di applicazioni Cloud da parte di dispositivi mobili – D.Salomoni, F.Giacomini, M.Manzali – Sono previste pubblicazioni Studio vulnerabilità di sicurezza nel software sviluppato (o in uso) nell’INFN – V.Ciaschini (parte di questa attività viene svolta da Vincenzo es. all’interno di WNoDeS) 6/12/2012Proposte R&D 2013, D.Salomoni35

Altro / Nuove proposte (3/3) Marche Cloud: conclusione del progetto pilota (marzo 2013?), possibile follow-up con progetto strategico – Sviluppo / technology tracking su OpenStack – D.Salomoni, M.Caberletti, M.Manzali (+ personale IGI) Possibili programmi FP7 con discussioni in corso (es. RAID distribuito per Trustworthy IT) Da definire meglio la nostra possibile partecipazione a Prisma N (se approvati) 6/12/2012Proposte R&D 2013, D.Salomoni36

Tabella riassuntiva 1 6/12/2012Proposte R&D 2013, D.Salomoni37 Legenda: DS: Davide Salomoni FG: Francesco Giacomini ER: Elisabetta Ronchieri VC: Vincenzo Ciaschini BM: Barbara Martelli MM: Matteo Manzali MC: Marco Caberletti AttivitàPartecipantiPubblicazioni previste COKADS, FG, MMx Experiment frameworkFG, MM, VCx PRISMADS, MCx DVNER, MCx Mixed modeER, DS Job PackingDSx KISTIDS LTDPDS, FGx TEGDS, VC Cloud federationsBM, DS, ER, FGx Software qualityFG, BM, ERx T-StoRMERx Redundant ClusterBMx Alta affidabilitàMC Cloud storageDS, VCx Cluster on demandER, MCx Nuovi filesystemDS, VC, BM, FGx Nuovi batch systemER Evoluzione WNoDeSER, DS, MC, VC, BMx Software modelingERx Integrazione AAIVC Dispositivi mobiliDS, FG, MMx Vulnerabilità sicurezzaVC Marche cloudDS, MM, MC

Tabella riassuntiva 2 6/12/2012Proposte R&D 2013, D.Salomoni38 PersonaleAttività Davide Salomoni COKA, PRISMA, Mixed mode, Job Packing, KISTI, LTDP, TEG, Cloud federations, Cloud storage, Nuovi filesystem, Evoluzione WNoDeS, Dispositivi mobili, Marche cloud Francesco Giacomini Experiment framework, LTDP, Cloud federations, Software quality, Nuovi filesystem, Dispositivi mobili Vincenzo Ciaschini Cloud storage, Experiment framework, TEG, Nuovi filesystem, Evoluzione WNoDeS, Integrazione AAI, Vulnerabilità di sicurezza Elisabetta Ronchieri DVN, Mixed mode, Cloud federations, Software quality, T-StoRM, Cluster on demand, nuovi batch system, Evoluzione WNoDeS, Software modeling Barbara Martelli Cloud federations, Software quality, Redundant cluster, Nuovi filesystem, Evoluzione WNoDeS Matteo ManzaliCOKA, Experiment framework, Dispositivi mobili, Marche cloud Marco Caberletti PRISMA, DVN, Alta affidabilità, Cluster on demand, Evoluzione WNoDeS, Marche cloud

Presentazioni / pubblicazioni /12/2012Proposte R&D 2013, D.Salomoni39 AttivitàPresentazioni / pubblicazioni COKAReport Gruppo V SuperBNota interna DVNTesi di laurea, CHEP, NDM 2012 Mixed modeCHEP, EGI TF TEGCHEP Cloud federationsSIENA, EGI TF Software qualityNuovo progetto CCR T-StoRMCHEP, EGI TF Cloud storageWorkshop GARR WNoDeSSLAC, EGI TF, SC 2012, Workshop GARR

To be completed Azioni connesse alla formazione del personale per il 2013 Piano di finanziamento delle risorse necessarie per le attività proposte 6/12/2012Proposte R&D 2013, D.Salomoni40