Catania 14 ottobre 2008 GRISU’ Griglie del Sud GRISU’ Griglie del Sud 1 Stato dell'interoperabilita' tra i progetti PON 1575 Riunione del Comitato direttivo.

Presentazione sul tema: "Catania 14 ottobre 2008 GRISU’ Griglie del Sud GRISU’ Griglie del Sud 1 Stato dell'interoperabilita' tra i progetti PON 1575 Riunione del Comitato direttivo."— Transcript della presentazione:

1 Catania 14 ottobre 2008 GRISU’ Griglie del Sud GRISU’ Griglie del Sud 1 Stato dell'interoperabilita' tra i progetti PON 1575 Riunione del Comitato direttivo di GRISU’ Catania 14/10/2008 Silvio Pardi

2 Catania 14 ottobre 2008 GRISU’ Griglie del Sud GRISU’ Griglie del Sud 2 Sommario  Struttura organizativa  Stragegia di interoperabilità  Stato dell’arte  Sistema di Monitoraggio  Sistema di ticketing  Sistema di accounting  Nuovi servizi testati  Confronto servizi ROC Italiano con quelli di interoperabilità dei PON  Dai PON a GRISU’

3 Catania 14 ottobre 2008 GRISU’ Griglie del Sud GRISU’ Griglie del Sud 3 Comitato di interoperabilità scelte strategiche di interoperabilità Si riunisce 1 volta al mese presso il MIUR Gruppo tecnico operativo Soluzioni tecniche e spunti per il comitato Riunioni telefoniche 1 volta ogni 15 giorni presso Struttura organizzativa

4 Catania 14 ottobre 2008 GRISU’ Griglie del Sud GRISU’ Griglie del Sud 4 GRUPPO DEI TECNICI OPERATIVI CYBERSAR Daniele Mura daniele.mura@ca.infn.it Gianmario Mereu Gianmario.mereu@ca.infn.itGianmario.mereu@ca.infn.it CRESCO Giovanni Bracco bracco@frascati.enea.it Carlo Scio scio@frascati.enea.it PI2S2 Rosanna Catania Rosanna.Catania@ct.infn.it Giuseppe Platania giuseppe.platania@ct.infn.it Gianni Mario Ricciardi giannimario.ricciardi@ct.infn.it Gianluca Passaro gianluca.passaro@ct.infn.it Alberto Falzone alberto.falzone@nice-italy.comalberto.falzone@nice-italy.com SCOPE Gennaro Tortone gennaro.tortone@na.infn.it Silvio Pardi spardi@na.infn.it Davide Bottalico davide.bottalico@unina.it Vania Boccia vania.boccia@unina.it Struttura organizzativa Almeno due persone Per infrastruttura per un Totale di 1 FTE

5 Catania 14 ottobre 2008 GRISU’ Griglie del Sud GRISU’ Griglie del Sud 5 GARR PI2S2 GARR Altri Enti e realtà Strategia di Interoperabilità SPACI OGNI INFRASTUTTURA IMPLEMENTA ALMENO UN SITE (CE+SE+WN) E REPLICA I SERVIZI COLLECTIVE SERVIZI COLLECTIVE E CORE DI OGNI INFRASTRUTTURA SUPPORTANO TUTTE LE VO 1 VO PER PROGETTO cybersar cresco cometa scope spaci – to be define

6 Catania 14 ottobre 2008 GRISU’ Griglie del Sud GRISU’ Griglie del Sud 6 Vantaggi –Visione unica dell’intera infrastruttura –Autonomia locale delle singole infrastrutture –Assenza di single point of failure sui servizi collective –Implementazione semplice ed immediata Strategia di Interoperabilità

7 Catania 14 ottobre 2008 GRISU’ Griglie del Sud GRISU’ Griglie del Sud 7 E’ stata adottata la seguente organizzazione per servizi collective e core Servizi distribuiti: VOMS, BDII, RB/WMS, CE, SE, WN, UI LFC, Ticketing Servizi centralizzati: Monitoring, Accounting Strategia di Interoperabilità

8 Catania 14 ottobre 2008 GRISU’ Griglie del Sud GRISU’ Griglie del Sud 8 Strategia di Interoperabilità  Middleware di comunciazione gLite nella versione customizzata di INFN-GRID, implementato anche con l’ausilio di opportuni gateway (caso di ENEA CRESCO).  I singoli progetti sono autonomi nella gestione degli update purchè venga garantito il necesario grado di interoperabilità.

9 Catania 14 ottobre 2008 GRISU’ Griglie del Sud GRISU’ Griglie del Sud 9 Documento tecnico Operativo SOMMARIO http://people.na.infn.it/~merola/scope/DocumentoTecnicoOperativo_1575_v6.5(v.finale).pdf 1. TAG DI RUNTIME 2. JOB QUEUE 3. SERVIZI COLLECTIVE CENTRALI E DISTRIBUITI 4. SERVIZI DI MONITORAGGIO 5. ISTALLAZIONE SOFTWARE APPLICATIVO 6. INTERFACCE E PROTOCOLLI PER LO STORAGE 7. ABILITAZIONE DELLE VO COMUNI 8. ACCOUNTING 9. GESTIONE DOWNTIME E SISTEMA DI TICKET 10. SERVICE LEVEL AGREEMENT

10 Catania 14 ottobre 2008 GRISU’ Griglie del Sud GRISU’ Griglie del Sud 10 Stato dell’arte Le infrastrutture PON hanno attivi tutti i servizi collective e core, definitivi o in configurazione prototipale: CyberSar e PI2S2 sono a configurazione di regime. CRESCO sta completando delle configurazioni relative alla parte Grid SCoPE sono incorso degli interventi sulla parte OS e GRID

11 Catania 14 ottobre 2008 GRISU’ Griglie del Sud GRISU’ Griglie del Sud 11 Stato dell’arte  CRESCO:16 Core AIX presto dispolibili 500 Core 16GB per nodo e 8 core 10TB – rete infiniband  CyberSar: 400 core Opteron Dual Core Dual Processor Macchine IBM 8GB per nodo Storage 30 TB – rete infiniband  PI2S2: 260 Core 70TB 4Gb per nodo biprocessore dual core – rete infiniband  SCOPE: 56 core 2 TB, presto disponibili il 25% dei 2400 core su server con 8 core per nodo e 8GB di RAM per nodo- rete infiniband Ad oggi 732 e 112 TB effettivi Si prevede di arrivare ad almeno 1.500 core per fine novembre su un potenziale di 8.000 core

12 Catania 14 ottobre 2008 GRISU’ Griglie del Sud GRISU’ Griglie del Sud 12 I servizi di monitoraggio sono stati implementati in maniera centrale e suddivisi tra i progetti in modo da avere molti tools attivi ma senza una eccessiva ridondanza che produrrebbe un eccessivo traffico di interrogazioni. Web LDAP Browser (in ogni sito) GridICE (centralizzato presso SCoPE) GStat (centralizzato presso il server goc.grid.sinica.edu.tw ) SAM +VO poncert (centralizzato presso CYBERSAR) Real-Time Monitoring (centralizzato presso PI2S2) Monitoraggio

13 Catania 14 ottobre 2008 GRISU’ Griglie del Sud GRISU’ Griglie del Sud 13 Monitoraggio GSTAT SAM – CYBERSAR https://sam-cybr.ca.infn.it/sam/sam.py DOWN-TIME - PI2S2 http://trigrid-advices.trigrid.it/support/calendar/ GRIDICE http://gridice.scope.unina.it

14 Catania 14 ottobre 2008 GRISU’ Griglie del Sud GRISU’ Griglie del Sud 14 HLR (Home Location Register ) Ogni sito installerà un HLR_RESOURCE ed un HLR_USER Server sul quale verranno registrate tutte le risorse disponibili per l’interoperabilità, in termini di code job. L’ATTIVITA’ NON E’ ANCORA PARTITA Accounting

15 Catania 14 ottobre 2008 GRISU’ Griglie del Sud GRISU’ Griglie del Sud 15  Ogni progetto utilizzerà il proprio sistema di ticketing locale.  Per la gestione dei ticket interprogetto, se un utente del progetto X riscontra problemi sul sito del progetto Y, può aprire una segnalazione direttamente sul sistema di ticketing del progetto Y.  I sistemi di ticketing devono prevedere almeno 3 aree per la suddivisione dei ticket:  SITE – per i problemi tecnici di installazione  VO – per le questioni relative alla singola virtual organization, certificazioni ecc.  APPLICATION – per il supporto delle applicazioni. Sistema di ticketing

16 Catania 14 ottobre 2008 GRISU’ Griglie del Sud GRISU’ Griglie del Sud 16 Sono stati integrati i sistemi di ticket dei 4 progetti in modo da permettere il dialogo delle varie istanze. L’integrazione, basata sul sistema mail, è avvenuta mediante una modifica del software proprietario di unina HDA e del software xoops/xhelp. L’attività non è ancora a regime richiede un grande sforzo di manutenzione del software. Sistema di ticket

17 Catania 14 ottobre 2008 GRISU’ Griglie del Sud GRISU’ Griglie del Sud 17 SCOPE TICKET TICKET PI2S2 TICKET-CYBERSAR TICKET CRESCO

18 Catania 14 ottobre 2008 GRISU’ Griglie del Sud GRISU’ Griglie del Sud 18 Gestione delle licenze del software commerciale tramite GridFlex – Testato in via sperimentale sul software IDL (SCoPE – PI2S2) Supporto di MPICH1-MPICH2 e di MPICH per infiniband. Testing delicato che richiede l’intervento sull’RB (CyberSar – PI2S2) Nuovi servizi testati

19 Catania 14 ottobre 2008 GRISU’ Griglie del Sud GRISU’ Griglie del Sud 19 Indagine sui nuovi servizi necessari per supportare le nuove comunità scientifiche interne ai PON tramite questionario. Creare delle VO applicative? Attività in corso

20 Catania 14 ottobre 2008 GRISU’ Griglie del Sud GRISU’ Griglie del Sud 20 Confronto servizi ROC Italiano con quelli di interoperabilità dei PON Test di Certificazione SAM locali, Vo di certificazione Sistema Monitor GSTAT Sistema di ticketing comunicante Con altre istanze xoops/xHelp Sistema di Accounting ancora non Partito Middleware INFN-GRID + nuove Componenti specifiche per i PON Software Scientifico Applicativo Test di Certificazione SAM centralizzati Basati su un database statico, vo di cert Sistema Monitor GSTAT Sistema di ticketing comunicante Con altre istanze xoops/xHelp Sistema di Accounting Basato su DGAS/HLR Con due punti di raccolta, Centro sud e Nord. Middleware INFN-GRID Supporto Esperimenti

21 Catania 14 ottobre 2008 GRISU’ Griglie del Sud GRISU’ Griglie del Sud 21 Da i PON a GRISU’ Proposta operativa.  Mantenere il gruppo dei tecnici operativi espandendo con tecnici di SPACI  Mantenere la strategia di interoperabilità attuale rivedendo alcuni punti:  Sistema di ticketing  Accounting  interoperabilità IGI  Avviare le attività di interoperabilità per creare GRISU’

22 Catania 14 ottobre 2008 GRISU’ Griglie del Sud GRISU’ Griglie del Sud 22 Da i PON a GRISU’ 1.Creare dei servizi Collective locali ad SPACI o agganciarsi a servizi già esistenti. 2.Abilitazione delle VO degli altri progetti sulle risorse SPACI e viceversa. 3.Scambio dei Certificati VOMS. 4.Registrazione delle risorse degli altri siti sul proprio TOP BDII 5.Creazione di aree di storage per i diversi progetti sugli Storage Element. 6.Testbed della infrastruttura integrata.

23 Catania 14 ottobre 2008 GRISU’ Griglie del Sud GRISU’ Griglie del Sud 23 Da i PON a GRISU’ CREARE L’INFRASTRUTTURA GRISU’ ALLARGANDO L’INTEROPERABILITA’ CON SPACI AGGANGIARE SPACI AL CIRCUITO DI MONITORAGGIO SAM DI GRISU AGGANCIARE GRISU’ AL CIRCUITO DI MONITORAGGIO SAM DI IGI

24 Catania 14 ottobre 2008 GRISU’ Griglie del Sud GRISU’ Griglie del Sud 24 Da i PON a GRISU’ 14/10/08 14/11/08 14/12/08 SITO PILOTA SI AGGANGIA AI TEST SAM DEL ROC ITALIANO CREARE L’INFRASTRUTTURA GRISU’ ALLARGANDO L’INTEROPERABILITA’ CON SPACI

25 Catania 14 ottobre 2008 GRISU’ Griglie del Sud GRISU’ Griglie del Sud 25 E’ stato preparato un documento per definire il livello di servizi che i progetti si impegnano a garantire. Ci si basa sull’esperienza del Regional Operation Center (ROC) italiano di EGEE. Service Level Agreement

26 Catania 14 ottobre 2008 GRISU’ Griglie del Sud GRISU’ Griglie del Sud 26 corso la discussione E’ in corso la discussione dei seguenti punti principali: DURATA DELL’AGREEMENT RESPONSABILITA’ SUPPORTO DI SECONDO LIVELLO HARDWARE E CRITERI DI CONNETTIVITA’ DESCRIZONE DEI SERVIZI MINIMI OFFERTI (Numero di CPU e di spazio disco) SERVICE HOURS DOWNTIME SUPPORTO VO Service Level Agreement

27 Catania 14 ottobre 2008 GRISU’ Griglie del Sud GRISU’ Griglie del Sud 27 Ogni sito coinvolto nell’infrastruttura interoperabile dovrà :  Fornire risorse di calcolo, storage e servizi: numero di CPU pari al 25% delle forniture ………………………  Garantire man power sufficiente per l’interoperabilità: almeno 2 persone, per un totale minimo di 1 FTE  Gestire efficacemente le risorse del sito: a) effettuare gli aggiornamenti relativi al software applicativo per le applicazioni di interoperabilità. b) modificare le configurazioni coordinandosi durante le riunioni telefoniche.  Prendere in carico e aggiornare i ticket relativi all’interoperabilità: tempo massimo di risposta: 48 ore dal lunedì al venerdì. Service Level Agreement

28 Catania 14 ottobre 2008 GRISU’ Griglie del Sud GRISU’ Griglie del Sud 28  Monitorare “proattivamente” il sito, controllando periodicamente lo stato delle risorse e dei servizi mediante tools di monitoraggio concordati: GridICE, Gstat, SFT, ecc.  Garantire continuità al supporto ed alla gestione del sito; durante i periodi unattended, si dovrà mettere in down-time il sito chiudendo le code.  Garantire la partecipazione dei tecnici operativi dell’ interoperabilità alle phone conference quindicinali.  Compilare i pre-report settimanali: entro il venerdì.  Supportare le VO di test e controllo (coda poncert) con priorità maggiore rispetto alle altre VO. Questo MoU dovrà essere sottoscritto dal responsabile del progetto e potrà essere aggiornato in base ai feedback ottenuti durante la sperimentazione. Service Level Agreement

29 Catania 14 ottobre 2008 GRISU’ Griglie del Sud GRISU’ Griglie del Sud 29 E’ attualmente in corso un’indagine per individuare aree applicative di interesse comune ai 4 progetti con l’obiettivo di creare VO tematiche trasversali. Tali VO costituiranno un valore aggiunto per l’integrazione e la coesione tra le infrastrutture nascenti ed avranno, tra le altre attività, l’obiettivo di individuare e manutenere il software applicativo di interesse specifico. Le soluzioni tecniche fin ora adottate sono adeguate per realizzare l’e-infrastruttura dell’Italia meridionale e per l’integrazione nell’ e-infrastruttura Grid italiana ed europea. ABILITAZIONE DELLE VO COMUNI