La presentazione è in caricamento. Aspetta per favore

La presentazione è in caricamento. Aspetta per favore

1 Workshop SCoPE, 21-2-2008 L. Merola e S. Pardi INTEROPERABILITA TRA I PROGETTI DELLAVVISO 1575/2004 STRATEGIE E STATO DELLARTE.

Presentazioni simili


Presentazione sul tema: "1 Workshop SCoPE, 21-2-2008 L. Merola e S. Pardi INTEROPERABILITA TRA I PROGETTI DELLAVVISO 1575/2004 STRATEGIE E STATO DELLARTE."— Transcript della presentazione:

1 1 Workshop SCoPE, L. Merola e S. Pardi INTEROPERABILITA TRA I PROGETTI DELLAVVISO 1575/2004 STRATEGIE E STATO DELLARTE

2 2 12/02/2007: Primo Concertation Meeting dei progetti dellAvviso 1575 Favorire una proficua sinergia finalizzata a delineare la struttura portante dell infrastruttura GRID nazionale che presenti fattori manifesti o latenti di attrattività per il sistema industriale. Creare nellambito del sito web del PON Ricerca una community web dedicata allAvviso 1575/2004. Attivare un Tavolo Tecnico a cui demandare la definizione di un programma volto a supportare l interoperabilità tra i 4 progetti cofinanziati. Aprire ad altri soggetti che operano in ambito GRID per promuovere un proficuo interscambio nazionale ed internazionale.

3 3 12/05/2007: Avvio del Tavolo Tecnico sullinteroperabilitàAzioni: Realizzare, in più steps, lintegrazione e il consolidamento operativo delle risorse informatiche predisposte dai progetti finanziati con le risorse assegnate dallAvviso 1575 in una comune e-Infrastruttura meridionale integrata a livello italiano ed europeo,con particolare riguardo a: -Miglioramento della connettivita interna tra le sedi in OB1 ed esterna verso le-Infrastruttura nazionale. -Definizione e realizzazione di comuni condizioni operative con Service Level Agreement e policies dinteroperabilita concordate a livello interno e con le e-Infrastrutture di riferimento nazionale ed europeo. -Miglioramento ed evoluzione coordinato dei servizi di middleware secondo le necessità di comuni applicazioni allinterno del quadro di riferimento nazionale ed internazionale. - Scelta e supporto integrato di possibili applicazioni comuni. -Definizione realizzazione di un comune portale di accesso.

4 PI2S2Dr. Giuseppe PI2S2Prof. Antonella Di PI2S2Prof. Antonio SCoPEProf. Leonardo Merola (ccordinatore) SCoPEProf. Guido SCoPEProf. Almerico CRESCODr. Silvio CRESCODr. Giovanni CRESCODr. Andrea CYBERSARdr Alberto CYBERSARDr. Daniele CYBERSARGianluigi ESPERTO MURProf. Mirco ESPERTO MURProf. Francesco COMITATO TECNICO SULLINTEOPERABILITA (AVVISO 1575/2004)

5 5 Riunioni del Comitato Tecnico sullInteroperabilità: 19/07/ /09/ /10/ /11/ /12/ /01/2008 Documento sulla Connettività Documento sulla Connettività OK Documento sullInteroperabilità Documento sullInteroperabilità OK Documento tecnico operativo Documento tecnico operativo in corso Service Level Agreement Service Level Agreement in corso Prossime riunioni:28/02/ /03/ /04/ /05/2008 Documenti strategici e operativi:

6 6 E stato costituito un gruppo di lavoro tecnico operativo composto da esperti dei quattro progetti, che riferiscono al Comitato Tecnico sullInteroperabilità (CTI). Il gruppo tecnico operativo ha il mandato di: elaborare un Documento Tecnico Operativo che adotti le direttive strategiche fornite dal Comitato Tecnico sullinteroperabilità; proporre soluzioni tecniche implementative di dettaglio; gestire tecnicamente ed operativamente linfrastruttura comune.

7 7 Gruppo TECNICO OPERATIVO (AVVISO 1575/2004) SCOPE (Napoli): Silvio Pardi (coordinatore del Gennaro Tortone Fulvio Serio Marco Scognamiglio Davide Bottalico Vania Boccia PI2S2 (Sicilia): Rosanna Catania Giuseppe Platania Gianni Mario Ricciardi Gianluca Passaro Alberto Falzone Daniele Zito Emilio Mastriani CRESCO (ENEA): Giovanni Bracco Carlo Scio Andrea Santoro Alessio Rocchi CYBERSAR Daniele Mura Gianmario Mereu

8 8 E in fase avanzata di realizzazione la prima fase: LINTEROPERABILITADELLE INFRASTRUTTURE L INTEROPERABILITA DELLE INFRASTRUTTURE Si sta avviando la seconda fase: LINTEROPERABILITADELLE APPLICAZIONI L INTEROPERABILITA DELLE APPLICAZIONI Si è avviata la discussione sulla programmazione : LA REALIZZAZIONE DELLe-INFRASTRUTTURA ITALIANA APERTA ALLA COLLABORAZIONE ITALIANA APERTA ALLA COLLABORAZIONE E ALLINTERAZIONE TRA RICERCA E IMPRESA E ALLINTERAZIONE TRA RICERCA E IMPRESA

9 9 TEMPISTICA 27/09/07 25/10/07 ATTIVAZIONE VO NEI SITI PROVVISTI DI SERVIZI COLLETTIVI IMPLEMENTAZIONE DEI SERVIZI COLLETTIVI NEI SITI ANCORA SPROVVISTI INIZIO DEL TESTBED INTEGRAZIONE DEI 4 PON INTEGRAZIONE DEI 4 PON TESTBED SU TUTTA LA NUOVA GRIGLIA 24/01/08 28/02/08 29/11/07 SPECIFICHE DEI SERVIZI DI PRIMO LIVELLO SPECIFICHE SERVIZI DI SECONDO LIVELLO E SERVICES LEVEL AGREEMENT 20/12/07 APPLICAZIONIAPPLICAZIONI COMUNICOMUNI

10 Community web Avviso 1575: OK

11

12 12 CONNETTIVITA fra i progetti Avviso 1575/2004 documento approvato nella riunione del CTI del

13 13 Per la realizzazione dellinteroperabilità dellinfrastruttura Grid dei progetti dellAvviso 1575/2004 è cruciale che la connettività (reti e comunicazioni) sia adeguata in termini di prestazioni, affidabilità, efficienza, ridondanza. E essenziale il ruolo che il Consortium GARR potrà svolgere anche in futuro. E indispensabile che i quattro progetti possano contare subito su interconnessioni a 622 Mb/s con una banda garantita di almeno 400 Mb/s in questa fase iniziale di interoperabilità con successivo ampliamento quando sarà realizzata linterconnessione per tutti al Gb/s e oltre, come peraltro è già previsto nei progetti GARR di potenziamento della rete a 10 Gb/s (GARRX). Obiettivo immediato OTTOBRE 2007: E stata inviata una lettera al MUR affinché sostenga presso il Consortium GARR la priorità del potenziamento della CONNETTIVITA fra i progetti dellAvviso 1575/2004

14 14 Obiettivo a medio-termine Realizzare un anello di fibre che interconnetta i siti relativi ai progetti finanziati dal PON utilizzando WDM (Multiplazione a Divisione di Lunghezza donda) con limplementazione di collegamenti IP dedicati in tecnologia 10GigaEthernet e la remotizzazione di collegamenti fra le strutture di Storage in tecnologia FC o SCSI. Acquisizione fibre dedicate (dark fiber) in IRU (Indefeasible Right of Use): diritto di utilizzazione pluriennale di una infrastruttura in fibra ottica già esistente

15 15 INTEROPERABILITA fra i progetti Avviso 1575/2004 documento approvato nella riunione del CTI del

16 16 Lobiettivo dell interoperabilità fra i progetti dellAvviso 1575/04 è in corso di realizzazione attraverso ladozione di uno standard comune di comunicazione e di servizi di base comuni ed è compatibile con linteroperabilità e la facile integrazione con le altre infrastrutture di calcolo distribuito nazionali ed internazionali basate sulla tecnologia Grid. Linteroperabilità è già stata realizzata in versione limitata e prototipale con risorse proprie dei singoli progetti già esistenti (pre-esistenze) e sarà completa entro pochi mesi e comunque entro la conclusione dei progetti. A regime: -- potenza di calcolo di alcune migliaia di core per progetto -- centinaia di TB per progetto -- servizi Grid in parte centralizzati in parte replicati localmente

17 17 Ladozione di uno strato middleware comune (anche tramite appositi gateway) è necessario al fine di creare una comune Infrastruttura di calcolo integrata e interoperabile sia a livello italiano che europeo anche con Grid che adottano standard diversi. Scelte strategiche: gLite Standard comune di comunicazione: gLite gLite Implementazione di servizi basati su gLite LCG e LCG (LHC Computing Grid) Certification Authority Certification Authority riconosciuta a livello mondiale

18 18 Servizi aggiuntivi (o di secondo livello): Servizi aggiuntivi (o di secondo livello): Cataloghi virtuali dei file (LFC, AMGA, ecc.) Portale daccesso (Genius, line-mode, ecc.) Monitoring (GridIce, Service Availability Montoring, ecc.) Tickets (Xoops/Xhelp, ecc.) Accounting (DGAS, APEL, ecc.) Tags (descrizione risorse, ecc.) Service Level Agreement Service Level Agreement Servizi di base (o di primo livello): VOMS Collective: VOMS (Virtual Organization Memebership Service), RB/WMS BDII RB/WMS (Resource Broker), BDII (Information Index) CE WN Core: CE (Computing Element), WN (Worker Node), SE UI SE (Storage Element), UI (User Interface)

19 19 GARR PI2S2 GARR Altri Enti e realtà

20 20 Servizi centralizzati e Servizi distribuiti I servizi di primo livello sono replicati nelle varie sedi come stabilito nel documento di interoperabilità. Per quanto riguarda i servizi di secondo livello tecnicamente appare opportuno centralizzare alcuni di essi per evitare eccessivo carico sulla rete Grid.

21 21 Applicazioni computazionali chimiche Gaussian 03 (codice di riferimento per i calcoli quantistici) sfrutta larchitettura SMP, mentre AMBER e GROMACS (codici di dinamica molecolare classica) lavorano efficacemente su architettura cluster. Applicazioni di Imaging medico (MedIGrid) 1) Effettuare la ricostruzione 3D di immagini SPECT mediante lutilizzo di una libreria di software parallelo basata su MPI. 2) Effettuare denoising di sequenze ecocardiografiche mediante lutilizzo di una libreria di software parallelo basata su PETSc. Applicazioni di Elettromagnetismo e Telecomunicazioni Previsione e il monitoraggio del campo elettromagnetico in centri urbani; pianificazione di reti wireless, una volta note le sorgenti di campo (antenne da installare, o già operanti, per le comunicazioni GSM), le condizioni iniziali e al contorno. Applicazioni di Fisica subnucleare e di astrofisica Studio delle interazioni protone-protone ad altissima energia presso l'acceleratore LHC (Large Hadron Collider) del CERN (esperimento ATLAS). Ricerca di onde gravitazionali (esperimento VIRGO). Astrofisica di Survey Applicazioni SCoPE (prime applicazioni esportabili per linteoperabilità)

22 22 FLASH (www.flash.uchicago.edu) è un programma sviluppato da Alliances Center for Astrophysical Termonuclear Flashes per studiare il problema dei lampi termonucleari sulla superficie di stelle compatte, ed e molto usato da comunità di astrofisica. Questa applicazione richiede MPICH2.www.flash.uchicago.edu OpenFOAM (www.opencfd.co.uk/openfoam) Open Field Operation and Manipulation, una applicazione per la simulazione di campi basata sulla risoluzione di equazioni differenziali alle derivate parziali e completamente basato sulluso di MPICH2. Largamente usata da comunità di ingegneria e, in particolare, allinterno del progetto per calcoli di fluidodinamica che descrivono la combustione nei motori a scoppio.www.opencfd.co.uk/openfoam Applicazioni PI2S2 (prime applicazioni esportabili per linteroperabilità)

23 23 Applicazioni CRESCO IDL Codice commerciale con licenza non parallelo ma con un elevato numero di casi da eseguire (es. analisi immagini, analisi immagini satellitari...). LENEA può mettere a disposizione attraverso il suo portale laccesso allo sviluppo e la possibilità di eseguire fino ad 80 casi in contemporanea a livello geografico e multipiattaforma. FLUENT Codice commerciale con licenza parallelo ad alto accoppiamento, il numero di licenze è limitato ma sufficienti ad una sperimentazione. CPMD Codice OpenSource parallelo per la modellazione di materiali.

24 24 Chimica Mdynamix è un codice parallelo scalabile di simulazione di dinamiche molecolari di sistemi molecolari di varia natura. Meteorologia MOLOCH viene utilizzato per scopi di ricerca per la simulazione, ad alta risoluzione spaziale e a breve scadenza temporale, dello sviluppo di temporali, di flussi sopra orografie complesse e di processi fisici responsabili di precipitazioni intense. Idrologia CODESA-3D è un modello matematico-numerico che descrive il flusso di acqua sotterranea e il trasporto di inquinanti in essa disciolti nel suolo e sottosuolo. Astrofisica codice per simulazioni TD-DFT di molecole in tempo e spazio reale Ingegneria strutturale ed industriale simulazione e modellistica nell'ingegneria di processo e della produzione e la pianifcazione territoriale ed ambientale Fisica delle alte energie Esperimento ALICE (A Large Ion Collider Experiment) del CERN di Ginevra Fisica della Materia CMPTool (Caspur Model Potentials Tool), applicazione multi piattaforma sviluppata per simulazioni di dinamica molecolare Biofisica ORAC e' un codice di dinamica molecolare classica per simulare sistemi e processi con applicazioni nel campo biologico/medico alla scala microscopica Applicazioni CYBERSAR

25 25 IMPLEMENTAZIONE TECNICA DELLINTEROPERABILITA Documento Tecnico Operativo in corso di elaborazione

26 26 Documento Tecnico Operativo SOMMARIO 1. TAG DI RUNTIME 2. JOB QUEUE 3. SERVIZI COLLECTIVE CENTRALI E DISTRIBUITI 4. SERVIZI DI MONITORAGGIO 5. ISTALLAZIONE SOFTWARE APPLICATIVO 6. INTERFACCE E PROTOCOLLI PER LO STORAGE 7. ACCOUNTING 8. GESTIONE DOWNTIME E SISTEMA DI TICKET 9. SERVICE LEVEL AGREEMENT 10. ABILITAZIONE DELLE VO COMUNI 11. INTEROPERABILITA CON ALTRE INFRASTRUTTURE OK

27 27 TAGSPECIFICA MIDDLEWARE LCG-X_Y_ZSupporta versione del middleware LCG-X_Y_Z GLITE-X_Y_ZSupporta versione del middleware GLITE-X_Y_Z ANAGRAFICA CITTA (XXXX)Città dove è situato il sito PROJECT-NAME (XXXX)Nome del progetto SITE-NAME (XXXX)Nome del sito LIBRERIE E SOFTWARE MPICHLibreria MPICH MPICH2Libreria MPICH versione 2 MPI_HOME_SHAREDArchitettura MPI con directory Shared tra i worker node MPI_HOME_NOTSHAREDArchitettura MPI con directory NON Shared tra i worker node IDL-X.YSupporto per IDL versione X.Y ABAQUS-X.YSupporto per ABAQUS versione X.Y Sono stati definiti i TAG che descrivono - secondo gli standard europei che si è deciso di adottare - le caratteristiche delle risorse hardware e software. TAG DI RUNTIME

28 28 Nome CodaTIPOCPUTIME (minuti)WALLTIME (minuti)PRIORITY jobmanager- -poncert Coda di Certificazione Prioritaria jobmanager- -crescocert Coda di Certificazione Prioritaria jobmanager- -cybrcert Coda di Certificazione Prioritaria jobmanager- -pi2s2cert Coda di Certificazione Prioritaria jobmanager- -scopecert Coda di Certificazione Prioritaria jobmanager- -cresco_short Coda Job Cresco15120Alta jobmanager- -cresco_long Coda Job Cresco Media jobmanager- -cresco_infinite Coda Job Cresco Bassa jobmanager- -cybr_short Coda Job Crybersar15120Alta jobmanager- -cybr_long Coda Job Crybersar Media jobmanager- -cybr_infinite Coda Job Crybersar Bassa jobmanager- -pi2s2_short Coda Job PI2S215120Alta jobmanager- -pi2s2_long Coda Job PI2S Media jobmanager- -pi2s2_infinite Coda Job PI2S Bassa Tutti i progetti implementano tre code job per ogni progetto, short, long e infinite più la coda poncert (per la certificazione dei sw) con differenti policies di CPUTIME e WALLTIME e differenti priorità. JOB QUEUE

29 29 E stata adottata la seguente organizzazione: Servizi distribuiti: VOMS, BDII, RB/WMS, CE, SE, WN, UI LFC, Ticketing Servizi centralizzati: Monitoring, Accounting SERVIZI COLLECTIVE CENTRALI E DISTRIBUITI

30 30 I servizi di monitoraggio sono stati implementati in maniera centrale e suddivisi tra i progetti in modo da avere molti tools attivi ma senza una eccessiva ridondanza che produrrebbe un eccessivo traffico di interrogazioni. Web LDAP Browser (in ogni sito) GridICE (centralizzato presso SCoPE) GStat (centralizzato presso il server goc.grid.sinica.edu.tw ) SAM +VO poncert (centralizzato presso CYBERSAR) Real-Time Monitoring (centralizzato presso PI2S2) SERVIZI DI MONITORAGGIO

31 31 Monitoraggio GSTAT SAM – CYBERSAR https://sam-cybr.ca.infn.it/sam/sam.py DOWN-TIME - PI2S2 GRIDICE – SCoPE

32 32 Soluzione tecnica: Realizzare tool-kit di applicazione Pubblicare nella variabile di RUNTIME Installare il software tramite utenti SGM (Software Grid Manager ) E in corso la definizione delle applicazioni comuni e dei relativi tool-kit ISTALLAZIONE SOFTWARE APPLICATIVO

33 33 Protocolli di trasferimento Per mantenere il sistema di autenticazione basato sui certificati, i progetti abiliteranno il protocollo di trasferimento griftp per il trasferimento dati. Interfacce SRM (Storage Resource Manager) e configurazioni Per garantire piena compatibilità ed interoperabilità con le altre strutture internazionali gli Storage Element impiegati per linteroperabilità dai progetti utilizzeranno interfaccia SRM supportando srmv1.1 e srmv2.2. Ogni progetto abiliterà sugli storage element impegnati nellinteroperabilità una quantità di spazio disco da definire creando le seguenti aree logiche: /home/cresco, /home/cyersar, /home/pi2s2, /home/scope INTERFACCE E PROTOCOLLI PER LO STORAGE

34 34 DGAS (Distributed Grid Accounting System ) Si utilizzerà per le informazioni di accounting il sistema DGAS (ref. installando il sensore DGAS Gianduia sui Computing Element.http://www.to.infn.it/grid/accounting/main.html HLR (Home Location Register ) Ogni sito installerà un HLR_RESOURCE ed un HLR_USER Server sul quale verranno registrate tutte le risorse disponibili per linteroperabilità, in termini di code job. Sarà possibile individuare un HLR di secondo livello per raccogliere le informazioni dei differenti progetti in un unico punto, utilizzando il tool grafico HLR MON. ACCOUNTING

35 35 Ogni progetto utilizzerà il proprio sistema di ticketing locale. Per la gestione dei ticket interprogetto, se un utente del progetto X riscontra problemi sul sito del progetto Y, può aprire una segnalazione direttamente sul sistema di ticketing del progetto Y. I sistemi di ticketing devono prevedere almeno 3 aree per la suddivisione dei ticket: SITE – per i problemi tecnici di installazione VO – per le questioni relative alla singola virtual organization, certificazioni ecc. APPLICATION – per il supporto delle applicazioni. GESTIONE DOWNTIME E SISTEMA DI TICKET

36 36 SCOPE TICKET TICKET PI2S2 TICKET-CYBERSAR

37 37 E stato preparato un documento per definire il livello di servizi che i progetti si impegnano a garantire. Ci si basa sullesperienza del Regional Operation Center (ROC) italiano di EGEE. SERVICE LEVEL AGREEMENT

38 38 corso la discussione E in corso la discussione dei seguenti punti principali: DURATA DELLAGREEMENT RESPONSABILITA SUPPORTO DI SECONDO LIVELLO HARDWARE E CRITERI DI CONNETTIVITA DESCRIZONE DEI SERVIZI MINIMI OFFERTI (Numero di CPU e di spazio disco) SERVICE HOURS DOWNTIME SUPPORTO VO

39 39 Ogni sito coinvolto nellinfrastruttura interoperabile dovrà : Fornire risorse di calcolo, storage e servizi: numero di CPU pari al 25% delle forniture ……………………… Garantire man power sufficiente per linteroperabilità: almeno 2 persone, per un totale minimo di 1 FTE Gestire efficacemente le risorse del sito: a) effettuare gli aggiornamenti relativi al software applicativo per le applicazioni di interoperabilità. b) modificare le configurazioni coordinandosi durante le riunioni telefoniche. Prendere in carico e aggiornare i ticket relativi allinteroperabilità: tempo massimo di risposta: 48 ore dal lunedì al venerdì. Memorandum of Understanding Progetti Avviso 1575 Definizione del Service Level Agreement per linteroperabilità tra i quattro progetti dellAvviso 1575 (IN DISCUSSIONE)

40 40 Monitorare proattivamente il sito, controllando periodicamente lo stato delle risorse e dei servizi mediante tools di monitoraggio concordati: GridICE, Gstat, SFT, ecc. Garantire continuità al supporto ed alla gestione del sito; durante i periodi unattended, si dovrà mettere in down-time il sito chiudendo le code. Garantire la partecipazione dei tecnici operativi dell interoperabilità alle phone conference quindicinali. Compilare i pre-report settimanali: entro il venerdì. Supportare le VO di test e controllo (coda poncert) con priorità maggiore rispetto alle altre VO. Questo MoU dovrà essere sottoscritto dal responsabile del progetto e potrà essere aggiornato in base ai feedback ottenuti durante la sperimentazione.

41 41 E attualmente in corso unindagine per individuare aree applicative di interesse comune ai 4 progetti con lobiettivo di creare VO tematiche trasversali. Tali VO costituiranno un valore aggiunto per lintegrazione e la coesione tra le infrastrutture nascenti ed avranno, tra le altre attività, lobiettivo di individuare e manutenere il software applicativo di interesse specifico. Le soluzioni tecniche fin ora adottate sono adeguate per realizzare le-infrastruttura dellItalia meridionale e per lintegrazione nell e-infrastruttura Grid italiana ed europea. ABILITAZIONE DELLE VO COMUNI INTEROPERABILITA CON ALTRE INFRASTRUTTURE


Scaricare ppt "1 Workshop SCoPE, 21-2-2008 L. Merola e S. Pardi INTEROPERABILITA TRA I PROGETTI DELLAVVISO 1575/2004 STRATEGIE E STATO DELLARTE."

Presentazioni simili


Annunci Google