Infrastruttura GRID di produzione e i T2 Cristina Vistoli Cnaf.

Slides:



Advertisements
Presentazioni simili
Introduzione al prototipo Grid-SCoPE
Advertisements

STATO DEL PROTOTIPO DI SCoPE E DELL’INTEGRAZIONE TRA I 4 PON
1 La farm di ATLAS-Napoli 1 Gb/s 7 nodi con 2 CPU PIII a 1 GH, RAM 512 MB, 2 schede di rete a 100 Mb/s. Server con 2 CPU PIII a 1 GH, RAM 1 GB, 2 schede.
1 STATO DELLINTEGRAZIONE TRA I 4 PROGETTI AVVISO 1575/2004 ATTIVITA DEL GRUPPO TECNICO OPERATIVO Riunione del Comitato Tecnico sullInteroperabilità MUR,
1 STATO DELLINTEGRAZIONE TRA I 4 PROGETTI AVVISO 1575/2004 ATTIVITA DEL GRUPPO TECNICO OPERATIVO Riunione del Comitato Tecnico sullInteroperabilità MUR,
Interoperabilità tra i PON Giuseppe Andronico (INFN e Consorzio COMETA)
Comitato Tecnico sullInteroperabilità MUR, L. Merola.
Proposta di integrazione e consolidamento delle risorse presenti nellinfrastruttura Grid dellItalia Meridionale (L. Merola, )
Daniele Mura 25 Ottobre Stato di avanzamento dellinfrastruttura CyberSar.
1 STATO DELLINTEGRAZIONE TRA I 4 PROGETTI AVVISO 1575/2004 Riunione del Comitato Tecnico sullInteroperabilità MUR, 20/12/2007 S.Pardi.
Testbed release: processo di integrazione e validazione A. Ghiselli, L. Gaido.
Meeting WP 1 (Globus) 11 Gennaio 2001 Massimo Sgaravatto INFN Padova.
Proposta di integrazione e consolidamento delle risorse presenti nellinfrastruttura Grid dellItalia Meridionale (L. Merola, )
1 REALIZZAZIONE DELLINTEROPERABILITA FRA I PROGETTI DELLAVVISO 1575/2004 Riunione del Comitato Tecnico sullInteroperabilità MUR, 25/10/2007 L. Merola.
La facility nazionale Egrid: stato dell'arte Egrid-Team Trieste, 9 ottobre 2004.
SP-Grid - setup Implementazione dei servizi per la produzione al CNAF: –Integrazione tra i tool di produzione standard di BaBar (ProdTools) e gli strumenti.
Istituto Nazionale di Fisica Nucleare Roma,12 febbraio 2001 Netgroup meeting Situazione attuale e attivita futura - R.Gomezel 1 Netgroup meeting Situazione.
Alessandro Italiano INFN - CNAF Grid.it 14 Febbraio 2003 Servizi Generali: RB, UI, RC Information System Alessandro Italiano Grid.it 16 febbraio 2003.
1 Riunione Testbed - 17 gennaio Agenda - stato del testbed di INFN-GRID (L. Gaido) - le risorse del CNAF (A. Italiano) - report sullo stress test.
25 ottobre 2002infn1 FIRB-Grid WP3,5 Grid deployment.
Il Tutorial INFN-GRID/EDG di Torino Testbed INFN-GRID.
LNL M.Biasotto, Bologna, 13 dicembre Installazione automatica Massimo Biasotto – INFN LNL.
INFN-GRID WP1 20 novembre 2000 Sperimentazione GridFTP Luciano Gaido 1 Progetto INFN-GRID Sperimentazione GridFTP Riunione WP1 (GLOBUS) Cnaf, 20 novembre.
1 Il testbed di LCG Riunione Testbed – CNAF, 17 gennaio 2003 L. Gaido.
GridICE attività in corso e sviluppi futuri Gennaro Tortone Bologna, 4 marzo Technical Board INFNGRID
LNL CMS M.Biasotto, Firenze, 22 maggio Hardware e tools di installazione Massimo Biasotto INFN – Lab. Naz. di Legnaro.
1 M. Biasotto – Legnaro, 22 Dicembre 2005 Prototipo Tier 2 di Legnaro-Padova INFN Legnaro.
E. Ferro / CNAF / 14 febbraio /13 GRID.it servizi di infrastruttura Enrico Ferro INFN-LNL.
Last quarter work and future activities
C. Aiftimiei 1, S. Andreozzi 2, S. Dal Pra 1, G. Donvito 3, S. Fantinel 4, E. Fattibene 2, G. Cuscela 3, G. P. Maggi 3, G. Misurelli 2, A. Pierro 3 1 INFN-Padova.
LNL GM, CNAF, 18 ottobre INFN-Farm Management Toolkit 1.Fabric Management per DataGrid e INFNGrid 2.Definizione dei requisiti degli esperimenti.
FESR Consorzio COMETA Pier Paolo CORSO Giuseppe CASTGLIA Marco CIPOLLA Industry Day Catania, 30 Giugno 2011 Commercial applications.
AFS Working Group R.Gomezel CCRWS Verso la sfida di LHC Otranto (Lecce), 6-9 Giugno 2006.
16 Maggio CSN1 Computing-Software-Analysis CMS-INFN TEAM Analisi in CMS: stato e prospettive del supporto italiano.
LNL CMS M.Biasotto, Roma, 22 novembre I Tier2 in CMS Italia Massimo Biasotto - LNL.
Calcolo LHC - F. Ferroni, P. Lubrano, M. SozziCSN1 - Catania Calcolo LHC 2003 (F. Ferroni, P. Lubrano, M. Sozzi)
LNF Farm E. V. 9/8/2006. Hardware CE, LCFG, HLR, 3 WN: DL 360 1U; SE: DL 380 2U 5 WN: BL 25 P In totale 25 jobs general purpuse (coda Atlas) + una coda.
Attivita' Grid in BaBar Workshop sulle Problematiche di Calcolo e Reti nell'INFN Maggio 2004.
Installation and evaluation of the Globus toolkit Massimo Sgaravatto INFN Padova.
Draft planning of the report Massimo Sgaravatto INFN Padova.
Cosa cambia per CDF  S.Belforte mantiene per ora 20% (1 day/week) su CDF: il necessario per una attivita’ di coordinamento e transizione verso un nuovo.
Report HEPiX Spring meeting 2002 Workshop sulle problematiche di calcolo e reti nell'INFN 6-9 Maggio 2002 La Biodola - Isola d'Elba Silvia Arezzini.
CMS 1 M. Biasotto – Bologna 20/01/2005 Infrastruttura di calcolo per CMS-Italia M.Biasotto – INFN Legnaro e i gestori dei centri CMS Italia.
I testbed ed il loro uso 1 I testbed ed il loro uso L. Gaido, A.Ghiselli CSN1, Perugia novembre 2002.
CMS RPC ITALIA' , Settembre Ischia-ITALIA RPC DCS Giovanni Polese.
Storage (ieri, oggi e domani) Luca dell’Agnello INFN-CNAF.
1 Attività per la formazione Scuole INFN Grid Edizione 2008 Valeria Ardizzone INFN Catania.
La Task Force Gestione Operativa (Operations) L. Gaido, INFN Torino.
OpenShift Origin – Cosa è
Overview del middleware gLite Guido Cuscela INFN-Bari II Corso di formazione INFN su aspetti pratici dell'integrazione.
IV Corso di formazione INFN per amministratori di siti GRID Tutorial di amministrazione DGAS Giuseppe Patania.
Stato Unità Gestione Operativa Paolo Veronesi. Stato revisione blueprint I task oggetto dell’Unita’ Gestione Operativa Personale afferente all’Unita’
SCOPE: stato e piano di integrazione Phd. Silvio Pardi CNAF
Riunione WP 1 (Globus) 20 Novembre, 2000 Massimo Sgaravatto INFN Padova.
E. Ferro, F. Fanzago - CNAF, Bologna - 1/07/2004 Release LCG & INFN-GRID Enrico Ferro INFN - Padova.
Libi Laboratorio Intern. di BioInformatica U.R. INFN Giorgio Maggi INFN and Politecnico di Bari Convegno FIRB-LIBI -Bisceglie giugno 2005.
Grid operations Luciano Gaido (INFN-Torino) ( Contributi di A. Cavalli, A. Paolini, A. Pagano) Incontro con i referee di INFN-GRID CNAF, 7 marzo 2007.
Sessione "EGI Production Infrastructure" martedì 14 Settembre ore 14 From EGEE to EGI: status of the EGI infrastructure, results and roadmap: – ROC_CE.
EGEE is a project funded by the European Union under contract IST L'infrastruttura di produzione attuale A. Cavalli - INFN- CNAF D. Cesini.
Riorganizzazione delle attivita' di controllo della Grid
Riunione INFN – Bologna, 17 January 2013
MONBOX Federico Bitelli bitelli<at>fis.uniroma3.it
Dichiarazione dei servizi di sito nel GOCDB
Stato della Grid di produzione
Servizi per CCRC, INFN Grid release, stato dei servizi centrali e T2
From 8 to 80 boxes. From FBSNG to Condor CPU Satura !
Introduzione al progetto INFNGRID
Stato e caratterizzazione della Grid di produzione italiana ed europea
Report di attività e richieste 2008
Infrastruttura GRID di produzione italiana:
Transcript della presentazione:

Infrastruttura GRID di produzione e i T2 Cristina Vistoli Cnaf

Infrastruttura Grid di Produzione Comprende 39 ‘resource centers’: tutti i siti sono accessibili attraverso i servizi (Resource Broker) di Grid 25 siti fanno parte della infrastruttura EGEE/LCG registrati nel GOCDB 14 siti aggiuntivi sono accedibili solo dai servizi italiani

844 Production Infrastructure: Resources 438

INFNGRID deployment status: resources

INFNGRID deployment status: services

INFNGRID deployment status: services

INFNGRID deployment status: services

INFNGRID features It is essentially LCG with some additional features:  Features/customizations already present in the previous releases:  new Network Monitor profile  improved support for LSF and MPI  support for additional VOs (managed via LDAP VO server):  babar, zeus  support for the additional VOs (managed via VOMS server):  infngrid, cdf, gridit, compchem, planck, bio, enea, theophys, ingv, inaf, virgo, argo  support for MPI jobs via home syncronisation with scp with hostbased authentication  DGAS (DataGrid Accounting System)  new customizations:  support for ARGO VO

I T2 e la Grid di produzione –I Tier2 sono in sedi che gia’ sono parte della infrastruttura GRID di produzione –Obiettivo principale della organizzazione a supporto della infrastruttura GRID Fornire release di middleware stabile, certificata, documentata e con procedure automatiche di installazione adatte alle complessita’ delle farm Controllo delle installazioni, delle configurazioni dell’efficenza dei servizi Grid Collaborare con i site manager Fornire supporto agli utenti Garantire supporto agli esperimenti e promuovere l’integrazione dei servizi specifici di esperimeno nei servizi comuni

I T2 e la Grid di produzione –I siti T2 sono già parte della infrastruttura ma l’organizzazione per il supporto deve adattarsi alla scala di dimensioni previste –Devono essere approfondite le compentenze locali attraverso il coinvolgimento nei progetti –Continuo aggiornamento sulle evoluzioni del middleware di Grid e sui servizi di esperimento –Le responsabilità operative sono distribuite –Ma….. si deve garantire qualità e affidabilità complessiva dell’infrastruttura adeguata alle esigenze di un utilizzo in produzione per gli esperimenti

EGEE/LCG EGEE SA1 garantisce l’operatività dell’infrastruttura di grid per LCG La nostra partecipazione in EGEE/SA1 consiste in: –Gestione dei servizi generali di Grid (broker risorse, gestione dei cataloghi di File, monitoring e accounting dell’utilizzo, VOMS…) –Sviluppo o adattamento di strumenti di controllo –Produzione della release di middleware e relativa documentazione –Controllo e certificazione delle configurazini e della funzionalità dei siti –Supporto agli utenti –Supporto agli esperimenti per l’integrazione in Grid

I T2 in Grid I T2 e in generale i siti della grid di produzione devono: fornire supporto sistemistico per le installazioni e configurazioni del middleware nelle vaie sedi Rispondere prontamente ai problemi operativi Fornire supporto agli utenti e agli esperimenti Partecipare ai turni di controllo dei servizi Grid della infrastruttura nel suo complesso Contribuire con almeno un FTE in SA1 per: – garantire distribuzione delle competenze e aggiornamento – maggiore affidabilita e qualita’ del supporto

Support First level support: Italian ROC shifts –The Italian ROC provides geographically based local front line support to Virtual Organization, Users and Resources Centres –Provided through daily shifts –Check list to be covered during the shift –Periodic (every 15 days) phone conference ROC/CIC teams and site managers –ROC report to GDA Shitf example, weekly based: Second level support: CIC on Duty –Weekly shift –CIC tools

Release and documentation Release and documentation : –Documentation: site installation guide, release notes…. –Software repository –Site management guide –FRY is a tool developed by the Release and Documentation group of SA1 Italian ROC to perform quickly a set of basic test on all the grid elements (CE, SE, RB, WN,...). The idea is to increase the speed and reliability of the release certification phase, performing a "standard" set of tests to verify automatically configuration/setup troubles (daemons, permission and ownership of some directories,...). –DGAS checklist [new] DGAS developers produced this document to check if DGAS configuration is ok: –UiPNP –Installation of LCG 2.6 on IA64

Release and documentation

Central Management Team Site Certification The CMT is responsible of the certification: checking the functionalities of a site before to join the site to the production grid. In particular checks: –GIIS' information consistence – Local jobs submission (LRMS) –Grid submission with Globus (globus-job-run) –Grid submission with the ResorceBroker –ReplicaManager functionalities In order to certificate a site the CMT uses dedicated grid services – RB: gridit-cert-rb.cnaf.infn.it BDII: gridit-cert-rb.cnaf.infn.it In this way we avoid to have an uncertificate site in the production grid. The same grid services should be used for test activities. The procedure is described in the following document: CMT's site certification procedure [PDF]CMT's site certification procedure

VO supportate

Job status 10/oct/

Job report dal 3 al 16 ottobre 2005 SiteJob INFN-T181032,00 INFN-PADOVA6954,00 INFN-FIRENZE3545,00 INFN-LNL-22672,00 INFN-ROMA12472,00 INFN-CNAF2132,00 INFN-NAPOLI2080,00 INFN-BOLOGNA1687,00 INFN-MILANO1515,00 INFN-FERRARA1263,00 INFN-PISA21183,00 INFN-TORINO1053,00 INFN-CAGLIARI1049,00 INFN-ROMA1-VIRGO866,00 INFN-ROMA2799,00 SNS-PISA648,00 INFN-PISA604,00 INFN-FRASCATI487,00 INFN-PERUGIA447,00 SPACI-NAPOLI-IA64442,00 INFN-TRIESTE442,00 INFN-BOLOGNA-CMS381,00 INFN-Roma1-CMS202,00 CNR-ILC-PISA103,00 SPACI-LECCE-IA6479,00 INFN-ROMA372,00 INAF-Trieste53,00 INFN-LECCE49,00 INFN-GENOVA47,00

Job report dal 3 al 16 ottobre 2005 SiteJob INFN-PADOVA6954,00 INFN-FIRENZE3545,00 INFN-LNL-22672,00 INFN-ROMA12472,00 INFN-CNAF2132,00 INFN-NAPOLI2080,00 INFN-BOLOGNA1687,00 INFN-MILANO1515,00 INFN-FERRARA1263,00 INFN-PISA21183,00 INFN-TORINO1053,00 INFN-CAGLIARI1049,00 INFN-ROMA1-VIRGO866,00 INFN-ROMA2799,00 SNS-PISA648,00 INFN-PISA604,00 INFN-FRASCATI487,00 INFN-PERUGIA447,00 SPACI-NAPOLI-IA64442,00 INFN-TRIESTE442,00 INFN-BOLOGNA-CMS381,00 INFN-Roma1-CMS202,00 CNR-ILC-PISA103,00 SPACI-LECCE-IA6479,00 INFN-ROMA372,00 INAF-Trieste53,00 INFN-LECCE49,00 INFN-GENOVA47,00 N.B senza T1 per vedere meglio le percentuali

Job report 26/9 -10/10

Support system Problems Communication : -ROC on Duty and site managers -Site managers to Central management team and viceversa -Site certification during installation/upgrade -GGUS to ROC

tickets statistics –starting date: August 2005 –272 total –64 from GGUS (COD and user)