PON SCoPE Riunione PON SCoPE - 29 marzo 2007 Lesperienza dellINFN per linfrastruttura GRID nazionale ed europea nazionale ed europea Lorganizzazione del.

Presentazione sul tema: "PON SCoPE Riunione PON SCoPE - 29 marzo 2007 Lesperienza dellINFN per linfrastruttura GRID nazionale ed europea nazionale ed europea Lorganizzazione del."— Transcript della presentazione:

1 PON SCoPE Riunione PON SCoPE - 29 marzo 2007 Lesperienza dellINFN per linfrastruttura GRID nazionale ed europea nazionale ed europea Lorganizzazione del progetto in work packages Il prototipo presso il Dipartimento di Scienze Fisiche Il prototipo presso il Dipartimento di Scienze Fisiche L. Merola

2 Lesperienza dellINFN per linfrastruttura GRID nazionale ed europea nazionale ed europea Lorganizzazione del progetto in work packages Il prototipo presso il Dipartimento di Scienze Fisiche Il prototipo presso il Dipartimento di Scienze Fisiche

3 Progetti nazionali: INFN-GRID - INFN-GRID [dal 2000] Grid.IT - Grid.IT, finanziato dal MIUR/FIRB [2002-2005] - BioinfoGrid, LIBI, LITBIO, Cyclops Progetti europei: - DataGrid (EDG) [V PQ UE [2001-2004] - DataTAG [V PQ UE 2002-2003] LCG - LHC Computing Grid (LCG), progetto CERN [dal 2002] EGEE - EGEE [VI PQ UE 2004-2006] EGEE-II - EGEE-II [VI PQ UE 2006-2008] - EELA, EUChinaGrid, EuIndiaGrid, EUMedGrid, OMII, ETICS, CoreGRID, GRIDCC [VI PQ UE] EGEE-III VII PQ UE (EGEE-III, NMR, OGF, …) Da testbed a infrastruttura Grid di produzione verso la costituzione di Italian Grid Infrastructure Association e di una European Grid Initiative.

4 LCG INFN Comm. Scient. Naz. I progetti INFN sulle Grid sono gestiti da un INFN Executive Board (presieduto da M. Mazzucato; L.M. ne è componente)

5

6 EGEE 40 nazioni 200 siti > 100 VO 37 k CPU 7 PB storage

7 INFN PON FIRB

8 Middleware INFNGRID Servizi core (presenti in ciascun sito) Repository pacchetti del middleware (YAIM - INFNGRID 3.0.0 - Scientific Linux CERN 3.x - Istallazione e aggiornamenti automatici via PXE – Framework Globus 2.x) Servizi di computing (Computing Element gestione dei Worker Node – Servizi Globus: globus- gatekeeper, globus-gridftp, GRIS – Batch system: PBS, Torque, LSF) Servizi di storage (Storage Element gestione dello storage – Servizi Globus: globus-gridftp, GRIS) User Interface (sottomissione di job, visualizzazione stato di un job, cancellazione di un job, recupero dell'output di un job, via remota SSH o web GENIUS) Piena compatibilità con il m/w EGEE (gLite/LCG) con release e aggiornamenti frequenti e controllati centralmente.

9 Servizi collective (gestiti centralmente) Servizi di autenticazione/autorizzazione (VOMS - Virtual Organization Membership Service) Servizi di allocazione dei job (Resource Broker – allocazione job via matchmaking con le risorse) Servizi informativi (GRIS Grid Resource Information Service Information Index Cataloghi di file / repliche (LFC LCG File Catalog localizzazione dei dati, copia dei dati, gestione e replica dei dati, gestione dei meta-dati, MySQL) User interface

10 Servizi aggiuntivi di supporto e gestione dellinfrastruttura Certification Authority (Certificati personali e server di una Registration Authority locale) Servizi di Monitoring (GridIce monitoring delle risorse, SAM Service Availability Monitoring monitoring dei servizi) Servizi di Accounting (DGAS - Distributed Grid Accounting: le informazioni sono raccolte in un database Home Location Register) Servizi di Ticketing per la risoluzione di problemi (Gestione dei trouble ticket)

11 SE WN CE YAIM UI GRID UI DGAS TS SAM MS LFC II VOMS RB Grid Service Center Grid Site

12 No jobs Running/Waiting jobs

13

14

15 Il laboratorio GILDA Il portale GENIUS DISSEMINATION

16

17 Esempio di applicazione Scienze del Microcosmo – Fisica delle Alte Energie Hierarchical model Data Server CPU Server desktop CPU Server desktop CERN Tier 0 CPU Server Tier 2 (Regional Centers) Tier-2 Esp.Atlas: RM1, NA Tier 3-4 (Dip. e Institute) Tier 1 (Regional naz. and internaz. Center) Esperimento ATLAS

18 Tier-0 (CERN) Tier-0 (CERN) Archivio dei RAW data ricevuti dallEF e distribuzione ai Tier1 Prompt Reconstruction Distribuzione output ricostruzione (ESD,AOD,TAG) ai Tier-1 Il modello generale di calcolo per loffline e lanalisi dati di un esperimento di Fisica delle Alte Energie (es. Esp.ATLAS, CMS, ALICE, LHC-b) è quello gerarchico multi-Tier. Tier-1 (10) Tier-1 (10) Accesso a lungo termine e archivio di un subset di RAW data Copia dei RAW data di un altro Tier-1 Reprocessing della ricostruzione dei propri RAW data con parametri di calibrazioni e allineamenti finali e distribuzione AOD ai Tier-2 Archivio dati simulati MC prodotti nei Tier-2 Tier-2 Tier-2 Simulazione Monte Carlo Analisi dei dati ~50 Mb/s ~3-4/T1 Event Builder Event Filter Tier3 10 GB/s 320 MB/s ~ 150 MB/s ~10 ~PB/s Tier2 Tier0 Tier1

19

20 Esempio di uso del Tier-2 di Napoli in termini di CPU time e Wall Time ATLAS Altre VO

21 Lesperienza dellINFN per linfrastruttura GRID nazionale ed europea nazionale ed europea Lorganizzazione del progetto in work packages Il prototipo presso il Dipartimento di Scienze Fisiche Il prototipo presso il Dipartimento di Scienze Fisiche

22 Resp. Scientifico G. MARRUCCI Resp. Amministr. E. CESARO Comitato Direttivo G. MARRUCCI V. BARONE G. FRANCESCHETTI N. MAZZOCCA L. MEROLA A. MURLI G. RUSSO F. SALVATORE G. VENTRE MiddlewareA&B (30 prof. + ric.) Scienze del Microcosmo e del Macrocosmo (19 prof. + ric.) Scienze dei Materiali e dellAmbiente (37 prof. + ric.)Scienze della Vita (42 prof. + ric.) Aree scientifiche WP1 PROGETTAZIONE, REALIZZAZIONE E TEST DELL'INFRASTRUTTURA DI CALCOLO E GRID ( 1 contr. ) Work Packages WP2IMPLEMENTAZIONE DEL MIDDLEWARE DI BASE DELLA PIATTAFORMA GRID ( 3 contr. ) WP3 REALIZZAZIONE E GESTIONE DELLA VO E DELLE RISORSE E SUPPORTO AGLI UTENTI ( 2 contr. ) WP4 PROGETTAZIONE E SVILUPPO DI MIDDLEWARE APPLICATIVO E SVILUPPO DELLE APPLICAZIONI SCIENTIFICHE ( 34 contr. ) WP5 INTEGRAZIONE DELLA GRID SCOPE NELL'INFRASTRUTTURA NAZIONALE ED INTERNAZIONALE ( 1 contr. ) WP6 DIFFUSIONE DEI RISULTATI E TRAINING AGLI UTENTI ( 0 contr. )

23

24

25 Argomenti di ricerca

26

27 Lesperienza dellINFN per linfrastruttura GRID nazionale ed europea nazionale ed europea Lorganizzazione del progetto in work packages Il prototipo presso il Dipartimento di Scienze Fisiche Il prototipo presso il Dipartimento di Scienze Fisiche

28 Liv.1 ed G Centro Centro PON S.CO.P.E. Dipartimento di Scienze Fisiche INFN Edificio G Cabina elettrica G.E. 1 MW Tier2–ATLAS Prototipo SCoPE CAMPUS GRID MSA DMA DiChi DSF INFN C.S.I. GARR Fibra ottica PON PONS.CO.P.E.

29 14 marzo 2007 9 marzo 2007

30 Risorse di calcolo e di storage previste nel PON Da integrare nellinfrastruttura grid nazionale ed internazionale (Grid.It, INFN-Grid, EGEE) Scientific Linux 3.x, 4.x LCG/EGEE m/w

31 Sala infrastruttura Principale Campus Grid Sala Tier-2 ATLAS Prototipo SCoPE

32 Tier-2 ATLAS e Prototipo SCoPE PC1 Monitoraggio ambientale (T, HV, UPS) PC3 HW Monitoring (Operating Systems) PC2 SW Monitoring (servers, storage) PC4 GRID Monitoring (infrastruttura, servizi) Backup system UPS INFN 60 kVA LOCALE TIER-2 ATLAS CHILLER Locali o spazi esterni SIST. ANTINCENDIO PRESENTER 42 Campus Grid Network 1 Gb/s 8 biproc. dual core Unità di raffreddamento switch Rack UNIV. FED II SE + 9 TB Servers servizi GRUPPO ELETTRO GENO UniNA Locali PON SCoPE 7 biproc. dual core Rack-2 TIER-2 ATLAS switch Unità di raffreddamento 17 biproc. UPS INFN 400 kVA SE + 25 TB Rack-1 TIER-2 ATLAS switch Unità di raffreddamento CISCO3750 1 Gb/s

33 Unità di raffreddamento A T L A S SCOPESCOPE Servers per servizi Computing element Storage element Worker Nodes PC monitoring

34 Le Connessioni di Rete LAN INFN 1 Gbps 2 x1Gbps 100/200 Mbps 10 Gbps 1 Gbps 10 Gbps 1 Gbps N x1 Gbps 2.5 Gbps Campus Grid GARR MAN UNINA Siti Campus Grid Tier 2 Pon UniNA

35 CPU1 YAIM Repository pacchetti e profili di GRID CPU2-CPU2 VOMS CPU3-CPU3 RB - II CPU4 LFC CPU5 CE CPU6 WN CPU7 SE CPU8 UI CPU9 GridICE CPU10 SAM CPU11 GENIUS CPU12 Ticketing PON SCoPE INFRASTRUTTURA e SERVIZI GRID Registration Authority Federico II COLLECTIVECORE Man power allo startup del Prototipo SCOPE Man power a regime nel Centro SCoPE N. 4 persone intercambiabili e specializzate a 2 a 2: 2 per VOMS e LFC 2 per RB e II N. 4 persone intercambiabili e specializzate a 2 a 2: 2 per VOMS e LFC 2 per RB e II N. 2 personeN. 4 persone N. 2 persone Totale man power startup prototipo: n. 8 persone Totale man power a regime: n. 10 persone wp2wp2/wp3

36 Tempistica e Conclusioni I Fase: I Fase: Costruzione dellEdificio e realizzazione degli Impianti. Realizzazione della GRID (e della VO) dAteneo integrando le preesistenze e costruendo i servizi Grid collective e core. Uso delle APPLICAZIONI II Fase: II Fase: Acquisizione e messa in produzione delle risorse di calcolo/storage. Integrazione delle infrastrutture GRID dei 4 PON. Uso delle APPLICAZIONI III Fase: III Fase:Operatività a regime del Centro ScoPE. Integrazione nella GRID nazionale ed europea LCG/EGEE Uso delle APPLICAZIONI Obiettivi Intermedi (OR) OR1:Specifiche generali OR2:Modellizzazione OR3:Logistica e sistemi OR4:Middleware di base OR5:Attivazione del sistema OR6:Middleware applicativo OR7:Sviluppo algoritmi e prime applicazioni OR8:Sviluppo Applicazioni Integrate OR9:Potenziamento di reti di collaborazione scientifica OR10:Diffusione dei risultati