Progetto EGEE “Enabling GRID for E-Science in Europe”

Presentazione sul tema: "Progetto EGEE “Enabling GRID for E-Science in Europe”"— Transcript della presentazione:

1 Progetto EGEE “Enabling GRID for E-Science in Europe”
(6° Progr. Quadro UE) Leonardo Merola Riunione di gr. I NAPOLI /12/2002

2 Una soluzione su scala mondiale per: Accesso a grandi moli di dati
GRID ( “La Griglia” ) Una soluzione su scala mondiale per: Calcolo distribuito Accesso a grandi moli di dati Nata in ambito scientifico, si sta evolvendo anche verso il campo industriale, commerciale, governativo World Wide WEB World Wide GRID

3 Accesso a Computers e Dati in modo “trasparente” all’utente
Collegameno di una qualunque apparecchiatura alla presa elettrica in modo “trasparente” all’utente Accesso a Computers e Dati in modo “trasparente” all’utente

4 Modello di calcolo distribuito per gli esperimenti a LHC
Multi-level Regional Center hierarchy Data Server CPU Server desktop CERN Tier 0 Tier 1 Tier 2 Tier 3-4 Il “Middleware”, una via di mezzo tra hardware e software, deve assicurare la compatibilità fra i vari ambienti.

5 Struttura a Tiers di ATLAS
CNAF US MI RM1 NA PV GE … Il numero e la localizzazione dei Tier3 è in fase di discussione

6 Il CERN è il coordinatore del progetto
THE EUROPEAN PROJECT Progetto triennale ( ) “DataGRID” finanziato per 9.8 milioni di Euro, da utilizzare sopratutto per contratti di personale qualificato allo scopo di realizzare il ”Middleware” e realizzare “Testbed” su casi reali. Il CERN è il coordinatore del progetto

7 Struttura del progetto DataGRID: 10 Workpackages

8 Il Progetto INFN-GRID Programma triennale per lo sviluppo dell’infrastruttura di GRID per le sue 26 unità operative. Stessa struttura a workpackages di DATAGRID L’obiettivo è realizzare entro la seconda metà del 2003 prototipi di “Tier1,2,3” per il calcolo a LHC, nella misura del 10-20% della realizzazione da completare per il 2006.

9 La collaborazione IG-BIGEST
The Italian Grid for eBusiness eIndustry eGovernment EScience and Technology Scopi: Provide coordination to research, study, design, deploy and operate the Grid components needed to support the modern scientific, business and government colloborative activities in Italy and to integrate this infrastructure with similar ones in Europe and the rest of the world Create Italian Research Area (IRA)

10 Partecipanti IG-BIGEST

11

12 Il progetto GRID.IT FIRB 2001/03 – Fondo per gli Investimenti della Ricerca di Base: Progetto GRID.IT: PIATTAFORME ABILITANTI PER GRIGLIE COMPUTAZIONALI A ELEVATE PRESTAZIONI ORIENTATE A ORGANIZZAZIONI VIRTUALI SCALABILI TOT: 8 M€ funded, of which 1.1 M€ for young researchers All’INFN: 1580 k€ funded, of which 300 k€ for young researchers

13 CNR: Agenzia 2000, Strategic projects “5%”, …
ASI: ASI-PQE2000, Cosmo-SkyMed, National Space Program (PSN), E-Science (PON): Centri di Eccellenza per l’e-Learning UniSA-UniBN SPACI (PON): Southern Partnership for Advanced Computational Infrastructures UniLe ISUFI, ICAR-CNR Na (Murli), UniCal

14 Modello di Grid FIRB Risorse comuni Grid comune E servizi INGV INAF
Altri Risorse E servizi Grid comune Bio Risorse E servizi INFN-LCG Risorse E servizi

15 Atività di Ricerca GARR Large-bandwidth Optical Net Applications for
Astrophysics Geophysics High Energy Physics Comp. Chemistry Earth Observation Bio-informatics Applications for E-Science&Engineering High-perf. Components Scientific Libraries Cost models Resource Management Problem Solving Environments Programming Tools and Environment Data Intensive core services Scheduling Monitoring Commmunic. Grid Portals Security Knowledge Services Resource Brokers Middleware GARR Large-bandwidth Optical Net High-perf. Networks

16 Coinvolgimento INFN in GRID.IT
Responsabilita’ della gestione dell’Unita’ di Ricerca (UR) n.4 che comprende anche INAF, INGV e la biologia con le Universita’ di PD e GE e il CNR di Milano Responsabilita’ della gestione del WP3 della UR n.4, cui compete l’implementazione dei servizi Grid per tutte le applicazioni Responsabilita’ della gestione del WP5 della UR n. 4, che deve estendere le funzionalita’ del Data Management secondo le necessita’ dei nuovi settori coinvolti.

17 Le attivita’ del WP3 sono focalizzate sul deployment e management di una grid di produzione per la comunita’ scientifica nazionale, saranno coordinate con quelle del WP6, che sara’ invece focalizzato sul deployment e management di una grid di produzione per LCG. Tutte le risorse della grid INFN dovranno essere gestite in modo uniforme e il piu’ possibile condiviso, rispettando le priorita’ dei singoli esperimenti.

18 La sezione di Napoli sarà uno dei 4 nodi infrastrutturali principali (con Padova, Bologna/CNAF e Catania) Risorse: 25 nodi biprocessori, 1 art.2222 Partecipanti: L.M., Mastroserio, Tortone, Esposito Attività principale: Monitoring e testing

19 ATLAS Data Size Raw Data (anche generati con MC): 2 MB/evento.
ESD, Event Summary Data, output della ricostruzione: 500 KB/evento AOD, Analysis Object Data, formato "pubblico" di analisi: 10 KB/evento DPD, Derived Physics Data, formato privato di analisi, tipo ntupla: 1 KB/evento

20 Tempi di CPU (PIII 500 MHz @ 20 SI95) Ricostruzione di un evento:
640 SpecInt95*sec Simulazione di un evento: 3000 SpecInt95*sec Generazione di un evento AOD: 25 SpecInt95*sec Generazione di un evento DPD: 5 SpecInt95*sec Analisi di un evento AOD o DPD: 3 SpecInt95*sec

21 Risorse HW ATLAS a regime (2006)
CPU (MSI95) Tape (PB) Disk (PB) CERN (T0+T1) 0,4 6,7 0,5 Each RC 0,2 `6`Ext. RC‘s 1,2 2,4 Total 1,6 7,9 2,9 % RC 10% delle risorse a regime @ 50 CPU + 4 TB

22 Funzioni dei Tiers In linea con le posizioni di ATLAS internazionale, si assegna in esclusiva al Tier1 tutto cio' che ha Raw come input (reprocessing etc.) e tutto cio' che ha ESD come input. I Tier2 hanno storage completo degli AOD, e sono usati per l'analisi e la produzione MC. I Tier3 producono MC nei cicli spare e storano i dati che servono per le analisi "locali".

23 D US CERN J F I grid tools used at 11 sites CPUs: 46 RM1 40 CNAF 16 NA
10 LNF J F I

24 DC1 : Phase II Q4/2001 – Q2/2003: DC2: Q3/2003 – Q2/2004: Goals
Pile-Up Production (High and Low Luminosity) Large scale Grid test in November/December in preparation for reconstruction Reconstruction start March 2003 DC2: Q3/2003 – Q2/2004: Full deployment of Event Data Model & Detector Description Geant4 replacing Geant3 (fully?) Pile-up in Athena Test the calibration and alignment procedures Use LCG common software Use widely GRID middleware Perform large scale physics analysis Further tests of the computing model Scale As for DC1: ~ 10**7 fully simulated events

25 Risorse INFN-ATLAS Tier1+Tier2 da 120 CPU’s a 300 per assicurare share 10% in DC2
A regime ATLAS e la sua parte italiana intendono conferire tutte le loro risorse Tier1 e Tier2 a LCG. ~ 60% risorse in Tier1, ~ 30% diviso equamente fra i Tier2. DC3: Q3/2004 – Q2/2005: Goals to be defined; Scale: 5 x DC2 DC4: Q3/2005 – Q2/2006: Goals to be defined; Scale: 2 X DC3

26 FP6 2002: Il Progetto EGEE 6° Programma Quadro Europeo:
Allocati 300 M€ per supportare l’integrazione delle GRID nazionali in una infrastruttura generale europea (con 5 Centri Operativi GRID e 50 Centri operativi nazionali) e collaborare con: l’ US Cyber Infrastructure (1020 M$) e la Japan Asian-Pacific Grid (500 M$)

27

28 Separate calls for proposals!
Procedures IST Programme Structuring the ERA Programme Research Infrastructures 665 MEuro GÉANT, GRIDs, other ICT-RI MEuro 2.655 MEuro 3.825 MEuro Integrated Projects Networks of Excellence Specific Targeted Projects Coordinated actions Support actions Integrated Infrastructure Initiatives Coordinated actions Support actions Separate calls for proposals!

29 €300m for Géant, Grids, other ICT Research Infrastructures in FP6
Budget overview €300m for Géant, Grids, other ICT Research Infrastructures in FP6 ICT RI-Budget in FP5 (to compare): €161m Additional budget for Grids in other IST areas Geant: €80m Grids: €30m Others: €41m (including admin. Costs)

30

31 GARR-B Fase 4 (Nov. 2002) Backbone 3*155Mbps (RM-NA-MI-BO)
3*2.5Gbps (MI-BO-RM-MI) 1*2.5Gbps+4*155M inter BB 22 PoP di accesso dei siti GARR Accessi: ~300 Peering di Ricerca (su Milano-G) -

32 Indicative roadmap of calls
1. Budget from Structuring the ERA Programme (€200m) Year 2003 Year 2006 Year 2005 Year 2004 € 50m €100m 2. Budget from IST (€100m) € ?m

33 1a Call per Integrated Infrastructure Initiative:
17 Dicembre 2002 Richiesta: ~35 M€ Cost sharing: Interessi NA: Overall management: 10% Interface to applications: 10% V Hardware infrastructure 10% Middleware re-engineering: 35% Grid deployment and operation centers: 35% V Call successive (3 in tutto): ~100 M€

34 Progetti INFN collegati
FIRB PROGETTI GRID: EDG, EDT, GLUE (EU-US) PROGETTO LHC COMPUTING GRID FP6 EU INFN TIER1/2/3 GARR CALCOLO ESPERIMENTI: LHC, VIRGO,APE, BABAR… In rosso : Attività in cui sono coinvolti la sezione INFN e il gruppo I

35 Appendice: GARR e GEANT

36 La Storia della Rete GARR
: reti indipendenti di CNR, ENEA,INFN e Universita’. : rete GARR1, prima rete unitaria di Universita’ e Ricerca : rete GARR2, evoluzione di GARR1 : rete GARR-B (Broadband) : rete GARR-G (Giganet)

37 GARR-B Fase 4 (Nov. 2002) Backbone 3*155Mbps (RM-NA-MI-BO)
3*2.5Gbps (MI-BO-RM-MI) 1*2.5Gbps+4*155M inter BB 22 PoP di accesso dei siti GARR Accessi: ~300 Peering di Ricerca (su Milano-G) -

38 La Rete della Ricerca Europea GÉANT (2001-2004)
Progetto e Rete GÉANT (evoluzione della rete TEN-155) Cofinanziamento CE (5th FP-IST-RN1) per 80M€ su un costo di ~170M€ Durata 48 mesi (1/12/00 – 30/11/04) Peculiarita’ di GÉANT: Backbone a 10Gbit/sec Accesso iniziale fino a 2.5 Gbit/sec Accesso GARR a 2.5Gbit/sec

39

40