1 INFN-GRID a.ghiselli INFN-CNAF Commissione Calcolo 14 Novembre 2000.

Presentazione sul tema: "1 INFN-GRID a.ghiselli INFN-CNAF Commissione Calcolo 14 Novembre 2000."— Transcript della presentazione:

1 1 INFN-GRID a.ghiselli INFN-CNAF Commissione Calcolo 14 Novembre 2000

2 2 INFN-GRID Progetto 3-ennale Partecipazione degli esperimenti di LHC: Alice, Atlas, CMS, LHCb e di altri esperimenti e progetti quali Virgo e APE. Partecipazione del servizio calcolo delle sezioni e del cnaf Workplan suddiviso in 5 Work Packages (complementare e di supporto a DATAGRID)

3 3 workplan WP1, evaluation of Globus toolkit, M.Sgaravatto, F.Prelz WP2, integration with DATAGRID and adaptation to the national grid project: –WP2.1 workload management, F.Prelz, M.Sgaravatto –WP2.2, data management, L.Barone, L.Silvestris –WP2.3, application monitoring, U.Marconi, D. Galli –WP2.4, computing fabric & mass storage, G.Maron, M.Michelotto WP3 Applications and Integration : –Alice: R.Barbera, Castellano, P.Cerello –Atlas: L.Luminari, B.Osculati, S.Resconi –CMS: G.Bagliesi, L.Barone, C.Grandi, I.Lippi, L.Silvestris –LHCb: R.Santacesaria, V.Vagnoni, S.Vecchi WP4 National Testbed, A.Ghiselli, L.Gaido WP5 network, T.Ferrari, L.Gaido

4 4 Gestione del progetto Collaboration Board Technical Board Executive Board Per sito: coordinatore locale, rappresentante per ogni esperimento + EB, TB Coordinatore tecnico Coordinatori dei WP Esperti delle applicazioni Project manager Coordinatori del calcolo degli esperimenti Coordinatore tecnico Rappresentante INFN in DATAGRID

5 5

6 6 DATAGridDATAGrid 28 FTE 5 –10 MEuro 1 MEuro Industrie Altre Scienze Hardware 0.8 M in Personale 255 “Ric” 90 FTE 255 “Ric” 90 FTE Creare una Infrastruttura di Calcolo capace di soddisfare i requisiti dei moderni Esperimenti a LHC, di Virgo e di APE. Creare una Infrastruttura di Calcolo capace di soddisfare i requisiti dei moderni Esperimenti a LHC, di Virgo e di APE. Strutture CNAF Servizi di Calcolo delle Sezioni IT Uni Esperimenti ALICE APE ARGO ATLAS CMS COMPASS LHCB VIRGO INFN-Grid Dai referee

7 7 ClasspurposeMake use ofconcerns End userSolve problemsApplicationsTransparency, performance Application developersDevelop applicationsProgramming models and tools Ease of use, performance Tools developersDevelop tools Programming models Grid servicesAdaptivity, exposure of performance, security Grid developersProvide basic Grid services Local system servicesLocal simplicity, connectivity, security System administrationManage Grid resources Management toolsBalancing local and global concerns INFN-Grid: WPs WP1: Installation and Evaluation of the Globus toolkit WP2:Integration with DATAGrid and Adaptation to the National Grid Project 2.1 Workload Management 2.2 Data Management 2.3 Grid Application Monitoring 2.4 Computing Fabric & Mass Storage WP3:Applications and Integration WP4:National Test Beds WP5:Network WP2 WP3 WP1 Dai referee

8 8 Modello di ‘task execution’ sulla Grid Client b Client c Client a Site 1 Site 2 Server B Directory Service Server C Server D SchedulerMonitor WAN (0) Monitor server and network Status periodically (1) (2) (3) (4) (1)Query server (2)Assign server (3)Request exec. (4)Return computed result

9 9 Global Grid Architecture Grid Fabric Layer Applications Comm. protocols Data servers Remote monitoring PC-Cluster Schedulers Network Services (QoS) Optical technology Grid Services Layer Resource and appl. Independent services InformationResource mgmt (GRAM) Security (GSI)Data accessFault detection... Batch traditional Applications Client/Server Interactive Appl. Client/Server Batch Applications Grid enabled Applications Application Toolkit Layer HTB Data Mover Monitoring tools workload management Application monitoring Data management WP1 WP2.1 WP2.2 WP2.3 WP2.4 WP5 WP3

10 10 Tfe#Ric 0.116 144 0.266 0.362 0.430 83 0.540 0.613 0.78 28 0.85 0.95 1.010 Distribuzione del # Ric vs FTE INFN-Grid: Collaborazione Dai referee

11 11 Studio di Fattibilita’ Il personale coinvolto nei WP sembra essere in molti casi sottodimensionato e troppo distribuito su scala geografica. La suddivisione dei vari tasks (tranne il WP2.4) e’ mancante. Deliverables e Milestones troppo generiche Manca un diagramma di flusso dell’interazione dei vari WP (chi fa che cosa e quando) Manca un diagramma di flusso dell’interazione dei WP di INFNGrid e i WP di DataGrid INFN-Grid: Commenti (dai referee)

12 12 INFN-Grid: Criteri di finanziamento 2000-2001 Le richieste finanziare legate alle attivita’ dei WP1, WP2 e WP5 sono analizzate dalla commissione dei referee di INFNGrid e finanziate su fondi del P.S. Le richieste finanziare legate alle attivita’ dei WP3 e WP4 sono analizzate dalla commissione dei referee di INFNGrid insieme ai referee del Calcolo di LHC e si suggerisce il finanziamento su fondi delle CNS1, CNS2 e CNS3 Evitare assolutamente la dispersione geografica di potenza di calcolo. Non necessaria in questa fase del progetto Missioni Interne ed Estero finanziate dietro la presentazione di un piano di lavoro dettagliato, rigettare ogni criterio algoritmico basato sui FTE (dai referee)

13 13 INFN-Grid: Richieste dei Referee per il 2000-2001 Determinazione della Attivita’ delle Sedi nei vari Tasks dei WP (Chi fa che cosa) Milestones dettagliate Status Report mensile sui progressi del lavoro.

14 14 Prossima scadenza dei WP Programmazione dettagliata dei tasks e delle persone per ogni task per l’anno 2001.

15 15 Alcuni commenti sullo stato dei WP WP1 : sperimentazione e validazione dei servizi di Globus come servizi di base della grid, M.Sgaravatto, F.Prelz –WP semestrale, scadenza fine 2000 –CA e security, R.Cecchini, F.Prelz e G.Lo Biondo –GIS, G.LoBiondo, G.VitaFinzi –GRAM e Job Manager (LSF, PBS, Condor), M.Sgaravatto –Kit di installazione, F.Donno Necessità di main power per GIS e Security

16 16 WP 2.1: programma complementare e a supporto del WP1 di DATAGRID di cui e’ responsabile l’INFN. –Man power su fondi europei di DATAGRID –Lavoro in corso: broker semplici per job di produzione su grid, F.Prelz –Collaborazione con M.Livny di Condor e S.Tuecke di Globus –Sedi: Bologna, Catania, CNAF, Ferrara, Lecce, Milano, Padova, Roma, Torino, Nuove adesioni sono benvenute

17 17 WP 2.2: programma complementare e a supporto del WP2 di DATAGRID di cui e’ responsabile il CERN. –Coord. L.M.Barone, L.Silvestris –Sedi: Bari, Pisa, Roma. WP 2.3 : grid application monitoring ; si sta ancora valutando l’impegno INFN. Coord. D.Galli, U.Marconi Sedi : Bologna, Catania Necessità di man power

18 18 WP 2.4, Computing Fabric & Mass Storage –Coord. G.Maron, M.Michelotto –Sedi: Bologna, Catania, CNAF, Genova, Lecce, LNL, Padova, Roma, Torino WP5 Network (vedi presentazione di T.Ferrari)

19 19 DATAGRID Testbed Release 0 Working plan

20 20 Goals of Testbed0 Globus services deployment at european level, main coordination issues: – Information services –Resources access:Certification, Security and policies management –Installation kit Network layout and monitoring first middle-ware tools first applications

21 21 Working Model Testbed WP will provide the basic layout for the test activity of each DATAGRID WPs. Each WP will produce a I Release. A team with people from the WPs, applications and testbed will organize the test environment for this release, do the validation tests and provide the version II of the release. Then a new team including also users will organize a quasi- production environment in order to validate the release version for production. A schema of the working model is described below.

22 22 MIDDLEWARE AND APLLICATIONS Specific WP test activity WPx team I WP Release + appl. test Testbed + WPx + appl. Team II Release test in larger environment Testbed + appl. Team III Release for productionUsers Team RELEASE i (0 to 3) NETWORKNETWORK TESTBEDTESTBED Development Version Production Version

23 23 Testbed organization Permanent Group –Organization and site contacts –Steering group Requirements group ( WPs Middleware, applications) Information service Certification Authority and Security Network layout and services –Testbed support Release Teams: one team for each Release

24 24 Partners ZIB (Berlin) PPARC RAL CNRS IN2P3 Cesnet CERNINFNSpain IFAE IFCA ESA LIP (Lisboa) Russia

25 25 INFN Contact people Testbed: A.Ghiselli, L.Gaido Grid basic services coordination : Massimo Sgaravatto, F.Prelz Information service : Giuseppe LoBiondo, G.Vitafinzi Security service : Francesco Prelz, Giuseppe LoBiondo Release distribution and documentation : Flavia Donno Certificate Authority : Roberto Cecchini Network coordination : T.Ferrari, L.Gaido Applications : –CMS: Ivano Lippi, Claudio Grandi, Giuseppe Bagliesi, Lucia Silvestris, Luciano Barone, –Atlas: Lamberto Luminari, Bianca Osculati, Silvia Resconi, –LHCb: Roberta Santacesaria, Vincenzo Vagnoni, Stefania Vecchi, –Alice: Roberto Barbera, Piergiorgio Cerello, Marcello Castellano, M.Luisa Luvisetto.

26 26 Resources : –the initial resources capacity will be based on a small amount of cpu and disk (called quantum grid) in each site. The installation of the quantum grid will be accomplished by the end of the year. –During next year (2001) the LHC experiments are planning to integrate the testbed with capacity of ~200 boxes, with single o dual CPUs, and 15 TB of disks. Site in Italy : –Bologna, CNAF, Catania, Legnaro, Milano, Padova, Pisa, Torino, Roma

27 27 Coclusioni Ci sara’ una riunione del Testbed0 di DATAGRID all’inizio di Dicembre 2000 dove verra’ discussa l’organizzazione, il working model e il programma di test.