18/2/2000M.Mazzucato - Riunione GRID1 IL PROGETTO GRID INFN žSCOPO: Studio e sviluppo di una infrastruttura di calcolo per lINFN distribuita su area geografica.

Presentazione sul tema: "18/2/2000M.Mazzucato - Riunione GRID1 IL PROGETTO GRID INFN žSCOPO: Studio e sviluppo di una infrastruttura di calcolo per lINFN distribuita su area geografica."— Transcript della presentazione:

1 18/2/2000M.Mazzucato - Riunione GRID1 IL PROGETTO GRID INFN žSCOPO: Studio e sviluppo di una infrastruttura di calcolo per lINFN distribuita su area geografica e connessa da una rete ad alta banda a strutture simili in corso di sviluppo negli altri paesi europei. Lo sviluppo dellarchitettura e dei tools software necessari sara fatto in collaborazione con le altre Istituzioni dei paesi europei (UK-RAL,FR-In2p3,SP-IFAE…) allinterno di un progetto europeo comune žREQUIREMENTS : linfrastruttura di calcolo dovra essere capace di soddisfare i bisogni di calcolo dei moderni esperimenti e in particolare quelli degli esperimenti a LHC e Virgo che sono ordini di grandezza superiori di quelli attualmente in corso al CERN. I risultati degli studi del progetto Monarc costituiranno un costante punto di riferimento per lo sviluppo del progetto

2 18/2/2000M.Mazzucato - Riunione GRID2 Storia del progetto GRID INFN žDallinizio del 1999 il CNTC ha cominciato a discutere ed esaminare le tecnologie piu adatte a soddisfare i bisogni di calcolo degli esperimenti a LHC e in particolare a realizzare il sistema di Centri Regionali distribuito a vari livelli (Tier1..Tier4) proposto da Monarc. Vedi verbale CNTC 16/4/99 žRiunione congiunta con esperimenti 28/6/99 a Napoli per definire i requirements e computing models favoriti çIndicazione verso Centri Regionali distribuiti Tier1…Tier4 žWorkshop CNTC di Martina Franca 28/10/99. Definizione di un programma di attivita per CNTC ed esperimenti a LHC e Virgo per arrivare a formulare una proposta di sperimentazione di una infrastruttura di calcolo distribuita in linea con i requirements žWorkshop di Milano 16/12/99 e CNTC 21/12/99 a conclusione di un primo ciclo di discussioni nel CNTC, allinterno degli esperimenti e di valutazioni tecniche approfondite çConferma orientamento verso la sperimentazione di tenologie atte a realizzare Centri Regionali distribuiti çOrientamento verso la sperimentazione delle Computing GRID

3 18/2/2000M.Mazzucato - Riunione GRID3 Levoluzione del progetto Europeo žDiscussioni a livello Europeo in parallelo con le discussioni interne allINFN sulla stessa tematica žMeeting tra EU and HEPCCC in Novembre 99 çincoraggia la formulazione di un progetto europeo che affronti lo sviluppo di una tecnologia adeguata ad affrontare la problematica del calcolo distribuito alla scala degli esperimenti LHC žDirettivo INFN di Dicembre 99 da mandato a M. M. e F. Ruggieri a partecipare alle riunioni per il lancio del progetto žKick-off meeting al CERN 11 gennaio, 2000 çOK dal CERN e dai membri di In2p3, RAL-Pparc, Ifae, Nikhef, Ung. ç2 Task forces: preparazione parte tecnica e proposal žLa EU incoraggia a sottomettere un proposal per il 10 Maggio 2000 ž13 Febbraio 2000 sottomesso alla CE outline del progetto

4 18/2/2000M.Mazzucato - Riunione GRID4 Descrizione del Progetto Europeo žScopo : Sviluppo e dimostrazione di WA Comp. Fabric žFocalizza gli sforzi per risolvere le tematiche che sono caratteristiche del mondo della fisica delle Alte Enegie e Nucleare e non sono coperte da altri progetti di GRID : çmanagement di grandi quantita di dati (Pbytes) çhigh throughput computing çmanagement delle computing fabrics locali e wide-area GRID žSviluppo del Middleware žRealizzazioni di Testbed demonstrators usati su casi reali žCollaborazione con altre scienze çOK a partecipare da parte di una collaborazione di Istituti Metereologici Europei organizzata da CNR-Bologna žCollaborazione con lIndustria çPartners Italiani

5 18/2/2000M.Mazzucato - Riunione GRID5 EU-Project : Workprogramme žR&D required on: çAdaptability çScalability çWide-area distribution of resources žTentative Workpackages: çcomputing fabric management çmass storage management çwide area data management çwide-area workload management çwide-area application monitoring çapplication development/adaptation žDevelop in the light of todays workshop

6 18/2/2000M.Mazzucato - Riunione GRID6 EU-Project : Resources çNational/regional part of the GRID funded by national agencies çHigh performance bandwidth across sites to be provided by other initiatives (Geant?) çEU financial support for development of midddleware, overall integration and operation of testbeds çSupport for exchange of staff and dissemination of information (workshops, conferences etc)

7 18/2/2000M.Mazzucato - Riunione GRID7 Prospettive e benefici dal Progetto GRID per lINFN žSfruttamento ottimale delle risorse di calcolo e di storage presenti nellINFN e in HEP tramite lo sviluppo di un software middleware di alto livello che consentira un accesso trasparente a tutte queste risorse žAcquisizione di una tecnologia di frontiera che in prospettiva potrebbere trovare una larga applicazione in: çAltri settori scientifici che hanno un comune il problema dellaccesso e dellanalisi distribuita di grandi moli di dati çSettori commerciali come ISP/ASP che si trovano a fronteggiare lesigenza dello sviluppo di cluster scalabili in siti centrali diversi per fronteggiare la domanda che viene dal Web, dalle ricerche su grandi archivi di dati e dal commercio elettronico

8 18/2/2000M.Mazzucato - Riunione GRID8 Alcuni numeri per il progetto Europeo ed INFN Estimated computing resources required at CERN for LHC experiments in 2006 (Da Tech prop. e Monarc) ž collaborationALICEATLASCMSLHCBTotal žCPU capacity (SPECint95)2006450,000600,000600,00070,0001,720,000 ž annual inc.150,000200,000200,00015,000565,000 žestimated # cpus in 20062,2503,0003,0003508,600 ždisk capacity (TB) in 2006300550550801,480 ž annual inc.9020020020510 žmag. tape capacity (PB)20063.73.43.41.411.9 ž annual inc.2.02.02.00.96.9 žaggregate I/O rates (GB/sec)disk10010010012312 ž tape1.20.40.40.22.2 çSPECint 95: A modern PC has a performance of roughly20-30 SPECint95s. We expect this to grow to around 200 SPECint95s by 2006.

9 18/2/2000M.Mazzucato - Riunione GRID9 Assunzioni Progetto Europeo žEstimated computing resources for an LHC Regional Computing Centre (2006) (Da Monarc) žCPU capacity120,000 SI95 ždisk capacity110 Tbytes ždisk I/O rate20 GBytes/sec žtape storage0.4 PetaBytes žWAN connection2.5 Gbits/sec

10 18/2/2000M.Mazzucato - Riunione GRID10 I TESTBEDS DEL PROGETTO EUROPEO E INFN žE opinione condivisa in Europa e in USA che per sviluppare la tecnologia GRID adatta a risolvere i problemi del calcolo dei futuri esperimenti sia necessario sviluppare dei testbeds che si sviluppino nel tempo fino ad arrivare a una dimensione non trascurabile di quanto sara necessario per LHC (5-10%) žQuesto deriva : çDalla complessita del Calcolo a LHC che al momento non ha uguali in altri settori scientifici o della societa ma pero anticipa le esigenze di questi (vedi talk Obectivitj e Nag a Chep2000) çDalla recente esperienza di Babar che ha mostrato come a questo livello di complessita i problemi non scalino žSi ritiene quindi che la validazione del middleware debba essere fatta su un Tier0 di circa il 50% di un centro per un esperimento LHC 2006 e su centri regionali fino al 20% negli altri paesi Europei

11 18/2/2000M.Mazzucato - Riunione GRID11 Capacity targets for the Testbed at CERN ž unitsend 2000end 2001end 2000 žCPU capacitySI9520,00070,000300,000 žestd. number of cpus4001,0003,000 ždisk capacityTBytes2060250 ždisk I/O rateGBytes/sec51550 žtape storage – capacity PB0.20.31.0 ž-sustained data rate MB/s2505001,000 žWAN links to ext. sitesMbs1556222,500

12 18/2/2000M.Mazzucato - Riunione GRID12 TEMPI DI PREPARAZIONE PROGETTO Eu-Grid Prossime scadenze Eu-Grid e conseguenze per lINFN ž7 Marzo : Workshop al CERN per definire il workplan e i packages da sviluppare çIl gruppo tecnico Grid-INFN ha gia formulato le proposte INFN ž15 Marzo : Preparazione Draft con Workplan, schedule, risorse çApprovazione del Draft da parte Management INFN ž30 Marzo : finalizzazione del progetto : Istituzioni partecipanti, risorse richieste, piano attivita, deliverables, schedule etc.. Inizio Scrittura Progetto Eu-Grid ž30 Marzo - 30 Aprile : finalizazzione documento da sottomettere alla firma delle Istituzioni partecipanti ž30 Aprile -10 maggio : Firma del documento dai rappresentanti delle Istituzioni

13 18/2/2000M.Mazzucato - Riunione GRID13 STATO PREPARAZIONE PROGETTO INFN-Grid Scala dei tempi concordata nella riunione CNTC del 28/10/99 žInizio immediato allinterno degli esperimenti della discussione sullo sviluppo della tecnologia per i Centri regionali LHC e Virgo žCostituizione immediata di un gruppo tecnico per la valutazione delle tecnologie. Riunioni al CNAF 29/11/99, 14/12/99 ž26 Febbraio : Documenti finali approvati ufficialmenti dgli esperimenti e contenenti : çIndicazione del modello di computing che si intende adottare per la sperimentazione *Struttura gerarchica distribuita Tier1..Tier4 alla Monarc *Sedi che intendono partecipare alla sperimentazione e in che ruolo *Scelta della tecnologia di base per linizio della sperimentazione *Piano di attivita per lutilizzo dei test beds *Manpower disponibile per lo sviluppo della tcnologia

14 18/2/2000M.Mazzucato - Riunione GRID14 Le decisioni preliminari degli esperimenti :CMS Verbale della riunione di CMS Italia a Firenze 25/11/99 (P. Capiluppi- Comp Coord CMS) žCMS Italia preferisce un Centro Regionale (Tier1) presso una unita INFN coinvolta in CMS çLa complessita del calcolo a LHC richiede infatti la possibilita di accedere direttamente con privilegi ai sistemi specialmente nella fase iniziale di sperimentazione( Reboot, kill di jobs, daemon etc.) žCMS Italia preferisce un Centro Regionale Tier 1 distribuito misto che vede una sede come riferimento primus inter pares žCMS Italia ritiene che si debba rapidamente andare verso sperimentazioni reali di un Centro Regionale del tipo proposto utilizzando gli studi HLT come use case reale Verbale della riunione CMS Comp. Italia a Padova 11/2/2000 (P. Capiluppi) žLe tecnologie di Grid (e Globus) sono da sperimentare in quanto possono costiture il mezzo per realizzare il calcolo distribuito (e gerarchico) necessario ad LHC e all'INFN (CMS). La partecipazione di CMS deve essere chiara e qualificata per lo sviluppo dei tools che costituiranno la base dei Centri Regionali. žCMS Italia intende pertanto partecipare al Progetto di Grid Europea con tutte le risorse che riuscira' a mettere in campo.

15 18/2/2000M.Mazzucato - Riunione GRID15 Le decisioni preliminari degli esperimenti : ATLAS Mail di L. Perini (Comp. Coord. Atlas) 15/2/2000 žATLAS-Italia e' intenzionato a realizzare un RC (Tier1) in Italia per lo start-up di LHC. ž L'ipotesi preferita per l'implementazione si avvale dei servizi forniti dai Consorzi di Calcolo per l'outsourcing del personale di tipo sistemistico e presumibilmente per ospitare l'hardware di calcolo (di proprieta' INFN) žATLAS-Italia e' interessato alla sperimentazione dei tools di GRID, come delineato nel progetto EU-GRID, per realizzare in modo trasparente la distribuzione delle risorse di calcolo e dei dati fra i diversi Tier-n a disposizione della Collaborazione žLa realizzazione per il 2003 di un prototipo in scala circa 20% dell'installato prevedibile per il 2006 presenta molti vantaggi žI siti individuati per la partecipazione alla fase iniziale di prototipizzazione sono due: Roma1 e Milano, con Roma1 capofila

16 18/2/2000M.Mazzucato - Riunione GRID16 Le decisioni preliminari degli esperimenti : ALICE Mail di A. Masoni (Comp Coord. Alice) 17/2/2000 žDato il ruolo che la collaborazione italiana ricopre all interno di ALICE si ritiene necessario poter avere un centro regionale Tier1 in Italia žSi ritiene che la tecnologia della GRID possa costituire un valido approccio. ALICE-Italia è pertanto disponibile a partecipare allattività di sperimentazione di prototipi di centri regionali con tecnologia GRID žSi ritiene che la strutturazione definitiva in termini di centri Tier-1,2,3 debba venire dai risultati della sperimentazione. L orientamento attuale è verso una architettura basata su un centro Tier1 distribuito fra due o tre sedi e tre o più centri Tier2. Una struttura di questo tipo tiene conto della distribuzione delle risorse nelle varie sedi e ne consentirebbe un ottimale utilizzo.

17 18/2/2000M.Mazzucato - Riunione GRID17 Le decisioni preliminari degli esperimenti : Virgo žMail di F. Ricci (17/2/99) žCome Ti avevo assicurato nella riunione di Milano della commissione da Te presieduta mi sono fatto carico di innescare nell'ambito della parte italiana dell'esperimento la discussione relativa al problema della partecipazione di Virgo alla sperimentazione di Grid. žSi e' avuta una rapida convergenza sul manifestare la nostra disponibilità a tale processo di sperimentazione ed abbiamo individuato un gruppo di persone, (praticamente uno per ciascuna sezione partecipante al progetto Virgo) che possano dedicare una limitata percentuale del loro tempo a questo scopo. žNoi siamo coscienti che Grid non risolve da solo il problema del calcolo di Virgo ma che si tratta certamente di una strada da esplorare insieme con la costituzione di solidi centri fortemente interconnessi per l'elaborazione ed il calcolo dei dati dell'esperimento. žSono quindi nella condizione di assicurarTi, come Virgo Italia, il nostro pieno interessamento allo sviluppo di questi progetti

18 18/2/2000M.Mazzucato - Riunione GRID18 INFN-GRID : future scadenze (da discutere..) žDal 26 febbraio inizio scrittura progetto INFN GRID ž30 Marzo preparazione draft contenente çworkplan INFN-Grid çcontributo INFN EU-Grid çmanpower disponibile çpiano attuazione testbeds çschedule e milestones ž30 Marzo -30 Aprile discussione draft nellINFN e finalizzazione progetto ž30 Aprile presentazione progetto per lapprovazione finale in sintonia con il progetto EU-Grid

19 18/2/2000M.Mazzucato - Riunione GRID19 INFN-GRID : Piano di attivita žContributo allo sviluppo dei tools comuni nel progetto Eu-Grid žRealizzazione dei servizi necessari allimplementazione dei tools per tutto lINFN çCertification authority INFN riconosciuta da Eu-Grid e Us- Grid çImplementazione del sistema di Security per lutilizzo delle risorse e delle infrastrutture GRID INFN e Internazionali çSviluppo di Information Server INFN per lallocazione e la gestione delle risorse INFN žImplementazione di test beds secondo le necessita dei futuri esperimenti žCollaborazioni con altri settori scientifici (Istituti metereologi…) in Italia per la generalizzaione dei tools e dei servizi žCollaborazione con partner industriali italiani per il traferimento tecnologico

20 18/2/2000M.Mazzucato - Riunione GRID20 RISORSE : EU-GRID žResources (initial estimates) žMiddleware development. Mostly young researchers and software engineers. Industrial participation. Four teams of 4-5 persons at CERN plus 2-3 other sites. Total EU funded effort 20 person/year per 3 years = 60 PY = 5 M žCERN and the other partners will provide system support, training and management (4 senior system programmers plus 4 senior managers during 3 years). Total = 24 PY = 4 M EU unfunded effort žTestbed expertise and coordination: central team of 4-5 persons at CERN, 3 persons in larger partners and 1-2 in smaller. Total EU funded effort 20 persons/year = 60 PY = 5 M žApplications: 5 persons in HEP, 5 persons in Biology and 5 persons in the other science = 15 person-years per year EU funded effort = 4 M. The consortium will provide at least twice as much effort, equivalent to 8 M.

21 18/2/2000M.Mazzucato - Riunione GRID21 žOverheads: Relocation of staff, travel subsistence: 1 M per year = 3 M žDissemination and workshops: 1 M in total žNetworking: provided by other EU funded projects (estimated at 5 M per year) žMaterials budget for test beds: CERN (3000 CPUs = 2 M funded plus 1 M unfunded; disks = 300 TB = 4 M funded plus 2 M unfunded; mass storage = 1 M funded plus 1 M unfunded). Total for CERN: 11 M (7 M EU funded + 4 M EU unfunded); Extensions to nationally funded testbeds: 5 M distributed between the partners. Total EU funded materials = 12 M. žTotal financial envelope: žEU funded: 18 M for personnel (and overheads) and 12 M for material = 30 M žFunded by the partners: 12 M for personnel and 18 M for materials = 30 M žNetworking: 15 M (estimated) to be provided by Géant or other network projects.

22 18/2/2000M.Mazzucato - Riunione GRID22 Risorse e manpower per INFN GRID (preliminare..) žGli esperimenti a LHC prevedono dal 2001 al 2003 degli studi approfonditi per lo studio delle performance del rivelatore, del trigger e del software con numero crescente di eventi da simulare, ricostruire e analizzare çCMS HLT: vari campioni di 10**7 eventi nel 2003 çAlice : Mock data Challenge çAtlas : Mock data Challenge in corso di definizione žSi e proposto di dimensionare i test bed di INFN GRID in modo che possano rispondere a queste esigenze žLe esigenze di test beds per LHC-B, Virgo e altri esperimenti saranno incorporate non appena definite žUna prima stima del finanziamento necessario in 3 anni e ~18-20 Glit ž(4.5, 4.5 e 9 Glit) žLa prima stima del manpower disponibile per il progetto Eu-Grid e INFN-Grid e di circa 20-25 FTE

23 18/2/2000M.Mazzucato - Riunione GRID23 EU-GRID e INFN GRID : Conclusioni žLo sviluppo della tecnologia delle GRID sta attirando risorse e progetti sempre piu numerosi in tutto il mondo žA Padova dopo Chep2000 sabato 14 piu di 100 persone hanno aprtecipato al workshop sulle GRID e alla discussione dei progetti Eu- GRI žIn USA oltre ai progetti HEP PPDG e Griphyn la NASA sta realizzando il primo sistema di produzione basato sulla tecnologia GRID e sui tools di Globus žLINFN come e apparso dal workshop sulle GRI

24 18/2/2000M.Mazzucato - Riunione GRID24 EU-GRID e INFN GRID : Conclusioni žLo sviluppo della tecnologia delle GRID sta attirando risorse e progetti sempre piu numerosi in tutto il mondo žA Padova, dopo una settimana di Chep2000, sabato 14/2, piu di 100 persone, inclusi i responsabili del Computing dei maggiori laboratori, hanno partecipato al workshop sulle GRID, organizzato dallINFN e alla discussione dei progetti EU-GRID, US-GRID e alla collaborazione EU-US in questo campo ž~70 persone hanno parteipato al GRID tutorial di Carl Kesselman (co- autore del libro GRID con Ian Foster anchesso presente), organizzato dallINFN žIn USA oltre ai progetti HEP PPDG e Griphyn la NASA sta realizzando il primo sistema di produzione basato sulla tecnologia GRID e sui tools di Globus žLINFN come e apparso dal workshop e allavvanguardia per lesperienze fatte con Condor e i test beds di Globus žOccorre mantenere liniziativa adottando strutture organizzative adeguate come raccomandato unanimente dal CNTC