Testbed release: processo di integrazione e validazione A. Ghiselli, L. Gaido.

Presentazione sul tema: "Testbed release: processo di integrazione e validazione A. Ghiselli, L. Gaido."— Transcript della presentazione:

1 Testbed release: processo di integrazione e validazione A. Ghiselli, L. Gaido

2 L attivita principale del testbed consiste in: - validazione delle release sw prodotte dai WP di sviluppo - integrazione delle release dei singoli WP per produrre la release generale (Testbed release) - validazione della Testbed release - rilascio ufficiale e distribuzione della release

3 Affinche questo processo sia possibile altre attivita sono svolte parallelamente. Esse riguardano: - Information Service - autorizzazione e security - produzione dei kit di installazione - monitoring - allocazione risorse per i test - validazione infrastruttura di Testbed - organizzazione del supporto

4 Validazione sw prodotto dai WP La prima fase di validazione consiste nella verifica che il sw prodotto sia funzionante e rispondente ai requirements. Per fare questo e necessario che: - i WP che hanno prodotto il sw forniscano, insieme ad esso, dei semplici programmi (benchmarks) che siano in grado di testare le caratteristiche specifiche del sw prodotto - persone del WP che ha prodotto il sw partecipino allattivita di test (abbastanza scontato)

5 Al termine della prima fase di validazione del sw e necessario integrarlo con il software prodotto dagli altri WP. Chi se ne deve occupare? Finora (Testbed0)…. LINFN ha prodotto il kit di installazione del sw di Grid e ne ha fornito supporto anche per DataGrid. Ha mantenuto, inoltre, il contatto con tutti i soggetti coinvolti nella produzione di kit: - WP4 (prototipo basato su LCFG a Bo e Pd) - WP8 (kit installazione sw di esperimento) - WP12 (linee guida, dipendenze,…) - altri WP (gdmp, etc.)

6 Il release team di INFNGRID sta confezionando un meccanismo per il packaging del software di griglia, in armonia con i requirements dettati dal WP4. A Giugno/Luglio, il WP6 sara in grado di testare questo nuovo meccanismo di distribuzione in ambito del software di installazione del WP4 per le farms. Con i francesi (che hanno la responsabilita del WP6) si sta creando un repository di sorgenti e binari del prodotto a partire dal mese 9 Per quanto riguarda il futuro lINFN ha elaborato una proposta che verra sottoposta al WP6 di DataGrid.

7 Testbed release The production of a Testbed Release consists of two main phases: - Middleware Integration, producing the first Testbed Release (or Beta Release) - Testbed Release Validation, producing the "Testbed Official release". Each phase has specific objectives and will have a specific team.

8 Middleware Integration In order to understand the most suitable organization could be useful to analyze the input, the sequence of the operation and the output of the integration process. Input 1. each WP will present its software package with the following information (to be agreed with the WPs): A Software Product Description document References to other WPs' package References to external software (if any) Test suite WP person (1-2) responsible of the package

9 Input 2. Testbed software repository; where all the WPs' packages will be available for the integration. Each WP package should be conform to well defined guidelines (WP12 Recommendations).

10 Integration Team setup The WPs managers and the Testbed permanent group on the Input basis, will decide : 1. the composition of the Integration team, taking into account the following components: - WPs package responsible(s) - Testbed software packaging and installation kit responsible (group) - Testbed basic service people (if required) - QA person 2. Team coordinator 3. Testbed resources

11 Integration Team operations The team will make a plan about: - How to produce the integrated package and the installation kit - The test suite of the integrated package At the end, the team will present the Testbed release 1, included documentation and test suite, that will be the input of the "validation Process'.

12 Schema nel doc word

13 Da fare: - costruire il primo release team (per il mese 9)

14 Come effettuare i test (sulle risorse del testbed) 1) I richiedenti il test (RT) presentano la richiesta al Planning Group contenente: - le finalita e le caratteristiche del test - le risorse necessarie (farm, siti, rete, altro) - i partecipanti al test - indicazione del test manager (riferimento globale per il test) 2) Il Planning Group (PG) si attiva per vedere quali sono le implicazioni delle richieste del test per quanto riguarda i servizi di grid coinvolti, le risorse disponibili, etc. Il Planning Group manda le info necessarie (fra cui le risorse assegnate) per il test al richiedente (RT), al test manager (TM) e allerta i site manager coinvolti.

15 Come effettuare i test (sulle risorse del testbed) 3) Test manager: - verifica che le risorse assegnate siano disponibili - in collaborazione con il resource database manager alloca le risorse (nel database XML) - in collaborazione con l LDAP manager crea i grid-mapfile - si mette in contatto con i site manager per la definizione degli account e trasmette loro i grid-mapfile necessari per il test - alla fine del test redige un report 4) LDAP manager: - prepara utenti/gruppi nel database - costruisce i grid-mapfile in collaborazione con il Test Manager 5) Site manager: - preparano le farm configurando lambiente richiesto per il test - creano gli account e aggiornano il grid-mapfile - forniscono supporto al test manager ed ai partecipanti al test

16 Come effettuare i test (sulle risorse del testbed) 6) Utenti: - eseguono il test coordinati dal TM - si rivolgono ai site manager ed alla struttura di supporto in caso di problemi 7) Responsabili WP: - supervisionano tutta lattivita dei test

17 Come effettuare i test (sulle risorse del testbed) Tools necessari: - form per fare la richiesta di test (con info obbligatorie) - il database delle risorse deve contenere piu informazioni (sw grid installati sulle farm, sw di esperimento, versioni, flag di occupato possibilmente associato ad un periodo temporale, etc. ) - e meccanismo di ricerca rapido delle risorse nel DB (per poter selezionare quelle che hanno certe caratteristiche) - database LDAP con i certificati per la creazione automatica dei grid-mapfile - tool di validazione dellinfrastruttura del Testbed (benchmarks, etc.)

18 Vedi schema dal file word

19 Planning Group (mancano i nomi definitivi) Testbed coordinators: Antonia Ghiselli, Luciano Gaido WP requirements: (WP managers?) Applications: -CMS: C. Grandi, G. Bagliesi,...... -Atlas: L. Luminari, B. Osculati, S. Resconi,...... -LHCb: R. Santacesaria, V. Vagnoni, S. Vecchi,....... -Alice: R. Barbera, P. Cerello........ -Virgo: C. Palomba, A. Euleteri, F. Barone, F. Ricci,.......... Release distribution and documentation : F. Donno, A. Sciaba, S. Barale Network coordination : T. Ferrari, L. Gaido Grid basic services coordinators: - Information service : A. Cavalli, L. Fonti, F. Semeria, G. Vitafinzi, A. Bassi - Security service: R. Alfieri, L.DellAgnello, R. Cecchini, A. Gianoli - Monitoring: F. Semeria, R. Barbera

20 Ulteriore problema e il supporto: E stata elaborata una proposta da sottoporre al WP6 di DataGrid. Due livelli: - central management - local management

21 Central management and support: Central Admin-group The Admin-Group will act as central management group and has to provide: · Configuration, tuning and overall maintenance of the DATAgrid Testbed software release · Configuration, tuning and overall maintenance of the globus software · Management tools · Activity reports · Resourse statistics (CPU, Network, ) · Guidelines about the testbed and Globus releases that have to be installed · Help desk for users and local administrators · Interface to the Globus support-team and the WPs contacts for software problems handling The required man-power should be 1 person for each organization + dedicated project man-power

22 Local management and support: Local admin-group Local management has to provide: · release installation in agreement with the central management · implementation of the local usage policies · first level of the user support man-power: 2 people per site (site managers or others) vedi schema nel doc word

23 Per quanto riguarda i servizi: IS: continuano le attivita di test su MDS2 sviluppo infrastruttura basata su MDS2 per fine giugno attivita svolta in ambito DataGrid Security: partecipazione alle attivita di DataGrid (coordinamento tra CA) INFN e la piu attiva

24 Autorizzazione: attivita appena iniziata in ambito europeo lINFN si propone di coordinare questo tipo di attivita

25 Ruolo e partecipazione degli esperimenti persone FTE ALICE 5 2.2 ATLAS 6 1.2 CMS 11 3.2 LHCb 5 1.7 VIRGO 3 1 totale 30 9.3

26 CMS Maggi (BA), Capiluppi (BO), Grandi (BO), Siroli (BO), Renzi (BO), Costa (CT), Gasparini (PD), La Caprara (PD), Ronchese (PD), Sciaba (PI), Valente (Roma1) ALICE Mura (CA), Masoni (CA), Barbera (CT), Sitta (TO), Scomparin (TO) ATLAS Resconi (MI), Vercesi (PV), Marzano (RM1), De Salvo (RM1), Luminari (RM1), Stanescu (RM3) LHCb Vagnoni (BO), Galli (BO), Marconi (BO), Gianoli (FE), Santacesaria (RM1)

27 VIRGO De Rosa (NA), Eleuteri (NA), Palomba (RM1)