1/13Riunione testbed INFNGRID 17.1.2003 CNAF Rapporto sullattivita del gruppo di testing INFNGRID Antonio Forte Alessandro Cavalli Gennaro Tortone Livio.

Presentazione sul tema: "1/13Riunione testbed INFNGRID 17.1.2003 CNAF Rapporto sullattivita del gruppo di testing INFNGRID Antonio Forte Alessandro Cavalli Gennaro Tortone Livio."— Transcript della presentazione:

1 1/13Riunione testbed INFNGRID 17.1.2003 CNAF Rapporto sullattivita del gruppo di testing INFNGRID Antonio Forte Alessandro Cavalli Gennaro Tortone Livio Salconi Mario Reale

2 2/13Riunione testbed INFNGRID 17.1.2003 CNAF Argomenti Cosa e stato fatto fino ad ora Collaborazione con EDG Cosa rimane da fare e punti aperti

3 3/13Riunione testbed INFNGRID 17.1.2003 CNAF Cosa e stato fatto fino ad ora: una test suite integrata Progettata una test suite integrata a vari livelli : –Test a Macchina stand-alone –Test a Macchina in rete –Test della Macchina inserita nel sito locale GRID –Test della Macchina inserita su tutto il testbed GRID Scritti i requirements Sviluppata in /bin/bash la parte di test dei primi 3 livelli : test di corretta installazione e configurazione dei principali GRID elements : UI, SE, RB, CE, WN

4 4/13Riunione testbed INFNGRID 17.1.2003 CNAF Struttura della test suite Insieme di funzioni di base svolte da script di core ( controllo esistenza di un file, controllo del valore di una variabile dentro un file, scaricamento dal repository della lista di riferimento degli RPMs…) Script specifici per ogni GRID element (ad es. ComputingElement.sh), disponibili in /sbin File di customizzazione specifico (layout.sh) di un dato sito GRID ( VO supportate, nomi macchine….)

5 5/13Riunione testbed INFNGRID 17.1.2003 CNAF Descrizione testsuite Tutto il codice sul server CVS INFN: –http://cvs.infn.it/cgi-bin/cvsweb.cgi/testgrid/http://cvs.infn.it/cgi-bin/cvsweb.cgi/testgrid/ File excel per descrivere i test attualmente implementati: –http://cvs.infn.it/cgi-bin/cvsweb.cgi/testgrid/EDG- 1.2/doc/EDG-InstallConfig-v1.0.xlshttp://cvs.infn.it/cgi-bin/cvsweb.cgi/testgrid/EDG- 1.2/doc/EDG-InstallConfig-v1.0.xls Tarball e file RPM (relocabile) disponibili Attualmente in codice testsuite versione 1.2 per il test della release EDG 1.2.0 Documentazione disponibile sul server CVS

6 6/13Riunione testbed INFNGRID 17.1.2003 CNAF Esempio di requirements considerati (per la parte comune) –Controllo sui servizi richiesti dal sistema operativo (NTP..) –Controllo sulla presenza di files indispensabili –Controllo sulla presenza di RPM installati in base ad una lista di riferimento scaricata dal server di marianne –Controllo sugli users che devono essere presenti –Controllo sui demoni che devono essere attivi (daemons) –Parametri indispensabili dentro a /etc/globus.conf –Controllo delle variabili di ENV –Controllo sulle porte occupate –Controllo dei mount points –Librerie e componenti (files) di GDMP –Controllo di files e demoni d GRID Info Systems (GRIS) –Controllo sulla security e files indispensabili delle CA

7 7/13Riunione testbed INFNGRID 17.1.2003 CNAF Assunzioni di base per limplementazione /bin/bash usato dappertutto Distinzione tra funzioni di core e script specifici delle macchine Codici di ritorno per le funzioni: – 0 = OK – 1 = fallimento – 2 = mancano parametri nella call EDG Release di riferimento: 1.2.0

8 8/13Riunione testbed INFNGRID 17.1.2003 CNAF Funzioni di core ceinfoprovcheck.sh checkbrokerinfo.sh checkenvvariable.sh checkglobusconfparam.sh checkmultipleservices.sh checknfsmount.sh checkopenport.sh checkservice-ps.sh checkservice.sh checkuser.sh checkuserenv-script.sh checkuserenv.sh common.sh echofunc.sh extractglobusconfparam.sh fileexist.sh finaloutput.sh gdmpuserconf.sh getFileParam.sh getfileparamhead.sh getfileparamtail.sh getglobusconfparam.sh getportnumber_etc_services.sh getportnumber_netstat.sh getportnumber_rb_conf.sh getrpmlist.sh grisqueryce.sh grisqueryse.sh layout.sh rpm-checklist-script.sh rpmchecker.sh rpmcheckernilist.sh seinfoprovcheck.sh sourcer.sh

9 9/13Riunione testbed INFNGRID 17.1.2003 CNAF Esempio di layout.sh Uno script (layout.sh) utilizzato dagli script di ogni Grid element per la customizzazione: –SEhostname=testbed007.cnaf.infn.it –CEhostname=testbed001.cnaf.infn.it –LCFGhostname=lcfgsrv –DataAccessProtocol="file rfio gridftp" –SupportedVOs="tutor alice lhcb atlas cms iteam wpsix biome eo" –lcfgserveron=yes –LRMStypes="pbs lsf bqs"

10 10/13Riunione testbed INFNGRID 17.1.2003 CNAF Esempio visivo ############################# #### RPM check procedure #### ############################# verify RPM list installation ################################################## # downloading the list from datagrid.in2p3.fr.... ################################################## --16:47:09-- http://datagrid.in2p3.fr:80/autobuild/rh6.2/rpmlist/ RB-All-v1_2_0.html => `CE-v1_2_0.html' Connecting to datagrid.in2p3.fr:80... connected! HTTP request sent, awaiting response... 200 OK Length: 49,035 [text/html] 0K ->............................................... [100%] 16:47:10 (123.42 KB/s) - `CE-v1_2_0.html' saved [49035/49035] verify RPM list installation rpmchecker(): ca_CERN-0.8-1 NOT INSTALLED ! rpmchecker(): ca_CESNET-0.8-1 NOT INSTALLED ! rpmchecker(): ca_CNRS-0.8-1 NOT INSTALLED ! rpmchecker(): ca_CNRS-DataGrid-0.8-1 NOT INSTALLED ! rpmchecker(): ca_CNRS-Projets-0.8-1 NOT INSTALLED ! rpmchecker(): ca_DOESG-0.8-1 NOT INSTALLED ! [FAILED] ############################### #### MDS / GRIS QUERY #### ############################### grisqueryce Analizyng ceId: ceid=testbed001.cnaf.infn.it:2119/jobmanager-pbs-short Analizyng closeSE: closese=grid007g.cnaf.infn.it Analizyng ceId: ceid=testbed001.cnaf.infn.it:2119/jobmanager-pbs-medium Analizyng closeSE: closese=grid007g.cnaf.infn.it Analizyng ceId: ceid=testbed001.cnaf.infn.it:2119/jobmanager-pbs-long Analizyng closeSE: closese=grid007g.cnaf.infn.it Analizyng ceId: ceid=testbed001.cnaf.infn.it:2119/jobmanager-pbs-infinite Analizyng closeSE: closese=grid007g.cnaf.infn.it The GRIS for the Computing Element is up and data returned is complete [ OK ]

11 11/13Riunione testbed INFNGRID 17.1.2003 CNAF Esempio di output finale ################################################## # FINAL TEST RESULT : NOT PASSED # ################################################## [FAILED] ################################################## # TOTAL NUMBER OF SUCCESSES = 32 # TOTAL NUMBER OF FAILURES = 11 ##################################################

12 12/13Riunione testbed INFNGRID 17.1.2003 CNAF Collaborazione con EDG La nostra testsuite e stata integrata completamente nella test suite di EDG, di cui rappresenta la parte Install & Config tests Nostra partecipazione attiva alle attivita, phoneconf e riunioni EDG TSTG Primo meeting europeo qui a Bologna il 9.12.02 Moltissimo interesse da parte di EDG a quanto fatto da noi, gia integrato ed utilizzato

13 13/13Riunione testbed INFNGRID 17.1.2003 CNAF Cosa rimane da fare/punti aperti Completare/Integrare con i test di funzionalita (sottomissione, data management ) Fare il porting alla versione EDG 1.4.3 Integrare il nostro lavoro nella release stessa di EDG (non dopo) Chiarire future goals e soprattutto prospettive di man power in ambito INFNGRID e EDG Creare un task di testers che lavori in maniera sincrona ed integrata con gli sviluppatori EDG, per velocizzare tutto, in vista di EDG 2.0 (maggio) Completare con i GRID elements mancanti RC, MDS, MyProxy, e dopo R-GMA e VOS