BaBar Tier A Administration Workshop CCR, Paestum Giugno 2003 Alberto Crescente, INFN Sez. Padova.

Presentazione sul tema: "BaBar Tier A Administration Workshop CCR, Paestum Giugno 2003 Alberto Crescente, INFN Sez. Padova."— Transcript della presentazione:

1 BaBar Tier A Administration Workshop CCR, Paestum Giugno 2003 Alberto Crescente, INFN Sez. Padova

2 Alberto Crescente, servizio calcolo Padova Workshop CCR, Paestum Giugno 2003 Farm BaBar – Necessary Administration Informations ➢ Log Files ➢ Computer Model ➢ Connections Informations ➢ Computer Location ➢ Monitoring Informations ➢ Machine's Informations ➢ Temperatures, Fans ➢ CPU Load, I/O Load ➢ Hardware Errors ➢ Messages ➢ Mail ➢ Mysql

3 Alberto Crescente, servizio calcolo Padova Workshop CCR, Paestum Giugno 2003 Farm BaBar – Used Tools ➢ Machines Database (WebDB) Machine Informations (CPU, RAM, etc.) Repair Informations Machine Connections Machine Location ➢ Log Analizer (sysAlarm) Syslog analizer ➢ Performance Monitor (perfMC) CPU Load I/O Load Temperatures

4 Alberto Crescente, servizio calcolo Padova Workshop CCR, Paestum Giugno 2003 Farm BaBar – General Data Flow WebDB HTML MySQL PHP WebDB to xCAT PHP Extreme Cluster Administration Toolkit Configuration Files Clients & Servers syslogs SysAlarm Management Server syslog Script Perl /var/log/messag es SysAlarm PerfMC web server HTML/XML Language C PerfMC pooler RR D SNMP Farmcfg

5 Alberto Crescente, servizio calcolo Padova Workshop CCR, Paestum Giugno 2003 Farm BaBar – sysAlarm Data Flow Clients & Servers syslogs SysAlarm Management Server syslog MySQL Script Perl /var/log/message s SysAlarm configuration file Query

6 Alberto Crescente, servizio calcolo Padova Workshop CCR, Paestum Giugno 2003 Farm BaBar – sysAlarm Configuration File logPath./log fileToMonitor /var/log/messages # Specify the type of file to monitor ('syslog' or 'chslog') monitorType syslog debug 1 # # You can have multiple matchLine lines # matchLine rx buffer matchLine timeout waiting matchLine System Error # # this is the "basename" for the logfile # sysAlarm # Notification recipients # email program # Default message for the subject # email crescente@pd.infn.it mailBin /bin/mail emailSubject sysAlarm Notification # # database that will store log messages... # #sqlserv bbr-user sqlserv sqluser xxx sqlpwd yyy sqldb myAlarm sqltable syslog # # Choose what to do with notification messages # sendEmail 0 writeSql 1

7 Alberto Crescente, servizio calcolo Padova Workshop CCR, Paestum Giugno 2003 Farm BaBar – WebDB Features ➢ Clients and Servers Archive Informations Machine Name CPU RAM etc. ➢ Assistance Calls ➢ Event Log Viewer ➢ Machines Location

8 Alberto Crescente, servizio calcolo Padova Workshop CCR, Paestum Giugno 2003 Farm BaBar – WebDB Data Flow Farmcfg WebDB HTML SysAlarm MySQL PHP WebDB to xCAT PHP Script Extreme Cluster Administration Toolkit Configuration Files

9 Alberto Crescente, servizio calcolo Padova Workshop CCR, Paestum Giugno 2003 Farm BaBar – WebDB Home Page

10 Alberto Crescente, servizio calcolo Padova Workshop CCR, Paestum Giugno 2003 Farm BaBar – WebDB Machine Details

11 Alberto Crescente, servizio calcolo Padova Workshop CCR, Paestum Giugno 2003 Farm BaBar – WebDB Machine Details

12 Alberto Crescente, servizio calcolo Padova Workshop CCR, Paestum Giugno 2003 Farm BaBar – WebDB Farms Structure

13 Alberto Crescente, servizio calcolo Padova Workshop CCR, Paestum Giugno 2003 Farm BaBar – WebDB Rack Machines Location

14 Alberto Crescente, servizio calcolo Padova Workshop CCR, Paestum Giugno 2003 Farm BaBar – WebDB Rack Machines Location

15 Alberto Crescente, servizio calcolo Padova Workshop CCR, Paestum Giugno 2003 Farm BaBar – WebDB Assistence Calls

16 Alberto Crescente, servizio calcolo Padova Workshop CCR, Paestum Giugno 2003 Farm BaBar – WebDB Syslog

17 Alberto Crescente, servizio calcolo Padova Workshop CCR, Paestum Giugno 2003 Farm BaBar – PerfMC Features ➢ It allows the control of all the devices that interface with SNMP ➢ It allows the execution of simultaneous requests ➢ It allows a high sampling frequency ➢ It doesn't affect the cluster performances ➢ It permits to build a user interface thanks to the integrated web server and PHP support.

18 Alberto Crescente, servizio calcolo Padova Workshop CCR, Paestum Giugno 2003 Farm BaBar – PerfMC Data Flow Farmcfg PerfMC web server HTML/XML MySQL Language C PerfMC poller RRD SNMP

19 Alberto Crescente, servizio calcolo Padova Workshop CCR, Paestum Giugno 2003 Farm BaBar – PerfMC

20 Alberto Crescente, servizio calcolo Padova Workshop CCR, Paestum Giugno 2003 Farm BaBar – PerfMC

21 Alberto Crescente, servizio calcolo Padova Workshop CCR, Paestum Giugno 2003 Farm BaBar – PerfMC

22 Alberto Crescente, servizio calcolo Padova Workshop CCR, Paestum Giugno 2003 Farm BaBar – PerfMC

23 Alberto Crescente, servizio calcolo Padova Workshop CCR, Paestum Giugno 2003 Farm BaBar – PerfMC

24 Alberto Crescente, servizio calcolo Padova Workshop CCR, Paestum Giugno 2003 Farm BaBar – PerfMC New Interface

25 Alberto Crescente, servizio calcolo Padova Workshop CCR, Paestum Giugno 2003 Farm BaBar – PerfMC New Interface

26 Alberto Crescente, servizio calcolo Padova Workshop CCR, Paestum Giugno 2003 Farm BaBar – PerfMC New Interface

27 Alberto Crescente, servizio calcolo Padova Workshop CCR, Paestum Giugno 2003 Farm BaBar – PerfMC Future Implementations ➢ Integration of a system alarm that notifies malfunctions through SMS and e-mail ➢ Integration with HTTPS protocol to crypt informations ➢ Integration with the monitoring environmental parameters

28 Alberto Crescente, servizio calcolo Padova Workshop CCR, Paestum Giugno 2003 Farm BaBar – Assistance Calls 0,15% CPU time/year lost for hardware failures Failures NumberComponent's Number% FailuresComponent 396406,09IDE Disk 21401,43SCSI Disk 101925,21Mainboard 53001,67Power Supply 43841,04CPU 45760,69RAM 10 Other TOTALE74 Failures in 1 year

29 Alberto Crescente, servizio calcolo Padova Workshop CCR, Paestum Giugno 2003 Farm BaBar – Assistance Calls

30 Alberto Crescente, servizio calcolo Padova Workshop CCR, Paestum Giugno 2003 Farm BaBar – Assistance Calls New Machines Installed

31 Alberto Crescente, servizio calcolo Padova Workshop CCR, Paestum Giugno 2003 Farm BaBar – References BaBar Farm Home Page http://bbrweb.pd.infn.it:5211/ WebDB http://bbrweb.pd.infn.it:5211/farm/farmcfg PerfMC http://www.pd.infn.it/~marzolla/publications/pdp2003.pdf Farm System Administration http://bbrweb.pd.infn.it:5211/farm/sysadmin E-mail: alberto.crescente@pd.infn.italberto.crescente@pd.infn.it