Condor standard. Sistema Batch. Tool di installazione D. Bortolotti,P.Mazzanti,F.Semeria Workshop Calcolo Paestum 9-12 Giugno 2003.

Presentazione sul tema: "Condor standard. Sistema Batch. Tool di installazione D. Bortolotti,P.Mazzanti,F.Semeria Workshop Calcolo Paestum 9-12 Giugno 2003."— Transcript della presentazione:

1 Condor standard. Sistema Batch. Tool di installazione D. Bortolotti,P.Mazzanti,F.Semeria Workshop Calcolo Paestum 9-12 Giugno 2003

2 10/06/2003 Workshop CCR, Paestum Sommario Stato del pool nazionale Tool di installazione automatica bbs: un nuovo sistema batch

3 10/06/2003 Workshop CCR, Paestum Cosa e` Condor Condor converte un insieme di workstation scorrelate in un sistema di calcolo high- throughput E` un sistema non invasivo Il proprietario della macchina mantiene il controllo totale della macchina stessa.

4 10/06/2003 Workshop CCR, Paestum Cosa e` Condor (cont.) Condor cerca di runnare un job anche se alcune macchine: –Vanno in crash –Vengono disconnesse –Sono tolte o aggiunte al pool –Condor utilizza risorse che altrimenti andrebbero perdute

5 10/06/2003 Workshop CCR, Paestum Organizzazione del progetto Coordinatore: Paolo Mazzanti. Central Management: (condor- admin@infn.it) Local Management: ~25 persone. (condor@infn.it): Steering Committee. Contratto di supporto software col Madison Condor Team

6 10/06/2003 Workshop CCR, Paestum Stato del Pool Nuovo Central Manager: cmcondor.bo.infn.it CPU: Linux ~120, Alpha ~56 9 checkpoint server: Bo,Cnaf,Lngs,Mi,Na,Pd,Pv,To,Ts

7 10/06/2003 Workshop CCR, Paestum Utilizzo del pool Nel periodo Giugno 2002-Maggio 2003 utilizzati 78 anni di CPU.

8 10/06/2003 Workshop CCR, Paestum Perche’ il pool non cresce? Possibili varie cause, tra cui la difficoltà di installazione? La CCR ha auspicato la creazione di un sistema di installazione semplificato (vedi seguito)

9 10/06/2003 Workshop CCR, Paestum Condor At Large Growing use in commercial world –Oracle: automated software building & testing –Micron: chip design, simulation, defect analysis, testing –Leica Geosystems: image analysis –many others… Over 400 Condor pools in production worldwide –USA, Italy, Mexico, Brazil, UK, Germany, Spain, France, Poland, Hungary, more… –More than 14,000 CPUs

10 10/06/2003 Workshop CCR, Paestum Tool di installazione Tre tipi di installazione –server: solo binari e librerie –client: solo file di configurazione –completa. Installazione via rpm o shar file Interfaccia web: http://www.bo.infn.it/calcolo/condor/infn-installation-tool.html

11 10/06/2003 Workshop CCR, Paestum Installazione server Contiene i binari e le librerie. Tipicamente fatta su server nfs o afs: esporta i binari e le librerie ai client.

12 10/06/2003 Workshop CCR, Paestum Installazione client Crea l’utente condor e installa i file di configurazione con i dati forniti da web Crea i file di startup e di shutdown dei demoni di condor. Inserisce la path dei binari nella PATH utenti. Richiede l’esistenza dei binari.

13 10/06/2003 Workshop CCR, Paestum Installazione completa Client + Server Tutto il distribution di Condor e i file di configurazione sulla stessa macchina. Non richiede NFS o AFS

14 10/06/2003 Workshop CCR, Paestum

15 10/06/2003 Workshop CCR, Paestum

16 10/06/2003 Workshop CCR, Paestum

17 10/06/2003 Workshop CCR, Paestum Documentazione:http://www.bo.infn.it/calcolo/condor/condor-tool-installazione.doc

18 10/06/2003 Workshop CCR, Paestum Bologna Batch System (bbs) Collaborazione col Condor Team di Madison-Wisconsin. E’ in fase di test nella Sezione di Bologna su macchine linux centrali.

19 10/06/2003 Workshop CCR, Paestum Bbs: requirements I bbs job sono vanilla jobs: no checkpoint, no relink con librerie di Condor. Hanno la precedenza su altri Condor job Partono indipendentemente dal carico della cpu o dall’attivita’ della consolle.

20 10/06/2003 Workshop CCR, Paestum Bbs: configurazione Due tipi di job: short e long (due ‘code’). Su ogni macchina (biprocessore) possono runnare 4 long e 2 short. I job short hanno un nice minore dei long Un job short puo’ runnare per 1 ora Tutti i parametri sono modificabili

21 10/06/2003 Workshop CCR, Paestum Condor Class Ads Il sistema con cui Condor associa un job a una macchina. Ogni job ha una serie di parametri. Ogni macchina esegue solo i job i cui parametri hanno determinati valori.

22 10/06/2003 Workshop CCR, Paestum Esempio submit file executable=testinput=test.inesp=Alicequeue

23 10/06/2003 Workshop CCR, Paestum Esempio exec. machine START= (esp==Alice || esp==CMS) esp==CMS) RENICE= 5*(esp==Alice)+ 10*(esp==CMS) 10*(esp==CMS)

24 10/06/2003 Workshop CCR, Paestum Bbs submit file Sono stati creati due script: bbs_sumbit_shortbbs_submit_long che aggiungono al submit file i parametri opportuni per essere riconosciuti come bbs jobs short e long

25 10/06/2003 Workshop CCR, Paestum Utilizzo L’uso del bbs non richiede la ricompilazione e il relink dei programmi Qualunque programma o script puo’ essere runnato col bbs

26 10/06/2003 Workshop CCR, Paestum Esempio reale: Mathematica executable = /opt/Mathematica/4.2.1/bin/math environment = HOME=/yp/usersi/semeria universe = vanilla input = math.in output = math.out error = math.error log = math.log queue

27 10/06/2003 Workshop CCR, Paestum Documentazione http://www.bo.infn.it/calcolo/condor/bbs.doc