Sommario: il testbed CMS/LCG0 e la configurazione della farm di Bari sviluppo software/tool di produzione per CMS e GRID. eventi in produzione per il.

Presentazione sul tema: "Sommario: il testbed CMS/LCG0 e la configurazione della farm di Bari sviluppo software/tool di produzione per CMS e GRID. eventi in produzione per il."— Transcript della presentazione:

1

2 Sommario: il testbed CMS/LCG0 e la configurazione della farm di Bari sviluppo software/tool di produzione per CMS e GRID. eventi in produzione per il PCP Nicola De Filippis On behalf of: T. Coviello, M. DAmato, G. Donvito, R. Gervasoni, G. Maggi, M. Maggi, L. Silvestris Produzione di pre-challenge per DC04

3 Il Data Challenge verrà fatto su GRID (con LCG-1) È necessario arrivare a febbraio 2004 con un sistema basato su tools di GRID ragionevolmente testato Una parte della produzione di PCP deve essere fatta su GRID per poter sviluppare e testare in un ambiente in-production i tools indispensabili per il DC04 CMS peserà il numero di eventi prodotti con la complessità del sistema usato per produrli… È necessario però basare la PCP sul sistema più efficiente che è al momento quello delle Produzioni Locali Perchè fare PCP su GRID

4 CMS/LCG-0 CMS/LCG-0 è un testbed ideato da CMS basato sulla distribuzione LCG-0. È utile prima che sia disponibile LCG-1 per: - esercitarsi nelluso dei tools di GRID prima di LCG-1 - sviluppare tools di analisi e produzione da usare su LCG-1 - test di nuovi tools GRID di potenziale interesse per CMS - soluzione di back-up per i prototipi di GRID su PCP se LCG-1 è in ritardo Può costituire un ambiente comune per le produzioni da usare anche come base per le farm che fanno produzioni locali È possibile far convivere le produzioni su farm locali e su GRID! Si può configurare la farm in modo ibrido… Il testbed CMS/LCG0

5 Il cluster CMS/LCG0 è composto da: 12 PIII doppio processore a 1/1.2 GHz di cui circa la metà ha 1GB di RAM: 1 User Interface 1 Computer Element 9 Worker Node 1 Storage Element con circa 0.8 TB di disco disponibili. …tutti integrati con i servizi (Resource Broker) del CNAF. 3 UPS per evitare danni da bruschi cali di tensione Il cluster CMS/LCG0 di Bari

6 Installazione INFN-GRID/LCG0 La procedura di installazione consiste nella: installazione S.O. Red Hat 7.3.2 del CERN con LCFGng (Modificando profili esistenti e creandone di nuovi per adattarli alla versione CERN) installazione LCG-0 dei vari elementi GRID con LCFGng e test di funzionalità. Sono stati effettuati test delle applicazioni: di CMS di Chimica Computazionale

7 Software installato per PCP di CMS: software di CMS (v. 4.0) + CMKIN_1_0_2 installati su tutti i WN PBS server (v. 2.3.16) installato sul CE BOSS/MySql server (v. 3.2) installato sulla UI McRunjob versione fin230503 installato sulla UI (in OCTOPUS ) bbftp tool di trasferimento file SMTP o postfix server La configurazione del cluster è ibrida in quanto esso può essere utilizzato sia come una farm CMS standard sia come un nodo GRID accessibile dallesterno per utenti certificati. Il cluster CMS/LCG0 per il PCP

8 Per quanto riguarda i tool di produzione abbiamo: installato un RefDB privato (reference database) per sviluppare una interfaccia web per produzioni private un parser per card di PYTHIA testato McRunjob e realizzato un configuratore per PBS realizzato una interfaccia grafica per la creazione e sottomissione dei job di una produzione di CMS (sia su farm locale che su Grid). realizzato una interfaccia grafica per la creazione, sottomissione e recupero dello stato e delloutput dei job su Grid per applicazioni general purpose. sviluppato un tool per lupload di interi alberi di directory con bbftp, in modo programmato e automatico installato BODE (boss database explorer) che è uno strumento utile per navigare nel database BOSS/MySQL per produzioni. Sviluppo software per CMS e GRID

9 Tool di produzione: RefDB privato Linterfaccia web per fare una richiesta di produzioni private non è separata da quella standard: L AssignmentID è dato automaticamente e tutte le informazioni relative alle produzioni private sono storate nel RefDB, come per le produzioni ufficiali. Problema: Come autenticare un utente per fare una richiesta? Laccesso al RefDB per un qualunque utente di un sito non specificato può essere pericoloso! La richiesta può essere fatta come: un generico PrivateUser (la soluzione migliore per me!) un utente registrato per un PrivateGroup (ma questo può determinare una lista molto lunga!)

10 Tool di prod.: PYTHIA parser per RefDB Il parser è accessibile dal link Create a Pythia Card File nella CMS Production page. Lutente ha 3 possibilità: 1.Riempire la web form con i valori delle datacard 2. Partire da un file esistente nel RefDB 3. Partire da un file esterno (NEW!)

11 Tool di prod.: PYTHIA parser per RefDB 1.Il parser salta le linee di commento 2.Salta anche alcune stringhe come:LIST, EOF, ecc.. 3.Le altre linee sono interpretate come Datacards con i loro valori e descrizione. descrizione della Datacard Datacard + valoreKeyword

12 Tool di produzione: McRunjob McRunjob è un framework che permette di gestire la creazione e la sottomissione dei job: I 3 componenti più importanti sono: –Configurator : è un pacchetto di metadata che può gestire qualunque applicazione –Script Generator : è un tipo di configuratore che implementa anche la creazione di script. –Linker : è un container per configuratori. Esso si occupa la comunicazione tra i configuratori ed il framework di creazione dei job. Per le produzioni CMS: esistono specifici CMS Configurators ( CMKIN, CMSIM, InputPluginRefDB, etc…) lo Script Generator usato è ImpalaLiteScriptGen esistono specifici CMS specific macro scripts: ImpalaOneStep.mcj, IMPLRunJob.mcj Abbiamo realizzato un configuratore per la sottomissione dei job su un PBS scheduler

13 Tools: GUI per produzioni CMS Input Choice Output Choice Beginner/Advanced User Starts Chain E una interfaccia grafica per la creazione e sottomissione dei job di una produzione di CMS (sia su farm locale che su GRID) Number of Job to be submitted Create and submit jdl script to the Grid or Local Farm

14 Tools: GUI per creazione di Job su GRID E una interfaccia grafica per la creazione, sottomissione e recupero dello stato e delloutput dei job su Grid (scripts JDL). gridba2.ba.infn.it:2119/jobmanager-pbs-short gridba2.ba.infn.it:2119/jobmanager-pbs-medium gridba2.ba.infn.it:2119/jobmanager-pbs-long gridba2.ba.infn.it:2119/jobmanager-pbs-infinite grid002.na.infn.it:2119/jomanager-pbs-short grid002.na.infn.it:2119/jobmanager-pbs-medium grid002.na.infn.it:2119/jobmanager-pbs-long grid002.na.infn.it:2119/jobmanager-pbs-infinite grid002.ca.infn.it:2119/jobmanager-pbs-workq https://grid009g.cnaf.infn.it:7846/193.20 6.1

15 GT_UPLOAD: Tool basato su bbftp utile per trasferire un intero albero di directory, ricorsivamente e periodicamente nel tempo Contiene un registro dei files trasferiti e della data dell'ultima modifica, in modo da trasferire solo quelli modificati. Facile installazione e configurazione; minimo intervento dell'utente. Gira in background come demone. Sarà disponibile al link: http://roma1.infn.it/exp/cms/DC04 Sviluppo software per CMS e GRID

16 BODE (Boss database explorer) è uno strumento molto utile per navigare nel database Boss/mysql per produzioni MC. linstallazione e stata fatta con il file tar.gz. di Alexei i pochi problemi sono stati notificati ad Alexei e tenuti in conto per la release del 15 di Maggio. Tool di produzione: BODE

17 Produzione CMKIN per il DC04 Stiamo generando 340k eventi di fondo QCD per il canale ttH con H bb come richiesto dal btau (bt03_qcd170_tth). la selezione prevede la ricostruzione di almeno 3 b-jet con p that > 170 GeV/c per le interazioni dure, Tempo: 43 sec/evento con circa 1 evento selezionato su 500. Le ntuple di 250 eventi occupano circa 15 MB di spazio disco. Continueremo con 180k eventi di MB ma non sono stati ancora richiesti dai PRS Stima totale dei tempi: 15 giorni su 19 CPU che comprende una efficienza del 75 % delle macchine.

18 TO DO… Implementazione di un parser per card di ORCA/OSCAR Miglioramento dell'interfaccia grafica per i programmi di sottomissione e recupero dell'output dei job su Grid; e implementazioni di nuove e più evolute funzionalità. Miglioramento dell'interfaccia grafica per il programma per la creazione dei job per CMS e interoperabilità con McRunJob (In collaborazione con Greg G.) Idee per un tool grafico di data management su Grid (Scan Book like). To Do list