PROGETTO “COMDO” Supporters : AnnaMaria Muoio, Marcello IaconoManno Affiliation : TRIGRID, INFN - CT Meeting : TRIGRID - CHECKPOINT 2 Catania, 30.06.2006

Supporter e Partner responsabili INFN – sez. CT AnnaMaria Muoio (annamaria.muoio@ct.infn.it) Marcello IaconoManno (marcello.iacono@ct.infn.it) Partner responsabili INFN – sez. CT Massimo Papa (massimo.papa@ct.infn.it) Catania, 2nd Trigrid CheckPoint Meeting, 30.06.2006

Generalità sul progetto Applicazione Trasporto ed esecuzione parallela su GRID di un programma di simulazione di eventi nucleari (COMDO). Scopo Velocizzazione nell'esecuzione del programma. Aspetti computazionali, risorse necessarie File eseguibile di grosse dimensioni (>20 MB) Compilazione statica Tempo di trasferimento trascurabile rispetto all’elaborazione File di uscita dell'ordine di 100 MB Catania, 2nd Trigrid CheckPoint Meeting, 30.06.2006

Porting dell’applicazione La versione attuale del middle-ware e' adeguata L'applicazione si può vedere come un'estensione dell'interfaccia per la sottomissione, il controllo dei job ed il recupero dei file di uscita Interazione con l'utente Batch E' richiesto il controllo dell'avanzamento dei job Sono richiesti dei tool per il pre- ed il post-trattamento dei dati Controllo d’accesso Un solo utente Sicurezza a livello ACL per il singolo utente Catania, 2nd Trigrid CheckPoint Meeting, 30.06.2006

Stato attuale del progetto Stato dell’arte Gia' esistente e testato il jdl unico jdl per molti job variano alcuni file di uscita e di ingresso allo studio l’utilizzo dei job parametrici Gia' pronti gli script Python per: pre – trattamento dei dati sottomissione controllo recupero In corso la verifica delle prestazioni Allo studio il post – trattamento dei dati Catania, 2nd Trigrid CheckPoint Meeting, 30.06.2006

Pre – trattamento (file di configurazione) [iacono@genius comdo1.0]$ inputfile comdobcollasy7-1.inp NREP=1 file: comdobcollasy7-1.inp parametro: NREP.....=1 [iacono@genius comdo1.0]$ [iacono@genius comdo1.0]$ multifile comdobcollasy7.inp NREP=1..4 file: comdobcollasy7-2.inp parametro: NREP.....=2 file: comdobcollasy7-3.inp parametro: NREP.....=3 file: comdobcollasy7-4.inp parametro: NREP.....=4 Modifica un parametro in un file di configurazione Crea tanti file di configurazione con diversi valori del parametro specificato Viene anche modificato automaticamente il seed per la generazione dei numeri pseudo – casuali Catania, 2nd Trigrid CheckPoint Meeting, 30.06.2006

Sottomissione dei job Comando di sottomissione unico per tutti i job [iacono@genius comdo1.0]$ comdobcollasy7-start Wed Jun 21 17:09:32 CEST 2006 comdobcollasy7-1.inp input: conf124snisy3st.dat input: conf64nisy3st.dat output: prova1.hbook output: prova1bis.hbook ------------------------------------------------------------- comdobcollasy7-2.inp output: prova2.hbook output: prova2bis.hbook -------------------------------------------------------------- comdobcollasy7-3.inp output: prova3.hbook output: prova3bis.hbook --------------------------------------------------------------- Wed Jun 21 17:10:11 CEST 2006 - https://grid014.ct.infn.it:9000/WKS58GTQFFMeiAl7qRJoPA - https://grid014.ct.infn.it:9000/fFX3eFj37rG9xJWZ_XPc-g - https://grid014.ct.infn.it:9000/mFdkjAg3XWCO1j4K3-iGng [iacono@genius comdo1.0]$ Comando di sottomissione unico per tutti i job Numero di job stabilito in un file di configurazione Un solo file di dati per ogni job sottomesso Catania, 2nd Trigrid CheckPoint Meeting, 30.06.2006

Controllo dei job [iacono@genius comdo1.0]$ ./comdobcollasy7-check.bat Wed Jun 21 18:19:19 CEST 2006 AT : Wed Jun 21 18:19:25 2006 JOB : https://grid014.ct.infn.it:9000/WKS58GTQFFMeiAl7qRJoPA ON : grid012.ct.infn.it:2119/jobmanager-lcglsf-long STATUS: Done (Success) ---------------------------------------------- AT : Wed Jun 21 18:19:32 2006 JOB : https://grid014.ct.infn.it:9000/fFX3eFj37rG9xJWZ_XPc-g AT : Wed Jun 21 18:19:39 2006 JOB : https://grid014.ct.infn.it:9000/mFdkjAg3XWCO1j4K3-iGng Wed Jun 21 18:19:44 CEST 2006 [iacono@genius comdo1.0]$ Il controllo può essere effettuato anche ciclicamente e lanciare automaticamente il recupero dei dati di uscita Catania, 2nd Trigrid CheckPoint Meeting, 30.06.2006

Recupero dati di uscita [iacono@genius comdo1.0]$ comdobcollasy7-output Wed Jun 21 18:48:10 CEST 2006 clearing job: https://grid014.ct.infn.it:9000/WKS58GTQFFMeiAl7qRJoPA output: prova1.hbook output: prova1bis.hbook ----------------------------------------------------------------------------------- clearing job: https://grid014.ct.infn.it:9000/fFX3eFj37rG9xJWZ_XPc-g output: prova2.hbook output: prova2bis.hbook clearing job: https://grid014.ct.infn.it:9000/mFdkjAg3XWCO1j4K3-iGng output: prova3.hbook output: prova3bis.hbook Wed Jun 21 18:48:26 CEST 2006 [iacono@genius comdo1.0]$ File di uscita accumulati in una directory unica e rinominati in base al file di configurazione Catania, 2nd Trigrid CheckPoint Meeting, 30.06.2006

Post – trattamento dei dati di uscita IN CORSO D’OPERA Merging o accodamento dei dati Catania, 2nd Trigrid CheckPoint Meeting, 30.06.2006

Programma temporale delle prossime attività Prestazioni capacità computazionale con sistema standalone: 1000 eventi / giorno dato analogo per un singolo job sottomesso aumento linearmente proporzionale al numero di job sovraccarico delle operazioni sequenziali trascurabile Piano di attività Massimo Papa : nuove versioni del programma M. IaconoManno : completamento script post-trattamento A. Muoio : migliorie al jdl (parametrici) Catania, 2nd Trigrid CheckPoint Meeting, 30.06.2006