PROGETTO “COMDO” Supporters : AnnaMaria Muoio, Marcello IaconoManno

Presentazione sul tema: "PROGETTO “COMDO” Supporters : AnnaMaria Muoio, Marcello IaconoManno"— Transcript della presentazione:

1 PROGETTO “COMDO” Supporters : AnnaMaria Muoio, Marcello IaconoManno
Affiliation : TRIGRID, INFN - CT Meeting : TRIGRID - CHECKPOINT 2 Catania,

2 Supporter e Partner responsabili
INFN – sez. CT AnnaMaria Muoio Marcello IaconoManno Partner responsabili INFN – sez. CT Massimo Papa Catania, 2nd Trigrid CheckPoint Meeting,

3 Generalità sul progetto
Applicazione Trasporto ed esecuzione parallela su GRID di un programma di simulazione di eventi nucleari (COMDO). Scopo Velocizzazione nell'esecuzione del programma. Aspetti computazionali, risorse necessarie File eseguibile di grosse dimensioni (>20 MB) Compilazione statica Tempo di trasferimento trascurabile rispetto all’elaborazione File di uscita dell'ordine di 100 MB Catania, 2nd Trigrid CheckPoint Meeting,

4 Porting dell’applicazione
La versione attuale del middle-ware e' adeguata L'applicazione si può vedere come un'estensione dell'interfaccia per la sottomissione, il controllo dei job ed il recupero dei file di uscita Interazione con l'utente Batch E' richiesto il controllo dell'avanzamento dei job Sono richiesti dei tool per il pre- ed il post-trattamento dei dati Controllo d’accesso Un solo utente Sicurezza a livello ACL per il singolo utente Catania, 2nd Trigrid CheckPoint Meeting,

5 Stato attuale del progetto
Stato dell’arte Gia' esistente e testato il jdl unico jdl per molti job variano alcuni file di uscita e di ingresso allo studio l’utilizzo dei job parametrici Gia' pronti gli script Python per: pre – trattamento dei dati sottomissione controllo recupero In corso la verifica delle prestazioni Allo studio il post – trattamento dei dati Catania, 2nd Trigrid CheckPoint Meeting,

6 Pre – trattamento (file di configurazione)
comdo1.0]$ inputfile comdobcollasy7-1.inp NREP=1 file: comdobcollasy7-1.inp parametro: NREP.....=1 comdo1.0]$ comdo1.0]$ multifile comdobcollasy7.inp NREP=1..4 file: comdobcollasy7-2.inp parametro: NREP.....=2 file: comdobcollasy7-3.inp parametro: NREP.....=3 file: comdobcollasy7-4.inp parametro: NREP.....=4 Modifica un parametro in un file di configurazione Crea tanti file di configurazione con diversi valori del parametro specificato Viene anche modificato automaticamente il seed per la generazione dei numeri pseudo – casuali Catania, 2nd Trigrid CheckPoint Meeting,

7 Sottomissione dei job Comando di sottomissione unico per tutti i job
comdo1.0]$ comdobcollasy7-start Wed Jun 21 17:09:32 CEST 2006 comdobcollasy7-1.inp input: conf124snisy3st.dat input: conf64nisy3st.dat output: prova1.hbook output: prova1bis.hbook comdobcollasy7-2.inp output: prova2.hbook output: prova2bis.hbook comdobcollasy7-3.inp output: prova3.hbook output: prova3bis.hbook Wed Jun 21 17:10:11 CEST 2006 - - - comdo1.0]$ Comando di sottomissione unico per tutti i job Numero di job stabilito in un file di configurazione Un solo file di dati per ogni job sottomesso Catania, 2nd Trigrid CheckPoint Meeting,

8 Controllo dei job comdo1.0]$ ./comdobcollasy7-check.bat Wed Jun 21 18:19:19 CEST 2006 AT : Wed Jun 21 18:19: JOB : ON : grid012.ct.infn.it:2119/jobmanager-lcglsf-long STATUS: Done (Success) AT : Wed Jun 21 18:19: JOB : AT : Wed Jun 21 18:19: JOB : Wed Jun 21 18:19:44 CEST 2006 comdo1.0]$ Il controllo può essere effettuato anche ciclicamente e lanciare automaticamente il recupero dei dati di uscita Catania, 2nd Trigrid CheckPoint Meeting,

9 Recupero dati di uscita
comdo1.0]$ comdobcollasy7-output Wed Jun 21 18:48:10 CEST 2006 clearing job: output: prova1.hbook output: prova1bis.hbook clearing job: output: prova2.hbook output: prova2bis.hbook clearing job: output: prova3.hbook output: prova3bis.hbook Wed Jun 21 18:48:26 CEST 2006 comdo1.0]$ File di uscita accumulati in una directory unica e rinominati in base al file di configurazione Catania, 2nd Trigrid CheckPoint Meeting,

10 Post – trattamento dei dati di uscita
IN CORSO D’OPERA Merging o accodamento dei dati Catania, 2nd Trigrid CheckPoint Meeting,

11 Programma temporale delle prossime attività
Prestazioni capacità computazionale con sistema standalone: 1000 eventi / giorno dato analogo per un singolo job sottomesso aumento linearmente proporzionale al numero di job sovraccarico delle operazioni sequenziali trascurabile Piano di attività Massimo Papa : nuove versioni del programma M. IaconoManno : completamento script post-trattamento A. Muoio : migliorie al jdl (parametrici) Catania, 2nd Trigrid CheckPoint Meeting,