PROGETTO “ISOSPIN” Supporters : AnnaMaria Muoio, Marcello IaconoManno Affiliation : TRIGRID, INFN - CT Meeting : TRIGRID - CHECKPOINT 2 Catania, 30.06.2006

Supporter e Partner responsabili INFN – sez. CT AnnaMaria Muoio (annamaria.muoio@ct.infn.it) Marcello IaconoManno (marcello.iacono@ct.infn.it) Partner responsabili INFN – sez. CT (progetto CHIMERA) Enrico De Filippo (enrico.defilippo@ct.infn.it) Giuseppe Cardella (giuseppe.cardella@ct.infn.it) Catania, 2nd TriGrid CheckPoint Meeting, 30.06.2006

La problematica scientifica Tipologia di applicazione Trasporto ed esecuzione parallela su GRID di un programma di analisi di dati per fisica nucleare (ISOSPIN) Pubblicazione su GRID dei dati di varie campagne di misure (circa 1 TB ciascuna) Realizzazione di un catalogo di metadati Scopo dell'applicazione Velocizzazione nell'esecuzione del programma di analisi Miglioraramento della capacita' e dell'accessibilita' dello storage dei dati CHIMERA Aggiunta di informazioni (metadati) utili per il processamento dei dati Aspetti computazionali, risorse necessarie File di ingresso di grosse dimensioni (1 GB) Richieste sul WN Compilatore ifort (ricompilazione su SLC3) Catania, 2nd TriGrid CheckPoint Meeting, 30.06.2006

Porting dell’applicazione Tipo di interazione con l'utente Programma di analisi : batch E' richiesto il controllo dell'avanzamento dei job Sono richiesti dei tool per il pre- ed il post-trattamento dei dati Completa accessibilita' dei dati da parte del gruppo CHIMERA Aggiunta e consultazioni di metadati Approfondire tematiche su particolari esigenze di controllo d’accesso Programma di analisi : uso singolo Fruizione dei dati : gruppo CHIMERA Sicurezza : ACL a livello di gruppo Catania, 2nd TriGrid CheckPoint Meeting, 30.06.2006

Stato attuale del progetto Stato dell’arte del progetto Gia' esistente e testato il jdl per il programma di analisi Gia' pronti gli script Python per sottomissione controllo recupero Allo studio la pubblicazione del catalogo dei dati Allo studio la struttura dei metadati inserimento consultazione La versione attuale del middle-ware e' adeguata Catania, 2nd TriGrid CheckPoint Meeting, 30.06.2006

Tempi di trasferimento ed elaborazione (1/4) iacono@localhost:~/ANALISI/DEFILIPPO/isospin$ more test.txt [...] transferring isospin452.data start: Wed Jun 28 16:19:10 CEST 2006 end : Wed Jun 28 16:20:15 CEST 2006 transferred isospin452.data --------------------------------- transferring isospin453.data start: Wed Jun 28 16:20:16 CEST 2006 end : Wed Jun 28 16:22:39 CEST 2006 transferred isospin453.data transferring isospin454.data start: Wed Jun 28 16:22:40 CEST 2006 end : Wed Jun 28 16:25:03 CEST 2006 transferred isospin454.data processing isospin452.data Wed Jun 28 16:25:03 CEST 2006 Total KB read: 2148315 Time spent : 1000.7 sec Average speed: 2146.2 KB/s Wed Jun 28 16:41:45 CEST 2006 iacono@localhost:~/ANALISI/DEFILIPPO/isospin$ ELABORAZIONE LOCALE (UI) Quantità di dati trasferita  2 GB Tempo totale di trasferimento dati  370 sec Velocità di trasferimento  5.4 MB/s Trasferimento dallo SE locale alla UI Tempo di elaborazione  1000 sec Velocità di elaborazione  2.2 MB/s Velocità complessiva  1.5 MB/s Catania, 2nd TriGrid CheckPoint Meeting, 30.06.2006

Sottomissione dei job SOTTOMISSIONE A GRID (3 JOB SIMULTANEI) iacono@localhost:~/ANALISI/DEFILIPPO/isospin$ ./isospin-start.bat Wed Jun 28 18:24:02 CEST 2006 isospin-1.inp xxxxxxxxxxxxx isospin452.data isospin453.data isospin454.data isospin-2.inp isospin455.data isospin-3.inp Wed Jun 28 18:24:28 CEST 2006 <<<<<isospin-1.inp - https://glite-rb3.ct.infn.it:9000/WSx1NOHS32ntIpN4L8-AIA <<<<<isospin-2.inp - https://glite-rb3.ct.infn.it:9000/0X_dJnJTk1xyeraLEHgRRQ <<<<<isospin-3.inp - https://glite-rb3.ct.infn.it:9000/6l6BtfunkCvQ9eSl7heFAg iacono@localhost:~/ANALISI/DEFILIPPO/isospin$ SOTTOMISSIONE A GRID (3 JOB SIMULTANEI) Comando di sottomissione unico per tutti i job Numero di job stabilito in un file di configurazione Molti file di dati per ogni job sottomesso Testato sia su trigrid (glite 3.0) che su gridit Catania, 2nd TriGrid CheckPoint Meeting, 30.06.2006

Tempi di trasferimento ed elaborazione (2/4) glite-job-status -v 3 -i isospin-jobs.out.bak [...] ------------------------------------------------------------------ 1 : https://glite-rb3.ct.infn.it:9000/WSx1NOHS32ntIpN4L8-AIA 2 : https://glite-rb3.ct.infn.it:9000/0X_dJnJTk1xyeraLEHgRRQ 3 : https://glite-rb3.ct.infn.it:9000/6l6BtfunkCvQ9eSl7heFAg a : all q : quit Status info for the Job : https://glite-rb3.ct.infn.it:9000/WSx1NOHS32ntIpN4L8-AIA Submitted : Wed Jun 28 18:24:07 2006 CEST Waiting : Wed Jun 28 18:24:15 2006 CEST Ready : Wed Jun 28 18:24:18 2006 CEST Scheduled : Wed Jun 28 18:24:41 2006 CEST Running : Wed Jun 28 18:26:09 2006 CEST Done : Wed Jun 28 18:37:24 2006 CEST Cleared : Wed Jun 28 22:36:34 2006 CEST Status info for the Job : https://glite-rb3.ct.infn.it:9000/0X_dJnJTk1xyeraLEHgRRQ Submitted : Wed Jun 28 18:24:15 2006 CEST Waiting : Wed Jun 28 18:24:23 2006 CEST Ready : Wed Jun 28 18:24:26 2006 CEST DATI MEDI PER SINGOLO JOB Quantità di dati  1.8 GB Velocità di trasferimento  10.5 MB/s Velocità di elaborazione  6.6 MB/s Velocità complessiva  2.3 MB/s Catania, 2nd TriGrid CheckPoint Meeting, 30.06.2006

Tempi di trasferimento ed elaborazione (3/4) Running : Wed Jun 28 18:26:21 2006 CEST Done : Wed Jun 28 18:36:18 2006 CEST Cleared : Wed Jun 28 22:36:40 2006 CEST [...] Status info for the Job : https://glite-rb3.ct.infn.it:9000/6l6BtfunkCvQ9eSl7heFAg Submitted : Wed Jun 28 18:24:23 2006 CEST Waiting : Wed Jun 28 18:24:31 2006 CEST Ready : Wed Jun 28 18:24:34 2006 CEST Scheduled : Wed Jun 28 18:24:53 2006 CEST Running : Wed Jun 28 18:26:14 2006 CEST Done : Wed Jun 28 18:37:18 2006 CEST Cleared : Wed Jun 28 22:36:47 2006 CEST DATI TOTALI PER 3 JOB Quantità di dati  5.4 GB Tempo totale  791 sec Tempo sequenziale  16 sec (2%) Velocità complessiva  6.6 MB/s Catania, 2nd TriGrid CheckPoint Meeting, 30.06.2006

Copia dei file in un processo batch at –f isospin-proc.sh now file dati da copiare Lettura file file dati disponibili file dati da elaborare Elaborazione lo script lancia un processo figlio sul WN che si prepara ad elaborare rimane in attesa della fine del primo trasferimento (loop su file vuoto) quando pronto, lancia il programma di elaborazione sul primo file di dati il processo di copia avanza contemporaneamente (non richiede molta cpu) la copia termina quando il processo ha svuotato il file dei dati da copiare l’elaborazione termina quando ha svuotato il file dei dati da elaborare Catania, 2nd TriGrid CheckPoint Meeting, 30.06.2006

Programma temporale delle attivita' per le prossime 4/6 settimane Piano di attivita' DeFilippo : nuove versioni del programma M. IaconoManno completamento script per pre – e post-trattamento installazione del catalogo lfc pubblicazione dei dati sul catalogo A. Muoio : migliorie al jdl (collection, parametrici) studio della struttura dei metadati navigazione dei dati e metadati sul portale Catania, 2nd TriGrid CheckPoint Meeting, 30.06.2006