FESR Catania, Trigrid Open Day, Trinacria Grid Virtual Laboratory PROGETTO “ISOSPIN” Supporters : AnnaMaria Muoio, Marcello IaconoManno Affiliation : TRIGRID, INFN - CT Meeting : TRIGRID - CHECKPOINT 2 Catania,

Catania,Trigrid Open Day, Supporter e Partner responsabili INFN – sez. CT –AnnaMaria Muoio –Marcello IaconoManno Partner responsabili INFN – sez. CT (progetto CHIMERA) –Enrico De Filippo –Giuseppe Cardella Supporter

Catania,Trigrid Open Day, La problematica scientifica Tipologia di applicazione –Trasporto ed esecuzione parallela su GRID di un programma di analisi di dati per fisica nucleare (ISOSPIN) –Pubblicazione su GRID dei dati di varie campagne di misure (circa 1 TB ciascuna) –Realizzazione di un catalogo di metadati Scopo dell'applicazione –Velocizzazione nell'esecuzione del programma di analisi –Miglioraramento della capacita' e dell'accessibilita' dello storage dei dati CHIMERA –Aggiunta di informazioni (metadati) utili per il processamento dei dati Aspetti computazionali, risorse necessarie –File di ingresso di grosse dimensioni (fino a 1 GB) Richieste sul WN –Compilatore ifort (ricompilazione su SLC3)

Catania,Trigrid Open Day, Porting dell’applicazione Tipo di interazione con l'utente –Programma di analisi : batch –E' richiesto il controllo dell'avanzamento dei job –Sono richiesti dei tool per il pre- ed il post-trattamento dei dati –Completa accessibilita' dei dati da parte del gruppo CHIMERA –Aggiunta e consultazioni di metadati Approfondire tematiche su particolari esigenze di controllo d’accesso –Programma di analisi : uso riservato ad un gruppo ristretto –Fruizione dei dati : gruppo CHIMERA –Sicurezza : ACL a livello di gruppo

Catania,Trigrid Open Day, Stato attuale del progetto Stato dell’arte del progetto – Gia' esistente e testato il jdl per il programma di analisi – Gia' pronti gli script Python per  sottomissione  controllo  recupero – Allo studio la pubblicazione del catalogo dei dati – Allo studio la struttura dei metadati  inserimento  consultazione

Catania,Trigrid Open Day, Tempi di trasferimento ed elaborazione (1/4) more test.txt [...] transferring isospin452.data start: Wed Jun 28 16:19:10 CEST 2006 end : Wed Jun 28 16:20:15 CEST 2006 transferred isospin452.data transferring isospin453.data start: Wed Jun 28 16:20:16 CEST 2006 end : Wed Jun 28 16:22:39 CEST 2006 transferred isospin453.data transferring isospin454.data start: Wed Jun 28 16:22:40 CEST 2006 end : Wed Jun 28 16:25:03 CEST 2006 transferred isospin454.data processing isospin452.data Wed Jun 28 16:25:03 CEST 2006 [...] Total KB read: Time spent : sec Average speed: KB/s Wed Jun 28 16:41:45 CEST 2006 [...] ELABORAZIONE LOCALE (UI) Quantità di dati trasferita  2 GB Tempo totale di trasferimento dati  370 sec Velocità di trasferimento  5.4 MB/s Trasferimento dallo SE locale alla UI Tempo di elaborazione  1000 sec Velocità di elaborazione  2.2 MB/s Velocità complessiva  1.5 MB/s

Catania,Trigrid Open Day, Sottomissione dei job Wed Jun 28 18:24:02 CEST 2006 isospin-1.inp xxxxxxxxxxxxx isospin452.data isospin453.data isospin454.data xxxxxxxxxxxxx isospin-2.inp xxxxxxxxxxxxx isospin453.data isospin454.data isospin455.data xxxxxxxxxxxxx isospin-3.inp xxxxxxxxxxxxx isospin452.data isospin454.data xxxxxxxxxxxxx Wed Jun 28 18:24:28 CEST 2006 <<<<<isospin-1.inp - <<<<<isospin-2.inp - <<<<<isospin-3.inp - Wed Jun 28 18:24:28 CEST 2006 SOTTOMISSIONE A GRID (3 JOB SIMULTANEI) Comando di sottomissione unico per tutti i job Numero di job stabilito in un file di configurazione Molti file di dati per ogni job sottomesso Testato sia su trigrid (glite 3.0) che su gridit

Catania,Trigrid Open Day, Tempi di trasferimento ed elaborazione (2/4) glite-job-status -v 3 -i isospin-jobs.out.bak [...] : 2 : 3 : a : all q : quit [...] Status info for the Job : [...] Submitted : Wed Jun 28 18:24: CEST Waiting : Wed Jun 28 18:24: CEST Ready : Wed Jun 28 18:24: CEST Scheduled : Wed Jun 28 18:24: CEST Running : Wed Jun 28 18:26: CEST Done : Wed Jun 28 18:37: CEST Cleared : Wed Jun 28 22:36: CEST [...] Status info for the Job : [...] Submitted : Wed Jun 28 18:24: CEST Waiting : Wed Jun 28 18:24: CEST Ready : Wed Jun 28 18:24: CEST Scheduled : Wed Jun 28 18:24: CEST DATI MEDI PER SINGOLO JOB Quantità di dati  1.8 GB Velocità di trasferimento  10.5 MB/s Velocità di elaborazione  6.6 MB/s Velocità complessiva  2.3 MB/s

Catania,Trigrid Open Day, Tempi di trasferimento ed elaborazione (3/4) Running : Wed Jun 28 18:26: CEST Done : Wed Jun 28 18:36: CEST Cleared : Wed Jun 28 22:36: CEST [...] Status info for the Job : [...] Submitted : Wed Jun 28 18:24: CEST Waiting : Wed Jun 28 18:24: CEST Ready : Wed Jun 28 18:24: CEST Scheduled : Wed Jun 28 18:24: CEST Running : Wed Jun 28 18:26: CEST Done : Wed Jun 28 18:37: CEST Cleared : Wed Jun 28 22:36: CEST DATI TOTALI PER 3 JOB Quantità di dati  5.4 GB Tempo totale  791 sec Tempo sequenziale  16 sec (2%) Velocità complessiva  6.6 MB/s

Catania,Trigrid Open Day, Copia dei file in un processo batch file dati disponibili Lettura file Elaborazione at –f isospin-proc.sh now lo script lancia un processo figlio sul WN che si prepara ad elaborare rimane in attesa della fine del primo trasferimento (loop su file vuoto) quando pronto, lancia il programma di elaborazione sul primo file di dati il processo di copia avanza contemporaneamente (non richiede molta cpu) la copia termina quando il processo ha svuotato il file dei dati da copiare l’elaborazione termina quando ha svuotato il file dei dati da elaborare file dati da copiare file dati da elaborare

Catania,Trigrid Open Day, Programma temporale delle attivita' per le prossime 4/6 settimane Piano di attivita' –DeFilippo : nuove versioni del programma –M. IaconoManno  implementazione nuove versioni  completamento script per pre – e post-trattamento –A. Muoio : migliorie al jdl (collection, parametrici)  studio della struttura dei metadati  navigazione dei dati e metadati sul portale