PROGETTO “ISOSPIN” Supporters : AnnaMaria Muoio, Marcello IaconoManno

Presentazione sul tema: "PROGETTO “ISOSPIN” Supporters : AnnaMaria Muoio, Marcello IaconoManno"— Transcript della presentazione:

1 PROGETTO “ISOSPIN” Supporters : AnnaMaria Muoio, Marcello IaconoManno
Affiliation : TRIGRID, INFN - CT Meeting : TRIGRID - CHECKPOINT 2 Catania,

2 Supporter e Partner responsabili
INFN – sez. CT AnnaMaria Muoio Marcello IaconoManno Partner responsabili INFN – sez. CT (progetto CHIMERA) Enrico De Filippo Giuseppe Cardella Catania, 2nd TriGrid CheckPoint Meeting,

3 La problematica scientifica
Tipologia di applicazione Trasporto ed esecuzione parallela su GRID di un programma di analisi di dati per fisica nucleare (ISOSPIN) Pubblicazione su GRID dei dati di varie campagne di misure (circa 1 TB ciascuna) Realizzazione di un catalogo di metadati Scopo dell'applicazione Velocizzazione nell'esecuzione del programma di analisi Miglioraramento della capacita' e dell'accessibilita' dello storage dei dati CHIMERA Aggiunta di informazioni (metadati) utili per il processamento dei dati Aspetti computazionali, risorse necessarie File di ingresso di grosse dimensioni (1 GB) Richieste sul WN Compilatore ifort (ricompilazione su SLC3) Catania, 2nd TriGrid CheckPoint Meeting,

4 Porting dell’applicazione
Tipo di interazione con l'utente Programma di analisi : batch E' richiesto il controllo dell'avanzamento dei job Sono richiesti dei tool per il pre- ed il post-trattamento dei dati Completa accessibilita' dei dati da parte del gruppo CHIMERA Aggiunta e consultazioni di metadati Approfondire tematiche su particolari esigenze di controllo d’accesso Programma di analisi : uso singolo Fruizione dei dati : gruppo CHIMERA Sicurezza : ACL a livello di gruppo Catania, 2nd TriGrid CheckPoint Meeting,

5 Stato attuale del progetto
Stato dell’arte del progetto Gia' esistente e testato il jdl per il programma di analisi Gia' pronti gli script Python per sottomissione controllo recupero Allo studio la pubblicazione del catalogo dei dati Allo studio la struttura dei metadati inserimento consultazione La versione attuale del middle-ware e' adeguata Catania, 2nd TriGrid CheckPoint Meeting,

6 Tempi di trasferimento ed elaborazione (1/4)
more test.txt [...] transferring isospin452.data start: Wed Jun 28 16:19:10 CEST 2006 end : Wed Jun 28 16:20:15 CEST 2006 transferred isospin452.data transferring isospin453.data start: Wed Jun 28 16:20:16 CEST 2006 end : Wed Jun 28 16:22:39 CEST 2006 transferred isospin453.data transferring isospin454.data start: Wed Jun 28 16:22:40 CEST 2006 end : Wed Jun 28 16:25:03 CEST 2006 transferred isospin454.data processing isospin452.data Wed Jun 28 16:25:03 CEST 2006 Total KB read: Time spent : sec Average speed: KB/s Wed Jun 28 16:41:45 CEST 2006 ELABORAZIONE LOCALE (UI) Quantità di dati trasferita  2 GB Tempo totale di trasferimento dati  370 sec Velocità di trasferimento  5.4 MB/s Trasferimento dallo SE locale alla UI Tempo di elaborazione  1000 sec Velocità di elaborazione  2.2 MB/s Velocità complessiva  1.5 MB/s Catania, 2nd TriGrid CheckPoint Meeting,

7 Sottomissione dei job SOTTOMISSIONE A GRID (3 JOB SIMULTANEI)
./isospin-start.bat Wed Jun 28 18:24:02 CEST 2006 isospin-1.inp xxxxxxxxxxxxx isospin452.data isospin453.data isospin454.data isospin-2.inp isospin455.data isospin-3.inp Wed Jun 28 18:24:28 CEST 2006 <<<<<isospin-1.inp - <<<<<isospin-2.inp - <<<<<isospin-3.inp - SOTTOMISSIONE A GRID (3 JOB SIMULTANEI) Comando di sottomissione unico per tutti i job Numero di job stabilito in un file di configurazione Molti file di dati per ogni job sottomesso Testato sia su trigrid (glite 3.0) che su gridit Catania, 2nd TriGrid CheckPoint Meeting,

8 Tempi di trasferimento ed elaborazione (2/4)
glite-job-status -v 3 -i isospin-jobs.out.bak [...] 1 : 2 : 3 : a : all q : quit Status info for the Job : Submitted : Wed Jun 28 18:24: CEST Waiting : Wed Jun 28 18:24: CEST Ready : Wed Jun 28 18:24: CEST Scheduled : Wed Jun 28 18:24: CEST Running : Wed Jun 28 18:26: CEST Done : Wed Jun 28 18:37: CEST Cleared : Wed Jun 28 22:36: CEST Status info for the Job : Submitted : Wed Jun 28 18:24: CEST Waiting : Wed Jun 28 18:24: CEST Ready : Wed Jun 28 18:24: CEST DATI MEDI PER SINGOLO JOB Quantità di dati  1.8 GB Velocità di trasferimento  10.5 MB/s Velocità di elaborazione  6.6 MB/s Velocità complessiva  2.3 MB/s Catania, 2nd TriGrid CheckPoint Meeting,

9 Tempi di trasferimento ed elaborazione (3/4)
Running : Wed Jun 28 18:26: CEST Done : Wed Jun 28 18:36: CEST Cleared : Wed Jun 28 22:36: CEST [...] Status info for the Job : Submitted : Wed Jun 28 18:24: CEST Waiting : Wed Jun 28 18:24: CEST Ready : Wed Jun 28 18:24: CEST Scheduled : Wed Jun 28 18:24: CEST Running : Wed Jun 28 18:26: CEST Done : Wed Jun 28 18:37: CEST Cleared : Wed Jun 28 22:36: CEST DATI TOTALI PER 3 JOB Quantità di dati  5.4 GB Tempo totale  791 sec Tempo sequenziale  16 sec (2%) Velocità complessiva  6.6 MB/s Catania, 2nd TriGrid CheckPoint Meeting,

10 Copia dei file in un processo batch
at –f isospin-proc.sh now file dati da copiare Lettura file file dati disponibili file dati da elaborare Elaborazione lo script lancia un processo figlio sul WN che si prepara ad elaborare rimane in attesa della fine del primo trasferimento (loop su file vuoto) quando pronto, lancia il programma di elaborazione sul primo file di dati il processo di copia avanza contemporaneamente (non richiede molta cpu) la copia termina quando il processo ha svuotato il file dei dati da copiare l’elaborazione termina quando ha svuotato il file dei dati da elaborare Catania, 2nd TriGrid CheckPoint Meeting,

11 Programma temporale delle attivita' per le prossime 4/6 settimane
Piano di attivita' DeFilippo : nuove versioni del programma M. IaconoManno completamento script per pre – e post-trattamento installazione del catalogo lfc pubblicazione dei dati sul catalogo A. Muoio : migliorie al jdl (collection, parametrici) studio della struttura dei metadati navigazione dei dati e metadati sul portale Catania, 2nd TriGrid CheckPoint Meeting,