FESR www.trigrid.it Catania, Trigrid Open Day, 13.12.2006 Trinacria Grid Virtual Laboratory PROGETTO “ISOSPIN” Supporters : AnnaMaria Muoio, Marcello IaconoManno.

Presentazione sul tema: "FESR www.trigrid.it Catania, Trigrid Open Day, 13.12.2006 Trinacria Grid Virtual Laboratory PROGETTO “ISOSPIN” Supporters : AnnaMaria Muoio, Marcello IaconoManno."— Transcript della presentazione:

1 FESR www.trigrid.it Catania, Trigrid Open Day, 13.12.2006 Trinacria Grid Virtual Laboratory PROGETTO “ISOSPIN” Supporters : AnnaMaria Muoio, Marcello IaconoManno Affiliation : TRIGRID, INFN - CT Meeting : TRIGRID - CHECKPOINT 2 Catania, 13.12.2006

2 Catania,Trigrid Open Day, 13.12.2006 Supporter e Partner responsabili INFN – sez. CT –AnnaMaria Muoio (annamaria.muoio@ct.infn.it)annamaria.muoio@ct.infn.it –Marcello IaconoManno (marcello.iacono@ct.infn.it)marcello.iacono@ct.infn.it Partner responsabili INFN – sez. CT (progetto CHIMERA) –Enrico De Filippo (enrico.defilippo@ct.infn.it)enrico.defilippo@ct.infn.it –Giuseppe Cardella (giuseppe.cardella@ct.infn.it)giuseppe.cardella@ct.infn.it Supporter

3 Catania,Trigrid Open Day, 13.12.2006 La problematica scientifica Tipologia di applicazione –Trasporto ed esecuzione parallela su GRID di un programma di analisi di dati per fisica nucleare (ISOSPIN) –Pubblicazione su GRID dei dati di varie campagne di misure (circa 1 TB ciascuna) –Realizzazione di un catalogo di metadati Scopo dell'applicazione –Velocizzazione nell'esecuzione del programma di analisi –Miglioraramento della capacita' e dell'accessibilita' dello storage dei dati CHIMERA –Aggiunta di informazioni (metadati) utili per il processamento dei dati Aspetti computazionali, risorse necessarie –File di ingresso di grosse dimensioni (fino a 1 GB) Richieste sul WN –Compilatore ifort (ricompilazione su SLC3)

4 Catania,Trigrid Open Day, 13.12.2006 Porting dell’applicazione Tipo di interazione con l'utente –Programma di analisi : batch –E' richiesto il controllo dell'avanzamento dei job –Sono richiesti dei tool per il pre- ed il post-trattamento dei dati –Completa accessibilita' dei dati da parte del gruppo CHIMERA –Aggiunta e consultazioni di metadati Approfondire tematiche su particolari esigenze di controllo d’accesso –Programma di analisi : uso riservato ad un gruppo ristretto –Fruizione dei dati : gruppo CHIMERA –Sicurezza : ACL a livello di gruppo

5 Catania,Trigrid Open Day, 13.12.2006 Stato attuale del progetto Stato dell’arte del progetto – Gia' esistente e testato il jdl per il programma di analisi – Gia' pronti gli script Python per  sottomissione  controllo  recupero – Allo studio la pubblicazione del catalogo dei dati – Allo studio la struttura dei metadati  inserimento  consultazione

6 Catania,Trigrid Open Day, 13.12.2006 Tempi di trasferimento ed elaborazione (1/4) iacono@localhost:~/ANALISI/DEFILIPPO/isospin$ more test.txt [...] transferring isospin452.data start: Wed Jun 28 16:19:10 CEST 2006 end : Wed Jun 28 16:20:15 CEST 2006 transferred isospin452.data --------------------------------- transferring isospin453.data start: Wed Jun 28 16:20:16 CEST 2006 end : Wed Jun 28 16:22:39 CEST 2006 transferred isospin453.data --------------------------------- transferring isospin454.data start: Wed Jun 28 16:22:40 CEST 2006 end : Wed Jun 28 16:25:03 CEST 2006 transferred isospin454.data --------------------------------- processing isospin452.data Wed Jun 28 16:25:03 CEST 2006 [...] Total KB read: 2148315 Time spent : 1000.7 sec Average speed: 2146.2 KB/s Wed Jun 28 16:41:45 CEST 2006 [...] iacono@localhost:~/ANALISI/DEFILIPPO/isospin$ ELABORAZIONE LOCALE (UI) Quantità di dati trasferita  2 GB Tempo totale di trasferimento dati  370 sec Velocità di trasferimento  5.4 MB/s Trasferimento dallo SE locale alla UI Tempo di elaborazione  1000 sec Velocità di elaborazione  2.2 MB/s Velocità complessiva  1.5 MB/s

7 Catania,Trigrid Open Day, 13.12.2006 Sottomissione dei job iacono@localhost:~/ANALISI/DEFILIPPO/isospin$./isospin-start.bat Wed Jun 28 18:24:02 CEST 2006 isospin-1.inp xxxxxxxxxxxxx isospin452.data isospin453.data isospin454.data xxxxxxxxxxxxx isospin-2.inp xxxxxxxxxxxxx isospin453.data isospin454.data isospin455.data xxxxxxxxxxxxx isospin-3.inp xxxxxxxxxxxxx isospin452.data isospin454.data xxxxxxxxxxxxx Wed Jun 28 18:24:28 CEST 2006 <<<<<isospin-1.inp - https://glite-rb3.ct.infn.it:9000/WSx1NOHS32ntIpN4L8-AIA <<<<<isospin-2.inp - https://glite-rb3.ct.infn.it:9000/0X_dJnJTk1xyeraLEHgRRQ <<<<<isospin-3.inp - https://glite-rb3.ct.infn.it:9000/6l6BtfunkCvQ9eSl7heFAg Wed Jun 28 18:24:28 CEST 2006 iacono@localhost:~/ANALISI/DEFILIPPO/isospin$ SOTTOMISSIONE A GRID (3 JOB SIMULTANEI) Comando di sottomissione unico per tutti i job Numero di job stabilito in un file di configurazione Molti file di dati per ogni job sottomesso Testato sia su trigrid (glite 3.0) che su gridit

8 Catania,Trigrid Open Day, 13.12.2006 Tempi di trasferimento ed elaborazione (2/4) glite-job-status -v 3 -i isospin-jobs.out.bak [...] ------------------------------------------------------------------ 1 : https://glite-rb3.ct.infn.it:9000/WSx1NOHS32ntIpN4L8-AIA 2 : https://glite-rb3.ct.infn.it:9000/0X_dJnJTk1xyeraLEHgRRQ 3 : https://glite-rb3.ct.infn.it:9000/6l6BtfunkCvQ9eSl7heFAg a : all q : quit ------------------------------------------------------------------ [...] Status info for the Job : https://glite-rb3.ct.infn.it:9000/WSx1NOHS32ntIpN4L8-AIAhttps://glite-rb3.ct.infn.it:9000/WSx1NOHS32ntIpN4L8-AIA [...] Submitted : Wed Jun 28 18:24:07 2006 CEST Waiting : Wed Jun 28 18:24:15 2006 CEST Ready : Wed Jun 28 18:24:18 2006 CEST Scheduled : Wed Jun 28 18:24:41 2006 CEST Running : Wed Jun 28 18:26:09 2006 CEST Done : Wed Jun 28 18:37:24 2006 CEST Cleared : Wed Jun 28 22:36:34 2006 CEST [...] Status info for the Job : https://glite-rb3.ct.infn.it:9000/0X_dJnJTk1xyeraLEHgRRQhttps://glite-rb3.ct.infn.it:9000/0X_dJnJTk1xyeraLEHgRRQ [...] Submitted : Wed Jun 28 18:24:15 2006 CEST Waiting : Wed Jun 28 18:24:23 2006 CEST Ready : Wed Jun 28 18:24:26 2006 CEST Scheduled : Wed Jun 28 18:24:41 2006 CEST DATI MEDI PER SINGOLO JOB Quantità di dati  1.8 GB Velocità di trasferimento  10.5 MB/s Velocità di elaborazione  6.6 MB/s Velocità complessiva  2.3 MB/s

9 Catania,Trigrid Open Day, 13.12.2006 Tempi di trasferimento ed elaborazione (3/4) Running : Wed Jun 28 18:26:21 2006 CEST Done : Wed Jun 28 18:36:18 2006 CEST Cleared : Wed Jun 28 22:36:40 2006 CEST [...] Status info for the Job : https://glite-rb3.ct.infn.it:9000/6l6BtfunkCvQ9eSl7heFAghttps://glite-rb3.ct.infn.it:9000/6l6BtfunkCvQ9eSl7heFAg [...] Submitted : Wed Jun 28 18:24:23 2006 CEST Waiting : Wed Jun 28 18:24:31 2006 CEST Ready : Wed Jun 28 18:24:34 2006 CEST Scheduled : Wed Jun 28 18:24:53 2006 CEST Running : Wed Jun 28 18:26:14 2006 CEST Done : Wed Jun 28 18:37:18 2006 CEST Cleared : Wed Jun 28 22:36:47 2006 CEST DATI TOTALI PER 3 JOB Quantità di dati  5.4 GB Tempo totale  791 sec Tempo sequenziale  16 sec (2%) Velocità complessiva  6.6 MB/s

10 Catania,Trigrid Open Day, 13.12.2006 Copia dei file in un processo batch file dati disponibili Lettura file Elaborazione at –f isospin-proc.sh now lo script lancia un processo figlio sul WN che si prepara ad elaborare rimane in attesa della fine del primo trasferimento (loop su file vuoto) quando pronto, lancia il programma di elaborazione sul primo file di dati il processo di copia avanza contemporaneamente (non richiede molta cpu) la copia termina quando il processo ha svuotato il file dei dati da copiare l’elaborazione termina quando ha svuotato il file dei dati da elaborare file dati da copiare file dati da elaborare

11 Catania,Trigrid Open Day, 13.12.2006 Programma temporale delle attivita' per le prossime 4/6 settimane Piano di attivita' –DeFilippo : nuove versioni del programma –M. IaconoManno  implementazione nuove versioni  completamento script per pre – e post-trattamento –A. Muoio : migliorie al jdl (collection, parametrici)  studio della struttura dei metadati  navigazione dei dati e metadati sul portale