FESR www.trigrid.it Trinacria Grid Virtual Laboratory Servizi gestione dati - Pratica Riccardo Bruno Primo Grid Tutorial Catania, 14-15.Marzo.2006.

Slides:



Advertisements
Presentazioni simili
Funzionalità di ricerca avanzata guidata EBSCOhost
Advertisements

Shell: variabili di sistema PATH HOME USER PWD SHELL HOSTNAME HOSTTYPE Per visualizzare il valore di tutte le variabili dambiente si usa il comando set.
EGEE-II INFSO-RI Enabling Grids for E-sciencE EGEE and gLite are registered trademarks Sicurezza in EGEE Vincenzo Ciaschini Roma.
APRIRE PROGRAMMA DI POSTA OUTLOOK EXPRESS
Windows Server 2003 Active Directory Diagnostica, Troubleshooting e Ripristino PierGiorgio Malusardi IT Pro – Evangelist Microsoft.
Comunicare con la posta elettronica (7.4)
Sicurezza e Policy in Active Directory
Sicurezza e Policy in Active Directory. Sommario Amministrazione della sicurezza in una rete Windows 2003 Amministrazione della sicurezza in una rete.
Amministrazione di una rete con Active Directory
Amministrazione di una rete con Active Directory.
Amministrazione di una rete con Active Directory
Guida Linux Molto rapida…. Due parole sullambiente grafico Potete usare: KDE o GNOME Si sceglie prima di mettere la password. Questione di gusti…
Laboratorio 1: Usare Linux. File system Il file system è la componente del sistema operativo che si occupa della gestione di file e cartelle Con laccount.
Uso di openafs Come usare il tool openafs per accedere e gestire i propri files sotto AFS.
Utilizzo file.htaccess Consente di impostare laccesso ad una specifica pagina web solo a gli utenti AFS ENEA che hanno il permesso (protetta da login)
Utilizzo file.htaccess generale Consente di impostare laccesso ad una specifica pagina web solo a tutti gli utenti AFS ENEA (protetta da login)
Shell: variabili di sistema PATH HOME USER PWD SHELL HOSTNAME … Per visualizzare il valore di tutte le variabili dambiente si usa il comando set.
TCP_Wrapper Le richieste per un determinato servizio (ad. es. telnet, ftp, rsh, etc.) vengono soddisfatte soltanto se lindirizzo IP del richiedente rientra.
Windows Sistema operativo con interfaccia grafica per PC IBM compatibili (varie versioni dal 95) La gestione dei file viene fatta secondo le modalità.
Posta elettronica : per iniziare : per iniziare Primi passi con la posta elettronica Primi passi con la posta elettronica
Sistemi Operativi - Introduzione 1 Il sistema operativo UNIX Dettagli e comandi avanzati Niccolò Battezzati Politecnico di Torino Dip. Automatica e Informatica.
Sistemi Operativi - Introduzione 1 Il sistema operativo UNIX Dettagli e comandi avanzati Niccolò Battezzati Politecnico di Torino Dip. Automatica e Informatica.
Viste. Cosè una vista? è possibile creare un subset logico di dati o una combinazione di dati una vista è una tabella logica basata su una tabella o su.
Creazione e manipolazione tabelle. TABELLE una tabella può essere creata in qualsiasi momento,anche quando gli utenti stanno usando il database la struttura.
Sistemi Operativi – La shell Salvatore Campagna Politecnico di Torino Dipartimento di Automatica.
Modulo 7 – reti informatiche u.d. 3 (syllabus – )
Guida IIS 6 A cura di Nicola Del Re.
SERVIZIO EDI – Primo Accesso
Fabrizio Grossi Verifica delle attività. L'operato degli amministratori di sistema deve essere oggetto, con cadenza almeno annuale, di un'attività
Server Web in una rete Windows Sommario Meccanismi di accesso remoto Meccanismi di accesso remoto Introduzione ai Server Web Introduzione ai Server.
Configurazione in ambiente Windows Ing. A. Stile – Ing. L. Marchesano – 1/23.
Un problema importante
Project Review Novembrer 17th, Project Review Agenda: Project goals User stories – use cases – scenarios Project plan summary Status as of November.
Internet Explorer I preferiti Stampa di pagine web Salvataggio di pagine web Copia di elementi di pagine web in altri applicativi.
BIOINFO3 - Lezione 111 CGI-BIN CGI-BIN sono chiamati i programmi la cui esecuzione può essere richiesta attraverso il WEB. Il server web (httpd) della.
CORSI DI FORMAZIONE - Basi di Dati: MySql - Parte 4 - Dicembre Utenti e privilegi del database - 1 Root è lutente amministratore predefinito, ma.
Ant Che cos’è Come si utilizza Funzionalità principali
PHP - PHP: Hypertext Preprocessor. Introduzione PHP (acronimo ricorsivo per "PHP: Hypertext Preprocessor") è un linguaggio di scripting general-purpose.
FESR Trinacria Grid Virtual Laboratory ADAT (Archivi Digitali Antico Testo) Salvatore Scifo TRIGRID Second TriGrid Checkpoint Meeting Catania,
FTP File Transfer Protocol
CNAF 18/11/2004 Federica Fanzago INFN Padova a/grape... BAT... BATMAN...o? M.Corvo, F.Fanzago, N.Smirnov (INFN Padova) + tutte le persone che fanno i test.
Operazione immissione persona Vogliamo implementare il seguente progetto: Immissione persona Anno N. Nome Cognome Errore:.... Controllo e Immissione Errore.
Unix (Linux-Mac OS) Alcuni comandi. cd change working directory cd [DIRECTORY] cd entra nella directory specificata. Se non è fornita alcuna directory.
Interazione col DB Per interagire con una base dati da una pagina PHP occorre procedere come segue: Eseguire la connessione al DBMS MySQL in ascolto;
Esercizio ODBC. Configurare il driver ODBC Start  Control Panel  Administrative Tools Aprire: Data Source(ODBC) User DSN  Add…. Selezionare il driver.
FESR Consorzio COMETA - Progetto PI2S2 CORSIKA Domenico Torresi Consorzio Cometa 1st First International Grid School for Industrial.
I FILE I File sono l’ unità base di informazione nell’interazione tra utente e sistema operativo I File sono l’ unità base di informazione nell’interazione.
TW Asp - Active Server Pages Nicola Gessa. TW Nicola Gessa Introduzione n Con l’acronimo ASP (Active Server Pages) si identifica NON un linguaggio di.
Distribuzione controllata del software con Systems Management Server 2003 Fabrizio Grossi.
Ancora sulla shell. Shell e comandi La shell e' un programma che interpreta i comandi dell'utente. I comandi possono essere dati da terminale, oppure.
SSH - Secure SHell1 Ssh (Secure Shell) Permette di: 1 - connettersi ad un altro sistema sulla rete. 2 - eseguire comandi su un sistema remoto. 3 - muovere.
E Windows SharePoint Services 2.0 Ivan Renesto Document Library how to use Windows SharePoint Services.
CORSO INTERNET la Posta elettronica
TIER-2 E’ stato certificato in sequenza dal –CNAF –Alessandro De Salvo come ATLAS software manager in LCG –LCG group del CERN nella TestZone E’ costituito.
Project Review Novembrer 17th, Project Review Agenda: Project goals User stories – use cases – scenarios Project plan summary Status as of November.
FESR Trinacria Grid Virtual Laboratory Esercitazione sulla Security Dario Russo INFN Catania Catania, 14 Marzo 2006.
Università degli studi di Cagliari Facoltà di Ingegneria Dipartimento di Ingegneria Elettronica Gruppo di Elettromagnetismo Metodo di Progettazione Automatica.
FESR Trinacria Grid Virtual Laboratory PROGETTO “MAMMO” Sviluppo e ottimizzazione di algoritmi adattativi, specificatamente di Artificial.
Overview del middleware gLite Guido Cuscela INFN-Bari II Corso di formazione INFN su aspetti pratici dell'integrazione.
FESR Trinacria Grid Virtual Laboratory La sicurezza dei dati in ambiente Trigrid Giordano Scuderi.
IV Corso di formazione INFN per amministratori di siti GRID Tutorial di amministrazione DGAS Giuseppe Patania.
04/06/2016Francesco Serafini INDICO Corso Nazionale Novembre 2007.
Martedi 8 novembre 2005 Consorzio COMETA “Progetto PI2S2” UNIONE EUROPEA Accesso all’infrastruttura Grid del Consorzio COMETA Grid Open Day alla Facoltà.
FESR Trinacria Grid Virtual Laboratory Porting su grid di *ROSETTA*, un metodo per la predizione di strutture proteiche Giuseppe La Rocca.
I L SO MS DOS … una breve guida…. C OS ’ È UN S ISTEMA OPERATIVO Un sistema operativo (SO) è un insieme di programmi che agisce come intermediario tra.
JOB MONITORING Donvito Giacinto INFN-Bari. OUTLINE ● Use-case ● Informazioni utilizzate e metodologie di raccolta per il job monitoring ● Informazioni.
FESR Trinacria Grid Virtual Laboratory Workload Management System (WMS) Muoio Annamaria INFN - Catania Primo Workshop TriGrid VL Catania,
FESR Trinacria Grid Virtual Laboratory AMGA Web Interface Salvatore Scifo TRIGRID Second TriGrid Checkpoint Meeting Catania,
FESR Trinacria Grid Virtual Laboratory University of Coimbra Data Management System gLite – LCG Salvatore Scifo INFN Catania Primo Grid.
Portal Architecture Data Management
Transcript della presentazione:

FESR Trinacria Grid Virtual Laboratory Servizi gestione dati - Pratica Riccardo Bruno Primo Grid Tutorial Catania, Marzo.2006

Catania, Primo Grid Tutorial, SOMMARIO Pratica su Gestione Dati LFC e lcg-utils Pratica su FTS Servizio di trasferimento file Pratica su metada catalog AMGA ‘mdclient’

Catania, Primo Grid Tutorial, Pratica su Gestione Dati LFC e lcg-utils

Catania, Primo Grid Tutorial, Configurare l’ambiente Controllare il valore della variabile d’ambiente $LFC_HOST: [localhost] /home/ /globus > echo $LFC_HOST $ export LFC_HOST=lfc.trigrid.it Assicurarsi di avere I propri certificati nella cartella.globus della propria ‘home’: [localhost] /home/ /.globus > ll total 8 -rw-r--r Jan 4 13:15 usercert.pem -r Jan 4 15:22 userkey.pem Se non si dispone di un proxy o se esso è scaduto, crearlo con il seguente comando: $ voms-proxy-init --voms (es. gilda, trigrid, etc.)

Catania, Primo Grid Tutorial, Elenco dei file di una cartelle LFC lfc-ls [-cdiLlRTu] [--comment] path dove path specifica il percorso nel ‘namespace’ virtuale di LFC –Si ricordi che LFC ha una struttura cartelle del tipo: – /grid/ / –Tutti i membri di una data VO hanno I permessi read-write sotto la loro directory –-l (lowercase “L”) stampa un’elenco dettagliato –-R Elenca il contenuto delle cartelle ricorsivamente (da non usare spesso!) –Si può settare la variabile d’ambiente LFC_HOME per settare percorsi relativi: LFC_HOME=/grid/gilda/myDir  /grid/gilda/myDir/myFile diventa myFile Comandi di catalogo LFC Definito dall’utente LFC Namespace

Catania, Primo Grid Tutorial, lfc-ls esempi $ lfc-ls –l /grid/gilda... -rw-rw-r Jun user.example lrwxrwxrwx Aug 26 03:32 user.example-link -> user.example lrwxrwxrwx Feb 10 03:25 user.example.link -> user.example lrwxrwxrwx Aug 26 03:31 user.example.tokyo33 /grid/gilda/user.example -rw-rw-r Jun user.example2 drwxr-xr-x Feb 10 06:07 user04 drwxrwxrwx Feb 10 05:59 user23 -rw-rw-r Jun valencia15.ejemplo... $ export LFC_HOME=/grid/gilda $ lfc-ls –l user.example -rw-rw-r Jun /grid/gilda/user.example

Catania, Primo Grid Tutorial, Comandi di catalogo LFC Creare un link simbolico lfc-ln -s file linkname lfc-ln -s directory linkname Creare un link allo specifico file o cartella con linkname $ lfc-ln -s /grid/gilda/user.example \ /grid/gilda/tutorial/linkToUser.example Si può controllare il link creato utilizzando: lfc-ls con l’elenco dettagliato (opzione -l): $ lfc-ls -l /grid/gilda/tutorial File originale Symbolic link lrwxrwxrwx Feb 16 16:48 linkToUser.ex -> /grid/gilda/user.example

Catania, Primo Grid Tutorial, Comandi di catalogo LFC Creare Cartelle nel ‘namespace’ di LFC lfc-mkdir [-m mode] [-p] path dove path specifica il percorso della cartella in LFC Si ricordi che quando si registra un file nuovo (usando lcg- cr, per esempio) la corrispondente cartella di destinazione deve essere già creata nel catalogo. Esempi: $ lfc-mkdir /grid/gilda/tutorial/ Si può controllare la catella appena creata con: $ lfc-ls -l /grid/gilda/tutorial

Catania, Primo Grid Tutorial, Comandi di catalogo LFC Aggiungere/Togliere informazione di tipo ‘metadata’ lfc-setcomment path comment lfc-delcomment path lfc-setcomment aggiunge/rimpiazza un commento associato con un file/cartella nel catalogo LFC. Se il file/directory ha già un commento associato, esso sarà rimpiazzato dal nuovo. lfc-delcomment elimina un commento aggiunto precedentemente. Se non ci sono commenti associati al file, questo comando restituisce l’errore: “No such file or directory”

Catania, Primo Grid Tutorial, Esempio: lfc-setcomment /grid/gilda/user.example “Hello World” Si controlli il commento inserito con: lfc-ls --comment /grid/gilda/user.example Esempio: lfc-delcomment /grid/gilda/user.example Si controlli il risultato con: lfc-ls –l --comment /grid/gilda/user.example Comandi di catalogo LFC -rw-rw-r Jun /grid/gilda/user.example Hello World -rw-rw-r Jun /grid/gilda/user.example

Catania, Primo Grid Tutorial, Sessione Pratica Esercizio No. 1: –Accedi ad una UI ed inizializzare le proprie credenziali proxy se non e’ stato ancora fatto. –Configurare in modo appropriato le variabili d’ambiente per utilizzare: lfc.trigird.it come catalogo –Si elenchi il contenuto del catalogo –Creare una directory con il proprio cognome, sotto la cartella /grid/gilda/tutorial/ –Creare un collegamento ad un file esistente nella directory che avete creato –Aggingere un commento a tale file e controllare

Catania, Primo Grid Tutorial, Comandi di Catalogo LFC Aggiungi/Rimpiazza un commentolfc-setcomment Setta le access control list (ACL) di un file/cartellalfc-setacl Rimuove un file/cartellalfc-rm Rinomina un file/cartellalfc-rename Crea una cartellalfc-mkdir Elenca file/cartelle nel ‘namespace’ di LFClfc-ls Crea un collegamento simbolico ad un file/cartellalfc-ln Ottiene le ‘access control list’ (ACL) di un dato file/cartella lfc-getacl Elimina il commento associato al file/cartellalfc-delcomment Cambia il proprietario e il gruppo del file/catella LFClfc-chown Cambia la modalità di accesso del file/cartella di LFClfc-chmod Sommario dei comandi di catalogo LFC

Catania, Primo Grid Tutorial, lcg-utils I tool di gestione dati di LCG (chiamati in breve: lcg- utils) permettono all’utente di: –Copiare file tra: UI, CE, WN e SE; –Registrare gli elementi in un Catalogo file. –Replicare file tra SE. Controllare se la variabile d’ambiente LCG_GFAL_INFOSYS è correttamente settata all’Information Index locale di GILDA (BDII): export LCG_GFAL_INFOSYS=grid004.ct.infn.it:2170

Catania, Primo Grid Tutorial, lcg-utils: lcg-cr Upload di un file ad uno SE e registarlo nel catalogo lcg-cr -d dest_file | dest_host [-g guid] [-l lfn] [-v | --verbose] --vo vo src_file dove: –dest_host E’ il nome dell’host dello SE di destinazione dest_file SURL valido (formati quali sfn:// or srm:// sono validi) –guid specifica il: ‘Grid Unique Identifier’. Se questa opzione non e’ presente, il sistema lo genera automaticamente. –lfn specifica il: ‘Logical File Name’ associato al file –vo specifica la: ‘Virtual Organization’ alla quale l’utente appartiene –src_file specifica il nome di file sorgente; I protocolli possono essere: file:/// o gsiftp:///

Catania, Primo Grid Tutorial, lcg-utils: lcg-cr Esempio: $ lcg-cr -v -d grid009.ct.infn.it -l lfn:/grid/gilda/tutorial/prova.txt --vo gilda file:/home/tutorial/prova Using grid catalog type: lfc Source URL: file:/home/tutorial/prova File size: 353 Destination specified: grid009.ct.infn.it Destination URL for copy: gsiftp://grid009.ct.infn.it/flatfiles/SE00/gilda/generated/2006-0… # streams: 1 Alias registered in Catalog: lfn:/grid/gilda/tutorial/prova.txt Transfer took 1200 ms Destination URL registered in Catalog: sfn://grid009.ct.infn.it/flatfiles/SE00/gilda/generated/2006-0… guid:bf95f82e-de a4b5-b9d40a94ee2c Per scoprire quale SE l’utente e’ abilitato ad utilizzare, si ricordi di utilizzare il comando: lcg-infosites lcg-infosites --vo gilda se Si ottiene una lista di SE e le relative informazioni sullo spazio usato/utilizzabile.

Catania, Primo Grid Tutorial, lcg-utils: lcg-aa and lcg-la Aggiungere un ‘alias’ per un dato GUID lcg-aa --vo vo guid lfn dove: –vo Specifica la ‘Virtual Organization’ cui l’utente appartiene –guid Specifica il Grid Unique IDentifier del file cui si vuole aggiungere l’alias –lfn specifica il nome del nuovo alias Esempio: $ lcg-aa --vo gilda guid:bf95f82e-de a4b5- b9d40a94ee2c lfn:/grid/gilda/tutorial/alias.txt Per controllare se il precedente comando ha avuto successo, si può utilizzare il comando lcg-la per elencare gli alias di un dato LFN, GUID o SURL $ lcg-la --vo gilda lfn:/grid/gilda/tutorial/alias.txt lfn:/grid/gilda/tutorial/prova.txt lfn:/grid/gilda/tutorial/alias.txt

Catania, Primo Grid Tutorial, Sessione Pratica Esercizio No. 2: –Verificare che la propria variabile d’ambiente LCG_GFAL_INFOSYS sia settata correttamente. –Creare un file qualunque nella propria cartella ‘home’. –Elencare gli storage element disponibili. –Copiare e registrare il file creato in precedenza nella propria cartella in LFC. –Aggiungere un alias al file copiato. –Controllare se l’alias e’ stato creato con successo.

Catania, Primo Grid Tutorial, lcg-utils comandi di gestione replica (I) Copiare un file tra SE e registrarli nel catalogo lcg-rep -d dest_file | dest_host [-v | --verbose] --vo vo src_file dove: –dest_host Il nome dell’host dello SE di destinazione –dest_file un SURL valido (both sfn:// or srm:// sono validi) –vo specifica la Virtual Organization di appartenenza dell’utente –src_file specifica il nome di file sorgente: Il protocollo può essere: LFN, GUID o SURL. Un SURL può essere sfn: per un SE classico oppure srm : $ lcg-rep -v -d grid005.iucc.ac.il --vo gilda lfn:/grid/gilda/tutorial/prova.txt Using grid catalog type: lfc Source URL: lfn:/grid/gilda/tutorial/prova.txt File size: 186 Destination specified: grid005.iucc.ac.il Source URL for copy: gsiftp://gilda-se-01.pd.infn.it/shared/… Destination URL for copy: gsiftp://grid005.iucc.ac.il/storage/…/filebe… # streams: 1 Transfer took ms Destination URL registered in LRC: sfn://grid005.iucc.ac.il/storage/gilda/generated/ /filebe…

Catania, Primo Grid Tutorial, lcg-utils comandi di gestione replica (II) Elenca le repliche di un dato LFN, GUID o SURL lcg-lr --vo vo file dove: –vo specifica la ‘Virtual Organization’ cui l’utente appartiene –file specifica il ‘Logical File Name’, il ‘Grid Unique Identifier’ oppure il ‘Site URL’. Un SURL può essere nella forma: sfn: o srm: Esempio: $ lcg-lr --vo gilda lfn:/grid/gilda/tutorial/note.txt sfn://grid-se.bio.dist.unige.it/flatfiles/SE00/gilda/generated… sfn://grid009.ct.infn.it/flatfiles/SE00/gilda/generated/2005-0… si ottiene lo stesso risultato utilizzando il GUID del file: $ lcg-lr --vo gilda guid:4c10a8e c38-…

Catania, Primo Grid Tutorial, lcg-utils comandi di gestione replica (III) Rimuovere replica lcg-del [ -a ] [ -s se ] [ -v | --verbose ] --vo vo file dove: –a Utilizzato per rimuovere tutte le repliche di un dato file –se specifica lo SE dal quale si vuole rimuovere la replica –vo specifica la ‘Virtual Organization’ cui l’utente appartiene –file specifica il ‘Logical File Name’, il ‘Grid Unique Identifier’ o il ‘Site URL’. Un SURL può essere nella forma sfn: per uno SE classico oppure srm:. Esempio: Rimuovere una replica $ lcg-del --vo gilda -s grid009.ct.infn.it lfn:/grid/gilda/tutorial/alias.txt Rimuovere tutte le repliche $ lcg-del -a --vo gilda lfn:/grid/gilda/tutorial/prova.txt Si controlli se il precedente comando ha avuto successo $ lcg-lr --vo gilda lfn:/grid/gilda/tutorial/prova.txt lcg_lr: No such file or directory Oppure con lfc-ls /grid/gilda/tutorial (non si vedrà più prova.txt e il suo alias)

Catania, Primo Grid Tutorial, lcg-utils: lcg-cp Download di un file Grid da uno SE a una destinazione locale lcg-cp [ -v | --verbose ] --vo vo src_file dest_file dove: –vo specifica la ‘Virtual Organization’ cui l’utente appartiene –src_file specifica il nome di file sorgente: Il protocollo può essere: LFN, GUID, SURL o un file locale. Un SURL può essere nella forma sfn: per uno SE classico oppure srm: –dest_file specifica la destinazione. Il protocollo può essere: file:/// o gsiftp:/// Esempio: $ lcg-cp -v --vo gilda lfn:/grid/gilda/tutorial/prova.txt file:/home/tutorial/prova.txt Source URL: lfn:/grid/gilda/tutorial/prova.txt File size: 353 Source URL for copy: gsiftp://grid009.ct.infn.it/flatfiles/SE00/gilda/generated/2006… Destination URL: file:/home/tutorial/prova.txt # streams: 1 Transfer took 1360 ms

Catania, Primo Grid Tutorial, Sessione Pratica Esercizio No. 3: –Creare due repliche del file precedentemente copiato (si può anche creare un alias) –Si controlli se l’operazione ha avuto successo –Scaricare di nuovo il file nella UI –Cancellare una delle repliche e verificare –Cancellare tutte le repliche e verificare –Verificare se il file è ancora presente nel catalogo

Catania, Primo Grid Tutorial, Esercizio finale Obiettivo: Sottomettere un job che gestisce dati: Si recuperrerà un file precedentemente registrato sul Catalogo. Passi da seguire: –Creare un nuovo file nella propria UI ed inserire alcuni dati in esso. –Scegliere uno SE dove inserire il file (su usi: lcg-infosites ) e modificare il comando seguente per immettere propriamente il file (lcg-cr –v --vo gilda –l lfn:/grid/gilda/tutorial/ -d file:`pwd`/ ) –Creare uno script di shell: (script.sh) con il seguente contenuto: #!/bin/sh /bin/hostname #Change the LFN_NAME to download from the Catalog. echo "Start to download.." lcg-cp --vo gilda lfn:/grid/gilda/tutorial/ file:`pwd`/output.dat echo "Done.."

Catania, Primo Grid Tutorial, Esercizio finale (II) Creare il file JDL: JobWithData.jdl: Type = "job"; JobType = "Normal"; Executable = "/bin/sh"; Arguments = "script.sh"; VirtualOrganisation = "gilda"; StdOutput = "std.out"; StdError = "std.err"; InputSandbox = {"script.sh"}; OutputSandbox = {"std.out","std.err","output.dat"}; Sottometterlo alla Griglia Si recuperi l’output, verificando il contenuto di output.dat

Catania, Primo Grid Tutorial, Sommario dei comandi lcg-utils Replica Management Setta lo stato del file a: “Done” per un dato SURL in una richiesta SRMlcg-sd Ottiene il TURL di un dato SURL con il relatovo protocollo di trasferimentolcg-gt Replica tra SEs e registrazione della replica su catalogolcg-rep Elimina un filelcg-del Copia un file su uno SE e li registra su catalogolcg-cr Copia un file grid ad una destinazione localelcg-cp File Catalog Interaction Elenca le repliche di un dato GUID, SURL or LFNlcg-lr Ottiene i GUID di un dato LFN o SURLlcg-lg Elenca gli alias di un dato SURL, GUID or LFNlcg-la Toglie dal registro LFC un file contenuto in uno SElcg-uf Registra in LFC un file contenuto in uno SElcg-rf Rimuove an alias in LFC per un dato GUIDlcg-ra Aggiunge un alias in LFC per un dato GUIDlcg-aa

Catania, Primo Grid Tutorial, Pratica su FTS Servizio di trasferimento file

Catania, Primo Grid Tutorial, FTS: Trasferimento dati: requisiti di sicurezza Bisogna memorizzare le proprie credenziali sul server MyProxy utilizzando l’opzione –d (usa DN come identificativo.) [glite-tutor] /home/brunor > myproxy-init -s grid001.ct.infn.it –d Your identity: /C=IT/O=GILDA/OU=Personal Certificate/L=INFNCT/CN=Riccardo Enter GRID pass phrase for this identity: Creating proxy Done … Enter MyProxy pass phrase: Verifying password - Enter MyProxy pass phrase: A proxy valid for 168 hours (7.0 days) for user brunor now exists on grid001.ct.infn.it. Si verifichi la validità delle autorizzazini VOMS. [glite-tutor] /home/brunor > voms-proxy-info –all === VO gilda extension information === VO : gilda subject : /C=IT/O=GILDA/OU=Personal Certificate/L=INFNCT/CN=Riccardo issuer : /C=IT/O=GILDA/OU=Host/L=INFN attribute : /gilda/Role=NULL/Capability=NULL timeleft : 11:57:12

Catania, Primo Grid Tutorial, FTS: Trasferimento dati: requisiti Constrollare quali CANALI sono disponibili per il trasferimento dati sulla propria VO, utilizzando: – glite-transfer-channel-list [-h] [-q] [-s SERVIZIO] [-V] [-v] CANALE... Examples: [glite-tutor] /home/brunor > glite-transfer-channel-list channelCnafCt channelCnafPd channelCtCnaf channelCtPd channelPdCnaf channelPdCt $ glite-transfer-channel-list channelCtCnaf Channel: channelCtCnaf Between: ct.infn.it and cnaf.infn.it State: Active Contact: Bandwidth: 1001 Nominal throughput: 1000 Number of files: 4, streams: 1 Number of VO shares: 2 VO 'gilda' share is: 50 Se si è autorizzati:

Catania, Primo Grid Tutorial, FTS: Spostare dati tra SE Sottomettere un job di transferimento Uso: glite-transfer-submit [opzioni] [SORGENTE DEST] Opzioni disponibili: -h Print this help text and exit. -q Quiet operation. -s URL Use the transfer service at the specified URL. -v Print details about the service. --verbose Be more verbose. --source SSITE Specify source site name --dest DSITE Specify destination site name -V Print the version number and exit. -b Blocking mode, wait until the operation completes. -f FILE Read job descriptions from FILE -g PARAM gridftp parameters -i TIME Interval between two poll operations in blocking mode -m SERVER MyProxy server to use -p PASSWORD MyProxy password to send with the job Sarà richiesta una password MyProxy. Infine sarà stampato un Identificativo di Job Si utilizzino indirizzi SURL di tipo srm:

Catania, Primo Grid Tutorial, FTS: Spostare dati tra SE: Esempio Sottomettere un job di transferimento: [glite-tutor] /home/brunor > glite-transfer-submit srm://aliserv6.ct.infn.it/dpm/ct.infn.it/home/gilda/generated/ /file0b4ac ed-81cf-b15e45db6adb srm://egee016.cnaf.infn.it:8443/srm/managerv1?SFN=/dpm/cnaf.infn.it/home/gilda/brunor/big file.217 Enter MyProxy password: Enter MyProxy password again: eb0cf7f6-b27e-11da-adb3-b011f636d7da Per scoprire quale SE l’utente e’ abilitato ad utilizzare, si ricordi di utilizzare il comando: lcg-infosites lcg-infosites --vo gilda se Si ottiene una lista di SE e le relative informazioni sullo spazio usato/utilizzabile. Per scoprire l’indirizzo SULR di un file in LCG, si ricordi di utilizzare il comando: lcg-lr [glite-tutor] /home/brunor > lcg-lr lfn:/grid/gilda/brunor/bigfile vo gilda sfn://grid009.ct.infn.it/flatfiles/SE00/gilda/generated/ /filec6d7d257-6fc8- 4d9f-8e6b-2c2418ce88d5 srm://aliserv6.ct.infn.it/dpm/ct.infn.it/home/gilda/generated/ /file0b4ac ed-81cf-b15e45db6adb

Catania, Primo Grid Tutorial, FTS: Controllo dei job di trasferimento Visualizzare lo status dei job di trasferimento glite-transfer-status [-h] [-q] [-s SERVIZIO] [-V] [-v] [-l] JOBID... JOBID è l’identificatore di un job di trasferomento. -l elenca lo stato di ogni singolo file che fa parte di un job di trasferimento. Esempio: [glite-tutor] /home/brunor > glite-transfer-status -l eb0cf7f6-b27e-11da- adb3-b011f636d7da Done Source: srm://aliserv6.ct.infn.it/dpm/ct.infn.it/home/gilda/generated/ /file0b4ac ed-81cf-b15e45db6adb Destination: srm://egee016.cnaf.infn.it:8443/srm/managerv1?SFN=/dpm/cnaf.infn.it/home/gi lda/brunor/bigfile.217 State: Done Retries: 0 Reason: (null) Duration: 15 Cancella un precedente job di trasferimento glite-transfer-cancel [-h] [-q] [-s SERVIZIO] [-V] [-v] JOBID... Example: glite-transfer-cancel f-3b34-11da-8336-f118ddd430f7

Catania, Primo Grid Tutorial, Pratica su AMGA mdclient

Catania, Primo Grid Tutorial, Accesso al Catalogo Metadati Copiare un file ‘template’Copy che contiene la configurazione del client $ cp $GLITE_LOCATION/etc/mdclient.config $HOME/.mdclient.config Si fa partire il client Metadata con $ mdclient Avvenuto l’accesso al client si ottiene una lista di comandi disponibili mediante il comando: help. Connected to amga.ct.infn.it:8822 ARDA Metadata Server Query> help >> >help [topic]< >> >Displays help on a command or a topic.< >> >Valid topics are: help metadata metadata-optional directory entry group acl index schema sequence user view ticket commands< I comandi sono raggruppati per argomento. Si ottiene la lista dei comandi validi per ogni argomento, inserendo il comando: help [topic] Esempio: help entry

Catania, Primo Grid Tutorial, AMGA: Lista degli argomenti Argomeni validi –help –metadata –metadata-optional –directory –replication –entry –group –acl –index –schema –sequence –user –view –ticket –commands

Catania, Primo Grid Tutorial, mdclient: Comandi generici >> createdir [option] Crea una nuova cartella. Essa puo’ ereditare lo scema associato alla cartella superiore. >> rm pattern Rimuove elementi che corrispondono al ‘pattern’ specificato >> link Crea un collegamento a un’altro file o a un’URL esterno >> dir Elenca il contenuto di una cartella >> listentries Lista gli elementi (non le ‘collections’) in una cartella >> stat Visualizza le statistiche di un elemento di una cartella >> chown Cambia il proprietaro di un file o cartella >> chmod Cambia la modalità di accesso di un file o cartella >> rmdir Rimuove una cartella >> dump Crea un ‘dump’ ricorsivo partendo da una data cartella, (di default è: ‘/’)

Catania, Primo Grid Tutorial, MDC: comandi di manipolazione cartelle Elenca il contenuto di una cartella – dir [percorso] Restituisce il nome di tutte le sottocartelle e file nel dato cammino o nella cartella corrente se non specificato. Stampa la cartella di lavoro corrente – pwd Cambia la cartella di lavoro corrente – cd Esempio: cd /gilda/madrid Creazione di una cartella – createdir Crea la cartella specificata nel percorso se essa non esiste ancora. Le directory precedenti devono esistere. Esempio: createdir /gilda/sat2k/satimages Directory removal – rmdir Rimuove la cartella specificata nel percorso

Catania, Primo Grid Tutorial, MDC: Manipolazione degli attributi Creazione dello schema – addattr dir attr type Aggiunge un nuovo attributo allo schema di una cartella. type è il nome di un tipo dati SQL che sarà tradotto (se necessario) in un tipo dati supportato dal Database vero e proprio di AMGA (ORACLE,mysql). Esempi di tipo dati validi sono: int, float, varchar(n), timestamp, text, numeric(p,s) Esempi: addattr /gilda/sat2k/satimages ImageTitle varchar(100) addattr /gilda/sat2k/satimages ImageIndex int addattr /gilda/sat2k/satimages Remark text Attribute listing – listattr path Restituisce una lista di attributi di un dato file o cartella Rimozione attributi – removeattr dir attribute Rimuove attributi da una cartella se non utilizzata da qualche elemento nella directory.

Catania, Primo Grid Tutorial, MDC: gestione degli elementi Creazione di un’elemento – addentry entry (attribute value)+ Aggiunge un nuovo elemento e inizializza alcuni attributi Esempio: addentry /gilda/sat2k/satimages/ ….jpg ImageTitle Madagascar Impostazione dei valori degli attributi – setattr entry (attribute value)+ Imposta uno o più attributi di un’elemento con un valore dato Esempio: setattr /gilda/sat2k/satimages/ ….jpg ImageIndex 86 Ottenere I valori degli attributi – getattr pattern (attribute)+ Restituisce gli elementi e gli attributi di ogni file che soddisfa un ‘pattern’ Esempio: getattr /gilda/sat2k/satimages/*.jpg ImageTitle Rimozione di un’elemento – rm pattern Rimuove gli elementi che soddisfano un dato ‘pattern’ Esempio: rm /gilda/sat2k/satimages/*.jpg

Catania, Primo Grid Tutorial, Metadata: Interrogazioni – find pattern ‘query_condition’ Restituisce tutti gli elementi che soddisfano una dato ‘pattern’ per la quale l’interrogazione è valida. Esempi: find /gilda/sat2k/satimages/ ‘ImageIndex > 60’ find /gilda/sat2k/satimages/ ‘like(ImageTitle, “Mad%”)’ find /gilda/sat2k/satimages/ ‘like(ImageTitle, “Mad%”) AND ImageIndex > 80’ – selectattr attr... condition Restituisce I valori di un dato attributo per tutti I file che soddisfano la condizione Esempio: cd /gilda/sat2k/satimages/ selectattr.:ImageTitle.:ImageIndex ‘ImageIndex > 80' >> >Madagascar< >> >86<

Catania, Primo Grid Tutorial, Sessione Pratica Exercizio 4: Accedere al catalogo Metadata Creare una cartella con il proprio cognome nella cartella: /gilda/trigrid Aggiungere alcuni attributi: (Description (varchar(100), Value int, Comment text) alla cartella appena creata Aggiungere alcuni elementi utilizzando i LFN dei file precedentemente registrati nel File Catalog durante le precedenti sessioni pratiche di DMS Valorizzare gli attributi degli elementi inseriti Elencare gli elementi che hanno: Value > 50

Catania, Primo Grid Tutorial, Riferimenti LFC, gfal, lcg-utils – onId=7&confId=0http://indico.cern.ch/contributionDisplay.py?contribId=278&sessi onId=7&confId=0 FTS pagina Wiki – na4.ct.infn.it/genapps/wiki/index.php/gLiteMiniTutorialFTShttp://egee- na4.ct.infn.it/genapps/wiki/index.php/gLiteMiniTutorialFTS AMGA – dev/metadata/index.htmlhttp://project-arda-dev.web.cern.ch/project-arda- dev/metadata/index.html

Catania, Primo Grid Tutorial, Questions…