Portal Architecture Data Management Marco Bencivenni – Riccardo Zappi CNAF – 11/01/12

Introduzione Data Management Portlet ha 3 sezioni Upload Download Gestione file Data Management Upload Download Management

GRID Storage Element del Portale USER BROWSER PORTAL Service SE SRM HTTPD/WEBDAV GridFTP FTS GRID LFC

Caratteristiche Portlet Data Management Integrare SRM client Creare e sottomettere job FTS Interagire con LFC Listener di eventi avvenuto upload/download sul SE del portale …. Notifica di stato finale

Caratteristiche Storage Portale Risorsa nell’infrastruttura del portale Risorsa espandibile nel tempo Basato su Grid Storage Element Distinzione tra Upload/Download Tempi di vita dei files (file volatili) Storage Area per VO/gruppi Policy per VO/group Quota sulle SA

UPLOAD FILE SU SERVER REMOTO FILE LOCALI UPLOAD VIA WEBDAV FILE LOCALI VIA BROWSER

Upload Requirements Molteplici file (~ 10000) File di grandi dimensioni (~10 GB) Upload resume Single Sign On (IDEM Federation) Notifica di termine upload in grid via mail/RSS (File sul SE Remoto e registrazione in LFC) Easy to use

Use Case 1 – Server remoto: Files in Server Remoto L’utente ha i propri file su un server remoto Nel form del portale specifica dove si trovano i file (URL) VO Logical File Name Quale SE di destinazione usare (Adv options)

Use Case 1 – Server remoto: Form upload Download Management . Server Remoto Locally URL START TRANSFER > VO LFN Advanced Options

Pagina Data Management 1 Pagina Data Management PORTAL USER BROWSER 2 Form 3 File URL+ metadati + Adv options 4 5 URL remoto per upload Service 6 Trasf. completato SE Wget/curl/ftp/torrent 8 Prepare to put SRM 9 PutDnne GridFTP 7 PULL Server Web Remoto HTTPD/FTP/Torrent 10 Start Trasf FTS 11 Trasf Fine 12 GridFTP GRID SE SRM 13 LFC Reg

Use Case 1 – Server remoto: Sviluppo da fare Sviluppo portlet data management con funzionalità: interazione con un SRM, registrazione su LFC gestione job FTS Sviluppo di un servizio per il recupero dei file (wget, curl, ftp, torrent)

Use case2: File Locali (WebDAV) L’utente ha i propri file localmente Nella portlet di data management trova quale URL usare per l’upload e istruzioni su come farlo L’utente configura webdav client con gli endpoint restituiti dal portale (VO/UID/Upload) Questo per ciascuna VO di appartenenza Nel form specifica quale SE di destinazione usare (Adv options)

https://utente@igi.cnaf.infn.it/VO/UID/Upload Use Case 2 WebDAV - Form Upload Download Management . Server Remoto Locally URL list https://utente@igi.cnaf.infn.it/VO/UID/Upload Advanced Options

WebDAV Struttura Upload User1 Download (Read Only by user) Upload VO Gruppo1 Download (Read Only by group) Gruppo2 Download (Read Only by group)

Pagina Data Management 1 Pagina Data Management PORTAL PC USER BROWSER 2 Form 3 Adv options 4 5 URL per upload 7 Trasf. completato SE Prepare to put 6 WebDAV SP WebDAV client SRM PUSH 7 Put Done GridFTP 9 Start Trasf FTS 10 Trasf Fine 11 GridFTP GRID SE IDP SRM 12 LFC Reg

Use Case 2 WebDAV : Sviluppo da fare La portlet deve preparare la struttura di storage per l’utente La portlet ripulisce lo spazio disco utente lasciando i file di upload solo il tempo necessario al trasferimento in grid SRM ripulisce lo spazio disco utente lasciando al massimo i file di download X giorni Il server WebDAV va interfacciato ad un SP shibboleth Il server webdav deve comunicare alla portlet quando il trasferimento è completato

Use Case 2 WebDAV : Pro e Contro Totale integrazione con il proprio desktop Contro: Configurazione statica del WebDAV Client Installazione di un WebDAV client Richiede modifica alla configurazione degli IDP Un URL per ciascun IDP: non è prevista l’interfaccia al servizio WAYF

Use case3: File Locali (Browser) L’utente ha i propri file localmente Nel form specifica Quale file caricare Quale VO usare Quale SE di destinazione usare (Adv options)

Use Case 3 Browser – Form upload Download Management . Server Remoto Locally FIle Browse START TRANSFER > VO LFN Advanced Options

Pagina Data Management 1 Pagina Data Management PORTAL BROWSER 2 Form + Scripts (AJAX) 3 File + Metadata + Adv options 4 5 URL per upload 7 Trasf. completato SE Prepare to put 6 HTTPD SP SRM PUSH 8 Put Done GridFTP PC USER 9 Start Trasf FTS 10 Trasf Fine 11 GridFTP GRID SE IDP SRM 12 LFC Reg

Browser: Pro e Contro Pro: Contro: Facilità d’uso (no client esterni) Mascheramento infrastruttura: URL dinamici Future ready Contro: Tempi di realizzazione Esistono già soluzioni esistenti, vanno analizzate ed eventualmente adattate

DOWNLOAD FILE SU SERVER REMOTO FILE LOCALI DOWNLOAD VIA WEBDAV O BROWSER FILE SU GRID

Download Requirements Molteplici file (~ 10000) File di grandi dimensioni (~10 GB) Multipart download Single Sign On (IDEM Federation) Tempi di vita/quota file nella cartella download Easy to use

3 Use Cases Si potrebbe fare scegliere all’utente al momento della costruzione del job dove vuole l’output: server remoto localmente al portale (sia soluzione WebDAV che Browser) Se sceglie di lasciarlo su un SE allora lo può sempre recuperare attraverso la sezione “Management” Una volta scaricato il portale può chiedere all’utente se vuole eliminare il file dalla grid

Download – Server Remoto L’utente specifica l’URL del server remoto ed eventualmente username e password per il login SRM ripulisce lo spazio disco una volta finito il trasferimento nel server remoto dopo X giorni

curl 1 Pagina Data Management PORTAL USER PC 2 Form 3 BROWSER 2 Form 3 Server URL + Adv options 4 LFC GRID SE SRM Start Trasf 5 GridFTP FTS Trasf Fine 6 7 GridFTP SE SRM Server Web Remoto PUSH HTTPD 8 URL remoto per upload Service curl 9 Trasf. completato 10

Download – File locali via WebDAV Il portale salva il file nella directory dell’utente e lo notifichiamo via mail SRM ripulisce lo spazio disco utente lasciando al max i file di download X giorni Upload User1 Download (Read Only by user) Upload User2 Download (Read Only by user) VO Gruppo1 Download (Read Only by group) Gruppo2 Download (Read Only by group)

5 1 LFC PORTAL USER PC GRID SE SRM Start Trasf 2 GridFTP FTS Trasf 3 BROWSER 1 LFC GRID SE SRM Start Trasf 2 GridFTP FTS Trasf Fine 3 4 GridFTP SE WebDAV SRM 5 PULL WebDAV client Trasf. completato 6

Download – File locali via Browser Il portale salva il file nella directory dell’utente e lo notifichiamo via mail SRM ripulisce lo spazio disco utente lasciando al max i file di download X giorni o quando l’utente ha finito il download Upload Download Management Lifetime LFC download Job output job1 job2 job3

5 SMS all’utente 6 Open Download Page 1 LFC GRID SE SRM PORTAL Start BROWSER 1 LFC GRID SE SRM Start Trasf 2 GridFTP FTS Trasf Fine 3 4 GridFTP 5 SMS all’utente SE HTTPD SRM 7 PULL 6 Open Download Page

GESTIONE FILE FILE CARICATI LFC

Gestione File - Interfaccia Upload Download Management . File caricati LFC Date LFN SURL Checksum Size Actions 10/01/12 Pippo.txt Surl1 Surl2 Delete Replicate Move

PORTAL GRID SE SRM Start Trasf GridFTP FTS Trasf Fine GridFTP GRID SE 1 Pagina Data Management PORTAL BROWSER 2 Form 3 SE destination GRID SE SRM Start Trasf GridFTP FTS Trasf Fine GridFTP GRID SE SRM Aggiornamento pagina Data Management

. File caricati LFC

Riepilogo Requirement Infrastruttura Gestione 10000 file Gestione file grandi (10 GB) SSO Infrastruttura Storage del portale espandibile nel tempo Funzionalità Portlet Data Management Upload Download Management

Riepilogo Upload/Download con Server Remoto Upload/Download via WebDAV Comunque necessario Upload/Download via WebDAV Difficile integrazione con Shibboleth Upload/Download via Browser Fase iniziale di analisi

Sviluppo comune ai vari scenari PORTAL USER BROWSER Storage Element del Portale Service SE SRM HTTPD/WEBDAV GridFTP FTS GRID LFC