Portal Architecture Data Management

Presentazione sul tema: "Portal Architecture Data Management"— Transcript della presentazione:

1 Portal Architecture Data Management
Marco Bencivenni – Riccardo Zappi CNAF – 11/01/12

2 Introduzione Data Management Portlet ha 3 sezioni Upload Download
Gestione file Data Management Upload Download Management

3 GRID Storage Element del Portale USER BROWSER PORTAL Service SE
SRM HTTPD/WEBDAV GridFTP FTS GRID LFC

4 Caratteristiche Portlet Data Management
Integrare SRM client Creare e sottomettere job FTS Interagire con LFC Listener di eventi avvenuto upload/download sul SE del portale …. Notifica di stato finale

5 Caratteristiche Storage Portale
Risorsa nell’infrastruttura del portale Risorsa espandibile nel tempo Basato su Grid Storage Element Distinzione tra Upload/Download Tempi di vita dei files (file volatili) Storage Area per VO/gruppi Policy per VO/group Quota sulle SA

6 UPLOAD FILE SU SERVER REMOTO FILE LOCALI UPLOAD VIA WEBDAV FILE LOCALI
VIA BROWSER

7 Upload Requirements Molteplici file (~ 10000)
File di grandi dimensioni (~10 GB) Upload resume Single Sign On (IDEM Federation) Notifica di termine upload in grid via mail/RSS (File sul SE Remoto e registrazione in LFC) Easy to use

8 Use Case 1 – Server remoto: Files in Server Remoto
L’utente ha i propri file su un server remoto Nel form del portale specifica dove si trovano i file (URL) VO Logical File Name Quale SE di destinazione usare (Adv options)

9 Use Case 1 – Server remoto: Form upload
Download Management . Server Remoto Locally URL START TRANSFER > VO LFN Advanced Options

10 Pagina Data Management
1 Pagina Data Management PORTAL USER BROWSER 2 Form 3 File URL+ metadati + Adv options 4 5 URL remoto per upload Service 6 Trasf. completato SE Wget/curl/ftp/torrent 8 Prepare to put SRM 9 PutDnne GridFTP 7 PULL Server Web Remoto HTTPD/FTP/Torrent 10 Start Trasf FTS 11 Trasf Fine 12 GridFTP GRID SE SRM 13 LFC Reg

11 Use Case 1 – Server remoto: Sviluppo da fare
Sviluppo portlet data management con funzionalità: interazione con un SRM, registrazione su LFC gestione job FTS Sviluppo di un servizio per il recupero dei file (wget, curl, ftp, torrent)

12 Use case2: File Locali (WebDAV)
L’utente ha i propri file localmente Nella portlet di data management trova quale URL usare per l’upload e istruzioni su come farlo L’utente configura webdav client con gli endpoint restituiti dal portale (VO/UID/Upload) Questo per ciascuna VO di appartenenza Nel form specifica quale SE di destinazione usare (Adv options)

13 https://utente@igi.cnaf.infn.it/VO/UID/Upload
Use Case 2 WebDAV - Form Upload Download Management . Server Remoto Locally URL list Advanced Options

14 WebDAV Struttura Upload User1 Download (Read Only by user) Upload
VO Gruppo1 Download (Read Only by group) Gruppo2 Download (Read Only by group)

15 Pagina Data Management
1 Pagina Data Management PORTAL PC USER BROWSER 2 Form 3 Adv options 4 5 URL per upload 7 Trasf. completato SE Prepare to put 6 WebDAV SP WebDAV client SRM PUSH 7 Put Done GridFTP 9 Start Trasf FTS 10 Trasf Fine 11 GridFTP GRID SE IDP SRM 12 LFC Reg

16 Use Case 2 WebDAV : Sviluppo da fare
La portlet deve preparare la struttura di storage per l’utente La portlet ripulisce lo spazio disco utente lasciando i file di upload solo il tempo necessario al trasferimento in grid SRM ripulisce lo spazio disco utente lasciando al massimo i file di download X giorni Il server WebDAV va interfacciato ad un SP shibboleth Il server webdav deve comunicare alla portlet quando il trasferimento è completato

17 Use Case 2 WebDAV : Pro e Contro
Totale integrazione con il proprio desktop Contro: Configurazione statica del WebDAV Client Installazione di un WebDAV client Richiede modifica alla configurazione degli IDP Un URL per ciascun IDP: non è prevista l’interfaccia al servizio WAYF

18 Use case3: File Locali (Browser)
L’utente ha i propri file localmente Nel form specifica Quale file caricare Quale VO usare Quale SE di destinazione usare (Adv options)

19 Use Case 3 Browser – Form upload
Download Management . Server Remoto Locally FIle Browse START TRANSFER > VO LFN Advanced Options

20 Pagina Data Management
1 Pagina Data Management PORTAL BROWSER 2 Form + Scripts (AJAX) 3 File + Metadata + Adv options 4 5 URL per upload 7 Trasf. completato SE Prepare to put 6 HTTPD SP SRM PUSH 8 Put Done GridFTP PC USER 9 Start Trasf FTS 10 Trasf Fine 11 GridFTP GRID SE IDP SRM 12 LFC Reg

21 Browser: Pro e Contro Pro: Contro: Facilità d’uso (no client esterni)
Mascheramento infrastruttura: URL dinamici Future ready Contro: Tempi di realizzazione Esistono già soluzioni esistenti, vanno analizzate ed eventualmente adattate

22 DOWNLOAD FILE SU SERVER REMOTO FILE LOCALI DOWNLOAD VIA WEBDAV
O BROWSER FILE SU GRID

23 Download Requirements
Molteplici file (~ 10000) File di grandi dimensioni (~10 GB) Multipart download Single Sign On (IDEM Federation) Tempi di vita/quota file nella cartella download Easy to use

24 3 Use Cases Si potrebbe fare scegliere all’utente al momento della costruzione del job dove vuole l’output: server remoto localmente al portale (sia soluzione WebDAV che Browser) Se sceglie di lasciarlo su un SE allora lo può sempre recuperare attraverso la sezione “Management” Una volta scaricato il portale può chiedere all’utente se vuole eliminare il file dalla grid

25 Download – Server Remoto
L’utente specifica l’URL del server remoto ed eventualmente username e password per il login SRM ripulisce lo spazio disco una volta finito il trasferimento nel server remoto dopo X giorni

26 curl 1 Pagina Data Management PORTAL USER PC 2 Form 3
BROWSER 2 Form 3 Server URL + Adv options 4 LFC GRID SE SRM Start Trasf 5 GridFTP FTS Trasf Fine 6 7 GridFTP SE SRM Server Web Remoto PUSH HTTPD 8 URL remoto per upload Service curl 9 Trasf. completato 10

27 Download – File locali via WebDAV
Il portale salva il file nella directory dell’utente e lo notifichiamo via mail SRM ripulisce lo spazio disco utente lasciando al max i file di download X giorni Upload User1 Download (Read Only by user) Upload User2 Download (Read Only by user) VO Gruppo1 Download (Read Only by group) Gruppo2 Download (Read Only by group)

28 5 1 LFC PORTAL USER PC GRID SE SRM Start Trasf 2 GridFTP FTS Trasf 3
BROWSER 1 LFC GRID SE SRM Start Trasf 2 GridFTP FTS Trasf Fine 3 4 GridFTP SE WebDAV SRM 5 PULL WebDAV client Trasf. completato 6

29 Download – File locali via Browser
Il portale salva il file nella directory dell’utente e lo notifichiamo via mail SRM ripulisce lo spazio disco utente lasciando al max i file di download X giorni o quando l’utente ha finito il download Upload Download Management Lifetime LFC download Job output job1 job2 job3

30 5 SMS all’utente 6 Open Download Page 1 LFC GRID SE SRM PORTAL Start
BROWSER 1 LFC GRID SE SRM Start Trasf 2 GridFTP FTS Trasf Fine 3 4 GridFTP 5 SMS all’utente SE HTTPD SRM 7 PULL 6 Open Download Page

31 GESTIONE FILE FILE CARICATI LFC

32 Gestione File - Interfaccia
Upload Download Management . File caricati LFC Date LFN SURL Checksum Size Actions 10/01/12 Pippo.txt Surl1 Surl2 Delete Replicate Move

33 PORTAL GRID SE SRM Start Trasf GridFTP FTS Trasf Fine GridFTP GRID SE
1 Pagina Data Management PORTAL BROWSER 2 Form 3 SE destination GRID SE SRM Start Trasf GridFTP FTS Trasf Fine GridFTP GRID SE SRM Aggiornamento pagina Data Management

34 . File caricati LFC

35 Riepilogo Requirement Infrastruttura
Gestione file Gestione file grandi (10 GB) SSO Infrastruttura Storage del portale espandibile nel tempo Funzionalità Portlet Data Management Upload Download Management

36 Riepilogo Upload/Download con Server Remoto Upload/Download via WebDAV
Comunque necessario Upload/Download via WebDAV Difficile integrazione con Shibboleth Upload/Download via Browser Fase iniziale di analisi

37 Sviluppo comune ai vari scenari
PORTAL USER BROWSER Storage Element del Portale Service SE SRM HTTPD/WEBDAV GridFTP FTS GRID LFC