Background zMeeting tra HEPCCC e funzionari EU (12/11/99) yFinanziamento EU per un progetto di computational and data grid per HEP zMeeting tra CERN (coordinatore)

Presentazione sul tema: "Background zMeeting tra HEPCCC e funzionari EU (12/11/99) yFinanziamento EU per un progetto di computational and data grid per HEP zMeeting tra CERN (coordinatore)"— Transcript della presentazione:

1 Background zMeeting tra HEPCCC e funzionari EU (12/11/99) yFinanziamento EU per un progetto di computational and data grid per HEP zMeeting tra CERN (coordinatore) e rappresentanti Stati (11/1/00)

2 Project zMain focus: computing per LHC zPossibile partecipazione di altri esperimenti HEP zPartecipazione di comunita` scientifiche non HEP zCollaborazioni con progetti GRID americani (PPDG, GriPhyn,...) zCollaborazione con partner industriali z3-5 anni zDefinizione di 2 working group (politico, tecnico) per definire un project proposal

3 Timescale zChep2000: Project outline zWorkshop 7/3: Draft project proposal zMay 10: submission to EU

4 Aims of Tech. WG zWhat’s there already ? yStudy of current work, proposed projects zWhat do we need in preparation for LHC ? zWhat is missing ?

5 What’s there already ? zGrid Forum, The European Grid Forum zGlobus zLegion zNASA Information Power Grid zPPDG zApogee zGriphyn zChina Clipper zUniv. of Adelaide Distributed and High Performance Computing Grid z...

6 INFN & “Grid Related Projects” zSperimentazioni Globus zCondor zMonarc

7 What is needed for LHC ? zQual e` il modello di computing da considerare ? zQuali sono le esigenze in termini di calcolo e data management ? zChe tipo di processing si devono considerare ? zQuali sono i servizi necessari ? zV. “Testbed for LHC Computing: Computing Fabrics and Regional Centres”

8 Cosa ci serve/ci interessa ? zDistributed processing (si muove l’applicazione dove stanno i dati) ? zDistributed caching (i dati vengono spostati dove sta l’applicazione) ? zEntrambi ?? XX

9 Cosa ci serve/ci interessa ? zElaborazioni: ySchedulate ? y“Caotiche” ? yEntrambi ? XX

10 Cosa ci serve/ci interessa ? zPossibilita` di usare diversi sistemi di storage per i dati (Unix file systems, nastri, MSS, http servers, ecc...) ? NO yNecessaria interfaccia unifome per lettura, scrittura, copia,... zNamespace unico per i dati (naming indipendente dalla locazione e dal sistema di storage usato) ? SI

11 Cosa ci serve/ci interessa ? zAccesso trasparente ai dati da parte dell’utente ? SI yL’utente non sa: xDove sono xLo storage system usato xCome e dove vengono spostati zNetwork Data Replication ? SI zNetwork Data Caching ? SI zSincronizzazione tra le varie repliche dello stesso dato ? SI, loose

12 Cosa ci serve/ci interessa ? zWide Area Data mover tra diversi storage systems ? yPer bulk data transfer ? SI yPer analisi interattive ? SI zA che livello ? NON SAPPIAMO DIRLO yFile ? yOggetto ? yDB ? ySequenza di bytes ? NO

13 Cosa ci serve/ci interessa ? zModulo per trovare la replica piu` “vicina”, e ne stima il costo di accesso ? SI zModulo per stimare il costo necessario per creare una nuova replica ? SI zParametri ydimensione dei dati ycosto di accesso agli storage storage systems ystato della rete ypossibilita` di riservare network bandwidth y...

14 Cosa si serve/ci interessa ? zApplication metadata ? SI yDescrizione dei dati (cosa contiene un certo dato, in che circostanze e` stato generato, ecc...) yServizio usato dalle applicazioni per queries, per definire i dati da elaborare, ecc... yMapping tra “nomi logici” (usati dalle applicazioni) e istanze fisiche yPossibilita` di definire collezioni, gerarchie, ecc... zServe ??? SI O si usano i meccanismi di astrazione del DBMS ???

15 Cosa ci serve/ci interessa ? zTertiary storage (nastri) solo per archiving/backup o anche per i dati “attivi” ARCH/BAC zMass Storage Systems (HPSS, Enstore, ecc...) ? NO, ALMENO ADESSO

16 Cosa ci serve/ci interessa ? zNetwork Workload Management ? SI zAccesso trasparente ai processori da parte dell’utente SI yL’utente non sa: xDove sono i processori xCome vengono allocati zMatchmaking basato su: yRequirement e profilo dell’applicazione yStato dei sistemi yStato del networking yWide area data location y...

17 Cosa ci serve/ci interessa ? zIntegrazione di diversi resource manager locali ? SI zStandard language per definire e sottomettere al sistema i job ? SI

18 Cosa ci serve/ci interessa ? zRisorse computazionali eterogenee ? SI zPossibilita`di definire priorita`, policies sull’uso delle risorse (in base al tipo di applicazione, all’utente, ecc...), ecc... ? SI zCpuS solo dedicate o necessita` di sfruttare anche risorse “general purpose” ? ???

19 Cosa ci serve/ci interessa ? zNetworking yMeccanismi di QoS per poter gestire diversi tipi di traffico, con diverse caratteristiche, con diverse priorita` ? SI yMeccanismi per allocare bandwidth ? SI yStudio delle configurazioni ottimali dei protocolli di rete ? yStorage Area Networkin Wide Area

20 Cosa ci serve/ci interessa ? zInstallazione e update automatico del sw su centinaia/migliaia di ws ? SI yRemote Installations yVersion Management yManagement of application installation dependecies y...

21 Cosa ci serve/ci interessa ? zMonitoring ? SI yservizi yhost ycluster ynetworking yapplicazioni z Individuazione di fault, di congestioni,... ? SI SI

22 Cosa ci serve/ci interessa ? zAllarmi SI zServizi per il “recupero” automatico da situazioni di failure SI zAccounting sull’utilizzo delle risorse SI

23 Cosa ci serve/ci interessa ? zProblem management ? SI ySistemi di identificazione automatica delle cause di malfunzionamenti o degrado delle prestazioni

24 Cosa ci serve/ci interessa ? zGestione delle autenticazioni ? SI ySingola autenticazione per tutta la GRID zGestione delle autorizzazioni ? SI yPossibilita` di definire autorizzazioni per i vari tipi di accesso alle varie risorse da parte degli utenti zProtezione della GRID infrastructure da: SI yintrusioni ? ycompromissione dell’integrita` e/o privacy delle informazioni ? y...

25 Cosa ci serve/ci interessa ? zInformation service ? SI yCaratteristiche, stato, allocazione, policies d’uso, performance, ecc... di: xHosts xStorage systems xNetworking yAttributi statici e dinamici yPopolato e aggiornato automaticamente

26 Cosa ci serve/ci interessa ? zBookkeeping ? SI yInformazioni da registare per ogni processing xdati di input xdati di output xesito del processing x... xinformazioni “application dependent”

27 Cosa ci serve/ci interessa ? zWeb User Interface yper la definizione dell’applicazione da parte dell’utente ? SI, NON GRAFICA xPer definire interdipendenze tra diversi task (time dependencies, data dependencies,...) NO yper il submit dei job al sistema ? SI yper il monitoring dell’applicazione ? SI y...

28 Cosa ci serve/ci interessa ? zApplicazioni parallele ? NO zMessage passing libraries ? NO yMPI yPVM ?

29 Cosa ci serve/ci interessa ? z... ???