+ Call di Big Data (EINFRA- 1). + La call … + + Cosa abbiamo in mano (come INFN) 1. L’infrastruttura 1 Tier1 + 12 Tier2 O(25000) cores O(20) PB di Disco.

Slides:



Advertisements
Presentazioni simili
Grid Computing Sergio Andreozzi (INFN-CNAF). A chi interessano i dati prodotti da LHC? Circa 5,000 scienziati –sparsi nel mondo –appartenenti ad istituzioni/università
Advertisements

Grid Computing Sergio Andreozzi. Chi è interessato ad analizzare i dati generati da LHC? Circa 5,000 scienziati –distribuiti nel mondo –appartenenti ad.
Database della ricerca: Introduzione e obiettivi meeting INFN CNR INAF 7 ottobre
Virtualizzazione nell’INFN Andrea Chierici 11 Dicembre 2008.
Database della ricerca: Introduzione e obiettivi stefano bianco - referente OA per l’infn Istituto Nazionale di Fisica Nucleare – Laboratori Nazionali.
L’infrastruttura del progetto ReCaS Paolo Lo Re on behalf of ReCaS collaboration.
Gruppo Netarch Incontro di lavoro della CCR Napoli gennaio 2010 Connessioni Tier1/Tier2 a GARR-X 1 GM, Incontro di lavoro della CCR – Napoli
Giuseppe Andronico CCR-WS10 Santa Tecla, 18 Maggio 2010 Introduzione MPI & GPU.
Il Calcolo non LHC in CSN1 G. Carlino, INFN Napoli CSN1 – Firenze 20 Luglio 2015.
Selezione avversa nella selezione del personale. Il problema Al momento dell’assunzione è molto costoso avere a che fare con lavoratori non adatti al.
Elevator Pitch - Template 10 slides in 5’. Premessa Come utilizzare la traccia di lavoro Tenete presente le domande/indicazioni contenute nelle singole.
Sharegrid e la ricerca in campo economico Riccardo Boero Dipartimento di Scienze Economiche e Finanziarie “G. Prato” - UniTo
KLOE - Referee Luca Lista, Andrea Perrotta, Vincenzo Vagnoni.
Utilizzo e Richieste infrastrutture di calcolo esperimenti LHC & non LHC G. Carlino, INFN Napoli CSN1 – Roma 7 Luglio 2016.
Claudio Grandi INFN Bologna Centres of Excellence in H2020 Claudio Grandi INFN-Bologna.
Acquisti TIER T2 team e Pistoni per la consulenza sull’hardware.
VO-Neural Project e GRID Giovanni d’Angelo Dipartimento di Scienze Fisiche Università degli Studi di Napoli Federico II Martina Franca 12 – 23 Novembre.
20-21/03/2006Workshop sullo storage - CNAF Alessandro Brunengo.
Elevator Pitch - Template
Il concetto di libertà.
Resoconto delle attività del Gruppo di Lavoro DR
INTRODUZIONE ALLA STATISTICA
Status Report Gruppo Storage CCR CCR 14-15/03/2006.
Progetti integrati per il sistema di emergenza sanitaria
Integrazione tier3 in Grid Paolo Veronesi, Luciano Gaido
Summary di (quasi) tutti gli utenti non presentati…
D. Martello, F. Ricci, F. Ruggieri
CALCOLO CSN B.Bertucci.
CMS.
I costi del Calcolo LHC un update –
Presentazione di Camilla Giustiniani Rimini - 23 giugno 2017
H2020 – gruppo ‘data’.
Comput-ER l'infrastruttura di calcolo distribuito in Emilia Romagna
Come cercare le fonti di informazione scientifica RISORSE
M.Biasini, P. Checchia 23 Settembre Riunione CSN1
G. Carlino, D. Lucchesi, V. Vagnoni
Massimo Masera CSNIII Roma, 20 marzo 2012
Richieste di upgrade dei link di accesso alla rete Geografica
Nuovo sito della Commissione Calcolo e Reti
Michele Punturo INFN Perugia
Alberto Masoni EU-IndiaGrid Project Manager INFN Sezione di Cagliari
27 Febbraio 2014 D. Menasce - La Formazione e le e-infrastructures.
Richieste preliminari calcolo non LHC
Stato tape CDG 6/10/2016.
Pisa.
Facoltà di SCIENZE POLITICHE Cattedra di Storia delle dottrine politiche Anno Accademico 2013/14 Roberta Modugno.
Senti… il silenzio, Senti….
FESTA DI COMPLEANNO AVANZAMENTO MANUALE
Introduzione alla sessione sull’analisi per gli esperimenti LHC
L’INFN per il Collaborative esteso e distribuito Alessandro De Salvo
Estensioni elastiche CNAF – un po’ di idee e status report
ALICE CALCOLO richieste finanziarie e proposte di assegnazione 2017
Attvità Computing – Inverno 08/09
(Breve) Riassunto del workshop WLCG
MC-INFN.
Workshop dei Gruppi di lavoro CCR Michele Michelotto at pd.infn.it
TAVOLA ROTONDA introduzione
Drafts H2020.
Distributed cache proposal
Luciano Gaido (INFN - Torino) Workshop CCR/INFNGRID – Palau
Smart City.
Comunicare il servizio
Comunicare il servizio
Laboratorio II, modulo “Skype”.
Practical Methodology for Teachers working with CLIL
«La vita è bella. Divertiamoci e non pensiamo a niente»
Come cercare le fonti di informazione scientifica RISORSE
Tommaso Boccali (INFN-Pisa / CERN)
GIOVANNI CONVERSANO Ripartire richiede e determinazione
Corso di programmazione, Simulazione, ROOT, code, ecc. ecc.
Transcript della presentazione:

+ Call di Big Data (EINFRA- 1)

+ La call …

+

+ Cosa abbiamo in mano (come INFN) 1. L’infrastruttura 1 Tier Tier2 O(25000) cores O(20) PB di Disco O(20) PB di tape Centri interconnessi almeno a 10 Gbit/s 2. Esperienza di gestione Big data Sostanzialmente LHC come volume, ma anche oltre 3. Tools 4. Clienti… 5. Progetti gia’ pensati

+ Infrastruttura I ns centri sono stati costruiti per il computing di LHC (che non e’ considerato interessante per H2020), ma hanno esperienza riguardo al supporto per comunita’ scientifiche diverse Compchem Biology Fisica medica L’INFN pare intenzionata a valorizzare I centri esistenti, in un’ottica multidisciplinare Esiste un’nfrastruttura europea gia’ rodata (WLCG) di siti simili ai nostri, il che permette facilita’ di contatto La rete fra I nostri centri e’ gia’ tale da rendere invisibile la non localita’ delle risorse per quasi tutti gli use case I siti (come insieme, magari non come singolo sito) sono “garantiti” rimanere in essere dal loro utilizzo primario LHC ha gia’ piani chiari fino al 2022, piani ancora in via di studio fino al 2030 e oltre

+ Esperienza di gestione di BigData Un solo esempio: per un singolo esperimento, il T1 al CNAF gestisce da solo ~ 10 PB di dati Trasferisce almeno 10 PB anno via Geant/GARR Non credo che questi numeri siano rilevanti per la “long tail of science”, li possiamo usare per certificare che lo sappiamo fare

+ Tools Punto importante: non credo che sia di nostro interesse sviluppare tools da zero Abbiamo pero’ Una libreria di tools gia’ sviluppati dai vari esperimenti (data movement, cataloghi, ecc ecc) che sappiamo utilizzare Abbiamo le capacita’ e l’interesse ad integrare questi strumenti in un pacchetto completo, da offrire come soluzione semplice per la long tail of science Come nel caso precedente, non abbiamo bisogno di dimostrare che tali strumenti siano “sufficienti”, perche’ funzionano in casi ben + complessi Anzi spesso possiamo decidere di utilizzare strumenti + semplici, tanto la scala non e’ un problema

+ Tools 2 Pero’: insisto, secondo me la nostra forza sono l’infrastruttura esistente + gli use case Se convenisse (per cordate etc) basare il proposal su tool di altro tipo (eudat?) non sarebbe un gran male Anche se non mi risulta che Eudat abbia mai dimostrato l’efficacia dei suoi tools sulle nostre scale

+ Clienti L’INFN non e’ solo I grandi esperimenti, abbiamo anche tanti (tantissimi) piccoli esperimenti MCD e’ che tutti raccolgono dati … e piu’ piccoli sono, meno personale hanno da dedicare a problematiche di calcolo A me piacerebbe poter offrire un pacchetto completo di tools per il DM di tali esperimenti (non solo di fisica) Semplice da amministrare (installabile facilmente via VM su non piu’ di qualche macchina) Semplice per gli utenti (== webservices o simili) Completo: data movement (ASO….), data access (soluzioni di caching), cataloghi di metadata, tools di ricerca

+ Progetti gia’ pensati Pegasus/Pides per la data preservation

+ Domande Appoggiarsi Eudat? Entriamo tardi, solo briciole? Appoggiarsi a Egi? Fare cordata italiana e basta? Tecnologicamente siamo ok, politicamente (a livello EU) non so Richia di essere tanto lavoro, con Se va bene grande guadagno (ma probabilita’ medio bassa) Se va male, un pugno di mosche (piu’ probabile)