Workshop CCR, INFN LNGS, 11 Giugno 2008 Utilizzo presente e futuro dell’infrastruttura Grid Giuseppe Misurelli INFN-CNAF.

Presentazione sul tema: "Workshop CCR, INFN LNGS, 11 Giugno 2008 Utilizzo presente e futuro dell’infrastruttura Grid Giuseppe Misurelli INFN-CNAF."— Transcript della presentazione:

1 www.ccr.infn.it http://grid.infn.it/ Workshop CCR, INFN LNGS, 11 Giugno 2008 Utilizzo presente e futuro dell’infrastruttura Grid Giuseppe Misurelli INFN-CNAF giuseppe.misurelli cnaf.infn.it EGEE-SA1 Italia

2 www.ccr.infn.it http://grid.infn.it/ Workshop CCR, INFN LNGS, 11 Giugno 2008 Contenuti della presentazione Utilizzo dell’infrastruttura negli ultimi 9 mesi –Dati di sottomissione jobs –Dati di accesso alla Grid (in termini di certificati proxy generati) Usare la Grid? –Vantaggi –Possibili incentivi Integrazione in Grid delle farm di sezione –Stato attuale Scuole Grid (V. Ardizzone) Esempi di integrazioni di applicazioni industriali (V. Ardizzone)

3 www.ccr.infn.it http://grid.infn.it/ Workshop CCR, INFN LNGS, 11 Giugno 2008 Strumenti di accounting Sottomissione Job –Dati raccolti da Distributed Grid Accounting System (DGAS) –Repository: Home Location Registry (HLR) –Accesso ai dati: HLRmon  https://dgas.cnaf.infn.it

4 www.ccr.infn.it http://grid.infn.it/ Workshop CCR, INFN LNGS, 11 Giugno 2008 Utilizzo dell’Infrastruttura tutte le Virtual Organisation (VO) Statistiche d’uso periodo Set 07 – Mag 08 N. Jobs per VO CPU/Wall time per VO Piu’ di 5 milioni di job in 9 mesi Piu’ di 45 mila ore di CPU time al giorno Piu di 70 mila ore di Wall time al giorno

5 www.ccr.infn.it http://grid.infn.it/ Workshop CCR, INFN LNGS, 11 Giugno 2008 Utilizzo dell’Infrastruttura Solo LHC Statistiche d’uso periodo Set 07 – Mag 08 N. Jobs per VO CPU/Wall time Piu’ di 3 milioni di job in 9 mesi Circa 30 mila ore di CPU time al giorno Circa 50 mila ore di Wall time al giorno

6 www.ccr.infn.it http://grid.infn.it/ Workshop CCR, INFN LNGS, 11 Giugno 2008 Utilizzo dell’Infrastruttura VO non LHC Statistiche d’uso periodo Gennaio – Maggio 08 N. Jobs per VO CPU/Wall time Poco piu’ di 1 milione di job in 9 mesi Poco piu’ di 11 mila ore di CPU time al giorno Poco piu’ 16 mila ore di Wall time al giorno

7 www.ccr.infn.it http://grid.infn.it/ Workshop CCR, INFN LNGS, 11 Giugno 2008 Utilizzo dell’Infrastruttura Certificati Proxy Statistiche di accesso periodo Gennaio – Maggio 08 per le VO supportate dalle istanze VOMS di INFNGrid Nota: Le VO LHC utilizzano istanze VOMS gestite dal CERN Statistiche per tutte le Vo escluso CDF

8 www.ccr.infn.it http://grid.infn.it/ Workshop CCR, INFN LNGS, 11 Giugno 2008 Grid…perché no? Molte piu’ risorse a disposizione –Uso opportunistico delle risorse  Uso di risorse da altri siti e da altre Grid interconnesse ed interoperabili –Condivisione ed uso complessivo delle risorse piu’ efficiente Infrastruttura in crescita Intrinseca “fault tolerance” grazie alla natura distribuita delle risorse

9 www.ccr.infn.it http://grid.infn.it/ Workshop CCR, INFN LNGS, 11 Giugno 2008 Grid…come incentivarne l’uso? Per l’amministratore di risorse –Necessita’ di semplificare l’integrazione di risorse nella Grid  Installazione e gestione dei componenti MW  Garanzia di un supporto sicuro ed efficace in caso di problemi  Monitoring dei servizi Grid integrato con gli strumenti locali Per l’utente finale –Consapevolezza delle potenzialita’ della Grid per la propria applicazione  Facilita’ nell’integrazione delle applicazioni  Garanzia di un supporto sicuro ed efficace in caso di problemi –Virtualizzazione delle risorse  Risoluzione di alcuni problemi di incompatibilita MW/Applicativi VO

10 www.ccr.infn.it http://grid.infn.it/ Workshop CCR, INFN LNGS, 11 Giugno 2008 Integrazione di altre farm Milano-Bicocca 4 cluster (Cuore, AMS, CMS, Teorici). Farm di CMS probabile prossima ingrazione Padova Alcuni calcolatori non Grid per esigenze di esperimenti piccoli. Farm molto grande di Babar integrabile, tranne per le macchine piu’ datate Firenze Farm piuttosto grande non in Grid. Nessun piano di integrazione Parma Farm non tutta in Grid per incompatibilita’ HW 64 bit Roma1 Farm non Grid per teorici e Babar. Altri esperimenti non LHC non prevedono di inserire risorse in Grid a breve termine Roma3 Dopo migrazione di ARGO al CNAF, tutta la farm e’ passata in Grid Ferrara Tutta in Grid a parte un calcolatore 64bit per casi di calcolo non impegnativo Cagliari Parte della farm non in Grid. Al momento non ci sono piani di integrazione In sintesi: esistono dei siti che hanno integrato completamente le loro risorse in Grid, altri non hanno progetti in proposito. In ultimo esistono delle realta’ caratterizzate da una situazione mista attivita’ in corso per l’integrazione delle Grid nazionali (PON)

11 www.ccr.infn.it http://grid.infn.it/ Workshop CCR, INFN LNGS, 11 Giugno 2008 Applicazioni alla Scuola INFN (edizione 2007) Domini di interesse delle applicazioni selezionate: 1.Auger Offline Software (AUGER): Fisica Astroparticellare 2.GPAMELA (GPAMELA): Fisica Astroparticellare 3.Beam Beam Interaction (BBI e 3DPIC): Fisica dei collisori 4.IMaGe LABoratory (ImgLab): Fisica medica 5.Treatment planning for Hadrontherapy with Carbon Ions (TPS): Fisica Medica, adroterapia, biofisica 6.PDF uncertainties with Neural Networks (NNPDF):Fisica delle alte energie 7.Virtual Observatory Neural – MultiLayer Perceptron (VO-NEURAL): astrofisica 8.Rischio Incendi e Coordinamento(RISICO): Monitoraggio Ambientale 9.Strumento di ottimizzazione per le reti di telecomunicazioni (OTTN): Reti di telecomunicazioni 10.WAter Resources system optimization aided by Graphical Interface (WARGI): Analisi di sistemi idrici complessi

12 www.ccr.infn.it http://grid.infn.it/ Workshop CCR, INFN LNGS, 11 Giugno 2008 Obiettivo della scuola : era quello di fornire ai partecipanti le nozioni per permettere alle applicazioni selezionate di essere integrate su un'infrastruttura Grid di produzione dopo la scuola( o almeno UNA durante la scuola stessa). Risultato della scuola: TUTTE le applicazioni sono state pronte ed hanno girato i loro jobs in griglia di produzione durante la scuola. In accordo con le policies INFN, gli utenti sono stati identificati dalla Registration Authority della Sezione INFN di Bari, e con estrema tempestività sono stati rilasciati i certificati personali INFN agli utenti, validi per 15 giorni. Per completare la migrazione della loro applicazione su griglia di produzione, gli studenti sono stati registrati nelle seguenti VOs: gridit : 3DPIC, WARGI-DSS, VO-Neural, OCMT, AUGER OffLine pamela : gPAMELA; theophys :NNPDF; bio : TPS, ImgLab; cyclops : RISICO.

13 www.ccr.infn.it http://grid.infn.it/ Workshop CCR, INFN LNGS, 11 Giugno 2008 GRID e l’industria L’adozione di Grid da parte del mondo dell’Industria procede più lentamente di quanto potrebbe Recenti indagini di mercato confermano che i “freni” più importanti risultano essere: –La Sicurezza: rigidi controlli di accesso a dati e applicazioni e “privacy” per dati sensibili; –Gli Standard: la loro adozione incoraggerebbe investimenti a lungo termine –La Formazione: necessità di offerte formative specifiche per il mondo “business” –La Gestione delle License Software: controlli d’uso delle licenze software e protezione delle “revenues” di chi produce software commerciale L’e-Infrastruttura siciliana è ormai una realtà, “aperta” verso il mondo dell’Impresa; Il Consorzio COMETA ha già definito il suo business plan ed è disposto a discuterlo con tutti coloro che fossero interessati;

14 www.ccr.infn.it http://grid.infn.it/ Workshop CCR, INFN LNGS, 11 Giugno 2008 e-Infrastruttura siciliana >1000 job/giorno ~30 anni di CPU/mese ~15.000.000 € in 3 anni! ~300 FTEs ! (2/3 nuovo personale) 2500+ CPUs 300+ TBytes L’e-Infrastruttura siciliana esempio di realtà “aperta” verso il mondo dell’Impresa.

15 www.ccr.infn.it http://grid.infn.it/ Workshop CCR, INFN LNGS, 11 Giugno 2008 Le Applicazioni di PI2S2 ed il Business Plan di COMETA Archivio completo (più di 40 tra nuovi servizi Grid e applicazioni scientifiche) disponibile al link: www.pi2s2.it/application Il Consorzio COMETA ha già definito il suo business plan ed è disposto a discuterlo con tutti coloro che fossero interessati;

16 www.ccr.infn.it http://grid.infn.it/ Workshop CCR, INFN LNGS, 11 Giugno 2008 “Use case” di carattere/interesse industriale (1/4) Studio del sistema di adduzione syngas per la verifica della fluido- dinamica del condotto di alimentazione combustibile delle turbine a gas Siemens V94.2K, topper dell’impianto IGCC ISAB Energy (Cortesia: Prof. R. Lanzafame, UNICT)

17 www.ccr.infn.it http://grid.infn.it/ Workshop CCR, INFN LNGS, 11 Giugno 2008 “Use case” di carattere/interesse industriale (2/4) ●Studio della combustione con bruciatore ibrido finalizzato all’analisi fluidodinamica del bruciatore bifuel e della combustione nelle turbine a gas Siemens V94.2K, topper dell’impianto IGCC ISAB Energy durante la marcia a gasolio Risalita d’aria calda dal condotto syngas Synga s (Cortesia: Prof. R. Lanzafame, UNICT)

18 www.ccr.infn.it http://grid.infn.it/ Workshop CCR, INFN LNGS, 11 Giugno 2008 “Use case” di carattere/interesse industriale (3/4) ●Analisi elettromagnetica di Tubi ad Onda Progressiva (Cortesia: Dr. G. Pollicino, UNICT) Tempo di simulazione su 1 PC: 400 min. Tempo di simulazione su GRID: 30 min. Tempo di simulazione su 1 PC: 8 h. Tempo di simulazione su GRID: 45 min.

19 www.ccr.infn.it http://grid.infn.it/ Workshop CCR, INFN LNGS, 11 Giugno 2008 “Use case” di carattere/interesse industriale (4/4) ●Simulazione fluido-dinamica della cascata delle Marmore per la determinazione dei punti critici dell'intero percorso della cascata in diverse condizioni di portata (Cortesia: Dr. E. Leggio, COMETA – Dr. M. Testa, Numidia) Numidia srl 3.1 milioni di volumi