11 Stato dell’Infrastruttura di GRISU Silvio Pardi – Catania 18/09/2009.

Presentazione sul tema: "11 Stato dell’Infrastruttura di GRISU Silvio Pardi – Catania 18/09/2009."— Transcript della presentazione:

1 11 Stato dell’Infrastruttura di GRISU Silvio Pardi – Catania 18/09/2009

2 22 GRISU – RISORSE, UTENTI E PERSONALE

3 33 6 SITI ATTUALMENTE DISPONIBILI CIRCA 1000 CPU A DISPOSIZIONE

4 44 Attualmente alle 6 VO cometa, cresco, cybersar, matisse, spaci ed unina.it sono iscritti circa 390 utenti

5 55 IN FUNZIONE LA VO MATISSE, SUPPORTATA ORA SOLO DA ENEA E DA UNINA. OGGI CONTA 12 UTENTI PIU’ UN CERTIFICATO ROBOT

6 66 People La lista dei tecnici operativi conta ad oggi 30 persone di cui molti sono attualmente senza contratto. In attesa di un finanziamento è necessario organizzare una soluzione di best effort dando priorità ad alcune azioni vitali per l’infrastruttura: Implementazione di tutte le VO in tutti i siti Aggiornamento dei certificati VOMS

7 77 ATTIVITA’ DI SPERIMENTAZIONI IN GRISU E INTERFACCE UTENTE

8 88 TEST DEL LINK GARR CRESCO-SCOPE Sono stati effettuati dei test di velocità sul link CRESCO-SCOPE sia con alcuni Benchmark che con GRIDFTP da un worker node di cresco verso uno degli storage element di scope. Trasferiti circa 1.200 file da 1GB 1048576000 bytes 106.38 MB/sec avg 105.06 MB/sec inst 1048576000 bytes 103.09 MB/sec avg 100.27 MB/sec inst 1048576000 bytes 104.17 MB/sec avg 102.77 MB/sec inst 1048576000 bytes 101.01 MB/sec avg 104.49 MB/sec inst UNO DEI CATALYST IN LOAD BALANCING DI SCOPE

9 99 CLOUD CYBERSAR EyeGrid

10 10

11 11 SOLUZIONE CLOUD GENIUS

12 12 SOLUZIONE CLOUD GRB

13 13 SOLUZIONE CLOUD GRB SOLUZIONE GRID2WIN

14 14 INSTANZA TEST DI EYEGRID IN SCOPE

15 15 INSTANZA GENIUS IN SCOPE

16 16 IL SITO DI SCOPE DOPO L’AVVISO 1575/2004

17 17 Governance

18 18 Collaboratori altri Enti (contributors): INFN Napoli: Giuseppe PASSEGGIO (Impianti), Paolo LO RE (Reti), Silvio PARDI (Middleware Grid, Grisù, IGI, EGI), Alessandra DORIA e Gianpaolo CARLINO (riferimenti per VO ATLAS), Paolo MASTROSERIO (riferimento per INFN-GRID). Progetto EGEE: Vania BOCCIA (EGEE, Middleware Grid, Interoperabilità Grisù, IGI, EGI, middleware applicativo, supporto utenti di tipo specialistico) Contratto - (EGEE) CNR: Maria GELLI, Luisa CARRACCIUOLO e Maria RISPOLI (Middleware Grid, Interoperabilità Grisù, IGI, EGI, middleware applicativo, supporto utenti di tipo specialistico). Dip. Informatica e Sistemistica: Pasquale DI GENNARO (Middleware di sistema), Antonio ACETO (Networking). Dip. Scienze Fisiche: Giuseppe Longo (VO VOBS), Domenico Ninno, Giovanni Cantele (VO MATISSE). Referenti dei progetti: Leonardo Merola (GRISU’), Giuliano Laccetti (EGEE, Matematica), Guido Russo (IGI), Gianpaolo Carlino (ATLAS), Giorgio Ventre (Ingegneria, Imprese), Giuseppe Longo (VOBS), Domenico Ninno (MATISSE), Giorgio Franceschetti (Ingegneria), Giuseppe Marrucci (Ingegneria), Orlando Crescenzi (Chimica), Giovanni Paolella (Medicina).

19 19 Attività del Gruppo Tecnico Trasversale Il gruppo tecnico trasversale è un gruppo di lavoro in cui sono coinvolti i tecnici CSI impiegati nelle attività di setup e gestione del DataCenter, gli esperti e i ricercatori dell’Ateneo e degli altri Enti (INFN, CNR). Attualmente i punti principali di discussione riguardano le politiche d’accesso e di utilizzo della macchina, di cui distinguiamo una parte di sperimentazione e una parte di gestione. Allo stato attuale gli utenti delle varie VO sono organizzati in 3 macrogruppi: utenti di GRISU`: appartenenti alle Virtual Organizzation (VO) cometa, cybersar, cresco e spaci utenti di EGEEIII: appartenenti alle VO alice, cms, lhcb, biomed, libi, pamela, virgo, ops, infngrid, dteam, gilda (situazione attuale in evoluzione) utenza LOCALE: appartenente alle VO unina.it, atlas, matisse Ogni macrogruppo ha a sua disposizione, in una certa percentuale, le risorse; in particolare: GRISU`: 25% delle risorse EGEEIII: 10% delle risorse, da aumentare al 20 % (per IGI/EGI). LOCALE: accesso a tutte le risorse “senza limiti”

20 20 Nuovo Portale in fase di test raggiungibile da: http://143.225.200.170:8080/web/guest/home1

21 21

22 22 Nuovo Sistema di Monitoraggio Integrato Negli ultimi mesi si è lavorato all’implementazione di un sistema di monitoraggio integrato per il DataCenter, oggi a buon punto. Tale sistema consente di monitorare tutti gli aspetti principali del DataCenter: impianti, rete, hardware e servizi.

23 23 A partire dallo stato dei singoli armadi e moduli di raffreddamento è possibile scendere sempre più nel dettaglio dei singoli sistemi

24 24 Il sistema fornisce: Informazioni aggregate sulle risorse Granularità fino al singolo server Single-Sign-On per autenticarsi in un solo punto e navigare nei vari sistemi Gestione di profili utente, con differenti permessi di visione e di intervento.

25 25 Networking Rete Interna: Articolata rete locale (LAN), basata su standard Gigabit Ethernet (1 GbE), 10GbE, ma anche su Infiniband e su Fibre Channel. La rete copre tutte le macchine, che sono collegate in più modi, ma con scarsa espandibilità: l’aggiunta di altre macchine (server) richiederà l’aggiunta di nuovi e costosi apparati di rete centrali. Rete di campus: Il DataCenter è ora collegato a regime con link diretti in fibra verso la control room, il centro stella del campus di M.S.Angelo, il Dipartimento di Scienze Fisiche. E’ stato altresì attivato il collegamento diretto dedicato a 10Gbit/s tra le due parti del Tier2 di ATLAS. Rete geografica: E’ attiva e in fase di stress-test il link diretto a 1Gbit con il centro CRESCO dell’ENEA a Portici: è una connessione dedicata, che va meglio gestita ed utilizzata, ai fini della griglia nazionale e soprattutto di quella del Sud (Grisù)

26 26 SISTEMA DI MONITORAGGIO DELLA RETE DEL TIER2 DI ATLAS SWITCH DEL DATACENTER

27 27 GARR-G

28 28 Sono in corso alcune sperimentazioni per configurare dinamicamente le politiche di accesso ed utilizzo delle risorse relativamente a: Fairshare politica di scheduling che consente di intervenire dinamicamente sulla priorità dei job. Tale sistema si basa su osservazioni effettuate nell’arco di finestre temporali in cui si misura l’effettivo utilizzo degli utenti e/o dei gruppi. Reservation meccanismo con il quale MAUI (sw a basso livello di gestione code) garantisce la disponibilità di singole risorse o set di risorse in un particolare momento. Backfill permette allo scheduler di ottenere un migliore impiego delle risorse eseguendo i job sottomessi non in ordine di sottomissione ma basato sul tempo di reservation Preemption consente la sospensione di job nel caso di arrivo di altri processi o in coda con maggiore priorità

29 29 E’ stato effettuato con successo il test dei certificati robot sulla VO pilota matisse, per l’accesso ai servizi della grid da parte di utenti sprovvisti di certificato. Una user interface speciale consente all’utente di sottomettere job non appena effettuato il login, senza dover provvedere al management del certificato

30 30 VOMS Extensions Per discriminare il reale utilizzatore di un proxy generato da certificato robot si propone questa straegia: Due livelli di iscrizione al server VOMS: Membri con certificato Membri senza certificato Gli utenti sprovvisti di certificato possono registrarsi al servizio VOMS il quale creerà un ruolo per ogni utente senza certificato. Quando il servizio cloud genera un certificato proxy prenderà il ruolo VOMS all’utente effettivo utilizzatore del certificato. Tale soluzione mantiene la centralità del concetto di VO e del servizio VOMS, introducendo informazioni aggiuntive che aumetano il livello di sicurezza.

31 31

32 32 Attività di Formazione Il Data Center SCoPE rappresenta altresì un opportunità per la formazione dei giovani, in particolare lo strumento del tirocinio per le lauree triennali, o con la tesi per le vecchie lauree quinquennali o per le magistrali/specialistiche. L’assegnazione di tesi su temi attinenti il Data Center avviene su iniziativa dei docenti coinvolti nel progetto. Dal settembre 2008 ad oggi, sono state assegnate ben 17 tesi/tirocini, di cui 6 concluse con soddisfazione, e le altre in corso; l’elenco completo è qui di seguito. 1)BELFIORE GiovanniIntegrazione di un sistema di storage Fibre Channel della EMC 2 nel Data Center SCoPE 2)LIBERTI MarcoIntegrazione di un sistema di storage iSCSI della EqualLogic nel Data Center SCoPE 3)FALCONE GiulianoLe problematiche dello storage in un Data Center: tecnologie a confronto 4)COSIMO ArmandoCreazione di portlet per il monitoraggio degli impianti di un data-center 5)ILARDI LuigiMonitoraggio connessioni in fibra del progetto SCoPE 6)DEL PRETE Domenico Integrazione di servizi file transfer dedicati al GRID Computing su NAS Server del Data Center S.Co.P.E. 7)ROSSI Enrico MariaMonitoraggio delle connessioni di rete delle macchine del DataCenter SCoPE 8)RUSSO AlessandroMonitoraggio delle attrezzature hardware del DataCenter SCoPE 9)CERBO FrancescoConfronto tra DPM, StoRM, LUSTRE 10)GERARDO LucaAutenticazione mediante certificati Robot 11)PETRIZZO GiuseppeSoftware PowerFarm per la gestione degli eventi di power failure 12)TOZZI MauroUn sistema integrato di monitoraggio di un data center in ambito Grid 13)NADDEO SalvatoreUn sistema di monitoraggio per il Tier2 di ATLAS a Napoli 15)ALFANO MarcoAutenticazione mediante certificati X.509 e mediante SSO, per l ’ accesso ai servizi di monitoraggio e di accounting 16)COSTANZO Roberto Monitoraggio delle componenti di servizi del Data Center 17)TORRES DavideInterfaccia utente per accesso ai servizi di Grid computing

33 33 Dottorato/Master Il Data Center si pone come infrastruttura di calcolo avanzato per lo svolgimento di attività di ricerca nell’ambito dei corsi di dottorato nelle varie discipline. E’ anche da prendere in considerazione, per il futuro, l’istituzione di un master universitario in “Computer Science” che abbia il Data Center SCOPE come infrastruttura portante.

34 34 L’ATTIVITA’ EGEE III A partire dal 4 Maggio 2009 le risorse di UNINA_DATACENTER, destinate ad EGEEIII sono entrate in produzione sotto il nome di UNINA_EGEE (2 contrattisti per 1 anno) Sono state svolte le seguenti attività: 1) Installazione, configurazione e certificazione del sito UNINA_EGEE costituito da: ◦ un Computing Element (CE) con 32 Worker Nodes (WN) ◦ uno Storage Element (SE) di tipo DPM (disk pool manager) per la gestione dello spazio disco 2) Risoluzione di ticket 3) Supporto utenti di 12 Virtual Organization aggiuntive: atlas, alice, cms, lhcb, biomed, libi, pamela, virgo, ops, infngrid, dteam e gilda. I risultati di disponibilità (tempo vivo) ed affidabilità (percentuale di job conclusi con successo) ottenuti nei primi due mesi, secondo le tabelle EGEE, sono stati molto soddisfacenti:

35 35 Prospettive NGI/EGI Nel mese di luglio l’INFN, come da mandato ricevuto da tutti i membri della JRU IGI, ha formalizzato l’adesione alla EGI europea. La costituzione quindi della EGI andrà avanti per realizzare la sede centrale ad Amsterdam, come previsto, e si concretizzerà nel corso del 2010. La EGI avrà quindi una propria struttura operativa, con una stima di 50 unità di personale a regime, e sarà finanziata con i contributi dei soci europei, cioè delle varie NGI, tra cui la IGI italiana. La IGI italiana è invece più lontana: si vuole una concreta a formale adesione del Ministero per l’Università e la Ricerca Scientifica, che deve assumersene la responsabilità, anche ai fini economici, con finanziamenti che non potranno essere solo di investimento, ma anche di spese correnti, in particolare per le esigenze di personale. Al momento il MIUR non è in condizioni di prendere questi passi formali, che comunque dovranno essere presi entro la prima metà del 2010.

36 36 CONCLUSIONI Occorre un piano per il breve termine al fine di garantire i servizi minimali dell’infrastruttura (ogni sito deve riuscire a dedicare delle ore/uomo) Spingere per l’iscrizione degli utenti alla nuova VO Matisse e alla creazione di nuove VO. Rapporti di GRISU con IGI/EGI e INFN-GRID - Allineare i siti ai test SAM? Portare le sperimentazioni in release INFN-GRID?