12 – apr – 2006 Soluzioni alternative del prossimo futuro. Il Grid Computing come proposta di applicazione di Utility Computing. - GRID - L'evoluzione.

Presentazione sul tema: "12 – apr – 2006 Soluzioni alternative del prossimo futuro. Il Grid Computing come proposta di applicazione di Utility Computing. - GRID - L'evoluzione."— Transcript della presentazione:

1 12 – apr – 2006 Soluzioni alternative del prossimo futuro. Il Grid Computing come proposta di applicazione di Utility Computing. - GRID - L'evoluzione della Rete Matteo Mangini email: matteo.mangini@nispro.it

2 12 – apr – 2006 Sommario Network Integration & Solutions – L’azienda La tecnologia GRID Il progetto di rete GRID pilota Gli applicativi pilota Conclusioni Network Integration & Solutions – L’azienda

3 12 – apr – 2006 Network Integrations and Solutions

4 12 – apr – 2006 Network Integration & Solutions

5 12 – apr – 2006 Durante gli anni abbiamo prestato particolare attenzione a formare un team di professionisti che avessero capacità di unire le proprie competenze in diversi settori. E’ grazie a questo alto livello di esperienza raggiunto dal nostro staff che oggi possiamo offrire ai nostri clienti organizzati ed autonomi team di lavoro capaci di integrarsi nelle realtà lavorative dei clienti e caratterizzati da un bilanciato compromesso fra innovazione e affidabilità e fra creatività e soluzioni realistiche. Network Integration & Solutions NIS è nata nel 1993 da un gruppo di professionisti dell’IT con esperienza in diversi campi dell’industria e della ricerca accademica.

6 12 – apr – 2006 Network Integration & Solutions

7 12 – apr – 2006 NIS fornisce soluzioni competitive for il design, lo sviluppo e la fornitura di servizi di rete e applicazioni per il businness, la pubblica amministrazione e gli utenti finali nelle seguenti aree:  Telecomunicazioni  Industria  Finance  Servizi Come system integrator abbiamo sviluppato specifiche esperienze nei seguenti settori dell’industria:  Network Design  System Integration and Administration  Installation, Designing and Administration of Databases  Programming Technologies Network Integration & Solutions

8 12 – apr – 2006 Network Integration & Solutions Sempre aggiornati per mantenere competitività

9 12 – apr – 2006 NIS è partner di: Network Integration & Solutions

10 12 – apr – 2006 Sommario Network Integration & Solutions – L’azienda La tecnologia GRID Il progetto di rete GRID pilota Gli applicativi pilota Conclusioni La tecnologia GRID

11 12 – apr – 2006 La tecnologia GRID

12 12 – apr – 2006 In un ambiente industriale e scientifico in fase di profonda evoluzione tecnologica, le aziende devono reagire per non restare escluse dal processo di innovazione ma diventare più competitive sul mercato. Come? Utilizzando una tecnologia d’avanguardia che sfrutti le risorse a disposizione e limiti al tempo stesso gli investimenti L’importanza della tecnologia GRID Grid

13 12 – apr – 2006 Gli studiosi della Terra tengono traccia del livello di ozono nell’atmosfera attraverso osservazioni da satellite. Unicamente per questo scopo essi scaricano dallo spazio verso la Terra circa 100 Gigabytes di immagini al giorno (l’equivalente di 150 CD). L’importanza della tecnologia GRID Perché? Per esplorare le particelle fondamentali e le interazioni fra di esse, i Fisici produrranno presto circa 10 Petabytes di dati all’anno (circa 20 milioni di CD). Questi dati preserveranno il risultato di collisioni fra praticelle fondamentali ad alta energia. Migliaia di fisici in dozzine di università sparse per il mondo vorranno analizzare questi dati. Scoprire i segreti del genoma umano sarebbe impossibile senza l’analisi computerizzata di massive quantità di dati, incluse le sequenze di 3 miliardi di unità chimiche che compongono il nostro DNA.

14 12 – apr – 2006 Forti investimenti da parte di: 1.Comunità europea : 50 milioni di Euro stanziati per 20 progetti grid nell’ambito del V Programma Quadro 300 milioni di Euro stanziati per il progetto europeo EGEE nell’ambito del VI Programma Quadro 2.Produttori di tecnologie IT (IBM, HP, Sun Microsystem, Oracle…): attivazione specifici programmi sulle GRID sviluppo prodotti commerciali GRID compatibili (ex: Oracle 10g, IBM WebSphere, etc…) 3.Aziende private : realizzazione di GRID interne all’azienda per ottimizzare le risorse disponibili e attivare politiche di co-progettazione L’importanza della tecnologia GRID

15 12 – apr – 2006 Distributed computing Al giorno d’oggi, ogni volta che si presenta un problema dovuto ad una carenza di potenza di calcolo, la soluzione è unire insieme le risorse sia che si tratti di un’azienda o di un’istituzione accademica. La rete di computer è quindi usata come una singola, unificata risorsa. Questa soluzione è chiamata “calcolo distribuito", e questo termine si riferisce ad ogni sistema in cui molti computer risolvo un problema lavorando insieme. Il Grid computing è, in un certo senso, una specie di calcolo distribuito. Distributed computing Al giorno d’oggi, ogni volta che si presenta un problema dovuto ad una carenza di potenza di calcolo, la soluzione è unire insieme le risorse sia che si tratti di un’azienda o di un’istituzione accademica. La rete di computer è quindi usata come una singola, unificata risorsa. Questa soluzione è chiamata “calcolo distribuito", e questo termine si riferisce ad ogni sistema in cui molti computer risolvo un problema lavorando insieme. Il Grid computing è, in un certo senso, una specie di calcolo distribuito. Tecnologia GRID – Le origini

16 12 – apr – 2006 Metacomputing Metacomputing è un termine che fu coniato per un particolare tipo di calcolo distribuito, molto popolare nei primi anni novanta, che implicava l’unione di centri di supercomputer attraverso quelle che erano, ai tempi, reti ad alta velocità. Metacomputing Metacomputing è un termine che fu coniato per un particolare tipo di calcolo distribuito, molto popolare nei primi anni novanta, che implicava l’unione di centri di supercomputer attraverso quelle che erano, ai tempi, reti ad alta velocità. Tecnologia GRID – Le origini

17 12 – apr – 2006 Cluster Computing Molti anni fa, alla fine del secolo scorso, gli scienziati misero insieme alcuni PC e li fecero comunicare: nacque Beowulf. Questi scienziati stavano cercando di affrontare il problema della crescita di costosi mainframe o supercomputer. Il successo andò ben al di là dei loro sogni: molte società oggi offrono cluster di PC come soluzioni standard per far fronte alla complesse problematiche di HA. I cluster possono avere dimensioni differenti. Uno dei maggiori vantaggi di questo approccio è la scalabilità: un cluster può crescere semplicemente aggiungendo PC ad esso, nonostante esistano dei limiti “fisiologici”. Cluster Computing Molti anni fa, alla fine del secolo scorso, gli scienziati misero insieme alcuni PC e li fecero comunicare: nacque Beowulf. Questi scienziati stavano cercando di affrontare il problema della crescita di costosi mainframe o supercomputer. Il successo andò ben al di là dei loro sogni: molte società oggi offrono cluster di PC come soluzioni standard per far fronte alla complesse problematiche di HA. I cluster possono avere dimensioni differenti. Uno dei maggiori vantaggi di questo approccio è la scalabilità: un cluster può crescere semplicemente aggiungendo PC ad esso, nonostante esistano dei limiti “fisiologici”. Tecnologia GRID – Le origini

18 12 – apr – 2006 Peer to Peer computing Probabilmente avrete sentito parlare di "Napster', il sito web che consentiva ai fans di condividere e scambiare files musicali attraverso la rete da un punto all’altro del mondo. Scaricando un pezzo di software sul proprio PC, era possibile connettersi ad una rete di altri utenti che avevano a disposizione lo stesso software. Gli utenti non dovevano fare altro che specificare quale porzione del proprio disco condividere pubblicamente e potevano accedere alle risorse messe a disposizione dagli altri utenti. In questo modo i computer possono condividere files ed altre generiche risorse direttamente, senza passare attraverso un server centrale. Peer to Peer computing Probabilmente avrete sentito parlare di "Napster', il sito web che consentiva ai fans di condividere e scambiare files musicali attraverso la rete da un punto all’altro del mondo. Scaricando un pezzo di software sul proprio PC, era possibile connettersi ad una rete di altri utenti che avevano a disposizione lo stesso software. Gli utenti non dovevano fare altro che specificare quale porzione del proprio disco condividere pubblicamente e potevano accedere alle risorse messe a disposizione dagli altri utenti. In questo modo i computer possono condividere files ed altre generiche risorse direttamente, senza passare attraverso un server centrale. Tecnologia GRID – Le origini

19 12 – apr – 2006 Internet computing Avrete sentito parlare di SETI@home. Sviluppato dalla University of California - Berkeley, SETI@home è un "supercomputer" virtuale che analizza i dati del radio telescopio di Arecibo in Porto Rico, alla ricerca di segnali vi vita extraterrestre. Utilizzando Internet, SETI unisce insieme la potenza di calcolo di oltre 3 milioni di personal computer in tutto il mondo ed ha già utilizzato l’equivalente di oltre 600.000 anni di “PC processing power”! Internet computing Avrete sentito parlare di SETI@home. Sviluppato dalla University of California - Berkeley, SETI@home è un "supercomputer" virtuale che analizza i dati del radio telescopio di Arecibo in Porto Rico, alla ricerca di segnali vi vita extraterrestre. Utilizzando Internet, SETI unisce insieme la potenza di calcolo di oltre 3 milioni di personal computer in tutto il mondo ed ha già utilizzato l’equivalente di oltre 600.000 anni di “PC processing power”! Tecnologia GRID – Le origini

20 12 – apr – 2006 Internet computing – The SETI@home project SETI@home è un programma screen-saver che ogni utente può scaricare dal Web e funziona senza impattare il normale utilizzo del computer. I vari PC (i nodi di questa “Grid”) lavorano contemporaneamente su diverse parti del problema, recuperando “pezzi” di dati da Internet, elaborandoli e restiruendo quindi i risultati ad un sistema centrale per il post-processing. Il successo di SETI ha ispirato molte altre “@home applications”. SETI@home è anche un esempio del concetto di "cycle scavenging". Il termine significa che è possibile sfruttare il tempo libero su computer che non sono direttamente controllati. Internet computing – The SETI@home project SETI@home è un programma screen-saver che ogni utente può scaricare dal Web e funziona senza impattare il normale utilizzo del computer. I vari PC (i nodi di questa “Grid”) lavorano contemporaneamente su diverse parti del problema, recuperando “pezzi” di dati da Internet, elaborandoli e restiruendo quindi i risultati ad un sistema centrale per il post-processing. Il successo di SETI ha ispirato molte altre “@home applications”. SETI@home è anche un esempio del concetto di "cycle scavenging". Il termine significa che è possibile sfruttare il tempo libero su computer che non sono direttamente controllati. Tecnologia GRID – Le origini

21 12 – apr – 2006 La realtà, per il momento, è che non esiste una singola “GRID” (così come invece esiste una singola "Internet" ed un singolo "Web"). Esistono molte GRID in evoluzione continua, alcune private, alcune pubbliche, alcune dentro un’azienda, dentro una regione, altre di dimensioni globali. Alcune dedicate a particolari problemi scientifici, alcune orientate al business, altre a carattere più generale. La realtà, per il momento, è che non esiste una singola “GRID” (così come invece esiste una singola "Internet" ed un singolo "Web"). Esistono molte GRID in evoluzione continua, alcune private, alcune pubbliche, alcune dentro un’azienda, dentro una regione, altre di dimensioni globali. Alcune dedicate a particolari problemi scientifici, alcune orientate al business, altre a carattere più generale. Tecnologia GRID – L’evoluzione

22 12 – apr – 2006  National Grids L’idea dietro una Grid “nazionale” è accoppiare risorse fra nazioni  Private Grids Le Grid privatePrivate Grids possono essere utili in molte istituzioni (ospedali, corporazioni, etc). Sono caratterizzate da una scala relativamente piccola e obiettivi comuni, spesso allo scopo di integrare tecnologie a basso costo.Soluzioni commerciali in tal senso sono già disponibili  Project Grids Le GRID di progetto sono create per incontrare le esigenze di istituti, gruppi di ricerca, team virtuali con scopi prevalentemente scientifici  National Grids L’idea dietro una Grid “nazionale” è accoppiare risorse fra nazioni  Private Grids Le Grid privatePrivate Grids possono essere utili in molte istituzioni (ospedali, corporazioni, etc). Sono caratterizzate da una scala relativamente piccola e obiettivi comuni, spesso allo scopo di integrare tecnologie a basso costo.Soluzioni commerciali in tal senso sono già disponibili  Project Grids Le GRID di progetto sono create per incontrare le esigenze di istituti, gruppi di ricerca, team virtuali con scopi prevalentemente scientifici Tecnologia GRID – L’evoluzione

23 12 – apr – 2006  Goodwill Grids Queste GRID sono per chiunque possiede un computer a casa e vuole “donare” parte delle proprie risorse per una buona causa  Peer-to-peer Grids La tecnologia peer-to-peer consente agli utenti di condividere dati fra di loro, senza il necessario appoggio di un server centrale (anche se…)  Consumer Grids In questo caso le risorse sono condivise su base commerciale, a differenza delle Goodwill Grid. Compagnie ed organizzazioni varie affittano risorse e vengono pagate per questo servizio  Goodwill Grids Queste GRID sono per chiunque possiede un computer a casa e vuole “donare” parte delle proprie risorse per una buona causa  Peer-to-peer Grids La tecnologia peer-to-peer consente agli utenti di condividere dati fra di loro, senza il necessario appoggio di un server centrale (anche se…)  Consumer Grids In questo caso le risorse sono condivise su base commerciale, a differenza delle Goodwill Grid. Compagnie ed organizzazioni varie affittano risorse e vengono pagate per questo servizio Tecnologia GRID – L’evoluzione

24 12 – apr – 2006 In confronto al “sogno GRID”, queste GRID hanno capacità molto ristrette, per il momento, ma stanno via via crescendo verso soluzioni più sofisticate. A lungo termine si prefigura uno scenario in cui le capacità di calcolo e di storage di milioni di sistemi, attraverso la rete globale, funzioneranno come un unico team, utilizzabile pressochè da chiunque ne avrà bisogno. In confronto al “sogno GRID”, queste GRID hanno capacità molto ristrette, per il momento, ma stanno via via crescendo verso soluzioni più sofisticate. A lungo termine si prefigura uno scenario in cui le capacità di calcolo e di storage di milioni di sistemi, attraverso la rete globale, funzioneranno come un unico team, utilizzabile pressochè da chiunque ne avrà bisogno. Tecnologia GRID – L’evoluzione

25 12 – apr – 2006 Così come il Web è uno strumento per condividere informazioni attraverso Internet, GRID è uno strumento per condividere risorse di calcolo e risorse di storage attraverso Internet. Simulare un enorme computer virtuale che, in maniera intelligente, metta a disposizione le proprie risorse partendo da sistemi eterogenei connessi tra loro. Le imprese hanno a disposizione ON DEMAND tutta la potenza necessaria ad un costo precedentemente inaccessibile. Businness On Demand Tecnologia GRID – Cos’è?

26 12 – apr – 2006 Esistono due principali filoni della tecnologia GRID su cui il mondo scientifico sta focalizzando i propri sforzi: Tecnologia GRID – Cos’è? Computational GRID Data GRID

27 12 – apr – 2006 Spesso questo tipo di applicazioni può trarre beneficio dalla tecnologia GRID combinando ampie e differenti tipologie di risorse computazionali per affrontare problemi che non potrebbero essere risolti su di un singolo sistema, o almeno per farlo nella maniera più veloce possibile. Siamo nel campo di applicazioni di calcolo ad elevate prestazioni, l’utente necessita di più “teraflops“ possibili: progettazione e testing, processi batch, computer grafica, modelli statistici, previsioni meteo, etc… Siamo nel campo di applicazioni di calcolo ad elevate prestazioni, l’utente necessita di più “teraflops“ possibili: progettazione e testing, processi batch, computer grafica, modelli statistici, previsioni meteo, etc… Tecnologia GRID – Computational GRID

28 12 – apr – 2006 La tecnologia Grid consente di memorizzare, organizzare ed analizzare dati mantenendoli in repository, librerie digitali, database geograficamente distribuiti. Unix file system Linux file system Windows file system Other file system Siamo nel campo di applicazioni “data- intensive”. Nei prossimi anni enormi quantità di dati scientifici e non giungeranno da differenti siti del pianeta: non solo esperimenti astrofisici, ma anche dati provenienti dalle più svariate applicazioni in ambito scientifico ed industriale. Tecnologia GRID – Data GRID

29 12 – apr – 2006 Miglior bilanciamento delle risorse disponibili 1.Gestione delle risorse di rete sotto utilizzate: macchine desktop sfruttate meno del 5% macchine server con picchi di inattività 1.Gestione delle risorse di rete sotto utilizzate: macchine desktop sfruttate meno del 5% macchine server con picchi di inattività Tecnologia GRID – Elementi innovativi (1)

30 12 – apr – 2006 2.Risorse virtuali: condivisione di risorse (cpu, file system, sw, servizi, licenze, dispositivi remoti, larghezza di banda,…) tra sistemi eterogenei attraverso standard precisi 3.Calcolo parallelo e distribuito: possibilità di eseguire sotto-processi su risorse differenti gestione di applicazioni e servizi distribuiti 2.Risorse virtuali: condivisione di risorse (cpu, file system, sw, servizi, licenze, dispositivi remoti, larghezza di banda,…) tra sistemi eterogenei attraverso standard precisi 3.Calcolo parallelo e distribuito: possibilità di eseguire sotto-processi su risorse differenti gestione di applicazioni e servizi distribuiti Migliore gestione delle risorse Tecnologia GRID – Elementi innovativi (2)

31 12 – apr – 2006 4.Affidabilità: per aumentare l’affidabilità è spesso necessaria una duplicazione dei componenti: l’hardware risulta molto costoso. in un sistema Grid ben organizzato questo problema non sussiste: se un componente della rete fallisce, le altre parti sono in grado di sopperire. 5.Sicurezza: autenticazione a chiave pubblica e chiave privata, certificati digitali e single sign-on consentono uno scambio sicuro di informazioni sensibili tra gli utenti dell’Organizzazione Virtuale (VO). 4.Affidabilità: per aumentare l’affidabilità è spesso necessaria una duplicazione dei componenti: l’hardware risulta molto costoso. in un sistema Grid ben organizzato questo problema non sussiste: se un componente della rete fallisce, le altre parti sono in grado di sopperire. 5.Sicurezza: autenticazione a chiave pubblica e chiave privata, certificati digitali e single sign-on consentono uno scambio sicuro di informazioni sensibili tra gli utenti dell’Organizzazione Virtuale (VO). Ogni applicazione gestita dalla Grid ha a disposizione questi strumenti Tecnologia GRID – Elementi innovativi (3)

32 12 – apr – 2006 Elemento critico Stato dell’arte Innovazione Utilizzo CPU remoteSolo su reti aziendali e mediante assegnazione puntuale di una risorsa. Richiesta identificativi sistema ospitante. Accesso garantito ad ogni nodo della rete GRID. L’utente ignora quale processore sia messo a disposizione per l’esecuzione di un determinato job Data sharingPossibile su architetture dedicate (SAN - Storage Area Network) o su dispositivi di rete (NAS – Network Attached Storage) Accesso trasparente a sistemi di storage della GRID. L’utente non deve comperare uno spazio prefissato ma lo richiede a seconda della necessità. Larghezza di bandaLa larghezza di banda utilizzata è determinata in modo statico con l’ISP. Non viene modificata in modo dinamico. L’infrastruttura GRID è in grado di utilizzare l’instradamento più efficace per un determinato job, in maniera trasparente all’utente. Co-progettazione interaziendale Possibile solo su architetture dedicate e condivise tra una o più aziende. Scarsa flessibilità. Elevati costi e rischi di errori progettuali. La GRID consente di lavorare in maniera trasparente sulle stesse risorse e condividere licenze SW. Clusterizzazione tra nodi non omogenei E’ possibile una clusterizzazione tra nodi non omogenei, ma al solo fine di condividere dati e non per co- processing. Le reti GRID, per definizione, sono cluster composti da nodi non omogenei, che possono cooperare tra di loro. Virtualizzazione di risorse non omogenee Possibile parzialmente solo per dispositivi di storage. Le GRID rendono virtuali CPU e storage anche se composte da elementi tra loro eterogenei. Architetture GRID e architetture esistenti

33 12 – apr – 2006 Le infrastrutture Grid sono ottenibili attraverso la progettazione, l’installazione e la configurazione di appositi strati software (middleware) o specifici applicativi messi a disposizione dai principali leader dell’IT a livello mondiale. Tecnologia GRID – Stato dell’arte

34 12 – apr – 2006 Prodotti commerciali  Computational Grid: LSF, PBS, Datasynapse  DataGrid: Avaki Prodotti freeware:  Computational Grid: Globus, Condor, openPBS  DataGrid: SRB, Alien Tecnologia GRID – Stato dell’arte

35 12 – apr – 2006 Grid Service Provider http Portale Browser User Tecnologia GRID – Accesso ai servzi Soluzione 1 (Grid client) Un’azienda può accedere ai servizi forniti da un Grid Service Provider senza implementare una soluzione in casa.

36 12 – apr – 2006 Tecnologia GRID – Accesso ai servzi Soluzione 2 (Grid node) Implementazione di un proprio nodo Grid A seconda della tipologia di servizio richiesta: Computational grid Data grid

37 12 – apr – 2006 Architettura di un nodo

38 12 – apr – 2006 Sommario Network Integration & Solutions – L’azienda La tecnologia GRID Il progetto di rete GRID pilota Gli applicativi pilota Conclusioni Il progetto di rete GRID pilota

39 12 – apr – 2006 Il progetto di rete GRID pilota

40 12 – apr – 2006 Sono state implementate tre differenti architetture: Grid Globus Ambiente destinato a diventare lo standard de facto della tecnologia Grid. Un’architettura in grado di contenere differenti tipologie di servizio in un’unica soluzione completamente integrata. Soluzione open- source. Grid LSF Architettura per il calcolo distribuito e parallelo orientata all’erogazione di servizi verso soggetti che necessitano di aumentare la potenza di calcolo aziendale. Soluzione commerciale. Grid SRB Architettura per la virtualizzazione dello storage. Consente un accesso uniforme e indipendente dalla piattaforma alle risorse presenti su differenti supporti fisici. Orientata in particolar modo a realtà aziendali che necessitano di una gestione complessa e geografica dei dati. Soluzione open-source. Sono state implementate tre differenti architetture: Grid Globus Ambiente destinato a diventare lo standard de facto della tecnologia Grid. Un’architettura in grado di contenere differenti tipologie di servizio in un’unica soluzione completamente integrata. Soluzione open- source. Grid LSF Architettura per il calcolo distribuito e parallelo orientata all’erogazione di servizi verso soggetti che necessitano di aumentare la potenza di calcolo aziendale. Soluzione commerciale. Grid SRB Architettura per la virtualizzazione dello storage. Consente un accesso uniforme e indipendente dalla piattaforma alle risorse presenti su differenti supporti fisici. Orientata in particolar modo a realtà aziendali che necessitano di una gestione complessa e geografica dei dati. Soluzione open-source. Architetture GRID

41 12 – apr – 2006 GRID - Globus

42 12 – apr – 2006 Perchè Globus?  Software open source  Standard de facto per la costruzione di una infrastruttura Grid  Ideato dai “padri” del concetto di Grid: Foster e Kesselman  Basato interamente su tecnologie standard: Java, XML, WSDL, SOAP, HTTP, X509  GT4 è un middleware multipiattaforma e portabile. Middleware Grid - Globus Globus – Lo standard

43 12 – apr – 2006 Infrastruttura del middleware Globus ha una struttura a “pillard” Da Web Service a Grid Service. Data Management Information Service Resource Management Grid Security Infrastructure Middleware Grid - Globus Globus – Lo standard

44 12 – apr – 2006 Sicurezza  GSI (Grid Security Infrastructure) offre:  autenticazione a chiave pubblica (PKI)  certificati digitali (X.509 certificate)  autenticazione singola (una volta all’inizio delle operazioni sulla Grid)  delega delle credenziali (Proxy delegation)  GSI è basato su tecnologia standard Middleware Grid - Globus Globus – Lo standard

45 12 – apr – 2006 LAN Linux RH7.3 SITE 2 GT 4.0 100 Mbit Linux RH9 WAN LAN Linux RH9 SITE 1 GT 4.0 100 Mbit Linux RH9 Middleware Grid - Globus Globus – Lo standard

46 12 – apr – 2006 Il GRID portal Gridsphere

47 12 – apr – 2006 Framework open-source che offre funzionalità ampie e un ambiente predisposto a colloquiare con un’infrastruttura Globus.  Open-source  Sviluppato in accordo alle specifiche JSR168 e con l’ambiente di sviluppo IBM WebSphere  Supporto e facile integrazione di portlet prodotte da “terze parti”  Layout basato su una presentazione XML flessibile e facilmente customizzabile  Supporto per il controllo e gestione dei ruoli di accesso al portale basato su RBAC (Role Based Access Control)  Modello dei servizi portlet sofisticato che consente la creazione di servizi utente, dove i differenti servizi possono essere limitati a seconda dei diritti degli utenti  Persistenza dei dati fornita utilizzando Hibernate per il supporto di database relazionali  Core portlet includono funzionalità di base quali login, logout, controllo di accessi e gestione utenti Framework open-source che offre funzionalità ampie e un ambiente predisposto a colloquiare con un’infrastruttura Globus.  Open-source  Sviluppato in accordo alle specifiche JSR168 e con l’ambiente di sviluppo IBM WebSphere  Supporto e facile integrazione di portlet prodotte da “terze parti”  Layout basato su una presentazione XML flessibile e facilmente customizzabile  Supporto per il controllo e gestione dei ruoli di accesso al portale basato su RBAC (Role Based Access Control)  Modello dei servizi portlet sofisticato che consente la creazione di servizi utente, dove i differenti servizi possono essere limitati a seconda dei diritti degli utenti  Persistenza dei dati fornita utilizzando Hibernate per il supporto di database relazionali  Core portlet includono funzionalità di base quali login, logout, controllo di accessi e gestione utenti Middleware Grid - Gridsphere

48 12 – apr – 2006 GridSphere screenshot – (1) Middleware Grid - Gridsphere Gridsphere – Il portale GRID

49 12 – apr – 2006 Middleware Grid - Gridsphere Gridsphere – Il portale GRID

50 12 – apr – 2006 Computational GRID LSF

51 12 – apr – 2006 Si adatta a realtà aziendali con necessità di calcoli massivi e ripetuti Consente di sfruttare al meglio le risorse di CPU preesistenti in azienda, anche in realtà eterogenee: AIX, IRIX, Tru64, HP-UX, Solaris, Linux e Windows – 32-bit/64-bit Orientato al calcolo distribuito e parallelo Architettura scalabile ed altamente performante: OGSI-compliant (interoperabilità con Globus) - Fino a 100 cluster, 200K CPU e 500K job attivi per cluster Gestione avanzata del ciclo di vita dei job e schedulazione dei processi di calcolo Massima libertà di configurazione delle policy aziendali Sicurezza Accesso sicuro alle risorse: standard 56-bit encryption (optional 128-bit) Computational Grid - LSF LSF (Load Sharing Facility) - prodotto di Platform

52 12 – apr – 2006 Windows VPN SITE 2 LSF 6.0 100 Mbit 10 Mbit LAN SolarisLinux Windows SITE 1 LSF 6.0 - MasterLSF 6.0 EnginFrame Portal 100 Mbit 10 Mbit LAN Computational Grid - LSF LSF (Load Sharing Facility) - prodotto di Platform

53 12 – apr – 2006 Il GRID portal EnginFrame

54 12 – apr – 2006InternetInternet Web Access Accesso al nodo Grid LSF tramite portale EF LSF Node LSF Node Computational Grid EF agent EnginFrame PortalEnginFrameLSF Computational Grid - EnginFrame

55 12 – apr – 2006 Sistema distribuito costituito da un processo Server, basato su un Web Server, e uno o pi ù processi Agent in grado di interagire con il Server tramite messaggi XML. Approccio webcentric Permette agli utenti di accedere alle applicazioni da ogni posto, in qualunque momento e da qualunque piattaforma Meccanismo di autenticazione Accesso efficace e consistente alle applicazioni, ai dati e alle informazioni specifiche per l ’ utente Sviluppato per una specifico gruppo di utenti Focalizzato all’oggetto dell’attività dell’impresa e finalizzato a migliorarne la produttività Computational Grid - EnginFrame EnginFrame

56 12 – apr – 2006 Visualizzazione risorse Computational Grid - EnginFrame

57 12 – apr – 2006 Gestione dei processi Computational Grid - EnginFrame

58 12 – apr – 2006 Gestione dei processi Computational Grid - EnginFrame

59 12 – apr – 2006 Storage Resource Broker

60 12 – apr – 2006  Obiettivo: implementazione di un ambiente datagrid per condivisione di risorse di storage  Datagrid permette: Condivisione data storage Trasferimento più veloce e sicuro dei dati Replicazione dati - backup File system condivisi Database federati Data Grid - SRB Storage Resource Broker

61 12 – apr – 2006 I principali middleware che rispondono a queste esigenze sono: 1.EDG (European Data Grid) 2.Alien (Alice Environment) 3.SRB (Storage Resource Broker) implementazione nodo SRB Data Grid - SRB Storage Resource Broker

62 12 – apr – 2006 Data Grid - SRB Middleware di tipo client-server che fornisce un’interfaccia di accesso uniforme a dati e metadati geograficamente distribuiti su sistemi eterogenei. Caratteristiche:  uno spazio dei nomi logico  interfacce verso una vasta quantità di sistemi di memorizzazione  sistemi di trasferimento dati ad alte prestazioni  sistemi per il fault-tolerance ed il fail-over  gestione degli account e dei meccanismi di autenticazione – autorizzazione  insieme di tool grafici per la configurazione e la gestione via web  ampio insieme di API (C, C++, Java)

63 12 – apr – 2006 Middleware con architettura client-server Condivisione di risorse dati eterogenee Gestione logica dei dati Replicazione dei dati Garanzia di sicurezza Data Grid - SRB

64 12 – apr – 2006 SRB - Virtual layer Windows file system Unix file system Linux file system Data Grid - SRB

65 12 – apr – 2006 Architettura nodo SRB SITE 1 Linux WindowsSolaris MySRB portal SRB server SRB client SRB server SRB client MCAT server SRB server SRB client SRB server SRB client WAN Linux SRB server SRB client SITE 2 Linux SRB client SITE 3 SRB server SRB client Data Grid - SRB Storage Resource Broker

66 12 – apr – 2006 Il GRID portal MySRB

67 12 – apr – 2006 fornisce un unico punto di accesso allo storage virtuale consente di gestire i dati condivisi ed i rispettivi metadata indipendentemente dalla loro locazione fisica Data Grid - MySRB MySRB – Il portale DataGRID

68 12 – apr – 2006 SRB user MySRB Portal SRB server n SRB clients Storage Resource Broker Nodo SRB MCAT server Data Grid - MySRB

69 12 – apr – 2006 MySRB – Gestione risorse Data Grid - MySRB

70 12 – apr – 2006 Internet LSF Node Web Access Grid Portal Globus Node SRB Node Servizi Grid Globus Accesso ai servizi Grid tramite portale Grid LSF Grid SRB GRID Portal

71 12 – apr – 2006 Accesso ai servizi Grid tramite portale GRID Portal

72 12 – apr – 2006 Sommario Network Integration & Solutions – L’azienda La tecnologia GRID Il progetto di rete GRID pilota Gli applicativi pilota Conclusioni Gli applicativi pilota

73 12 – apr – 2006 Gli applicativi pilota

74 12 – apr – 2006 Il costante confronto con le PMI da un lato e la consapevolezza della continua evoluzione tecnologica dall’altro hanno portato a focalizzare l’attenzione su alcune tipologie di applicativi:  Modellatore statistico  Diagnosi precoce del morbo di Alzheimer  Calcolo distribuito Applicazioni Pilota

75 12 – apr – 2006 RGM – Post-elaborazione del Burn-in L’obiettivo: distribuire la post-elaborazione dell’output prodotto dal software di gestione del burn-in mediante fieldpoint su più nodi e controllare il ciclo di vita dei job attraverso una gestione centralizzata dei processi di calcolo. Contesto applicativo: azienda produttrice di alimentatori ad alta tecnologia, trasformatori, circuiti ibridi di controllo e di potenza. Vantaggi: Possibilità di distribuire il calcolo sulla Grid Gestione centralizzata del ciclo di vita dei job via web Architettura scalabile Applicazioni Pilota

76 12 – apr – 2006 RGM – Post-elaborazione del Burn-in Element# FilesProcessing timeSingle/GRID host15415 sec+40.7% host25486 sec+65.1% host35491 sec+66.4% host110451 sec+28.1% host210561 sec+59.4% host310578 sec+64.2% host120556 sec+27.2% host220789 sec+80.5% host320858 sec+96.3% host130650 sec+31.3% host230992 sec+85.4% host3301104 sec+123.1% host160 1189 sec+140.2(19.1)% host2601843 sec+272.3(84.7)% host3602015 sec+307.1(101.9)% Elaborazione su singolo host Elaborazione su Grid Element#FilesProc. Time (3 nodes) Proc. Time (6 nodes)GRID5295 sec GRID10352 sec GRID15407 sec GRID20437 sec GRID30495 sec GRID60998 sec495 sec ElementCPURAMO.S.host11.6Ghz512MbRH9 host2600Mhz384MbY2K host3600Mhz384MbRH9 Caratteristiche macchine Applicazioni Pilota

77 12 – apr – 2006 ElementCPURAMO.S.host11.6Ghz512MbRH9 host2600Mhz384MbY2K host3600Mhz384MbRH9 RGM – Post-elaborazione del Burn-in Processing time Applicazioni Pilota

78 12 – apr – 2006 Elaborazione di immagini: Demo Pov-Ray L’obiettivo: dimostrare le potenzialità dell’architettura GRID per il calcolo distribuito attraverso un algoritmo di elaborazione di immagini basato su una tecnica di rendering chiamata ray-tracing (Pov-Ray). Contesto applicativo: qualsiasi azienda che necessiti potenza di calcolo (progettazione, testing, compilazione, elaborazione numerica) Vantaggi: Possibilità di distribuire il calcolo sulla Grid Gestione centralizzata del ciclo di vita dei job via web Architettura scalabile Applicazioni Pilota

79 12 – apr – 2006 Elaborazione di immagini Elaborazione su singola macchinaElaborazione su GRID Applicazioni Pilota

80 12 – apr – 2006 Il modellatore statistico Distribuire un algoritmo computazionalmente pesante per fornire una risposta più veloce all’utente, garantendo affidabilità Trasferire dati di natura “sensibile” in un ambiente sicuro L’obiettivo: mettere a disposizione delle PMI un servizio di “DATA MINING” per classificazione, previsione o analisi di correlazioni relativamente a dati provenienti da processi industriali e aziendali Contesto applicativo: diagnosi e controllo di qualità. GPS (Green Power Solutions Srl) ha fornito dati su cui è stata condotta una sperimentazione. Vantaggi: Applicazioni Pilota

81 12 – apr – 2006 L’obiettivo: fornire accesso uniforme a dati e metadati geograficamente distribuiti su piattaforme eterogenee ed al tempo stesso ottimizzare l’esecuzione degli algoritmi SPM (Statistical Parameter Mapping) di elaborazione su tali dati. Contesto applicativo: condivisione di informazioni residenti all’interno di diverse organizzazioni (sanitarie e non) in maniera sicura, scalabile e performante. Vantaggi: Virtualizzazione dello storage Accesso geograficamente distribuito Trasferimento dei dati più sicuro e veloce Elaborazione sui dati distribuita Diagnosi precoce del morbo di Alzheimer Applicazioni Pilota

82 12 – apr – 2006 Diagnosi precoce del morbo di Alzheimer Processing Site A SPM Processing Processing Site B Data Grid Hospital B Site 2 PET images Hospital A Site 1 PET images Hospital C Site 3 PET images Applicazioni Pilota

83 12 – apr – 2006 Sperimentazione: sono state utilizzate immagini SPECT autentiche fornite dall’ospedale San Raffaele di Milano; selezione dell’immagine “campione”; estrazione dei parametri significativi da altre immagini geograficamente distribuite in diversi siti; elaborazione matematica con individuazione delle “aree patologicamente anomale” nell’immagine “campione” Risultati: i dati non vengono spostati dai diversi siti geografici perchè sono condivisi nella Grid riduzione dei costi tempi di analisi ridotti perchè viene sfruttata la potenza di calcolo della Grid Diagnosi precoce del morbo di Alzheimer Applicazioni Pilota

84 12 – apr – 2006 Sommario Network Integration & Solutions – L’azienda La tecnologia GRID Il progetto di rete GRID pilota Gli applicativi pilota Conclusioni

85 12 – apr – 2006 Conclusioni

86 La tecnologia GRID rappresenta un potenziale enorme per le imprese, nonostante esistano ancora barriere che si frappongono, al momento attuale, ad una loro rapida diffusione. Due sono i principali aspetti “critici”: 1) le tecnologie GRID, sviluppate in ambito scientifico, sono ancora relativamente immature per un diffuso uso a livello industriale, soprattutto nel segmento delle imprese medio- piccole; 2) la cultura informatica delle imprese di medio-piccole dimensioni è spesso modesta e ciò rende difficile la comprensione e l’introduzione di sistemi IT avanzati nei cicli produttivi aziendali; A fronte di queste difficoltà, potenzialmente, le tecnologie GRID rappresentano una significativa opportunità per le imprese. Conclusioni

87 12 – apr – 2006 Per quanto riguarda l’immaturità della tecnologia per un diffuso uso industriale, si possono elencare i seguenti aspetti:  l’architettura per ottenere una soluzione completa è complessa  l’offerta non è omogenea  per alcuni moduli software esistono soluzioni sia commerciali che open source  per altri moduli le soluzioni disponibili sono più rare, quando addirittura inesistenti  anche quando le soluzioni sono disponibili, esse spesso sono finalizzate ad utilizzi specifici (es. ambito finanziario o progettuale)  una volta individuati tutti i moduli software necessari a comporre l’architettura, l’integrazione degli stessi è complessa  le operazioni di configurazione e di manutenzione sono relativamente complesse e possono essere svolte solamente da personale qualificato che abbia effettuato training specifico sulle tecnologie impiegate Conclusioni – Immaturità della tecnologia

88 12 – apr – 2006 Relativamente alla capacità di penetrazione di sistemi IT avanzati nei cicli produttivi aziendali:  le conoscenze in ambito IT possedute dalle imprese, mediamente, non sono di livello avanzato  allo stato attuale, nessuna azienda (non informatica) sarebbe in grado di selezionare ed utilizzare tecnologie GRID per realizzare una propria infrastruttura  l’offerta di competenze specialistiche professionali esterne è assolutamente carente Questo fatto unito alle difficoltà insite nella tecnologia ed elencate al punto precedente fa sì che esista un grande gap di tipo “culturale” tra le potenzialità offerte dalle reti GRID e le aspettative, spesso più modeste, delle imprese. Probabilmente, come successo nel caso della diffusione di Internet, saranno i grandi gruppi industriali a fare da “driver” nell’uso della tecnologia e successivamente traineranno le aziende più dinamiche ed innovative. Conclusioni – Capacità di penetrazione

89 12 – apr – 2006 Al di là degli aspetti “critici” precedentemente evidenziati:  una volta che l’infrastruttura GRID è stata realizzata ed è funzionante correttamente, essa presenta caratteristiche di sicuro interesse  in particolare la possibilità di avere a disposizione importanti risorse di calcolo ed immagazzinamento dati, modulabili a seconda delle esigenze temporanee dell’azienda E’ ipotizzabile in un prossimo futuro, quando saranno disponibili Grid Service Provider (Server Farm basate su tecnologie GRID e gestite da aziende terze), uno scenario in cui le aziende potranno riprogettare tutto o parte del loro IT interno aumentando notevolmente l’efficienza aziendale ed abbattendo contemporaneamente i costi di gestione. Relativamente invece alla possibilità di allestire infrastrutture GRID interne, si ritiene che esse necessiteranno ancora per lungo tempo dell’intervento sia in fase di progettazione che di realizzazione e manutenzione di aziende specializzate esterne. Conclusioni – Potenzialità della tecnologia

90 12 – apr – 2006 GRID Service Provider Il nostro futuro Il progetto ha come fine l’apprendimento ed il consolidamento delle competenze riguardanti la tecnologia GRID all’interno dell’azienda NIS. Questa iniziativa è finalizzata alla creazione di un nuova “business unit” con lo scopo di offrire un servizio di “Grid Service Provider” – (G.S.P.) rivolto prevalentemente al mondo produttivo ed industriale. Questa scelta è motivata dalla constatazione che la tecnologia GRID è attualmente in rapida espansione all’interno delle grandi imprese ed è previsto che possa nel futuro diventare di interesse anche per attori medio-piccoli. Il progetto di ricerca e sviluppo si orienta all’acquisizione della tecnologia corrente nel campo ed al suo adattamento allo scenario della offerta di servizi alle piccole e medie imprese del territorio.

91 12 – apr – 2006 GRID Service Provider Il nostro futuro Il progetto verrà sviluppato attraverso i seguenti obiettivi realizzativi:  Studio di fattibilità  Progettazione infrastruttura hardware  Progettazione Middleware  Sviluppo Applicativi

92 12 – apr – 2006 Può risultare difficile immaginare come la tecnologia GRID influenzerà la vita di tutti i giorni ma è utile ricordare alcune famose predizioni sul futuro dei computer: "The world will only need five computers" attribuita a Thomas J. Watson, IBM "640 kilobytes is all the memory you will ever need" attribuita a Bill Gates, Microsoft "There is absolutely no need for a computer in the home" attribuita a Ken Olsen, DEC Una cosa analoga accadde con lo sviluppo del Web, quando fu inventato al CERN ad uso degli scienziati per condividere informazioni nessuno poteva immaginare la miriade di applicazioni pratiche e commerciali: oggi il mondo dell'IT (e non solo) non potrebbe vivere senza il Web. Il GRID nella vita quotidiana