Realizzato da: Cappiello Rossella 566/667 Cimmino Antonietta566/1085.

Presentazione sul tema: "Realizzato da: Cappiello Rossella 566/667 Cimmino Antonietta566/1085."— Transcript della presentazione:

1 Realizzato da: Cappiello Rossella 566/667 Cimmino Antonietta566/1085

2 31/02/2005GPFS Rossella Cappiello - Antonietta Cimmino GPFS : acronimo di General Parallel File System GPFS : acronimo di General Parallel File System File System parallelo a condivisione di dischi, utilizzato su cluster di computer. File System parallelo a condivisione di dischi, utilizzato su cluster di computer. Nasce sulla base di idee quali: Nasce sulla base di idee quali: - Lock distribuito - Lock distribuito - Condivisione del File System - Condivisione del File System GPFS introduce la condivisione a livello del file system tra i nodi di un cluster. GPFS introduce la condivisione a livello del file system tra i nodi di un cluster. Gira sui più grandi supercomputer del mondo ed in particolare su RS/6000 SP e su cluster di Linux. Gira sui più grandi supercomputer del mondo ed in particolare su RS/6000 SP e su cluster di Linux.

3 31/02/2005GPFS Rossella Cappiello - Antonietta Cimmino Supercalcolatore Parallelo Scalabile prodotto dallIBM Supercalcolatore Parallelo Scalabile prodotto dallIBM La piattaforma IBM RS/6000 e' composta da una famiglia di computer. La piattaforma IBM RS/6000 e' composta da una famiglia di computer. La famiglia RS/6000 rappresenta una delle linee più scalabili sul mercato e garantisce funzionalità di connettività tali da consentire la condivisione di dati, applicazioni e risorse con PC, mainframe, workstation e server UNIX, che soddisfano le esigenze di tutti gli ambienti di rete. La famiglia RS/6000 rappresenta una delle linee più scalabili sul mercato e garantisce funzionalità di connettività tali da consentire la condivisione di dati, applicazioni e risorse con PC, mainframe, workstation e server UNIX, che soddisfano le esigenze di tutti gli ambienti di rete.

4 31/02/2005GPFS Rossella Cappiello - Antonietta Cimmino Il termine cluster indica un agglomerato di oggetti dello stesso tipo ( risorse ) che agisce come un unico sistema. Il termine cluster indica un agglomerato di oggetti dello stesso tipo ( risorse ) che agisce come un unico sistema. Garantisce performances migliori. Garantisce performances migliori. Vantaggi Vantaggi : formato da molteplici componenti (nodi) può considerarsi Fault Tollerance. Svantaggi Svantaggi: programmi devono essere partizionati per girare sui vari nodi: - difficile cooperazione e condivisione delle risorse. La più importante tra le risorse è il file system. GPFS applicazioniparallele spalmati GPFS permette alle applicazioni parallele accessi simultanei agli stessi file, o a file differenti, spalmati tra i vari dischi da tutti i nodi su cui GPFS è montato.

5 31/02/2005GPFS Rossella Cappiello - Antonietta Cimmino Architettura dischi condivisi Architettura GPFS basata su dischi condivisi che permette di raggiungere unelevata scalabilità.

6 31/02/2005GPFS Rossella Cappiello - Antonietta Cimmino GPFS cluster di nodi GPFS consiste in un cluster di nodi sul quale girano il file system GPFS e le applicazioni che esso usa. Tutti i nodi allinterno di un cluster possono accedere indifferentemente a tutti i dischi. Tutti i nodi allinterno di un cluster possono accedere indifferentemente a tutti i dischi. Particolarmente adatto ad architetture distribuite. Particolarmente adatto ad architetture distribuite.

7 31/02/2005GPFS Rossella Cappiello - Antonietta Cimmino I file spalmati (striping dei dati) lungo tutti i dischi I file vengono spalmati (striping dei dati) lungo tutti i dischi Elevato throughput Elevato throughput La figura mostra un file spalmato su più dischi, al quale accedono 4 nodi File Logico

8 31/02/2005GPFS Rossella Cappiello - Antonietta Cimmino 1) Dischi singoliI/O server nodes 1) Dischi singoli sono connessi ad un certo numero di I/O server nodes file system nodes rete di comunicazione che permettono laccesso da parte dei file system nodes tramite una rete di comunicazione ai suddetti dischi. File system nodes I/O server nodes Rete di comunicazione Shared Disks

9 31/02/2005GPFS Rossella Cappiello - Antonietta Cimmino 2) Tutti nodi del file system ai dischi condivisi Storage Area Network (SAN). 2) Tutti nodi del file system sono connessi ai dischi condivisi tramite una Storage Area Network (SAN). SAN:rete o settore di rete ad alte prestazioni, alla quale sono collegati solo dispositivi di memoria di massa, disponibili ed accessibili da ogni punto della rete. File system nodes SAN Shared Disks

10 31/02/2005GPFS Rossella Cappiello - Antonietta Cimmino Nodi multipliparallelamenteoperazioni di I/O Nodi multipli accedono parallelamente ai dischi per le operazioni di I/O Possibile inconsistenza dei dati. Possibile inconsistenza dei dati. Soluzione: lock distribuito. Soluzione: sincronizzazione degli accessi tramite la strategia del lock distribuito. Protocollo del lock distribuito: Protocollo del lock distribuito: - la consistenza del file system - garantisce la consistenza del file system indipendentemente dal numero dei nodi che simultaneamente effettuano operazioni di I/O nel file system; - il parallelismo ottenere il maggior - permette il parallelismo necessario per ottenere il maggior throughput throughput

11 31/02/2005GPFS Rossella Cappiello - Antonietta Cimmino GPFS GPFS implementa varie funzionalità nel file system, quali: striping dei dati, striping dei dati, tolleranza ai guasti, tolleranza ai guasti, bilanciamento del carico, bilanciamento del carico, controllo della memoria e dei dischi. controllo della memoria e dei dischi.

12 31/02/2005GPFS Rossella Cappiello - Antonietta Cimmino Per throughput elevato, striping dei dati lungo dischi multipli. Per ottenere un throughput elevato, GPFS effettua lo striping dei dati lungo dischi multipli. Funzione implementata nel file system Funzione implementata nel file system e non affidata ad LVM.(LVM permette di gestire più dischi come se fossero un unico disco logico). Ciò Ciò permette a GPFS il controllo di cui necessita per la realizzazione delle sue funzionalità quali bilanciamento del carico, tolleranza ai guasti,…

13 31/02/2005GPFS Rossella Cappiello - Antonietta Cimmino GPFS memorizza file estesi in blocchi di dischi GPFS memorizza file estesi in blocchi di dischi contigui di uguale dimensione ( solitamente 256 kbyte ) Vantaggio: aumento del throughput. Vantaggio: prelevare con una sola op di I/O una grande quantità di dati dai dischi condivisi aumento del throughput. GPFS memorizza file di piccole dimensioni in piccole unit, SOTTOBLOCCHI. GPFS memorizza file di piccole dimensioni in piccole unit, anche dette SOTTOBLOCCHI.. Lo striping è meglio effettuato quando i dischi hanno una uguale dimensione.

14 31/02/2005GPFS Rossella Cappiello - Antonietta Cimmino Striping dei dati Striping dei dati: le sezioni dei file sono distribuiti sequenzialmente sui dischi.

15 31/02/2005GPFS Rossella Cappiello - Antonietta Cimmino Lo striping accelera la velocità effettiva I/O Lo striping accelera la velocità effettiva I/O per i file di grandi dimensioni quando vengono letti e scritti in sequenza. Svantaggio dello striping : la perdita di un solo disco può avere come conseguenza il danneggiamento di molti file, Svantaggio dello striping : la perdita di un solo disco può avere come conseguenza il danneggiamento di molti file, dato che i file sono di proposito "spalmati" pezzo per pezzo su più dischi. Una compromesso Una configurazione non uniforme dei dischi richiede un compromesso tra il throughput e lo spazio di utilizzazione.

16 31/02/2005GPFS Rossella Cappiello - Antonietta Cimmino GPFS log write ahead. GPFS registra tutti gli aggiornamenti dei metadati che agiscono sulla consistenza del file system in un log write ahead. Ogni nodo ha un proprio log memorizzato allinterno del suo file system. Ogni nodo ha un proprio log memorizzato allinterno del suo file system. Il log può essere letto dagli altri nodi ed utilizzato da questi per ripristinare la consistenza del file system Il log può essere letto dagli altri nodi ed utilizzato da questi per ripristinare la consistenza del file system ogni volta che uno dei nodi fallisce. Un log può avere dimensioni fissate Un log può avere dimensioni fissate flushing. flushing dei dati modificati sul disco.

17 31/02/2005GPFS Rossella Cappiello - Antonietta Cimmino U Un file system per cluster garantisce un maggiore throughput di I/O rispetto ad un nodo singolo, permesso dal parallelismo delle operazioni di I/O tra i nodi. Il accessi sincronizzati Il parallelismo richiede accessi sincronizzati ai dati ed ai metadati per garantire la consistenza del file system. tecniche di sincronizzazione: Due sono le tecniche di sincronizzazione: Lock distribuito: Lock distribuito: ogni nodo quando esegue unoperazione di read o write, acquisisce rispettivamente un lock read (o write) onde evitare operazioni conflittuali con altri nodi. Centralized Management: Centralized Management: tutte le operazioni conflittuali sono inoltrate ad un nodo scelto il quale esegue le letture o gli aggiornamenti richiesti.

18 31/02/2005GPFS Rossella Cappiello - Antonietta Cimmino GPFS utilizza il lock distribuito quando nodi differenti operano su sezioni differenti di dati/metadati. I dati o i metadati che sono invece utilizzati ed aggiornati da nodi multipli devono essere gestidi da un approccio centralizzato. Gli accessi si differiscono per i diversi tipi di dati GPFS utilizza varie tecniche per la gestione di tipi di dati differenti: byterange locking per l'aggiornamento degli user data, byterange locking per l'aggiornamento degli user data, scelta dinamica dei metanodi per la gestione centralizzata del file metadato, scelta dinamica dei metanodi per la gestione centralizzata del file metadato, lock distribuito per l'allocazione di spazio del disco, lock distribuito per l'allocazione di spazio del disco, coordinatore centrale per gestire i cambi di configurazione. coordinatore centrale per gestire i cambi di configurazione.

19 31/02/2005GPFS Rossella Cappiello - Antonietta Cimmino Il lock distributed manager global lock manager che coordina i local lock manager, token Il lock distributed manager utilizza un global lock manager (presente su uno dei nodi del cluster) che coordina i local lock manager, presenti sugli altri nodi, tramite la distribuzione di token che permettono la coordinazione delle sincronizzazioni. lock token al global lock manager. Accessi ripetuti allo stesso elemento da parte di uno stesso nodo richiedono una sola richiesta di acquisizione del lock token al global lock manager. Richiesta addizionale solo in caso di operazione conflittuale di utilizzo dell'oggetto da parte di un altro nodo per la revoca del token dal primo nodo e l'assegnazione di questo al secondo. Il token garantisce la consistenza dei dati Il token garantisce la consistenza dei dati poichè un nodo non può modificare i dati se non è in possesso di esso.

20 31/02/2005GPFS Rossella Cappiello - Antonietta Cimmino Distributed Lock Manager è il modulo di gestione per la coordinazione degli accessi paralleli dei vari nodi del cluster ai dischi condivisi.

21 31/02/2005GPFS Rossella Cappiello - Antonietta Cimmino Metodo che permette la sincronizzazione di scritture e letture concorrenti da parte di nodi diversi di un cluster sullo stesso file. Metodo che permette la sincronizzazione di scritture e letture concorrenti da parte di nodi diversi di un cluster sullo stesso file. Un nodo che scrive su di un file è in possesso di un byterange token per l'intero file fintanto che nessun altro nodo non richiede l'accesso allo stesso file. Un nodo che scrive su di un file è in possesso di un byterange token per l'intero file fintanto che nessun altro nodo non richiede l'accesso allo stesso file. Quando questo succede il primo nodo dovrà cedere parte del token in modo da permettere la scrittura concorrente al secondo nodo. Quando questo succede il primo nodo dovrà cedere parte del token in modo da permettere la scrittura concorrente al secondo nodo.

22 31/02/2005GPFS Rossella Cappiello - Antonietta Cimmino Nodo A File Il nodo A possiede il byterange token (offset 0 to infinity ) per tutto il file, poiché nessun altro nodo deve effettuarvi operazioni concorrenti. byterange token Se un Nodo B richiede laccesso al file, il nodo A deve revocare il byterange token ( o una sua parte ). Se ha chiuso il file allora rilascia lintero byterange token al Nodo B.

23 31/02/2005GPFS Rossella Cappiello - Antonietta Cimmino Nel caso in cui Nodo B richiede lacceso mentre Nodo A sta ancora utilizzando il file, allora Nodo A revocherà solo una parte del byterange token in favore di Nodo B per permettere le operazioni simultanee. Nodo A Nodo B File

24 31/02/2005GPFS Rossella Cappiello - Antonietta Cimmino In generale: In generale: quando nodi multipli stanno scrivendo sequenzialmente, per non sovrascrivere sezioni dello stesso file, ogni nodo dovrà essere in grado di acquisire il token necessario che gli garantisca una sezione disponibile del file. Nodi multipli dovranno scambiarsi info riguardanti gli offset di scrittura: required range (range richiesto): required range (range richiesto): che corrisponde all'offset e alla lunghezza della chiamata di sistema write(). desidered range (range desiderato): desidered range (range desiderato): che è riferito a possibili accessi futuri.

25 31/02/2005GPFS Rossella Cappiello - Antonietta Cimmino Il protocollo di gestione dei token revocherà il byte range solo dai nodi che sono in conflitto con il range richiesto. Il token manager stanzierà un sottorange del DESIRE RANGE evitando di entrare in conflitto con i range che sono ancora in possesso degli altri nodi.

26 31/02/2005GPFS Rossella Cappiello - Antonietta Cimmino GPFS usa gli inode e i blocchi indiretti per memorizzare gli attributi dei file e gli indirizzi dei blocchi dei dati. GPFS usa gli inode e i blocchi indiretti per memorizzare gli attributi dei file e gli indirizzi dei blocchi dei dati. Molti nodi scrivono sullo stesso file Molti nodi scrivono sullo stesso file aggiornamenti concorrenti dell'inode e dei blocchi indiretti aggiornamenti concorrenti dell'inode e dei blocchi indiretti possibilità di conflitti possibilità di conflitti Le operazioni di scrittura in GPFS usano lo SHARE WRITE LOCK sull'inode che permette scritture concorrenti su nodi multipli. Le operazioni di scrittura in GPFS usano lo SHARE WRITE LOCK sull'inode che permette scritture concorrenti su nodi multipli.

27 31/02/2005GPFS Rossella Cappiello - Antonietta Cimmino METANODO accedere all inodo Tra i vari nodi che accedono al file uno è scelto come METANODO ed è 'unico che può accedere all inodo ed effettuarvi operazioni. I nodi aggiornano la loro copia locale dellinode ed inviano periodicamente questi aggiornamenti al metanodo. Il metanodo unisce gli aggiornamenti ricevuti dai nodi multipli in modo da conservare la consistenza globale dell'inode. Il metanodo è scelto dinamicamente con l'aiuto del token manager. Il primo nodo che accede ad un file acquisisce il metanode token per quel file. Gli altri nodi si informano sull'identità del metanodo.

28 31/02/2005GPFS Rossella Cappiello - Antonietta Cimmino Quando si scrive su di un nuovo file ogni nodo alloca indipendentemente spazio sul disco per i blocchi dei dati che scrive. Il byterange token assicura che solo un nodo allocherà memoria per un particolare blocco di dati. Quando si scrive su di un nuovo file ogni nodo alloca indipendentemente spazio sul disco per i blocchi dei dati che scrive. Il byterange token assicura che solo un nodo allocherà memoria per un particolare blocco di dati. Periodicamente o su revoca del byterange token, i nuovi indirizzi del blocco di dati sono inviati al metanode che aggiorna i blocchi indiretti. Periodicamente o su revoca del byterange token, i nuovi indirizzi del blocco di dati sono inviati al metanode che aggiorna i blocchi indiretti.

29 31/02/2005GPFS Rossella Cappiello - Antonietta Cimmino Registra lo stato di allocazione di tutti i blocchi del disco nel file system. Registra lo stato di allocazione di tutti i blocchi del disco nel file system. Allocare spazio del disco richiede di aggiornare la mappa di allocazione che deve essere sincronizzata tra i nodi. Allocare spazio del disco richiede di aggiornare la mappa di allocazione che deve essere sincronizzata tra i nodi. Data la grande dimensione dei blocchi utilizzati da GPFS, non ha importanza dove sul disco è scritto il blocco di dati. Data la grande dimensione dei blocchi utilizzati da GPFS, non ha importanza dove sul disco è scritto il blocco di dati. Questo permette di organizzare la mappa di allocazione in un modo che minimizza i conflitti tra i nodi interfogliando lo spazio libero sui vari dischi. Questo permette di organizzare la mappa di allocazione in un modo che minimizza i conflitti tra i nodi interfogliando lo spazio libero sui vari dischi.

30 31/02/2005GPFS Rossella Cappiello - Antonietta Cimmino nregioni separate La mappa è divisa in un numero n fissato di regioni separate, ed ognuna di esse contiene lo stato di allocazione di 1/n esimo dei blocchi del disco su ogni disco. Ciò permette a GPFS di allocare spazio del disco ben distribuito lungo tutti i dischi accedendo ad una sola regione di allocazione per volta permette a nodi differenti di allocare spazio in differenti regioni il che minimizza i conflitti. Il numero n di regioni è determinato al momento della creazione del file system ed è basato sul numero di nodi nel cluster.

31 31/02/2005GPFS Rossella Cappiello - Antonietta Cimmino Allocation Manager. Uno dei nodi del cluster è responsabile del mantenimento delle statistiche riguardo lo spazio libero per ogni regione Allocation Manager. Le statistiche sono aggiornate periodicamente tramite messaggi periodici che i nodi inviano all Allocation Manager con i quali lo informano sull'ammontare dello spazio del disco allocato o liberato nell'ultimo periodo. L'allocation manager distribuisce le regioni ai nodi che le richiedono e previene i conflitti indirizzando nodi diversi in regioni diverse. L'allocation manager distribuisce le regioni ai nodi che le richiedono e previene i conflitti indirizzando nodi diversi in regioni diverse.

32 31/02/2005GPFS Rossella Cappiello - Antonietta Cimmino I compiti del token manager sono: tenere traccia di tutti i token assegnati ai nodi del cluster tenere traccia di tutti i token assegnati ai nodi del cluster svolgere altre funzioni di amministrazione come rilascio o svolgere altre funzioni di amministrazione come rilascio o acquisizione di token. acquisizione di token. Tutte le funzioni assegnate al token manager potrebbero far sorgere le seguenti problematiche: Bottleneck rallentamento nello svolgersi delle attività Il token manager diventi un Bottleneck in un grande cluster,ossia porta ad un rallentamento nello svolgersi delle attività la dimensione del token state ecceda la capacità di memoria del token manager. la dimensione del token state ecceda la capacità di memoria del token manager. Tra le tante soluzioni proposte, il token manager previene la crescita illimitata del token state controllando luso della sua memoria e se necessario rimuovendo i token per ridurre la dimensione del token state, onde evitare leffetto bottleneck.

33 31/02/2005GPFS Rossella Cappiello - Antonietta Cimmino Una delle maggiori cause che portano ad un sovraccarico del token manager node sono i lock conflict che causano la revocazione dei token. In seguito ad una revoca di un token, i dati modificati tenuti dal token devono essere spostati sul disco o tolti dalla cache.

34 31/02/2005GPFS Rossella Cappiello - Antonietta Cimmino GPFS utilizza un certo numero di ottimizzazioni nel token protocol che migliorano significativamente il token management. revocare un token messaggi di revoca raccogliere le risposte come un singolo messaggioinoltrarlo al token manager. Quando è necessario revocare un token, è responsabilità del nodo che lo revoca mandare messaggi di revoca a tutti i nodi che hanno portato il token in uno stato conflittuale, raccogliere le risposte come un singolo messaggio ed inoltrarlo al token manager.

35 31/02/2005GPFS Rossella Cappiello - Antonietta Cimmino Acquisire un token non richiederà più di due messaggi al token manager, Acquisire un token non richiederà più di due messaggi al token manager, senza preoccuparsi di quanti nodi potrebbero tenere il token in uno stato conflittuale. token prefetch e token request batching Il protocollo del token manager supporta anche la token prefetch e token request batching, che permettono lacquisizione di token multipli inviando un unico messaggio al token manager.

36 31/02/2005GPFS Rossella Cappiello - Antonietta Cimmino Quando un file è cancellato su un nodo, il nodo non rilascia i token associati a quel file. Un nuovo file creato da quel nodo potrà riutilizzare il vecchio inode non ci sarà bisogno di acquisire altri nuovi non ci sarà bisogno di acquisire altri nuovi token. token. Esempio: Esempio: un workload dove gli utenti su nodi differenti creano e distuggono file sotto le loro rispettive home directories genererà un traffico minimo (o addirittura nullo) di token.

37 31/02/2005GPFS Rossella Cappiello - Antonietta Cimmino Un cluster è costituito da molti nodi e molti dischi possibilità che non tutte le componenti funzionino sempre correttamente. Questo implica: Buona gestione dei guasti ai nodi. Buona gestione dei guasti ai nodi. Continuità di funzionamento anche in caso di guasti. Continuità di funzionamento anche in caso di guasti.

38 31/02/2005GPFS Rossella Cappiello - Antonietta Cimmino Quando un nodo cade, cosa fa GPFS? Riportare il metadata del nodo fallito in uno stato consistente. Riportare il metadata del nodo fallito in uno stato consistente. Liberare le risorse che erano in possesso del nodo fallito. Liberare le risorse che erano in possesso del nodo fallito. Le inconsistenze del metadato, causate dalla caduta del nodo su cui si trovava, sono facilmente ripristinate mandando in esecuzione il log del nodo fallito su uno dei nodi funzionanti.

39 31/02/2005GPFS Rossella Cappiello - Antonietta Cimmino Altri nodi non possono accedere al metadato finchè il recovery del metadato non è completo poiché potrebbero operare su dati inconsistenti. Per lo stesso motivo solo dopo il completamento del recovery, il token manager rilascia i token che erano in possesso del nodo caduto, che solo allora possono essere rilasciati agli altri token.

40 31/02/2005GPFS Rossella Cappiello - Antonietta Cimmino Nel caso in cui un nodo caduto svolgeva funzioni speciali,esse sono assegnate ad un altro nodo, il quali ripristina lo stato necessario leggendo le informazioni dal disco e\o effettuando richieste ad altri nodi. Se il token manager viene a mancare, un altro nodo assumerà questa responsabilità Se il token manager viene a mancare, un altro nodo assumerà questa responsabilità e ricostruirà lo stato del token manager tramite la richiesta agli altri nodi riguardo i token di cui sono in possesso. Poiché il nuovo token non conosce quali token sono stati tenuti dai nodi falliti non verranno introdotti nuovi token fin quando il recupero del log non è completo.

41 31/02/2005GPFS Rossella Cappiello - Antonietta Cimmino 1) Fallimento di un nodo GPFS garantisce il monitoraggio dell'attività dei nodi. I nodi inviano periodicamente dei pacchetti.Quando un nodo non ne invia più esso si considera fallito, e viene escluso dal file system. Group Services Group Services: insieme di servizi che comunica la caduta di un nodo agli altri nodi Ad avvenuta comunicazione si mette in atto il recupero descritto in precedenza.

42 31/02/2005GPFS Rossella Cappiello - Antonietta Cimmino Guasto di rete Guasto di rete La caduta di un cavo può causare l'isolamento di un nodo e renderlo irraggiungibile oppure un malfunzionamento della rete può creare partizioni di nodi nella rete stessa. La caduta di un cavo può causare l'isolamento di un nodo e renderlo irraggiungibile oppure un malfunzionamento della rete può creare partizioni di nodi nella rete stessa.

43 31/02/2005GPFS Rossella Cappiello - Antonietta Cimmino Accessi concorrenti da partizioni diverse al file system potrebbero compromettere la consistenza del suo stato. Accessi concorrenti da partizioni diverse al file system potrebbero compromettere la consistenza del suo stato. GPFS permette gli accessi al file system solo alla partizione contenente il maggior numero di nodi. GPFS permette gli accessi al file system solo alla partizione contenente il maggior numero di nodi. I nodi facenti parte della partizione minore non possono più accedervi finchè non riusciranno a rientrare nella partizione maggioritaria. I nodi facenti parte della partizione minore non possono più accedervi finchè non riusciranno a rientrare nella partizione maggioritaria.

44 31/02/2005GPFS Rossella Cappiello - Antonietta Cimmino Quorum :. Quorum : è definito per default un numero minimo di nodi utile per il corretto funzionamento di GPFS. Se il numero di nodi raggiungibili è inferiore al quorum, il filesystem non è più accessibile. I nodi riavviano il GPFS. quorum = 50% + 1 (del numero di nodi nel cluster)

45 31/02/2005GPFS Rossella Cappiello - Antonietta Cimmino GPFS distribuisce i dati e i metadati a tutti i dischi che appartengono al file system la perdita di un singolo disco interesserà una frazione sproporzionatamente grande dei file. GPFS utilizza i RAID controllers, GPFS utilizza i RAID controllers, i quali fanno in modo che un guasto all' hard-disk non comporta l'arresto del sistema operativo che continua a funzionare regolarmente. GPFS File system sono distribuiti lungo RAID multipli. GPFS File system sono distribuiti lungo RAID multipli.

46 31/02/2005GPFS Rossella Cappiello - Antonietta Cimmino RAID RAID:(Redundant Array of Inexpensive Disk : architettura utilizzata per realizzare sistemi di dischi fissi sicuri e di alta capacità )

47 31/02/2005GPFS Rossella Cappiello - Antonietta Cimmino REPLICAZIONE Come alternativa o supplemento al RAID, GPFS implementa la REPLICAZIONE quando è possibile, GPFS alloca spazio per due quando è possibile, GPFS alloca spazio per due copie di ogni dato o metadato su due differenti copie di ogni dato o metadato su due differenti dischi. dischi. Nel momento in cui un disco è non disponibile, GPFS tiene traccia di quali file esso ha aggiornato in un blocco mediante una replica. Se il disco diventa nuovamente disponibile, GPFS riporta i vecchi dati sul disco copiandoli da unaltra replica. Nel caso in cui un disco cade permanentemente, GPFS alloca una nuova replica su altri dischi per tutti i blocchi di dati del disco fallito.

48 31/02/2005GPFS Rossella Cappiello - Antonietta Cimmino La scalabilità è importante non solo per normali operazioni del file system ma anche per le sue utilità, le quali manipolano frazioni significanti di dati o metadati nel file system. La scalabilità è importante non solo per normali operazioni del file system ma anche per le sue utilità, le quali manipolano frazioni significanti di dati o metadati nel file system. GPFS permette di riorganizzare un file system con l'aggiunta, l'eliminazione, la sostituzione di dischi in un file system esistente. GPFS permette di riorganizzare un file system con l'aggiunta, l'eliminazione, la sostituzione di dischi in un file system esistente.

49 31/02/2005GPFS Rossella Cappiello - Antonietta Cimmino L'aggiunta di un nuovo disco comporta il trasferimento di alcuni dei dati esistenti ai nuovi dischi (bilanciamento del carico). L'aggiunta di un nuovo disco comporta il trasferimento di alcuni dei dati esistenti ai nuovi dischi (bilanciamento del carico). La rimozione (o la sostituzione) di un disco comporta il trasferimento di tutti i dati e metadati dal disco danneggiato ai restanti dischi. La rimozione (o la sostituzione) di un disco comporta il trasferimento di tutti i dati e metadati dal disco danneggiato ai restanti dischi. Entrambe le operazioni richiedono di processare tutti gli inode e i blocchi indiretti per cercare il dato che deve essere mosso. Entrambe le operazioni richiedono di processare tutti gli inode e i blocchi indiretti per cercare il dato che deve essere mosso.

50 31/02/2005GPFS Rossella Cappiello - Antonietta Cimmino parallelismo del sistema. Per completare le suddette operazioni in un tempo ragionevole viene sfruttato il parallelismo del sistema. GPFS file system manager, range di inode number GPFS nomina uno dei nodi come file system manager, il quale è responsabile di coordinare l'attività amministrativa e di distribuire un piccolo range di inode number ad ogni nodo nel cluster, che processerà i file presenti nel range assegnato.Una volta terminato chiede altro lavoro al file system manager. Ciò permette ai file di lavorare in parallelo su differenti sottosezioni del file finché tutti i file non sono stati processati.

51 31/02/2005GPFS Rossella Cappiello - Antonietta Cimmino Durante questo processo i nodi si scambiano messaggi tra di loro per compilare lo stato globale del file system. Nonostante un elevato grado di parallelismo, queste operazioni possono occupare molto tempo. Per ovviare a questo problema, GPFS permette di eseguire tutte le utilità del file system on line.

52 31/02/2005GPFS Rossella Cappiello - Antonietta Cimmino GPFS è installato su cluster con un range che spazia da pochi nodi con meno di un terabyte di disco fino ad arrivare a 512 nodi ASCI White system con 140 Tbyte di spazio del disco in due filesystem. Da molte esperienze si è notato che si ottiene una migliore efficienza con un parallelismo intra-node piuttosto che un parallelismo inter-node. Da molte esperienze si è notato che si ottiene una migliore efficienza con un parallelismo intra-node piuttosto che un parallelismo inter-node. Quando si ha a che fare con un grande cluster, riguardo l'esecuzione è conveniente utilizzare un parallelismo intra-node piuttosto che uno inter-node.

53 31/02/2005GPFS Rossella Cappiello - Antonietta Cimmino Altra idea era quella di assegnare un thread ad ogni singolo nodo del cluster e ad ognuno assegnarvi un certa porzione di lavoro. Si pensava che questo sarebbe stato sufficiente per sfruttare tutta la larghezza di banda disponibile del disco. Inoltre le unità di lavoro distribuite sui thread di ogni Inoltre le unità di lavoro distribuite sui thread di ogni nodo del cluster devono essere sufficientemente piccole nodo del cluster devono essere sufficientemente piccole e approssimativamente di uguale dimensione, per e approssimativamente di uguale dimensione, per permettere un buon bilanciamento del carico. permettere un buon bilanciamento del carico.

54 31/02/2005GPFS Rossella Cappiello - Antonietta Cimmino file system Le funzioni amministrative sono eseguita dal file systemmanager. Se esso esegue anche parti di applicazioni parallele, si ha un sovraccarico del file system manager lasciando altri nodi inattivi. Se il sovraccarico rallenta l'esecuzione dell'applicazione dell'1%, il tempo morto a cui andranno incontro gli altri nodi sarà equivalente a lasciare 5 nodi inusati sui 512 nodi dell'ASCI White system. Soluzione: Soluzione: GPFS assegna le funzioni amministrative ad una collezione limitata di nodi amministrativi. In generale un cluster esteso non utilizza mai più di due nodi amministrativi.

55 31/02/2005GPFS Rossella Cappiello - Antonietta Cimmino Un problema che si può presentare, anche se raramente, è la perdita dei dati in un RAID dovuti ad una intermittenza durante una operazione di sostutuzione del disco. Fortunatamente i data user non sono persi perché possono essere recuperati grazie alla replicazione dei metadati e dati ( scritta in precedenza ) che GPFS utilizza in aggiunta ai RAID per fornire un grado di sicurezza più elevato contro i fallimenti. Un problema che si può presentare, anche se raramente, è la perdita dei dati in un RAID dovuti ad una intermittenza durante una operazione di sostutuzione del disco. Fortunatamente i data user non sono persi perché possono essere recuperati grazie alla replicazione dei metadati e dati ( scritta in precedenza ) che GPFS utilizza in aggiunta ai RAID per fornire un grado di sicurezza più elevato contro i fallimenti.

56 31/02/2005GPFS Rossella Cappiello - Antonietta Cimmino Le installazioni esistenti di GPFS indicano che è capace di aumentare le prestazioni dei più grandi super computers nel mondo e di fornire le funzioni necessarie di tolleranza ai guasti. Le installazioni esistenti di GPFS indicano che è capace di aumentare le prestazioni dei più grandi super computers nel mondo e di fornire le funzioni necessarie di tolleranza ai guasti. Tuttavia noi invitiamo a uno sviluppo continuo della tecnologia per richiedere sempre maggiore scalabilità. Tuttavia noi invitiamo a uno sviluppo continuo della tecnologia per richiedere sempre maggiore scalabilità. La scalabilità di un file system è diventata un interesse per la ricerca che continuerà nel prossimo futuro. La scalabilità di un file system è diventata un interesse per la ricerca che continuerà nel prossimo futuro. Un gran numero di persone hanno contribuito allimplementazione di GPFS negli anni.Nel seguito saranno riportati solo alcuni dei tanti nomi di persone che hanno significativamente contribuito al lavoro descritto nelle pagine precedenti: Un gran numero di persone hanno contribuito allimplementazione di GPFS negli anni.Nel seguito saranno riportati solo alcuni dei tanti nomi di persone che hanno significativamente contribuito al lavoro descritto nelle pagine precedenti: Jim Wyllic,Dan Mcnabb,Lyle Gaine,etc. Jim Wyllic,Dan Mcnabb,Lyle Gaine,etc.