Alcune problematiche di replicazione dati in unorganizzazione geograficamente distribuita Collaborazione CASPUR - ENEA Silvia Eccher - CASPUR Franco Iannone.

Presentazione sul tema: "Alcune problematiche di replicazione dati in unorganizzazione geograficamente distribuita Collaborazione CASPUR - ENEA Silvia Eccher - CASPUR Franco Iannone."— Transcript della presentazione:

1 Alcune problematiche di replicazione dati in unorganizzazione geograficamente distribuita Collaborazione CASPUR - ENEA Silvia Eccher - CASPUR Franco Iannone – ENEA Andrei Maslennikov - CASPUR Marco Mililotti – CASPUR Miguel Molowny Lopez - CASPUR Giuseppe Palumbo – CASPUR Maurizio Steffè – ENEA

2 Analisi del problema replicazione di grandi quantità di dati tra differenti siti (enti di ricerca, centri di calcolo) spesso distanti tra loro dati da replicare di vario genere: organizzati in database file di varie dimensioni (anche ingenti)

3 Analisi dei requisiti Vanno garantiti ai siti remoti: possibilità di lavoro autonomo (anche in assenza di collegamento) flessibilità nella scelta dei dati da condividere integrità e consistenza dei dati rapida replicazione delle informazioni possibilità di gestire più versioni contemporanee di software

4 Ambiente di sviluppo 4 macchine multiprocessore: mafalda guille felipe manolito 2.2Ghz, 1Gb RAM 1.1TB spazio disco Linux 2.4.20 Mysql 4.0.18 rsync 2.5.7

5 Struttura proposta database: 1 istanza master sul sito centrale (mafalda) 3 istanze slave - replica del master - su ciascun sito remoto (guille, felipe e manolito) in sola lettura

6 Struttura proposta database: 1 istanza master su ciascun sito remoto (felipe, guille e manolito) in modalità lettura/scrittura 3 istanze slave sul sito centrale (mafalda), ciascuna replica di uno dei master sui siti remoti

7 Struttura proposta filesystem contenente file randomici di diversa dimensione 2 versioni contemporanee, una in produzione e la seconda di sviluppo possibilità di commutare tra le 2 versioni di software

8 Realizzazione replicazione area dati: al momento rsync replicazione database: Mysql: funzioni di data replication sito centrale -> siti remoti siti remoti -> sito centrale inserimento dati sito centrale Perl: importer (auto, manual)

9 Realizzazione: importer funzioni principali: inserimento, modifica e cancellazione valori in tabelle condivise creazione, cancellazione e modifica di tabelle (se il sito remoto è considerato fidato) modalità di utilizzo: auto – propagazione delle operazioni senza interventi dallesterno manual – con supervisione delle operazioni di propagazione

10 Stato del progetto test delle prestazioni di trasferimento file tra due macchine collegate tramite rete gigabit: in locale: rsync ~ 47 MB/sec (con dischi da 90 MB/sec) in area wan: work in progress

11 Analisi delle prestazioni bbftp rsync

12 Link utili www.caspur.it www.enea.it http://doc.in2p3.fr/bbftp/ http://samba.anu.edu.au/rsync/ www.mysql.com www.perl.com