Event dissemination over wide-area networks exploiting Network Coding and distributed gossip-based recovery: a mathematical model and some results Roberto.

Presentazione sul tema: "Event dissemination over wide-area networks exploiting Network Coding and distributed gossip-based recovery: a mathematical model and some results Roberto."— Transcript della presentazione:

1 Event dissemination over wide-area networks exploiting Network Coding and distributed gossip-based recovery: a mathematical model and some results Roberto Beraldi (Università «La Sapienza») Candidato: Silvio De Laurentiis DOTS-LCCI – Meeting – Napoli ottobre di Laurea in Ingegneria Informatica, A.A. 2010/2011, «La Sapienza »

2 Introduzione Diffusione di eventi su larga scala. Bassa latenza, alta affidabilita’, efficienza Pubblicati 2 papers (RM-NA.F2) WS SRDS ICDCN’12,

3 Introduzione Overlay Network
Struttura ad albero per diffusione iniziale rapida seguita da recupero stile p2p random + coding

4 Algoritmo Due fasi Push lungo l’albero Recovery distributio (gossip)
Info + ridondanza Solo pacchetti UDP

5 Algoritmo

6 Contributo Un modello per le perfomance al fine di studiare
Impatto della ridondanza su delay (#round), percentuale di decodifica, costo Scalabilita’ del protocollo Topologia migliore (fat vs deep) Estensione per: Gossip polarizzato Altre tecniche di recupero (random walk?)

7 Network Coding: Codifica
EVENTO M = chunk X = combinazione lineare (c.l.) random su campo finito M1 M2 M3 M4 Ridondanza mediante ulteriori c.l. X = 𝑖=1 𝑛 𝑐 𝑖 𝑀 𝑖 X1 C1 X2 C2 X3 C3 X4 C4 A X5 C5 B X’ = 𝑖=1 𝑘 𝑐 𝑖 𝑋 𝑖 Possibile codifica su c.l.

8 Decodifica Progressiva (eliminazione di Gauss)  bassa latenza
Avviene quando il numero di c.l. indipendenti è pari numero di chunk in cui si è diviso l’evento  matrice di decodifica a rango pieno, full rank

9 Parametri PARAMETRI DELL’ALGORITMO: PARAMETRI DEL CANALE:
Dimensione evento (generation size) : n>=1 Livello (grado) di ridondanza: a>=0 PARAMETRI DEL CANALE: Gilbert-Elliot ABL ( Average Burst Length ) = [2 ; 5] PLR ( Packet Loss Rate ) = [0.02 ; 0.2] PARAMETRI TOPOLOGICI: Albero Regolare di grado D e livello L

10 Il Modello: ipotesi Ipotesi 1 (IP1): Rank [k c.l.] = k
Per GF > 8 è molto ragionevole Ipotesi 2 (IP2): Rank [k1 + k2] = n (se k1+k2>=n), k1+k2 otherwise Molto ragionevole se i gruppi k1 e k2 sono random Gossip verso un ramo dell’albero diverso e non verso nodi che stanno ‘sotto’ (almeno all’inizio del recovery) Ipotesi 3 (IP3): Canali indipendenti. Inizio tx in un momento casuale

11 Il Modello Osservo il rango della matrice di decodifica di un nodo generico alla fine del round di recovery k Il rango è un numero intero i, compreso fra 0 ed n Studio come varia i nel tempo

12 Fase di push 𝜋 ℎ 0 𝑖 = Prob {rango di un nodo livello h alla termine del push=i} 𝑃 𝑖𝑗 = Prob {un nodo riceve j pacchetti, dato che il mittente ne ha spediti i} 𝑃 𝑖𝑗 =0 se j>i. Inoltre, P00=1 𝜋 0 0 𝑗 = 1, 𝑗=𝑛 0, 𝑎𝑙𝑡𝑟𝑖𝑚𝑒𝑛𝑡𝑖 𝜋 ℎ 0 𝑗 = 𝑃 𝑖𝑗 𝜋 ℎ−1 0 𝑖 , h=[1…L] 1 2 h

13 Fase di push 𝑃 𝐿 (𝑛,𝑑) = Prob. di perdere d pacchetti su n su un canale di Gilbert Elliot (IP 3) 𝑃 𝑛,𝑛−𝑥 = 𝑃 𝐿 𝑛+𝑎, 𝑎+𝑥 𝑃 𝑛−𝑥,𝑛−𝑥 = 𝑗=0 𝑎 𝑛−𝑥 𝑃 𝐿 𝑛−𝑥+ 𝑎 𝑛−𝑥 ,𝑗 𝑃 𝑛−𝑥,𝑛−𝑥′ = 𝑃 𝐿 𝑛−𝑥+ 𝑎 𝑛−𝑥 , 𝑎 𝑛−𝑥 + 𝑥 ′ −𝑥 𝑃 𝑛,𝑛 = 𝑗=0 𝑎 𝑃 𝐿 (𝑛+𝑎,𝑗) 1 x’ < x n n-x’ n-x

14 Fase di pull 𝜋 ℎ 𝑘 𝑖 = Prob {rango di un nodo livello h dopo il round k = i } 𝑃 𝐻 𝑘,𝑟 = Prob {rango nodo contattato durante round k = r } 𝑃 𝐼 (𝑗|𝑖,𝑟) = Prob {rango unione due matrici = j | rango matrici di partenza sono i ed r } 𝑃 𝑖𝑗 𝑘 = Prob { rango del nodo alla fine del round k passa i a j} Nota: 𝑃 𝑖𝑗 = 0, se j<i. Inoltre, Pnn=1

15 Fase di pull n n-x n-x’

16 Fase di pull 𝑃 𝐻 𝑘,𝑟 Nodi livello h (escludo il mio sotto albero)
= 1 𝐷 𝐿 + ℎ=1 𝐿 𝜋 ℎ 𝑘−1 𝑟 𝐷 ℎ−1 𝐷 𝐿 𝑃 𝐻 𝑘,𝑟 Seleziono nodo livello h Prob contattare la radice Numero totale di nodi 𝐷 𝐿 p.e., D=2, L=3, 8 nodi

17 Fase di Pull 𝜋 ℎ 𝑘+1 𝑗 = 𝑖=0 𝑛 𝜋 ℎ 𝑘 𝑖 𝑃 𝑖𝑗 (𝑘) 𝑘=0…
𝜋 ℎ 𝑘+1 𝑗 = 𝑖=0 𝑛 𝜋 ℎ 𝑘 𝑖 𝑃 𝑖𝑗 (𝑘) 𝑘=0… 𝑃 𝑖𝑗 𝑘 = 𝑟=𝑗−𝑖 𝑛+𝑎 𝑑=0 𝑟 𝑃 𝐻 𝑘,𝑟 𝑃 𝐼 𝑗+𝑑 𝑖,𝑟 𝑃 𝐿 (𝑗+𝑑−𝑖,𝑑) Rango nodo contattato = r Il rango dell’unione è j+d. Transmetto j+d-i pkts, ne perdo d

18 Metriche di interesse SUCCESS RATE : DELAY : COSTO :
Probabilità che tutti i nodi abbiano recuperato l’evento entro k round, 𝑃 𝑅 𝑘 DELAY : Numero minimo di round di Gossip necessari affinchè tutti abbiamo decodificato l’evento, 𝑁 𝑅 COSTO : Numero di pacchetti totali spediti nel sistema, C

19 Metriche Success Rate: Delay:
Probabilità che ogni nodo dell’albero recuperi l’evento entro k round 𝑃 𝑅 𝑘 ≅ 1≤ℎ≤𝐿 𝐷 ℎ ∗ 𝜋 ℎ 𝑘 𝑛 Delay: Numero di round minimo tale che P R k = 1

20 Costi Costo = Diffusione + Gossip Facilemente integrabile nel modello
Diffusione = aumenta con la ridondanza a Gossip = Dimunisce con a a ottimo in termini di costo

21 Validazione del modello

22 Impatto della ridondanza
Come varia il Delay in funzione della ridondanza e del canale ( per diversi valori di PLR/ABL) ?

23 Scalabilità Come varia il Delay in funzione della profondità e del canale ( per diversi valori di PLR/ABL) ? Come cambia la velocità di recupero dei nodi a diversi livelli di profondità?

24 Costo

25 Altri aspetti interessanti
Ridondanza deve aumentare se aumenta profondità L e ABL Esiste una topologia migliore (coppia L,D p.e., (2,6) vs (5,3)) ? GOSSIP Polarizzato ?

26 DOMANDE ?