Algoritmi Paralleli e Distribuiti a.a. 2008/09 Lezione del 27/03/2009 Prof. ssa ROSSELLA PETRESCHI a cura del Dott. SAVERIO CAMINITI

Dimostrazione del teorema di Brent Modelli di calcolo: Rete combinatoria C di profondità d e dimensione n = i=1..d n i con n i numero di elementi al livello i. PRAM-EW con p processori p 0, p 1, …, p p-1. Linput del circuito combinatorio si considera disponibile nella memoria condivisa. Il fan-in limitato evita che la memoria condivisa non sia sufficiente a memorizzare i risultati intermedi del calcolo. Idea della dimostrazione: Ogni processore simula un componente del primo livello della rete e fornisce loutput che può essere immagazzinato nella memoria condivisa. Si ripete loperazione per un numero di volte pari alla profondità del circuito utilizzando loutput di ogni livello come input del livello successivo. Nel caso in cui p sia minore del massimo numero di elementi combinatori presenti in uno stesso livello, si dovrà effettuare un numero di passi seriali proporzionale al rapporto tra il numero di elementi del livello i e p. Algoritmi Paralleli e Distribuiti a.a. 2008/09 2

Modelli CREW ed EREW nel Teorema di Brent Quindi la complessità tiene conto della profondità del circuito e dei passi seriali necessari a simulare un livello. T p = i=1..d n i / p i=1..d (n i / p +1) = n / p + d Abbiamo detto che il processore che simula lelemento combinatorio fornisce loutput che può essere immagazzinato nella memoria condivisa. Se più processori richiedono in input quello stesso valore si deve accettare che la P-RAM sia a lettura concorrente. Se si accetta lipotesi che anche il il fan-out sia limitato, si può considerare che in tempo costante loutput del circuito combinatorio sia direttamente copiato nellinput dei circuiti che lo richiedono. Questa limitazione permetterebbe la simulazione su una P-RAM a lettura esclusiva. Algoritmi Paralleli e Distribuiti a.a. 2008/093

Trasportabilità fra P-RAM con diverso numero di processori Teorema (p' < p): ogni algoritmo A che lavora in tempo parallelo O(t) su una PRAM con p processori può essere simulato da un algoritmo A' che lavora su una PRAM con p' processori (p' < p) in tempo O(t p / p'). Dimostrazione: durante ognuno dei t passi dellesecuzione di A, i p processori lavorano parallelamente in tempo O(1). Durante ogni passo della esecuzione di A', ciascuno dei p'<p processori eseguirà un blocco seriale di p/p' operazioni in tempo O(p/p'). Pertanto il tempo parallelo relativo alla esecuzione di A' sarà O(tp/p'). Il costo dei due algoritmi A e A' rimane pari a O(tp). Algoritmi Paralleli e Distribuiti a.a. 2008/094

Numero di processori limitato (1) con n processori begin for i = 1 to log n do for j = 0 to n/2 i -1 pardo P j : A[ j ] = A[ j ] + A[ j+n/2 i ] return A[ 0 ] end Vogliamo sommare n numeri avendo a disposizione p processori (p<n). Abbiamo già visto la tecnica dellAccellerated Cascading per sommare con O(n/log n) processori ottenendo un costo ottimo. In questo caso p è fisso e vogliamo mantenere la tecnica della prima metà come nella somma con n processori. Algoritmi Paralleli e Distribuiti a.a. 2008/ P 1 P 2 P 3 P 4

Numero di processori limitato (2) con p < n processori begin for i = 1 to log n do for s = 0 to (n/2 i ) / p -1 do for j = 0 to min(n/2 i, p) -1 pardo if (j+s*p < n/2 i ) then P j : A[ j+s*p ] = A[ j+s*p ] + A[ j+s*p +n/2 i ] return A[ 0 ] end Algoritmi Paralleli e Distribuiti a.a. 2008/ i=1 i=2 i=3 s=0 s=1 s=0 p = 2 P 1 P 2

Come ordinare nel Parallelo Per questo problema non utilizzeremo il modello PRAM, ma un modello semplificato costruito appositamente. Utilizziamo il comparatore, ossia un circuito di confronto con due ingressi e due uscite il cui valore è la coppia di valori in input ordinati in modo ascendente. I circuiti formati da comparatori, se opportunamente combinati, costituiscono un'architettura in grado di ordinare n valori di input. Algoritmi Paralleli e Distribuiti a.a. 2008/097 x y min(x,y) max(x,y)

Insertion Sort Due architetture per implementare l'insertion sort (tra 8 valori in input): Algoritmi Paralleli e Distribuiti a.a. 2008/098 Questa macchina utilizza una versione seriale dell'algoritmo di complessità O(n 2 ) (indicata dalla profondità del circuito, ossia il numero di porte che vengono attraversate in tempi differenti). È possibile ottenere una complessità O(n) ottimizzando lo scheduling dei comparatori e parallelizzando l'algoritmo.

Sulla monotonicità Se un circuito di ordinamento trasforma la sequenza di input a = (a 1, a 2, …, a n ) nella sequenza di output b = (b 1, b 2, …, b n ), allora per ogni funzione monotona crescente f, il circuito trasforma la sequenza di input f(a) = (f(a 1 ), f(a 2 ), …, f(a n )) nella sequenza di output f(b)=(f(b 1 ), f(b 2 ), …, f(b n )). Tale proprietà è facilmente verificata da un singolo comparatore e per induzione la si può provare per un intero circuito di ordinamento. Algoritmi Paralleli e Distribuiti a.a. 2008/09 9 x y min(x,y) max(x,y) f(x)f(x) f(y)f(y) min(f(x), f(y))) = f(min(x,y)) max(f(x), f(y))) = f(max(x,y))

Algoritmi Paralleli e Distribuiti a.a. 2008/0910 Principio 0/1 Teorema (principio 0/1): se un circuito combinatorio di ordinamento lavora correttamente per qualunque input costruito sull'alfabeto {0,1} allora lavora correttamente per qualunque input costruito su di un qualsiasi alfabeto finito A. Dim: supponiamo per assurdo che il circuito ordini tutte le sequenze costruite sull'alfabeto {0,1} correttamente, ma che esista una sequenza di input di numeri arbitrari a = (a 1, a 2, …, a n ) contenente elementi a i e a j tali che a i < a j mentre il circuito pone a j prima di a i nella sequenza di output. Definiamo una funzione f monotona crescente come: f(x) = 0 se x a i f(x) = 1 se x > a i dal lemma precedente segue che il circuito sistema f(a j ) prima di f(a i ) nella sequenza di output quando f(a) è l'input. Ma poiché f(a j ) = 1 mentre f(a i ) = 0, neghiamo l'ipotesi giungendo ad un assurdo.

Algoritmi Paralleli e Distribuiti a.a. 2008/0911 Sequenze bitoniche Una Sequenza Bitonica è una sequenza che può essere divisa in due sottosequenze monotone, una crescente e l'altra decrescente o viceversa. Sono bitoniche le due sequenze: m(S) = (min{s 1,s n+1 }, min{s 2,s n+2 }, …, min{s n,s 2n }) M(S) = (max{s 1,s n+1 }, max{s 2,s n+2 }, …, max{s n,s 2n }) ottenute dalla sequenza bitonica S = s 1, s 2, …, s 2n Sfruttando la definizione di m(S) ed M(S) e le relative proprietà si può ottenere una definizione ricorsiva per le sequenze bitoniche che ci permette di realizzare un primo algoritmo di ordinamento che opera ricorsivamente secondo lo schema: S = S 1 = m(S) = S 2 = M(S) = S 3 = m(S 1 ) = 1 3 S 4 = M(S 1 ) = 5 4 S 5 = m(S 2 ) = 6 5 S 6 = M(S 2 ) = Complessità O(log(n)).

Algoritmi Paralleli e Distribuiti a.a. 2008/0912 Sequenze pulite Una sequenza binaria si dice pulita se è composta interamente da 0 o da 1. Se S è bitonica almeno una delle due sottosequenze bitoniche m(S) e M(S) è pulita (diretta conseguenza del fatto che la cardinalità di {0,1} è due). In figura è presentato un circuito di ordinamento, di profondità logaritmica, per sequenze 0/1 bitoniche (ad ogni passo rendiamo pulita metà della sequenza)