Capitolo 4 Ordinamento Algoritmi e Strutture Dati

Camil Demetrescu, Irene Finocchi, Giuseppe F. ItalianoAlgoritmi e strutture dati Copyright © The McGraw - Hill Companies, srl 2 …alcuni richiami Ricorda: Un algoritmo A ha costo di esecuzione T(n)=O(g(n)) su istanze di dimensione n e rispetto ad una certa risorsa di calcolo, se la quantità T(n) di risorsa sufficiente per eseguire A nel caso peggiore (e quindi sufficiente per ogni istanza di dimensione n) verifica la relazione T(n)=O(g(n)) Ricorda inoltre: Un algoritmo A ha costo di esecuzione T(n)= (g(n)) su istanze di dimensione n e rispetto ad una certa risorsa di calcolo, se la quantità T(n) di risorsa necessaria per eseguire A nel caso peggiore (e quindi non è detto che sia necessaria per ogni istanza di dimensione n: istanze facili potrebbero richiedere meno risorse) verifica la relazione T(n)= (g(n))

Camil Demetrescu, Irene Finocchi, Giuseppe F. ItalianoAlgoritmi e strutture dati Copyright © The McGraw - Hill Companies, srl 3 Quindi: Se scrivo che un algoritmo ha complessità T(n) = O(f(n)), intendo semplicemente dire che per tutte le istanze di input lalgoritmo termina in O(f(n)). Se invece scrivo che un algoritmo ha complessità T(n) = (f(n)), intendo dire esiste almeno una istanza di input per cui T(n) = (f(n)). Quindi, se scrivo che un algoritmo ha complessità T(n) = Θ(f(n)), intendo dire che T(n)=O(f(n)) per tutte le istanze di input, ma anche che esiste almeno una istanza di input per cui T(n) = (f(n)).

Camil Demetrescu, Irene Finocchi, Giuseppe F. ItalianoAlgoritmi e strutture dati Copyright © The McGraw - Hill Companies, srl 4 Ricorda: Un problema P ha una complessità O(f(n)) rispetto ad una certa risorsa di calcolo (upper bound) se esiste un algoritmo che risolve P il cui costo di esecuzione rispetto a quella risorsa è O(f(n)) Ricorda: Un problema P ha una complessità (f(n)) rispetto ad una certa risorsa di calcolo (lower bound) se ogni algoritmo che risolve P ha costo di esecuzione (f(n)) rispetto a quella risorsa …altri richiami

Camil Demetrescu, Irene Finocchi, Giuseppe F. ItalianoAlgoritmi e strutture dati Copyright © The McGraw - Hill Companies, srl 5 …per il problema dellordinamento… Upper bound temporale: O(n 2 ) –Insertion Sort, Selection Sort Lower bound temporale: (n) –banale: dimensione dellinput Abbiamo un gap lineare tra upper bound e lower bound! Possiamo fare meglio?

Camil Demetrescu, Irene Finocchi, Giuseppe F. ItalianoAlgoritmi e strutture dati Copyright © The McGraw - Hill Companies, srl 6 Ordinamento per confronti Dati due elementi a i ed a j, per determinarne lordinamento relativo effettuiamo una delle seguenti operazioni di confronto: a i a j ; a i a j ; a i a j ; a i a j ; a i a j Non si possono esaminare i valori degli elementi o ottenere informazioni sul loro ordine in altro modo. Notare: Tutti gli algoritmi di ordinamento considerati fino ad ora sono algoritmi di ordinamento per confronto.

Camil Demetrescu, Irene Finocchi, Giuseppe F. ItalianoAlgoritmi e strutture dati Copyright © The McGraw - Hill Companies, srl 7 Consideriamo un generico algoritmo A, che ordina eseguendo solo confronti: dimostreremo che A esegue (nel caso peggiore) (n log n) confronti Lower bound (n log n) per lordinamento

Camil Demetrescu, Irene Finocchi, Giuseppe F. ItalianoAlgoritmi e strutture dati Copyright © The McGraw - Hill Companies, srl 8 Gli algoritmi di ordinamento per confronto possono essere descritti in modo astratto in termini di alberi di decisione. Un generico algoritmo di ordinamento per confronto lavora nel modo seguente: - Confronta due elementi a i ed a j (ad esempio effettua il test a i a j ); - A seconda del risultato – riordina e/o decide il confronto successivo da eseguire. Albero di decisione - Descrive i confronti che lalgoritmo esegue quando opera su un input di una determinata dimensione. I movimenti dei dati e tutti gli altri aspetti dellalgoritmo vengono ignorati

Camil Demetrescu, Irene Finocchi, Giuseppe F. ItalianoAlgoritmi e strutture dati Copyright © The McGraw - Hill Companies, srl 9 Alberi di decisione Descrive le diverse sequenze di confronti che A potrebbe fare su istanze di lunghezza n Nodo interno (non foglia): i:j –modella il confronto tra a i e a j Nodo foglia: –modella una risposta (output) dellalgoritmo: permutazione degli elementi Input: a 1,a 2,a 3 Riconoscete lalgoritmo associato?

Camil Demetrescu, Irene Finocchi, Giuseppe F. ItalianoAlgoritmi e strutture dati Copyright © The McGraw - Hill Companies, srl 10 Osservazioni Lalbero di decisione non è associato ad un problema Lalbero di decisione è associato ad un algoritmo e a una dimensione dellistanza Lalbero di decisione descrive le diverse sequenze di confronti che un certo algoritmo può eseguire su istanze di una certa dimensione

Camil Demetrescu, Irene Finocchi, Giuseppe F. ItalianoAlgoritmi e strutture dati Copyright © The McGraw - Hill Companies, srl 11 Esempio NonsenseSort (A) 1. if n 3 then 2. if A[1]>A[n] then 3. scambia A[1] con A[n] 4. scambia A[2] con A[n] 5. else 6. scambia A[1] con A[2] 7. if A[1] > A[n] then 8. scambia A[1] con A[2] n,1,3,…,n-1,2 2,1,3,…,n 1,2,3,…,n 1: n 2: n > > Albero di decisione di NonsenseSort con n > 2

Camil Demetrescu, Irene Finocchi, Giuseppe F. ItalianoAlgoritmi e strutture dati Copyright © The McGraw - Hill Companies, srl 12 …alcune definizioni… radice Sotto-albero sinistro Sotto-albero destro Altezza di un albero: valore massimo della profondità dei nodi. Profondità di un nodo: lunghezza del cammino che lo congiunge alla radice.

Camil Demetrescu, Irene Finocchi, Giuseppe F. ItalianoAlgoritmi e strutture dati Copyright © The McGraw - Hill Companies, srl 13 Per una particolare istanza, i confronti eseguiti da A su quella istanza rappresentano un cammino radice – foglia Lalgoritmo segue un cammino diverso a seconda delle caratteristiche dellinput –Caso peggiore: cammino più lungo –Caso migliore: cammino più breve Il numero di confronti nel caso peggiore è pari allaltezza dellalbero di decisione Un albero di decisione di un algoritmo che risolve il problema dellordinamento di n elementi contiene almeno n! foglie Proprietà

Camil Demetrescu, Irene Finocchi, Giuseppe F. ItalianoAlgoritmi e strutture dati Copyright © The McGraw - Hill Companies, srl 14 Lemma: Un albero binario con k foglie in cui ogni nodo interno ha esattamente due figli, ha altezza h(k) almeno log 2 k. Dim: Dimostrazione per induzione su k: –Caso base k=1: banale h(k)=0 log 2 1=0 –Supposto vero per k-1 foglie, dimostriamolo per k; poiché la radice ha 2 figli, almeno 1 dei due suoi sottoalberi deve contenere almeno la metà delle foglie, e quindi h(k) 1+h(k/2) (hp induttiva) 1+log 2 (k/2) =1+log 2 k-log 2 2=log 2 k. QED Altezza in funzione delle foglie

Camil Demetrescu, Irene Finocchi, Giuseppe F. ItalianoAlgoritmi e strutture dati Copyright © The McGraw - Hill Companies, srl 15 Consideriamo lalbero di decisione di un qualsiasi algoritmo che risolve il problema dellordinamento di n elementi Laltezza h dellalbero di decisione è almeno log 2 (n!) Formula di Stirling: n! (2 n) 1/2 ·(n/e) n Il lower bound (n log n) h log 2 (n!) n! > (n/e) n > log 2 (n/e) n = n log 2 (n/e) = = n log 2 n – n log 2 e = = (n log n) =

Camil Demetrescu, Irene Finocchi, Giuseppe F. ItalianoAlgoritmi e strutture dati Copyright © The McGraw - Hill Companies, srl 16 Problema dellordinamento: –Lower bound - (n log n) albero di decisione –Upper bound – O(n 2 ) IS,SS Proviamo a costruire un algoritmo ottimo, usando la tecnica del divide et impera: 1 Divide: dividi larray a metà 2 Risolvi il sottoproblema ricorsivamente 3 Impera: fondi le due sottosequenze ordinate Un algoritmo ottimo: il MergeSort

Camil Demetrescu, Irene Finocchi, Giuseppe F. ItalianoAlgoritmi e strutture dati Copyright © The McGraw - Hill Companies, srl 17 Esempio di esecuzione Input ed output delle chiamate ricorsive

Camil Demetrescu, Irene Finocchi, Giuseppe F. ItalianoAlgoritmi e strutture dati Copyright © The McGraw - Hill Companies, srl 18 Due array ordinati A e B possono essere fusi rapidamente: –estrai ripetutamente il minimo di A e B e copialo nellarray di output, finché A oppure B non diventa vuoto –copia gli elementi dellarray non vuoto alla fine dellarray di output Procedura Merge Notazione: dato un array A e due indici x y, denotiamo con A[x;y] la porzione di A costituita da A[x], A[x+1],…,A[y]

Camil Demetrescu, Irene Finocchi, Giuseppe F. ItalianoAlgoritmi e strutture dati Copyright © The McGraw - Hill Companies, srl 19 Merge (A, i 1, f 1, f 2 ) 1. Sia X un array ausiliario di lunghezza f 2 -i i=1 3. i 2 =f while (i 1 f 1 e i 2 f 2 ) do 5. if (A[i 1 ] A[i 2 ]) 6. then X[i]=A[i 1 ] 7. incrementa i e i 1 8. else X[i]=A[i 2 ] 9. incrementa i e i if (i 1 <f 1 ) then copia A[i 1 ;f 1 ] alla fine di X 11. else copia A[i 2 ;f 2 ] alla fine di X 12. copia X in A[i 1 ;f 2 ] fonde A[i 1 ;f 1 ] e A[f 1 +1;f 2 ] output in A[i 1 ;f 2 ] Osservazione: sto usando un array ausiliario

Camil Demetrescu, Irene Finocchi, Giuseppe F. ItalianoAlgoritmi e strutture dati Copyright © The McGraw - Hill Companies, srl 20 Lemma La procedure Merge fonde due sequenze ordinate di lunghezza n 1 e n 2 eseguendo al più n 1 + n 2 -1 confronti dim Ogni confronto consuma un elemento di A. Nel caso peggiore tutti gli elementi tranne lultimo sono aggiunti alla sequenza X tramite un confronto. Il numero totale di elementi è n 1 + n 2. Quindi il numero totale di confronti è n 1 + n numero di confronti nel caso peggiore è (n 1 + n 2 ) Il numero di operazioni (confronti + copie)? (n 1 + n 2 )

Camil Demetrescu, Irene Finocchi, Giuseppe F. ItalianoAlgoritmi e strutture dati Copyright © The McGraw - Hill Companies, srl 21 MergeSort (A, i, f) 1. if (i f) then return 2. m = (i+f)/2 3. MergeSort(A,i,m) 4. MergeSort(A,m+1,f) 5. Merge(A,i,m,f)

Camil Demetrescu, Irene Finocchi, Giuseppe F. ItalianoAlgoritmi e strutture dati Copyright © The McGraw - Hill Companies, srl 22 Il numero di confronti del MergeSort è descritto dalla seguente relazione di ricorrenza: T(n) = 2 T(n/2) + O(n) T(1)=1 Usando il Teorema Master si ottiene T(n) = O(n log n) Tempo di esecuzione a=b=2, f(n)=O(n) caso 2

Camil Demetrescu, Irene Finocchi, Giuseppe F. ItalianoAlgoritmi e strutture dati Copyright © The McGraw - Hill Companies, srl 23 …alcune osservazioni… Il MergeSort è un algoritmo (asintoticamente) ottimo rispetto al numero di confronti eseguiti nel caso peggiore Il MergeSort non ordina in loco –occupazione di memoria pari a 2n