Algoritmi e Strutture Dati

Presentazione sul tema: "Algoritmi e Strutture Dati"— Transcript della presentazione:

1 Algoritmi e Strutture Dati
Capitolo 4 Ordinamento

2 Ordinamento Dato un insieme S di n oggetti presi da un
dominio totalmente ordinato, ordinare S Esempi: ordinare una lista di nomi alfabeticamente, o un insieme di numeri, o un insieme di compiti d’esame in base al cognome dello studente Subroutine in molti problemi E’ possibile effettuare ricerche in array ordinati in tempo O(log n) Copyright © The McGraw - Hill Companies, srl

3 Il problema dell’ordinamento
Input: una sequenza di n numeri <a1,a2,…,an> Output: una permutazione (riarrangiamento) <a1’,a2’,…,an’> della sequenza di input tale che a1’ a2’… an’ Copyright © The McGraw - Hill Companies, srl

4 Ordinare in tempo quadratico
Un algoritmo semplice, intuitivo, facile da programmare. E inefficiente. Copyright © The McGraw - Hill Companies, srl

5 SelectionSort Approccio incrementale: estende l’ordinamento da k a k+1 elementi, scegliendo il minimo degli n-k elementi non ancora ordinati e mettendolo in posizione k+1 Copyright © The McGraw - Hill Companies, srl

6 al generico passo k, A[1],…,A[k] sono già ordinati
SelectionSort (A) for k=0 to n-2 do m = k+1 for j=k+2 to n do if (A[j] < A[m]) then m=j scambia A[m] con A[k+1] al generico passo k, A[1],…,A[k] sono già ordinati linee 2-4: ricerca del minimo fra gli elementi A[k+1],…,A[n] m è l’indice dell’array in cui si trova il minimo il minimo è messo in posizione k+1 Copyright © The McGraw - Hill Companies, srl

7 Corretto? E’ facile convincersi che l’algoritmo mantiene le seguenti invarianti: dopo il generico passo k (k=0,…,n-2) abbiamo che: (i) i primi k+1 elementi sono ordinati e (ii) sono i k+1 elementi più piccoli dell’array Suggerimento: ragionare per invarianti è uno strumento utile per dimostrare la correttezza di un algoritmo, perché permette di isolare proprietà dell’algoritmo, spiegarne il funzionamento, capire a fondo l’idea su cui si basa. Copyright © The McGraw - Hill Companies, srl

8 Complessità temporale (analisi)
#operazioni elementari sul modello RAM a costi uniformi eseguite dall’algoritmo nel caso peggiore su istanze di dimensione n. T(n) = Copyright © The McGraw - Hill Companies, srl

9 Complessità: un upper bound
SelectionSort (A) for k=0 to n-2 do m = k+1 for j=k+2 to n do if (A[j] < A[m]) then m=j scambia A[m] con A[k+1] eseguite al più n volte per ogni ciclo esterno ciclo esterno eseguito al più n volte ogni linea di codice costa tempo O(1) T(n)  5 n2 O(1)= (n2) T(n)= O (n2) L’analisi è stretta? Cioè, T(n) è (n2) ? Copyright © The McGraw - Hill Companies, srl

10 Complessità: un lower bound
SelectionSort (A) for k=0 to n-2 do m = k+1 for j=k+2 to n do if (A[j] < A[m]) then m=j scambia A[m] con A[k+1] Idea: conto solo i confronti fra elementi n-k-1 confronti n-2 n-1 T(n)   (n-k-1)=  k = n(n-1)/2=  (n2) k=0 k=1 T(n)= (n2) T (n)=  (n2) Copyright © The McGraw - Hill Companies, srl

11 altri algoritmi di ordinamento con tempo O(n2)
Copyright © The McGraw - Hill Companies, srl

12 Insertion Sort Bubble Sort
Approccio incrementale: estende l’ordinamento da k a k+1 elementi, posizionando l’elemento (k+1)-esimo nella posizione corretta rispetto ai primi k elementi Bubble Sort Approccio incrementale: esegue n-1 scansioni. Ad ogni scansione guarda coppie di elementi adiacenti e li scambia se non sono nell’ordine corretto.

13 Insertion Sort Bubble Sort Esercizio
Approccio incrementale: estende l’ordinamento da k a k+1 elementi, posizionando l’elemento (k+1)-esimo nella posizione corretta rispetto ai primi k elementi Esercizio Scrivere lo pseudocodice dei due algoritmi e fare l’analisi della complessità temporale nel caso peggiore. Bubble Sort Approccio incrementale: esegue n-1 scansioni. Ad ogni scansione guarda coppie di elementi adiacenti e li scambia se non sono nell’ordine corretto.

14 Ordinare in tempo meno che quadratico
Un algoritmo semplice, un po’ meno intuitivo, facile da programmare. E temporalmente efficiente. Tecnica: Divite et Impera

15 MergeSort Usa la tecnica del divide et impera:
Divide: dividi l’array a metà Risolvi i due sottoproblemi ricorsivamente Impera: fondi le due sottosequenze ordinate Copyright © The McGraw - Hill Companies, srl

16 MergeSort (A, i, f) if (i < f) then m = (i+f)/2 MergeSort(A,i,m)
MergeSort(A,m+1,f) Merge(A,i,m,f) Copyright © The McGraw - Hill Companies, srl

17 Albero delle chiamate ricorsive
Esempio di esecuzione Albero delle chiamate ricorsive Copyright © The McGraw - Hill Companies, srl

18 Procedura Merge Due array ordinati A e B possono essere fusi rapidamente: estrai ripetutamente il minimo di A e B e copialo nell’array di output, finché A oppure B non diventa vuoto copia gli elementi dell’array non vuoto alla fine dell’array di output Notazione: dato un array A e due indici x  y, denotiamo con A[x;y] la porzione di A costituita da A[x], A[x+1],…,A[y] Copyright © The McGraw - Hill Companies, srl

19 2 4 7 8 1 3 4 5 1

20 2 4 7 8 1 3 4 5 1 2

21 2 4 7 8 1 3 4 5 1 2 3

22 2 4 7 8 1 3 4 5 1 2 3 4

23 2 4 7 8 1 3 4 5 1 2 3 4 4

24 2 4 7 8 1 3 4 5 1 2 3 4 4 5

25 2 4 7 8 1 3 4 5 1 2 3 4 4 5 7

26 2 4 7 8 1 3 4 5 1 2 3 4 4 5 7 8

27 2 4 7 8 1 3 4 5 1 2 3 4 4 5 7 8

28 Osservazione: sto usando un array ausiliario
Merge (A, i1, f1, f2) Sia X un array ausiliario di lunghezza f2-i1+1 i=1; k1=i1 k2=f1+1 while (k1 f1 e k2  f2) do if (A[k1]  A[k2]) then X[i]=A[k1] incrementa i e k1 else X[i]=A[k2] incrementa i e k2 if (k1f1) then copia A[k1;f1] alla fine di X else copia A[k2;f2] alla fine di X copia X in A[i1;f2] fonde A[i1;f1] e A[f1+1;f2] output in A[i1;f2] Osservazione: sto usando un array ausiliario

29 La procedure Merge fonde due sequenze ordinate di
Lemma La procedure Merge fonde due sequenze ordinate di lunghezza n1 e n2 in tempo (n1+ n2). dim Ogni confronto “consuma” un elemento di una delle due sequenze. Ogni posizione di X è riempita in tempo costante. Il numero totale di elementi è n1+ n2. Copyright © The McGraw - Hill Companies, srl

30 MergeSort (A, i, f) if (i < f) then m = (i+f)/2 MergeSort(A,i,m)
MergeSort(A,m+1,f) Merge(A,i,m,f) Copyright © The McGraw - Hill Companies, srl

31 Tempo di esecuzione La complessità temporale del MergeSort è descritto dalla seguente relazione di ricorrenza: T(n) = 2 T(n/2) + O(n) Usando il Teorema Master si ottiene T(n) = O(n log n) a=b=2, f(n)=O(n)  caso 2 Copyright © The McGraw - Hill Companies, srl

32 Quanta memoria (ausiliaria) usiamo?
La complessità spaziale del MergeSort è (n) la procedura Merge usa memoria ausiliaria pari alla dimensione di porzione da fondere; non sono mai attive due procedure di Merge contemporaneamente; ogni chiamata di MergeSort usa memoria costante (esclusa quella usata dalla procedura Merge); numero di chiamate di MergeSort attive contemporaneamente sono O(log n); Il MergeSort non ordina in loco occupazione di memoria ausiliaria (oltre input) pari a (n) Copyright © The McGraw - Hill Companies, srl

33 Ancora un algoritmo di ordinamento che usa la tecnica del divide et impera: il Quick Sort
Efficiente? Caso peggiore, caso medio e versione randomizzata

34 QuickSort Usa la tecnica del divide et impera:
Divide: scegli un elemento x della sequenza (perno) e partiziona la sequenza in elementi ≤ x ed elementi >x Risolvi i due sottoproblemi ricorsivamente Impera: restituisci la concatenazione delle due sottosequenze ordinate Rispetto al MergeSort, divide complesso ed impera semplice Copyright © The McGraw - Hill Companies, srl

35 Partizione (in loco) Scegli il perno
Scorri l’array “in parallelo” da sinistra verso destra e da destra verso sinistra da sinistra verso destra, ci si ferma su un elemento maggiore del perno da destra verso sinistra, ci si ferma su un elemento minore del perno Scambia gli elementi e riprendi la scansione Copyright © The McGraw - Hill Companies, srl

36 Partizione in loco: un esempio
perno Copyright © The McGraw - Hill Companies, srl

37 Tempo di esecuzione: O(n) partiziona A[i;f] rispetto a A[i]
Partition (A, i, f ) x=A[i] inf =i sup= f + 1 while (true) do do (inf=inf + 1) while (inf ≤ f e A[inf]  x) do (sup=sup-1) while (A[sup] > x) if (inf < sup) then scambia A[inf] e A[sup] else break scambia A[i] e A[sup] return sup partiziona A[i;f] rispetto a A[i] Tempo di esecuzione: O(n) mette il perno “al centro” restituisce l’indice del “centro” Proprietà (invariante): In ogni istante, gli elementi A[i],…,A[inf-1] sono  del perno, mentre gli elementi A[sup+1],…,A[f] sono > del perno Copyright © The McGraw - Hill Companies, srl

38 QuickSort (A, i, f ) if (i < f) then m=Partition(A,i,f)
QuickSort(A,i,m-1) QuickSort(A, m +1,f) Copyright © The McGraw - Hill Companies, srl

39 Esempio di esecuzione L’albero delle chiamate ricorsive può essere sbilanciato Copyright © The McGraw - Hill Companies, srl

40 Analisi nel caso peggiore
Nel caso peggiore, il perno scelto ad ogni passo è il minimo o il massimo degli elementi nell’array La complessità nel caso peggiore è pertanto: T(n)=T(n-1) + T(0) + O(n) =T(n-1)+O(1)+O(n) =T(n-1)+O(n) Svolgendo per iterazione si ottiene T(n) = O(n2) complessità nel caso migliore? Copyright © The McGraw - Hill Companies, srl

41 Caso migliore: O(n log n), partizionamento sempre bilanciato
Totale: cn log n Copyright © The McGraw - Hill Companies, srl

42 …intuizioni sul caso medio… (penso al caso di istanze equiprobabili)
problema: la partizione può essere sbilanciata la probabilità che ad ogni passo si presenti la partizione peggiore è molto bassa per partizioni che non sono “troppo sbilanciate” l’algoritmo è veloce domanda: quale è la complessità dell’algoritmo supponendo che l’algoritmo di partizionamento produca sempre una partizione proporzionale 9-a-1? E se la partizione fosse sempre proporzionale a 99-a-1? Nota: sembrano partizioni piuttosto sbilanciate… Copyright © The McGraw - Hill Companies, srl

43 …la complessità è ancora O(n log n)
Copyright © The McGraw - Hill Companies, srl

44 …e se le istanze non sono equiprobabili?
Versione randomizzata: scegli il perno x a caso fra gli elementi da ordinare Teorema L’algoritmo quickSort randomizzato ordina in loco un array di lunghezza n in tempo O(n2) nel caso peggiore e O(n log n) tempo atteso Copyright © The McGraw - Hill Companies, srl

45 …e se le istanze non sono equiprobabili?
Versione randomizzata: scegli il perno x a caso fra gli elementi da ordinare Teorema L’algoritmo quickSort randomizzato ordina in loco un array di lunghezza n in tempo O(n2) nel caso peggiore e O(n log n) con alta probabilità, ovvero con probabilità almeno 1-1/n. Copyright © The McGraw - Hill Companies, srl

46 quickSort randomizzato (randomizzazione  caso medio)
Complessità temporale non dipende dall’ordine dell’input nessuna assunzione sulla distribuzione di probabilità delle istanze nessun input specifico per il quale si verifica il caso peggiore il caso peggiore determinato solo dal generatore di numeri casuali Analisi e progettazione di algoritmi randomizzati: ampia e importante area di studio e ricerca Copyright © The McGraw - Hill Companies, srl