Complessità algoritmica e dintorni

Presentazione sul tema: "Complessità algoritmica e dintorni"— Transcript della presentazione:

1 Complessità algoritmica e dintorni
Daniele Mundici Dipartimento di Matematica “Ulisse Dini” Università di Firenze

2 § 1 Antefatto: settembre 2000

3 Statement from the Directors and Scientific Advisory Board
Statement from the Directors and Scientific Advisory Board In order to celebrate mathematics in the new millennium, The Clay Mathematics Institute of Cambridge, Massachusetts (CMI) has named seven “Millennium Prize Problems.” The Scientific Advisory Board of CMI selected these problems, focusing on important classic questions that have resisted solution over the years. The Board of Directors of CMI have designated a $7 million prize fund for the solution to these problems, with $1 million allocated to each.

4 I sette problemi per il III millennio

5 Wir müssen wissen, wir werden wissen
cento anni prima, a Parigi, Hilbert aveva presentato i suoi famosi problemi... Wir müssen wissen, wir werden wissen Epitaffio David Hilbert

6 il problema della completezza di Hilbert
le regole che da tremila anni si applicano per fare un ragionamento rigoroso, sono in grado di dimostrare tutte le verità ? oppure qualche regola è ancora da scoprire ?

7 teorema di completezza di Gödel, 1930 (il suo primo grande teorema)
nessun genio futuro potrà scoprire nuove regole logiche: quelle già note sono complete ma allora come si spiega l’incapacità di provare logicamente il postulato delle parallele ? si spiega col fatto che ci sono geometrie in cui valgono gli altri assiomi, ma non quello delle parallele

8 Il sogno di Hilbert dopo gli scossoni causati dalle geometrie non euclidee e poi dai paradossi... dare fondamenta solide alla Matematica trovando una procedura per decidere ogni problema matematico in un numero finito di passi

9 Il sogno di Hilbert La procedura deve essere in grado di scoprire tutti i fatti matematici veri La procedura deve produrre solo dimostrazioni corrette La procedura dovrebbe essere in grado di dimostrare che produce solo dimostrazioni corrette ad es., dimostrare che 0=1 non verrà prodotto dalla procedura stessa (guai !)

10 ma come definire numero finito di passi?
da tempo l’umanità sa costruire figure geometriche, ma solo nel 1801 Gauss trovò una condizione necessaria e sufficiente su n affinché l’n-gono regolare sia costruibile con riga e compasso. Per questo risultato non basta saper costruire: occorre definire la “non costruibilità” analogamente, benché da millenni sia chiaro che funzioni come l’addizione e la moltiplicazione sono effettivamente calcolabili, solo a partire dagli anni 30 del XX secolo fu fatto il salto concettuale per porre il problema di che cosa non è calcolabile

11 ma come definire numero finito di passi?
il problema di definire che cosa non è calcolabile, apparentemente futile, diviene ineludibile quando si sospetti la non esistenza (von Neumann, 1929) di una procedura meccanica come quella sognata di Hilbert. Se la procedura esistesse, una verifica diretta ci convincerebbe che lavora in un numero finito di passi, e non avremmo bisogno di definire “numero di passo” Ma per dimostrare che la procedura non esiste, ci vuole una definizione assolutamente nuova... come ora vedremo, la ricerca di una dimostrazione di un risultato negativo ha prodotto una delle cose più positive di cui disponiamo oggi

12 § 2 il passo di calcolo

13 Alan Turing Enigma

14

15 la MACCHINA DI TURING cervello con un numero finito di stati
uno stato un altro stato cervello con un numero finito di stati un altro ancora quaderni ad libitum insieme finito di simboli A, B, ..., Z

16 COME PROCEDE UNA MACCHINA DI TURING
1 - A C G T HALT 1 -,<=,0 A,=>,1 C,=>,1 G,=>,2 T,=>,1 2 C,<=,3 3 T,=>,4 4 This is just one particularly simple TM Note that I’ve chosen a suggestive alphabet!

17 T A C A G C T C G 1 - A C G T HALT 1 -,<=,0 A,=>,1 C,=>,1
HALT 1 -,<=,0 A,=>,1 C,=>,1 G,=>,2 T,=>,1 2 C,<=,3 3 T,=>,4 4

18 T A C A G C T C G 1 - A C G T HALT 1 -,<=,0 A,=>,1 C,=>,1
HALT 1 -,<=,0 A,=>,1 C,=>,1 G,=>,2 T,=>,1 2 C,<=,3 3 T,=>,4 4

19 T A C A G C T C G 1 - A C G T HALT 1 -,<=,0 A,=>,1 C,=>,1
HALT 1 -,<=,0 A,=>,1 C,=>,1 G,=>,2 T,=>,1 2 C,<=,3 3 T,=>,4 4

20 T A C A G C T C G 2 - A C G T HALT 1 -,<=,0 A,=>,1 C,=>,1
HALT 1 -,<=,0 A,=>,1 C,=>,1 G,=>,2 T,=>,1 2 C,<=,3 3 T,=>,4 4

21 T A C A G C T C G 2 - A C G T HALT 1 -,<=,0 A,=>,1 C,=>,1
HALT 1 -,<=,0 A,=>,1 C,=>,1 G,=>,2 T,=>,1 2 C,<=,3 3 T,=>,4 4

22 T A C A G C T C G 3 - A C G T HALT 1 -,<=,0 A,=>,1 C,=>,1
HALT 1 -,<=,0 A,=>,1 C,=>,1 G,=>,2 T,=>,1 2 C,<=,3 3 T,=>,4 4

23 T A C A G C T C G 3 - A C G T HALT 1 -,<=,0 A,=>,1 C,=>,1
HALT 1 -,<=,0 A,=>,1 C,=>,1 G,=>,2 T,=>,1 2 C,<=,3 3 T,=>,4 4

24 T A C A T C T C G 4 - A C G T HALT 1 -,<=,0 A,=>,1 C,=>,1
HALT 1 -,<=,0 A,=>,1 C,=>,1 G,=>,2 T,=>,1 2 C,<=,3 3 T,=>,4 4

25 T A C A T C T C G 4 - A C G T HALT 1 -,<=,0 A,=>,1 C,=>,1
HALT 1 -,<=,0 A,=>,1 C,=>,1 G,=>,2 T,=>,1 2 C,<=,3 3 T,=>,4 4

26 questa macchina sostituisce GC con TA
1 - A C G T HALT 1 -,<=,0 A,=>,1 C,=>,1 G,=>,2 T,=>,1 2 C,<=,3 3 T,=>,4 4 questa macchina sostituisce GC con TA

27 parole chiave finitezza: degli stati, dei simboli, del tipo di azioni, della porzione di nastro rilevante durante il calcolo località: ad ogni passo viene modificata solo la porzione di nastro oggetto della scansione del lettore infinità potenziale dell’input, del tempo e dello spazio a disposizione, proprio come la retta, che Euclide non descrive come entità infinita, ma come arbitrariamente estendibile antropomorfismo: occhi, mano, cervello, simbolo, passo macroscopicità: quello che avviene in un calcolo è verbalizzabile passo dopo passo, come in un processo

28 una macchina, un algoritmo, ma
in quello stesso articolo Turing descrive una macchina U con il suo programma finito, che è in grado di simlulare ogni macchina è nata, matematicamente, la macchina universale che pochi anni dopo nascerà anche fisicamente, col nome di COMPUTER

29 l’impatto della teoria della calcolabilità
il problema di Hilbert: decidere ogni problema matematico in un numero finito di passi Turing 1936: “numero finito di passi” è un concetto matematico esiste una macchina U capace di simularle tutte contemplando U si ottiene una risposta negativa al problema della decisione di Hilbert, ma la materializzazione di U ha un effetto positivo: il computer, e quindi l’importanza di algoritmi efficienti (non tanto “cosa possiamo calcolare” quanto “cosa possiamo calcolare in modo efficiente”) vedremo che esiste una buona definizione di “efficiente”

30 last, but not least, qui abbiamo una rivoluzione matematica
stare a contare il numero di “passi” nei calcoli e nei ragionamenti cozza col principio Bourbakista che tale attività ha solo valore pratico

31

32 §3 P e NP

33

34

35

36

37 sempre con questi 200 numeri
Vediamo se il computer risolve in fretta quest’altro problema: trova un sottinsieme di questi numeri la cui somma faccia cento milioni se i numeri rappresentano valori di francobolli, il problema chiede: un’opportuna scelta di alcuni tra questi francobolli permette di fare un’affrancatura di cento milioni ? problema KNAPSACK

38 perebor = ricerca esaustiva
non è istruttivo mettersi a tentare tutte le possibili scelte di francobolli esse sono in numero proibitivo, quanti i sottinsiemi di un insieme con 200 elementi eppure finora nessuno ha trovato alternative alla ricerca esaustiva, per questo problema qualcuno ha scoperto dei casi facili (quando i valori dei francobolli crescono esponenzialmente, tipo 1, 10, 100, 1000, 10000,..., ) e ha anche trovato applicazioni di questo knapsack superincreasing, nella crittografia a chiave pubblica ma il KNAPSACK resiste ad ogni attacco

39 Il Problema del Commesso Viaggiatore
costruire un algoritmo che trovi il TOUR più breve o, in altre parole, scrivere un programma che trovi il TOUR più breve

40 Il Problema del Commesso Viaggiatore

41 Il Problema del Commesso Viaggiatore

42 Il Problema del Commesso Viaggiatore
Tra tutti i tour possibili, trovare il più corto

43 Il Problema del Commesso Viaggiatore: perebor
Algoritmo (ricerca esaustiva, perebor) Genera tutti i possibili percorsi, uno dopo l’altro Via via ricorda il più corto finora ottenuto

44 Il Problema del Commesso Viaggiatore
Dato un input di n punti, l’algoritmo proposto richiede di enumerare (n-1)! permutazioni, un numero fuori della portata di qualsiasi calcolatore, passato, presente, o futuro, terrestre o extra-terrestre..

45                                                                                                                                                  We are pleased to announce the solution of a traveling salesman problem through 15,112 cities in Germany.  This is the largest TSPLIB instance that has been solved to date, exceeding the 13,509-city tour through the United States that was solved in 1998.  The computation was carried out on a network of 110 processors located at Rice University and at Princeton University.  The total computer time used in the computation was 22.6 years, scaled to a Compaq EV6 Alpha processor running at 500 MHz. The optimal tour has length 1,573,084 in the units used in TSPLIB; this translates to a trip of approximately 66,000 kilometers through Germany.  

46 § 4 P = NP ?

47 definizione di P (polytime)
A un insieme finito di simboli A* le possibili tuple (stringhe) di simboli di A L un sottinsieme di A* L è polytime se c’è una macchina T e un polinomio q tale che per ogni x in A*, T decide entro q(|x|) passi se x appartiene a L la classe di problemi polytime P, cattura la nozione di “problema di calcolo risolvibile praticamente”

48 esempi di algoritmi polytime
l’addizione (linear time) la moltiplicazione (tempo quadratico, migliorabile) trovare il massimo comun divisore (Euclide, tempo cubico) risolvere un sistema di equazioni lineari a coefficienti e incognite razionali (Khachian) decidere se un numero è primo (AKS)

49 NP (nondeterministic polytime)
L è in NP se c’è un problema M in P tale che x sta in L sse x è la metà iniziale di una tupla xy in M per vedere se x sta in L dovremo faticare non poco per indovinare un y tale che xy stia in M ma una volta indovinato y, la verifica diviene banale la classe di problemi NP cattura la nozione di “problema facile da controllare, difficile da certificare”

50 esempi di problemi in NP
decidere se un numero è composto (sembrerebbe che ci fosse da indovinare un divisore, cosa a tutt’oggi difficilissima, ma abbiamo visto che è in P) decidere se due grafi sono isomorfi (dobbiamo indovinare un isomorfismo) decidere se un sistema di equazioni lineari a coefficienti interi ha soluzione nelle incognite 0,1 (dobbiamo indovinare una soluzione)

51 due importanti fatti sperimentali
1. I problemi in NP sono numerosissimi in tutti i campi di applicazione 2. Tra questi, assai numerosi sono i problemi universali (NP-completi), aventi la seguente proprietà se un problema universale è polinomialmente risolubile, ogni problema lo è. Viceversa, se un problema universale non è polinomialmente risolubile, nessun problema universale lo è. (...è come se ci fosse un solo problema universale)

52 esempi di problemi NP-completi
COLORABILITY: decidere se un grafo è colorabile con k colori INTEGER PROGRAMMING: risolvere un sistema di equazioni lineari a coefficienti e incognite interi SATISFIABILITY: data una formula booleana F(x1, x2, ..., xn) esiste un’assegnazione di valori Vero e Falso che renda vera la formula?

53 TRAVELING SALESMAN input: città 1,2,...,u; lunghezza X domanda: esiste un percorso che visiti tutte le città in meno di X chilometri? KNAPSACK: il problema dell’affrancatura ET CETERA: La lista potrebbe continuare con centinaia di problemi di economia, finanza, chimica, fisica, biologia, ingegneria, informatica, logistica, medicina, algebra, geometria, logica, ecc.

54 complessità algoritmica e tecnologia
Algoritmo = Macchina di Turing = programma Costo di un algoritmo = Tempo di esecuzione del programma, al variare della lunghezza dell’input NOTA: quando un algoritmo A è esponenziale, l’ ordine di grandezza L(A) dei più difficili problemi affrontabili da A esponenziale è sostanzialmente indifferente agli sviluppi tecnologici: uno speed-up di 1000 si traduce in un incremento irrisorio del tipo L(A) —> L(A)+ 15 pensiamo al problema di fattorizzare un numero... non così per i problemi polytime

55 nel 1957 Gödel chiede a von Neumann se P=NP

56 ciò che non avremo mai (Turing-Church, 1936)
programma che decide se esiste una dimostrazione di B dalle premesse Ai sì A1&...&An—>B no

57 ciò che abbiamo (Gödel, 1930)
programma che decide se esiste una dimostrazione corta di B dalle premesse Ai sì A1&...&An—>B no

58 ciò che chiede il problema P/NP
programma che decide velocemente se esiste una dimostrazione corta di B dalle premesse Ai sì A1&...&An—>B no

59 l’importanza del problema P vs. NP
Un algoritmo efficiente per risolvere il problema (mostrando che P=NP) avrebbe impressionanti conseguenze pratiche di natura positiva, e non solo perché si risolverebbero efficientemente molti problemi importanti per l’industria. La matematica stessa verrebbe trasformata, permettendo al computer di trovare una prova di ogni teorema avente una dimostrazione di lunghezza ragionevole. e questo perché le dimostrazioni formali possono essere velocemente riconosciute

60 § 5 Computabilità e Fisica (spigolature)

61 dettagli costruttivi Finora non abbiamo accennato ai dettagli costruttivi fisici delle macchine di Turing---se si eccettua l'osservazione che in ogni singolo passo si ha interazione tra casella e scanner. Ora, il punto di partenza di Turing era stata l'analisi del "comportamento meccanico" di un calculator umano operante su uno spazio finito di configurazioni. Questo comportamento si presta ad una descrizione diretta e pienamente aderente ai requisiti del rigore matematico. Ma ci richiede un passo preliminare, che consiste nel sostituire gli stati mentali con una contropartita fisica ben definita. A questo proposito vedremo gli "stati mentali" in un'ottica diversa, pensando ad essi non come una proprietà del calculator in azione, ma come una porzione della configurazione su cui egli sta operando.

62 sentiamo Turing nella sezione 9, III del suo lavoro classico "On computable numbers":
E' sempre possibile per il computer interrompere il suo lavoro, allontanarsi e scordarselo del tutto, per poi successivamente riprenderlo. Per fare ciò egli deve lasciare una nota di istruzioni (scritta in qualche forma standardizzata) che spieghi come il lavoro deve essere proseguito. Questa nota è la controparte dello "stato della mente". Noi supporremo che il computer lavori in modo così saltuario da non fare più di un passo di calcolo per sessione. La nota delle istruzioni gli deve permettere di fare un passo di calcolo e scrivere anche la nota di istruzioni successiva.

63 Supponiamo che la macchina operi su configurazioni contenenti z "simboli" distinti, ognuno dei quali sia fisicamente rappresentato, o codificato, da almeno un atomo—un' ipotesi tutto sommato ragionevole. Ci vorranno almeno z regioni disgiunte per contenere tali codici (dei simboli). Altrimenti, per il principio di indistinguibilità di Pauli, le nuvole elettroniche di due codici potrebbero sovrapporsi, rendendo indistinguibili gli elettroni e i codici stessi, e portando così letteralmente la macchina in uno stato di "confusione mentale". Sia c la velocità della luce; sia a il raggio di Bohr dell'atomo di idrogeno Sappiamo che a/c = 0,176 x secondi. Sappiamo che che i segnali non viaggiano più velocemente della velocità della luce

64 Allora per contenere questi codici occorre un volume V di almeno (4/3)πza3 metri cubi, il che comporta un diametro di almeno 2az1/3 metri, ove diametro significa massima distanza tra due codici in questo volume. Detta f la frequenza della macchina, e notato che 1/f è il tempo a disposizione per ciascun passo di calcolo, dal fatto che un passo di calcolo chiama in causa l'intera configurazione, segue che f è minore di c/(2az1/3) passi al secondo, e dunque la quantità fz1/3 sarà minore di 2,828 x passi al secondo. Questo mette in luce un'incompatibilità fondamentale tra grandezza della memoria (=numero di codici per gli stati) e velocità di calcolo. frequenza x (memoria)1/3 < 3 x passi al secondo

65 Descrizione di una macchina di Turing G che, in meno di 60 minuti decide se una formula F con 990 variabili sia soddisfacibile: (1) G sistematicamente prova tutte le possibili n = assegnazioni di valori di verità: se trova un’assegnazione che soddisfa F ci avvisa suonando un campanello, e poi si ferma. (2) E' facile scrivere le istruzioni per G in modo che, per ogni singola assegnazione, G decide in meno di mezz'ora se tale assegnazione soddisfi F (3) Dopo aver pensato al software, ora acceleriamo il nastro di G, come nei vecchi film comici, in modo che la seconda assegnazione sia esaminata in un quarto d'ora, la terza in un ottavo d'ora,...,la n-esima in un 2n-esimo d' ora. (4) E così, senza colpo ferire, G risolve il problema entro il termine prescritto di un'ora.

66 G e la Fisica

67 G e la Fisica Allora, detta f la frequenza di G, ossia il numero di passi eseguiti da G in un secondo, e detta W la potenza, misurata in watt, spesa da G (potenza = energia al secondo), G soddisferà la diseguaglianza: f 2 ≤ 2πW/h dove h è la costante di Planck. Ciò implica che la potenza assorbita da G cresce almeno come il quadrato della frequenza.

68 G e la Fisica Per vedere questo, si può ragionare così:
La porzione di nastro sottoposta all'azione dello scanner di G durante un singolo passo di calcolo modifica le sue proprietà fisiche in maniera macroscopica. Dunque, per la diseguaglianza di Heisenberg, l'incertezza dell'energia ∂E della casella del nastro di G deve essere almeno eguale a h/(2π ∂t), ove ∂t = 1/f è il tempo necessario per un passo. L'energia usata per un passo deve esser più grande di ∂E, e la diseguaglianza segue da (i) e (ii). Per quanto piccolo, il fattore h si fa sentire (ogni computer ha i suoi ventilatori), e il limite quadratico per W può essere un argomento contro la praticabilità di (3) per la macchina G.

69 l’inizio della quantum computation
a queste considerazioni si può obiettare che i computer paralleli sono fatti per aggirare il vincolo (i), e con una progettazione attenta al riciclaggio energetico si può anche aggirare parzialmente il vincolo (ii). inoltre, il principio di Heisenberg non implica necessariamente che una quantità di energia venga di fatto "usata" durante un passo di calcolo—se questo passo non comporta modificazioni “macroscopiche” del sistema

70 D. M., con W. Sieg, Computability, voce nella Routledge Encyclopedia of Philosophy.
D.M. (a cura di) La Scienza dei Calcolatori, Le Scienze Quaderni (Edizione italiana di Scientific American) vol. 56, ottobre (Contributi di Bennett, Landauer, Feynman, Wolfram, Rota, e altri) E. Fredkin, Digital mechanics, Physica D 45 (1990) pp D. M., Irreversibility, Uncertainty, Relativity and Computer Limitations, Il Nuovo Cimento, Europhysics Journal, 61 B, n.2 (1981) pp D.M., Natural limitations of decision procedures for arithmetic with bounded quantifiers, Archiv für math. Logik und Grundlagenforschung, 23 (1983) pp