Programmazione Dinamica: tecnica risolutiva che conduce all’ottimo, non fornisce algoritmi risolutivi generali. Stadi: fasi in cui il problema è scomposto.

Presentazione sul tema: "Programmazione Dinamica: tecnica risolutiva che conduce all’ottimo, non fornisce algoritmi risolutivi generali. Stadi: fasi in cui il problema è scomposto."— Transcript della presentazione:

1 Programmazione Dinamica: tecnica risolutiva che conduce all’ottimo, non fornisce algoritmi risolutivi generali. Stadi: fasi in cui il problema è scomposto (es. Unità temporali), s sia il generico stadio, n gli stadi; Stati: situazione del sistema in esame all’istante (o stadio) considerato. Variabili di stato: descrittori dello stato, rappresentate da un vettore. Se le variabili di stato (o stati) sono m, il Vettore di stato allo stadio s è spazio degli stati (insieme dei possibili stati) 02/01/2019

2  ,  spazio delle politiche (o insieme delle possibili politiche)
Decisione: Trasformazione: Politica:  insieme ordinato di decisioni, tante quanti sono gli stadi.  ,  spazio delle politiche (o insieme delle possibili politiche) è una decisione (o variabile decisionale) funzione di trasformazione fine processo prodotto cartesiano. 02/01/2019

3 obiettivo max (min) profitto (costo) complessivo.
Profitto (o costo): guadagno (o costo ) associato ad ogni decisione(cambiamento di stato) obiettivo max (min) profitto (costo) complessivo. Funzioni di stato: funzioni che, stadio per stadio, assumono valore ottimo della f.o. funzione profitto associata allo stato iniziale  e alla politica  02/01/2019

4 Principio di ottimalità di Bellman
Data una politica ottima Qualunque sia lo stato iniziale e la decisione iniziale le rimanenti decisioni forniscono una politica ottima per i restanti n-1 stadi 02/01/2019

5 Esempio: investimento capitali
D capitale totale, I1,...,I5 profitto delle n=5 forme di investimento (stadi) Hp.: Ii = D/5 , i=1,...,5,D/5 = quantità fissa impiegabile in ciascuna forma d’investimento Stessa quota per ogni stadio Se si investe in 4 stadi Se si investe in 3 stadi n=5  31 possibilità n=20  106 possibilità Se si investe in 2 stadi Se si investe in 1 stadio 02/01/2019

6 Investimento capitali con PD
Ii = quota impiegata nell’investimento i , Alla fine tutta la somma deve essere investita All’ultimo stadio s=n=5 si deve investire tutto il denaro rimasto, se si è investito nelle prime 4 forme, nell’ultima si investe il rimanente (da principio di Bellman) Se abbiamo investito nelle prime 3 forme,si decide quanto assegnare a I4 e lasciare per I5. Ad ogni stadio k non si tiene conto degli investimenti agli stadi precedenti, ma solo quelli agli stadi successivi (la politica deve essere ottima a prescindere dallo stato di partenza del k-esimo stadio). 02/01/2019

7 Relazioni ricorrenti Hp. Per l’ applicazione della PD
Separabilità della F.O.: Separabilità degli stati: Proprietà Markoviana degli stati a stadio s , nello stato  s , con decisione xs si passa a stato  s+1 che dipende solo da xs e  s ( indipendente da  0 ,  1 ,..,  s-1 ) Relazione ricorrente: = operatore per separabilità 02/01/2019

8 Numerazione inversa Relazioni ricorrenti 02/01/2019

9 Problema della diligenza
F A C D B G E I H J 2 4 3 7 6 1 5 Scelta corsa di costo min Costi f1=13 f2=11 1 2 3 4 02/01/2019

10 s=1 s=2 s=3 s=4 F A C D B G E I H J 2 4 3 7 6 1 5 s=5 s=5 s=4
02/01/2019

11 s=4 s=3 02/01/2019

12 s=3 s=2 02/01/2019

13 s=2 s=1 02/01/2019

14 Processi monodimensionali
Allocazione di una sola risorsa Es.1 stadio1 stadio2 stadio3 Hp. Relazioni ricorrenti 02/01/2019

15 Analiticamente 02/01/2019

16 Profitto ottimo nel processo a 3 stadi è quantità da allocare Vale per
02/01/2019

17 02/01/2019

18 max intero contenuto in
02/01/2019

19 Esempi di problemi monodimensionali
Problema dei trasporti Problema dello zaino Problema di sostituzione macchinario 02/01/2019

20 Sostituzione macchinario: valutare periodo migliore per la sostituzione
P(t) M(t) S(t) t t= età della macchina P(t)=produttività M(t)=costo manutenzione S(t)=costo sostituzione 02/01/2019

21 Relazione ricorrente t = stato(età) all’inizio dello stadio j
02/01/2019

22 Esempio:per una macchina che inizialmente ha 2 anni decidere anno per anno, per un periodo di 5 anni(stadi) se tenere(T) o cambiare(C) la macchina Macchina fabbricata: nel 1o anno nel 2o anno 3o 4o 5o 02/01/2019

23 Situazione iniziale 02/01/2019

24 5o anno 02/01/2019

25 4o anno 02/01/2019

26 3o anno 02/01/2019

27 2o anno Profitto max=68 02/01/2019

28 Processi multidimensionali
Dimensione = numero di variabili di stato per ogni stadio Aumento calcoli  tecniche di riduzione: Moltiplicatori di Lagrange, Approssimazioni successive Problemi bidimensionali 02/01/2019

29 1 s n Stadio s Stadio 1 Stadio n Processo a ritroso 02/01/2019

30 Esempio numerico:caso bidimensionale
1o stadio 02/01/2019

31 2o stadio 3o stadio 02/01/2019

32 Sostituzione macchinario: caso bidimensionale
età della revisione. età della macchina, variabili di stato: produttività costo manutenzione costo sostituzione costo di revisione 02/01/2019

33 02/01/2019

34 Affidabilità di circuiti
n j 1 xj xj = numero di componenti in parallelo p(xj ) =prob di succeso allo stadio j cj costo di un componente allo stadio j wj peso di un componente allo stadio j 02/01/2019

35 var stato var decisionale 1o stadio Jo stadio 02/01/2019

36 02/01/2019

37 Problemi con più variabili decisionali
Es. Caso bidimensionale: 02/01/2019

38 Metodi di riduzione: moltiplicatori di Lagrange
Problema non vincolato: P2 Teor.1 Sia x0 soluzione ottima per P2 soddisfacente gli m vincoli, allora x0 è soluzione ottima per P1. 02/01/2019

39 Fissato si risolve con la PD
monodimensionale Fissato si risolve con la PD 02/01/2019

40 02/01/2019

41 Come si varia  per trovare la soluzione ottima?
Teor.2 Quando aumenta da 0 a +, decresce monotonamente. Procedimento iterativo: i=0 Fissiamo un arbitrario valore Risolviamo con PD 02/01/2019

42 Procedimento iterativo: i=0 Fissiamo un arbitrario valore
Risolviamo con PD: Se 02/01/2019

43 Esempio con moltiplicatori di Lagrange
Rilassando il vincolo di interezza: i vincoli sono soddisfatti con l’uguaglianza. 02/01/2019

44 Risoluzione con PD Risolviamo il problema intero, rilassando il primo vincolo 02/01/2019

45 o 3 02/01/2019

46 La soluzione trovata non soddisfa
all’aumentare di decresce 02/01/2019

47 Approssimazioni Successive
02/01/2019

48 generico passo k massimo globale? 02/01/2019

49 Esempio con approssimazioni successive
02/01/2019

50 primo passo (k=0,iter 1), 1o stadio PD
02/01/2019

51 2o stadio PD (k=0,iter1) 02/01/2019

52 3o stadio PD (k=0,iter1) 02/01/2019

53 primo passo (k=0,iter 2), 1o stadio PD
02/01/2019

54 NO Problema dei trasporti con PD
Allo stadio k: decidere quantità di merce da trasportare da ogni deposito alla k-esima destinazione. Variabili di stato: quantità di merce da allocare rimasta fino a quel momento negli m depositi dove: 02/01/2019