Programmazione Dinamica: tecnica risolutiva che conduce all’ottimo, non fornisce algoritmi risolutivi generali. Stadi: fasi in cui il problema è scomposto (es. Unità temporali), s sia il generico stadio, n gli stadi; Stati: situazione del sistema in esame all’istante (o stadio) considerato. Variabili di stato: descrittori dello stato, rappresentate da un vettore. Se le variabili di stato (o stati) sono m, il Vettore di stato allo stadio s è spazio degli stati (insieme dei possibili stati) 02/01/2019

 ,  spazio delle politiche (o insieme delle possibili politiche) Decisione: Trasformazione: Politica:  insieme ordinato di decisioni, tante quanti sono gli stadi.  ,  spazio delle politiche (o insieme delle possibili politiche) è una decisione (o variabile decisionale) funzione di trasformazione fine processo prodotto cartesiano. 02/01/2019

obiettivo max (min) profitto (costo) complessivo. Profitto (o costo): guadagno (o costo ) associato ad ogni decisione(cambiamento di stato) obiettivo max (min) profitto (costo) complessivo. Funzioni di stato: funzioni che, stadio per stadio, assumono valore ottimo della f.o. funzione profitto associata allo stato iniziale  e alla politica  02/01/2019

Principio di ottimalità di Bellman Data una politica ottima Qualunque sia lo stato iniziale e la decisione iniziale le rimanenti decisioni forniscono una politica ottima per i restanti n-1 stadi 02/01/2019

Esempio: investimento capitali D capitale totale, I1,...,I5 profitto delle n=5 forme di investimento (stadi) Hp.: Ii = D/5 , i=1,...,5,D/5 = quantità fissa impiegabile in ciascuna forma d’investimento Stessa quota per ogni stadio Se si investe in 4 stadi Se si investe in 3 stadi n=5  31 possibilità n=20  106 possibilità Se si investe in 2 stadi Se si investe in 1 stadio 02/01/2019

Investimento capitali con PD Ii = quota impiegata nell’investimento i , Alla fine tutta la somma deve essere investita All’ultimo stadio s=n=5 si deve investire tutto il denaro rimasto, se si è investito nelle prime 4 forme, nell’ultima si investe il rimanente (da principio di Bellman) Se abbiamo investito nelle prime 3 forme,si decide quanto assegnare a I4 e lasciare per I5. Ad ogni stadio k non si tiene conto degli investimenti agli stadi precedenti, ma solo quelli agli stadi successivi (la politica deve essere ottima a prescindere dallo stato di partenza del k-esimo stadio). 02/01/2019

Relazioni ricorrenti Hp. Per l’ applicazione della PD Separabilità della F.O.: Separabilità degli stati: Proprietà Markoviana degli stati a stadio s , nello stato  s , con decisione xs si passa a stato  s+1 che dipende solo da xs e  s ( indipendente da  0 ,  1 ,..,  s-1 ) Relazione ricorrente: = operatore per separabilità 02/01/2019

Numerazione inversa Relazioni ricorrenti 02/01/2019

Problema della diligenza F A C D B G E I H J 2 4 3 7 6 1 5 Scelta corsa di costo min Costi f1=13 f2=11 1 2 3 4 02/01/2019

s=1 s=2 s=3 s=4 F A C D B G E I H J 2 4 3 7 6 1 5 s=5 s=5 s=4 02/01/2019

s=4 s=3 02/01/2019

s=3 s=2 02/01/2019

s=2 s=1 02/01/2019

Processi monodimensionali Allocazione di una sola risorsa. Es.1 stadio1 stadio2 stadio3 Hp. Relazioni ricorrenti 02/01/2019

Analiticamente 02/01/2019

Profitto ottimo nel processo a 3 stadi è quantità da allocare Vale per 02/01/2019

02/01/2019

max intero contenuto in 02/01/2019

Esempi di problemi monodimensionali Problema dei trasporti Problema dello zaino Problema di sostituzione macchinario 02/01/2019

Sostituzione macchinario: valutare periodo migliore per la sostituzione P(t) M(t) S(t) t t= età della macchina P(t)=produttività M(t)=costo manutenzione S(t)=costo sostituzione 02/01/2019

Relazione ricorrente t = stato(età) all’inizio dello stadio j 02/01/2019

Esempio:per una macchina che inizialmente ha 2 anni decidere anno per anno, per un periodo di 5 anni(stadi) se tenere(T) o cambiare(C) la macchina Macchina fabbricata: nel 1o anno nel 2o anno 3o 4o 5o 02/01/2019

Situazione iniziale 02/01/2019

5o anno 02/01/2019

4o anno 02/01/2019

3o anno 02/01/2019

2o anno Profitto max=68 02/01/2019

Processi multidimensionali Dimensione = numero di variabili di stato per ogni stadio Aumento calcoli  tecniche di riduzione: Moltiplicatori di Lagrange, Approssimazioni successive Problemi bidimensionali 02/01/2019

1 s n Stadio s Stadio 1 Stadio n Processo a ritroso 02/01/2019

Esempio numerico:caso bidimensionale 1o stadio 02/01/2019

2o stadio 3o stadio 02/01/2019

Sostituzione macchinario: caso bidimensionale età della revisione. età della macchina, variabili di stato: produttività costo manutenzione costo sostituzione costo di revisione 02/01/2019

02/01/2019

Affidabilità di circuiti n j 1 xj xj = numero di componenti in parallelo p(xj ) =prob di succeso allo stadio j cj costo di un componente allo stadio j wj peso di un componente allo stadio j 02/01/2019

var stato var decisionale 1o stadio Jo stadio 02/01/2019

02/01/2019

Problemi con più variabili decisionali Es. Caso bidimensionale: 02/01/2019

Metodi di riduzione: moltiplicatori di Lagrange Problema non vincolato: P2 Teor.1 Sia x0 soluzione ottima per P2 soddisfacente gli m vincoli, allora x0 è soluzione ottima per P1. 02/01/2019

Fissato si risolve con la PD monodimensionale Fissato si risolve con la PD 02/01/2019

02/01/2019

Come si varia  per trovare la soluzione ottima? Teor.2 Quando aumenta da 0 a +, decresce monotonamente. Procedimento iterativo: i=0 Fissiamo un arbitrario valore Risolviamo con PD 02/01/2019

Procedimento iterativo: i=0 Fissiamo un arbitrario valore Risolviamo con PD: Se 02/01/2019

Esempio con moltiplicatori di Lagrange Rilassando il vincolo di interezza: i vincoli sono soddisfatti con l’uguaglianza. 02/01/2019

Risoluzione con PD Risolviamo il problema intero, rilassando il primo vincolo 02/01/2019

o 3 02/01/2019

La soluzione trovata non soddisfa all’aumentare di decresce 02/01/2019

Approssimazioni Successive 02/01/2019

generico passo k massimo globale? 02/01/2019

Esempio con approssimazioni successive 02/01/2019

primo passo (k=0,iter 1), 1o stadio PD 02/01/2019

2o stadio PD (k=0,iter1) 02/01/2019

3o stadio PD (k=0,iter1) 02/01/2019

primo passo (k=0,iter 2), 1o stadio PD 02/01/2019

NO Problema dei trasporti con PD Allo stadio k: decidere quantità di merce da trasportare da ogni deposito alla k-esima destinazione. Variabili di stato: quantità di merce da allocare rimasta fino a quel momento negli m depositi dove: 02/01/2019