R. Soncini Sessa, MODSS, L22 Pianificare la gestione: la politica Rodolfo Soncini Sessa MODSS Copyright 2004 © Rodolfo Soncini Sessa.

R. Soncini Sessa, MODSS, Il Problema di Progetto Anche in un contesto di completa razionalità il Problema di Progetto risulta complesso per la presenza di (vedi Lez. L15): 1. infinite alternative 2. incertezza degli effetti indotta dalla casualità dei disturbi 3. decisioni ricorsive Esaminiamo dapprima il caso più semplice: ipotesi B. le decisioni sono solo pianificatorie Problema di pura pianificazione

R. Soncini Sessa, MODSS, Il Problema di Progetto Anche in un contesto di completa razionalità il Problema di Progetto risulta complesso per la presenza di (vedi Lez. L15): 1. infinite alternative 2. incertezza degli effetti indotta dalla casualità dei disturbi 3. decisioni ricorsive Problema misto

R. Soncini Sessa, MODSS, Sistema Disturbo Anello aperto o anello chiuso? un esempio Obiettivo Soluzione x1x1 x2x2 11 u1u1 u0u0

R. Soncini Sessa, MODSS, Vantaggio dell’anello chiuso Osservazione: se fisso u 1 al tempo 1 (invece che al tempo 0), la prestazione migliora. Conclusione: in presenza di disturbi casuali conviene utilizzare un controllo in anello chiuso. Ogni decisione viene presa solo quando è necessario (just in time ). x1x1 x2x2 11 u1u1 u0u0 Politica

R. Soncini Sessa, MODSS, La legge di controllo t  t = (I 0,….., I t, x 0,….., x t, u 0,…..,u t - 1 ) Informazione disponibile per t > 0 Legge di controllo a un solo valore (AUV) DM u t  M t (  t )u t = m t (  t ) Legge di controllo a più valori (APV): propone un insieme di controlli che forniscono tutti le stesse prestazioni.

R. Soncini Sessa, MODSS, Legge di controllo a più valori Una legge di controllo a più valori (APV) fornisce un insieme di controlli che forniscono tutti le stesse prestazioni. DM u t  M t (  t ) M t (  t ) = {m t (  t )} Può essere pensata come un insieme di leggi AUV.

R. Soncini Sessa, MODSS, Rappresentazione grafica utut tt m t () legge di controllo AUV mt(t)mt(t) controllo Mt(t)Mt(t) insieme di controlli proposti M t () legge di controllo APV

R. Soncini Sessa, MODSS, Politica di controllo AUV p ={m t (); t = 0, 1,…, h} Sequenza di leggi di controllo AUV estesa all’orizzonte del problema E’ periodica di periodo T se m t () = m t + k T (). Politica di controllo APV P ={ M t (); t = 0, 1, …, h} Sequenza di leggi di controllo APV estesa all’orizzonte del problema E’ periodica di periodo T se M t () = M t + k T ().

R. Soncini Sessa, MODSS, Politica APV vs politiche AUV Insieme di politiche AUV { p } Politica APV P=

R. Soncini Sessa, MODSS, Informazione e stato L’argomento della legge di controllo è l’informazione  t = ( I 0,….., I t, x 0,….., x t, u 0,….., u t-1 ) Non è escluso che si possa ottenere la stessa prestazione con un’informazione meno ingombrante. Statistica sufficiente Quando:- lo stato è misurabile - sul sistema non agiscono disturbi deterministici Ridefinendo lo stato ogni sistema può essere ricondotto a questo caso. Statistica sufficiente = x t

R. Soncini Sessa, MODSS, La politica del sistema Piave B1 B2 B7 B9 B10 B3 B6 B4B5 B8 S1 S3 S2 I5 I1 I4 I6 I8 I2 I3 I7 U2 U4 U6 U1 U3 U5 A1 A2 A8 P T1 T4 T6 T8 T2 T3 T5 T7 C1 C5 C7 C2 C4 C3 C6 C8

R. Soncini Sessa, MODSS, La politica come matrice mt(xt)mt(xt)CONTROLLO x t 2 POLITICA con 1 variabile di stato LEGGE DI CONTROLLO con 1 variabile di stato xt xt t LEGGE DI CONTROLLO con 2 variabili di stato POLITICA con 2 variabili di stato xt xt t

R. Soncini Sessa, MODSS, La politica come matrice POLITICA per un sistema con 3 variabili di stato Successioni di cubi LEGGE DI CONTROLLO per un sistema con 3 variabili di stato xt1 xt1 xt2xt2 xt3xt3 t x 3 t+1 t+1

R. Soncini Sessa, MODSS, Politiche fuori linea Determinare una politica fuori linea significa trovare a priori (cioè prima dell’inizio della gestione) una legge di controllo m t ( ) per ogni istante t della vita del sistema. In questo caso la distribuzione di probabilità del disturbo non può essere condizionata a variabili esogene I t. Di queste ultime infatti, a differenza delle variabili di stato, non è nota una descrizione della dinamica. Pertanto il controllo u t viene deciso sulla base della conoscenza del solo stato x t del sistema. Statistica sufficiente =  x t 

R. Soncini Sessa, MODSS, Politiche fuori linea: dinamica del sistema controllato Politica a un sol valore all’istante t viene osservato lo stato. si applica il controllo =m t ( ). Politica a più valori si sceglie e si applica un controllo  M t ( ). il sistema passa nello stato e viene pagato il costo. la natura realizza il disturbo  t+1 estraendolo dall’insieme, eventualmente con probabilità.

R. Soncini Sessa, MODSS, Politiche fuori linea: simulazione m0(x0)m0(x0) x 0 (è dato) 012 u 0 = m 0 (x 0 ) x t 0

R. Soncini Sessa, MODSS, 11 22 …. Politiche fuori linea: simulazione x 0 (è dato) 012 u 0 = m 0 (x 0 ) x1x1 u 1 = m 1 (x 1 ) x2x2 …. i = i(x 0,…,x h ;u 0,…,u h-1 ;ε 1,…, ε h ) Scenario  Calcolo degli indicatori Calcolo degli indicatori ….

R. Soncini Sessa, MODSS, Politiche in linea Determinare una politica in linea richiede la risoluzione, ad ogni istante t, di un problema di controllo o di programmazione matematica. Ciò corrisponde a determinare una sequenza di controlli {u 0,u 1,u 2,...} che non viene determinata a priori, ma durante la vita del sistema, cioè in linea. Una politica in linea permette quindi di prendere in considerazione l’informazione esogena I t. La politica di controllo è in questo caso la procedura stessa con cui ad ogni istante si risolve il problema di controllo. Statistica sufficiente =  x t, I t 

R. Soncini Sessa, MODSS, Politiche in linea: dinamica del sistema controllato all’istante t si misura lo stato e si acquisisce, se richiesta, l’informazione esogena I t ; si risolve un problema che fornisce il controllo Politica a un sol valore Politica a più valori si risolve un problema che fornisce l’insieme di controlli. e si sceglie un controllo il sistema passa nello stato e viene pagato il costo. la natura realizza il disturbo  t+1 estraendolo dall’insieme, eventualmente con probabilità.

R. Soncini Sessa, MODSS, 11 22 …. Politiche in linea: simulazione x 0 (è dato) 012 u0u0 x1x1 u1u1 x2x2 …. i =i(x 0,…,x h ;u 0,…,u h-1 ; ε 1,…, ε h ) Scenario Calcolo degli indicatori Calcolo degli indicatori 

R. Soncini Sessa, MODSS, Confronto Non si può usare I t Si può usare I t Politiche in linea Politiche fuori linea

R. Soncini Sessa, MODSS, Politiche fuori linea informazione esogena stst Modello del sistema imbrifero utente r t+1 xt=stxt=st Neve, NON nota all’istante in cui calcolo la politica perché è un valore futuro. stst utente r t+1 Pressione, NON nota all’istante in cui calcolo la politica perché è un valore futuro.

R. Soncini Sessa, MODSS, Politiche in linea informazione esogena It=ntIt=nt stst utente r t+1 xt=stxt=st Neve, nota all’istante in cui calcolo la politica perché è il valore presente.

R. Soncini Sessa, MODSS, Confronto Non si può usare I t.Si può usare I t. Si calcola il controllo u t per TUTTE le occorrenze dello stato x t e per tutti gli istanti t del periodo T. Si calcola il controllo u t SOLO per i valori dello stato che via via si presentano. Tempo di calcolo distribuito.Tempo di calcolo concentrato. Politiche in linea Rigido rispetto a variazioni del sistema. Flessibile rispetto a variazioni del sistema. Lettura dalla tabella.Richiede un calcolatore potente. Politiche fuori linea

R. Soncini Sessa, MODSS, Confronto Rapida valutazione delle prestazioni su uno scenario. Si simula il sistema. La simulazione è rapida perché ad ogni istante la decisione è presa con la legge di controllo m t (x t ), che è nota a priori. Costosa valutazione delle prestazioni su uno scenario. Ad ogni passo occorre risolvere il problema con cui si calcola il controllo. Il tempo di calcolo è quindi molto elevato: pari a quello richiesto nell’applicazione reale. Politiche in linea Politiche fuori linea

R. Soncini Sessa, MODSS, Ancora dell’indicatore (obiettivo) L’indicatore i è un funzionale Molto spesso i è separabile o può essere reso tale max Σ

R. Soncini Sessa, MODSS, Separabilità e filtraggio dei disturbi Ma la funzione U() non è mai lineare, tranne nel caso in cui il Decisiore sia neutro al rischio; ma in tal caso è del tutto superflua. Pertanto, anche quando i è separabile, l’obiettivo J che si ottiene non è separabile. disturbi incerti disturbi stocastici L’avversione al rischio è esprimibile tramite una funzione di utilità U(.)

R. Soncini Sessa, MODSS, Separabilità e filtraggio dei disturbi l’obiettivo J è separabile quando: distrubi incerti disturbi stocastici Se invece la casualità è filtrata tramite un criterio Crit

R. Soncini Sessa, MODSS, Separabilità e filtraggio dei disturbi = = La dimostrazione è immediatamente estendibile ai casi con orizzonte infinito.  Conclusione: quando si deve progettare una politica l’obiettivo non può essere definito con una funzione di utilità, ma solo tramite un criterio di filtraggio. La dimostrazione è immediatamente estendibile ai casi con orizzonte infinito.  Conclusione: quando si deve progettare una politica l’obiettivo non può essere definito con una funzione di utilità, ma solo tramite un criterio di filtraggio.

R. Soncini Sessa, MODSS, L’obiettivo L’obiettivo è per costruzione una funzione deterministica delle variabili di decisione e può quindi essere minimizzato (massimizzato). Nel seguito supporremo sempre che esso rappresenti un costo e vada quindi minimizzato. Ricapitolando le forme più comuni (  e max) per l’operatore di aggregazione  -2 i criteri più comuni di filtraggio (E e max). 4 combinazioni, riconducibili a 2 (forme pure) allargando opportunamente lo stato.

R. Soncini Sessa, MODSS, L’obiettivo: forme pure Dove h può essere tanto finito, quanto infinito.

R. Soncini Sessa, MODSS, L’obiettivo: forme miste Le forme C e D possono essere ricondotte rispettivamente alla A e B allargando opportunamente lo stato. Lo dimostriamo per la forma D.

R. Soncini Sessa, MODSS, Dimostrazione Si definisca la seguente nuova variabile di stato G t Si definisca il seguente costo per passo e il seguente obiettivo Esso risulta equivalente all’obiettivo D, ma è della forma B. c.v.d. Se G 0 =0 G t è il costo cumulato da 0 a t

R. Soncini Sessa, MODSS, L’obiettivo forme miste dell’operatore temporale Quando il sistema è periodico sono interessanti anche forme miste dell’operatore temporale. Allargando oculatamente lo stato, anch’esse possono essere essere ricondotte alle forme A e B. Esempio: massimo costo totale per periodo è riconducibile a

R. Soncini Sessa, MODSS, Dimostrazione Si ponga e si definisca il seguente costo per passo G t è il costo totale tra l’inizio e l’istante t dell’i-esimo periodo Si ottiene così quanto sperato.

R. Soncini Sessa, MODSS, L’obiettivo In conclusione: -varie forme ( , max, forme miste) per l’operatore di aggregazione  -2 i criteri più comuni di filtraggio (E e max); 2 sole le forme da considerare degli obiettivi.

R. Soncini Sessa, MODSS, Il Problema di progetto AUV con criterio di Laplace

R. Soncini Sessa, MODSS, Il Problema di progetto AUV con criterio di Wald

R. Soncini Sessa, MODSS, Il Problema di progetto AUV caratteristiche della soluzione In assenza di decisioni ricorsive  Problema di pura pianificazione In assenza di decisioni pianificatorie  Problema di controllo possiamo separare i due problemi... In assenza di decisioni ricorsive  Problema di pura pianificazione In assenza di decisioni pianificatorie  Problema di controllo possiamo separare i due problemi...

R. Soncini Sessa, MODSS, Il Problema di progetto AUV caratteristiche della soluzione un Problema di pianificazione che contiene un Problema di controllo si fissa un valore di u p si calcola J * (u p ) si fissa un altro valore di u p si calcola J * (u p )... si evolve nello spazio di u p si calcola ogni volta J * (u p ) Algoritmi Lez. L20 Algoritmi di controllo ottimo Lez. S9-15

R. Soncini Sessa, MODSS, Soluzione del Problema di controllo orizzonte finito: la politica ottima è data da un numero finito di leggi controllo (al più h) orizzonte infinito: la politica ottima è data da un numero infinito di leggi controllo, quindi teoricamente non è determinabile in generale; ma quando il sistema e l’indicatore sono periodici si può dimostrare che la politica ottima è periodica ed è quindi definita da (al più) T leggi di controllo

R. Soncini Sessa, MODSS, Approcci alla soluzione Funzionale La politica ottima è determinata come una successione di leggi di controllo su cui non si impone nessuna condizione. Parametrico La politica ottima è determinata come una successione di leggi di controllo scelte in una classe fissata a priori. La politica è pertanto definita da un numero finito di parametri: quelli che individuano le leggi di controllo della politica ottima. LEZ. S9-11 LEZ. S13-14

R. Soncini Sessa, MODSS, Approcci alla soluzione Con apprendimento Emulando l’apprendimento umano, la politica viene “appresa” sperimentando gli effetti (costi) che essa comporta. Vantaggio: se il sistema si modifica nel tempo la politica può lentamente adattarsi al cambiamento. Il sistema e l’ambiente in cui opera (disturbi) non devono essere necessariamente quelli reali, possono essere descritti da modelli (si pensi a un simulatore di volo). Model-free Invece del modello del sistema e dell’ambiente vengono utilizzate direttamente le serie storiche (ingresso/uscita) che si sarebbero utilizzate per identificarlo. LEZ. S15

R. Soncini Sessa, MODSS, Approcci alla soluzione Model-free con apprendimento I due approcci si possono accoppiare. E’ l’unica via percorribile quando non si hanno serie di misure precedentemente raccolte. Spesso è conveniente utilizzare tutta l’informazione disponibile per costruire un modello e utilizzare un approccio model-free solo per i componenti del sistema per cui non si dispone di informazione. Le opere di regolazione sono artificiali e il loro modello è noto  l’approccio model-free viene usato in prevalenza per il bacino imbrifero e/o il sistema meteo. LEZ. S15

R. Soncini Sessa, MODSS, PROGRAMMAZIONE MATEMATICA Politica p: sequenza di leggi di controllo CONTROLLO OTTIMO uiui xixi m(xi)m(xi) stato discretostato continuo uiui xixi m(xi)m(xi) Controllo Ottimo e Programmazione Matematica

R. Soncini Sessa, MODSS, ATTENZIONE Per semplificare la scrittura da qui in avanti si abbandona il grassetto per distinguere i vettori dagli scalari.

R. Soncini Sessa, MODSS, Leggere MODSS Cap. 10 VERBANO Cap. 7