Metodi e Applicazioni numeriche nell’Ingegneria Chimica

Metodi e Applicazioni numeriche nell’Ingegneria Chimica
Guido Buzzi-Ferraris Metodi e Applicazioni numeriche nell’Ingegneria Chimica

Minimizzazione multidimensionale
Guido Buzzi Ferraris Dipartimento di Chimica Materiali e Ingegneria Chimica Politecnico di Milano Guido Buzzi-Ferraris Metodi e Applicazioni numeriche nell’Ingegneria Chimica

Minimo multidimensionale Tre categorie di metodi
1. Metodi euristici che non richiedono né il gradiente né l’Hessiano della funzione 2. Metodi che richiedono il gradiente della funzione. 3. Metodi che richiedono sia il gradiente che l’Hessiano della funzione. Guido Buzzi-Ferraris Metodi e Applicazioni numeriche nell’Ingegneria Chimica

Promemoria Che cosa è il gradiente di una funzione? Guido Buzzi-Ferraris Metodi e Applicazioni numeriche nell’Ingegneria Chimica

Il gradiente di una funzione F(x) è il vettore, g, delle sue derivate prime. Il gradiente, g, di una funzione F(x) è la direzione lungo la quale la funzione varia più rapidamente. Perciò la direzione –g è quella per cui la funzione diminuisce più rapidamente. Guido Buzzi-Ferraris Metodi e Applicazioni numeriche nell’Ingegneria Chimica

Promemoria Che cosa è l’Hessiano di una funzione? Guido Buzzi-Ferraris Metodi e Applicazioni numeriche nell’Ingegneria Chimica

L’Hessiano di una funzione F(x) è la matrice, G, delle sue derivate seconde. L’Hessiano, G, è una matrice simmetrica. Guido Buzzi-Ferraris Metodi e Applicazioni numeriche nell’Ingegneria Chimica

Promemoria Quali sono le condizioni necessarie e sufficienti per avere un minimo? Guido Buzzi-Ferraris Metodi e Applicazioni numeriche nell’Ingegneria Chimica

Condizione necessaria affinché un punto x* sia un minimo: g(x*) = 0 Condizione sufficiente affinché un punto x* sia un minimo: La matrice Hessiana G(x*) deve essere definita positiva. Una matrice simmetrica G è definita positiva se: dTGd > 0 per un generico vettore d diverso da zero Guido Buzzi-Ferraris Metodi e Applicazioni numeriche nell’Ingegneria Chimica

Parentesi storica sui metodi di minimizzazione multidimensionale Guido Buzzi-Ferraris Metodi e Applicazioni numeriche nell’Ingegneria Chimica

I primi programmi di ottimizzazione multidimensionale si basavano su alcune idee guida. Una delle principali era che la direzione del gradiente per la sua proprietà di essere la direzione lungo la quale la funzione varia il più rapidamente possibile era una direzione privilegiata rispetto ad ogni altra direzione. Una seconda idea guida era che in vicinanza del minimo bisognava in qualche modo tener conto della curvatura della funzione (ossia dell’Hessiano) per avere una ragionevole velocità di convergenza. Questa esigenza si scontrava contro il problema dell’occupazione di memoria che con i primi calcolatori era un problema drammatico. Ricordo en passant che il dramma del bug del millennio era nato dal fatto che per risparmiare spazio di memoria l’anno veniva memorizzato solo con le ultime due cifre. Guido Buzzi-Ferraris Metodi e Applicazioni numeriche nell’Ingegneria Chimica

Sempre legata al risparmio di memoria vi era la convinzione che gli assi delle variabili indipendenti erano direzioni privilegiate rispetto ad altri assi di ricerca non richiedendo alcuna memoria supplementare per definirli. Perciò i primi metodi di ottimizzazione proposti erano basati su ricerche che utilizzassero in qualche modo o la direzione del gradiente, o le direzioni degli assi cartesiani oppure la curvatura della funzione obbiettivo. Lasciamo per il momento da parte quest’ultimo filone di ricerca e analizziamo invece i primi due. Presto ci si è resi conto di un fatto curioso. Il mistero dei metodi che non convergono Guido Buzzi-Ferraris Metodi e Applicazioni numeriche nell’Ingegneria Chimica

Si supponga di utilizzare la seguente strategia che sembra ragionevole. Partendo da un punto di primo tentativo, x0, si calcola il gradiente in questo punto, g0. Si effettua la ricerca del minimo lungo la direzione –g0. Sia x1 tale minimo lungo g0. In x1 si calcola il gradiente e si effettua la ricerca del minimo lungo la direzione –g1. Iterando il procedimento ci si accorge che salvo casi eccezionali invece di convergere rapidamente verso la soluzione le iterazioni dopo un avvio brillante diventano sempre meno efficaci. Il problema consiste nel fatto che questo calo di efficienza non avviene vicino alla soluzione, cosa che si sapeva possibile dal momento che qui si dovrebbe utilizzare in qualche modo la curvatura della funzione, ma comincia molto presto quando ci si trova ben lontano dalla soluzione stessa. Guido Buzzi-Ferraris Metodi e Applicazioni numeriche nell’Ingegneria Chimica

Per evitare questo problema sono state proposte all’epoca una quantità notevole di varianti. Alcune varianti prevedevano ancora delle ricerche monodimensionali lungo le direzioni dei gradienti, ma utilizzavano punti diversi dal minimo monodimensionale per calcolare il nuovo gradiente. Altri autori proponevano invece degli spostamenti, controllati con diverse modalità, lungo le direzioni dei gradienti evitando così una vera ricerca monodimensionale. Per farla breve. Anche i metodi più fantasiosi e sofisticati presentavano sempre lo stesso inconveniente di perdere efficienza rapidamente. Guido Buzzi-Ferraris Metodi e Applicazioni numeriche nell’Ingegneria Chimica

Le cose non andavano meglio per i metodi basati sulle ricerche lungo gli assi cartesiani. Anche qui il seguente procedimento sembrerebbe ragionevole: Partendo da un punto di primo tentativo, x0, si effettua una ricerca monodimensioale variando solo la prima componente del vettore x. Si effettua poi una ricerca monodimensionale a partire dal punto trovato facendo variare solo la seconda componente del vettore x. E così via. Esaurita la ricerca sull’ultima variabile si ricomincia da capo con la prima variabile. Iterando il procedimento ci si accorge che salvo casi eccezionali invece di convergere rapidamente verso la soluzione le iterazioni dopo un avvio brillante diventano sempre meno efficaci. Il problema consiste nel fatto che questo calo di efficienza non avviene vicino alla soluzione, cosa che si sapeva possibile dal momento che qui si dovrebbe utilizzare in qualche modo la curvatura della funzione, ma comincia molto presto quando ci si trova ben lontano dalla soluzione stessa. Guido Buzzi-Ferraris Metodi e Applicazioni numeriche nell’Ingegneria Chimica

Si deve a Rosembrock il merito di avere chiarito il mistero Perché tutti questi metodi diventano sempre meno efficienti? Guido Buzzi-Ferraris Metodi e Applicazioni numeriche nell’Ingegneria Chimica

Il problema sorge quando si hanno delle valli molto strette È facile vedere che lo stesso problema si presenta usando come assi di ricerca gli assi cartesiani La direzione di ricerca continua a dirigersi verso il fondo della valle e il metodo va in crisi -gi+1 Il gradiente è una pessima direzione di ricerca quando ci si trovi in prossimità di una valle stretta -gi Guido Buzzi-Ferraris Metodi e Applicazioni numeriche nell’Ingegneria Chimica

Rosembrock non si è limitato a chiarire il precedente mistero, ma ha anche proposto un metodo che secondo lui dovrebbe aggirare l’ostacolo. In realtà il metodo di Rosembrock riesce ad evitare il problema delle valli strette solo se esse non sono troppo strette. Guido Buzzi-Ferraris Metodi e Applicazioni numeriche nell’Ingegneria Chimica

Nel frattempo i matematici cercavano di trovare metodi di ricerca efficienti che tenessero conto della curvatura della funzione. Anche tali metodi in presenza di valli strette andranno in crisi, ma vicino alla soluzione dovrebbero in teoria migliorare la velocità di convergenza. Il metodo di base era il metodo di Newton basato sul seguente procedimento. Guido Buzzi-Ferraris Metodi e Applicazioni numeriche nell’Ingegneria Chimica

Se si espande la funzione da minimizzare in serie di Taylor nell’intorno di un punto xi arrestando lo sviluppo ai termini di secondo grado si ottiene: Se l’Hessiano Gi è definito positivo il valore di di che rende minima questa quadrica si ottiene uguagliando a zero le sue derivate prime. Gidi = - gi Il metodo di Newton, nella sua forma elementare, utilizza iterativamente la relazione: xi+1 = xi + di con di ricavato risolvendo il precedente sistema lineare. Guido Buzzi-Ferraris Metodi e Applicazioni numeriche nell’Ingegneria Chimica

Più avanti vedremo quali sono i difetti del metodo di Newton e i moderni rimedi proposti per evitarli. Per i primi programmi il problema centrale era legato all’occupazione di memoria dovuta all’Hessiano. Pertanto lo sforzo maggiore dei matematici era rivolto a risolvere il seguente problema: è possibile avere una velocità di convergenza paragonabile al metodo di Newton quando ci si trovi vicino alla soluzione, senza usare la matrice Hessiana? La strada per risolvere questo problema è partita da considerazioni geometriche. Il metodo di Newton approssima la funzione con una quadrica. Per molte funzioni la cosa è ragionevole almeno se ci si trova vicini alla soluzione. È possibile trovare rapidamente il minimo di una quadrica senza conoscerne l’Hessiano? Guido Buzzi-Ferraris Metodi e Applicazioni numeriche nell’Ingegneria Chimica

Una quadrica con Hessiano definito positivo ha linee di livello che sono ellissi concentriche Punto di tangenza di una retta parallela alla precedente Se è un diametro passa per il centro dell’ellisse La congiungente i due punti di tangenza è un diametro coniugato alla prima direzione Se si conoscono due assi coniugati con due ricerche si trova il minimo in un problema bidimensionale Punto di tangenza Che è anche il minimo monodimensionale lungo quella direzione Guido Buzzi-Ferraris Metodi e Applicazioni numeriche nell’Ingegneria Chimica

Basandosi dapprima su questa proprietà geometrica delle quadriche e successivamente su proprietà algebriche sempre delle quadriche si è trovato il modo di ricavare tali assi coniugati senza dover calcolare l’Hessiano della funzione. Per un certo periodo di tempo questi metodi sembravano quelli concettualmente più efficienti e perciò indispensabili in un programma di ottimizzazione. Con il diminuire del problema legato alla memorizzazione dell’Hessiano l’importanza di questi metodi è calata notevolmente. Con i moderni calcolatori la memorizzazione di una matrice non è praticamente più un problema dal momento che quand’anche la matrice fosse di dimensioni enormi sarebbe sicuramente molto sparsa. I moderni metodi basati sulle direzioni coniugate sono perlopiù varianti del metodo di Newton e pertanto usano la matrice Hessiana dal momento che risultano più efficienti di quelli che non la usano. Guido Buzzi-Ferraris Metodi e Applicazioni numeriche nell’Ingegneria Chimica

Prima di chiudere questa breve carrellata storica desidero sottolineare un punto importante. Non esiste il metodo migliore per ogni problema di ottimizzazione. Un buon programma di solito deve sfruttare più metodi, selezionati fra quelli adatti a risolvere quel particolare problema. La scelta degli algoritmi da inserire nel programma sarà sempre legata ai soliti fattori. Guido Buzzi-Ferraris Metodi e Applicazioni numeriche nell’Ingegneria Chimica

Promemoria Caratteristiche importanti per la scelta di un algoritmo. 1. Stabilità detta anche robustezza. 2. Accuratezza. 3. Efficienza ossia limitato tempo di calcolo. 4. Occupazione di memoria. Guido Buzzi-Ferraris Metodi e Applicazioni numeriche nell’Ingegneria Chimica

Un programma di ottimizzazione deve essere:
1. Robusto: Deve riuscire a risolvere problemi con valli molto strette Deve riuscire a trovare con buona probabilità il minimo assoluto in una funzione con più minimi relativi Deve riuscire a risolvere problemi in cui la funzione e/o le sue derivate abbiano discontinuità Deve riuscire a risolvere problemi in cui la funzione non è mai approssimabile ad una quadrica con matrice definita positiva. Deve riuscire a risolvere problemi in cui la funzione non è definita in qualche intervallo. 2. Accurato: Deve riuscire a trovare la soluzione in modo preciso 3. Efficiente: Deve avere convergenza quadratica con funzioni che siano ben approssimabili con una quadrica e buona velocità di convergenza in caso contrario. 4. Con poca necessità di memoria: Se usa delle matrici deve poter sfruttare la loro sparsità. Guido Buzzi-Ferraris Metodi e Applicazioni numeriche nell’Ingegneria Chimica

È indispensabile selezionare i metodi da inserire in un programma di ottimizzazione a seconda delle caratteristiche del problema che si deve risolvere. In particolare bisogna tenere conto dei seguenti fattori. 1. Numero delle variabili. 2. Necessità o meno di raggiungere il vero minimo. 3. Presenza di discontinuità. 4. Presenza di più minimi. 5. Presenza di valli molto strette. 6. Caratteristiche speciali della funzione (per esempio somma di quadrati). Guido Buzzi-Ferraris Metodi e Applicazioni numeriche nell’Ingegneria Chimica

Per molte classi di problemi le caratteristiche della funzione sono note a priori. Per esempio In un problema di regressione non lineare: il numero delle variabili è molto ridotto, si è in presenza di valli molto strette, è necessario trovare un minimo accurato, la funzione è una somma di quadrati, si può essere in presenza di più minimi (in particolare lo si è senz’altro se si usano dei metodi di stima robusti). Guido Buzzi-Ferraris Metodi e Applicazioni numeriche nell’Ingegneria Chimica

Tre categorie di metodi
Tradizionalmente i metodi di ottimizzazione vengono suddivisi nelle seguenti Tre categorie di metodi 1. Metodi euristici che non richiedono né il gradiente né l’Hessiano della funzione 2. Metodi che richiedono il gradiente della funzione. 3. Metodi che richiedono sia il gradiente che l’Hessiano della funzione. Guido Buzzi-Ferraris Metodi e Applicazioni numeriche nell’Ingegneria Chimica

Metodi euristici che non usano né il gradiente né l’Hessiano
1. Metodo di ricerca casuale. 2. Metodi di ricerca genetici. 3. Metodo di Hooke-Jeeves 4. Metodo di Rosenbrock 5. Metodo del Simplex 6. Metodo Rob (OPTNOV) Guido Buzzi-Ferraris Metodi e Applicazioni numeriche nell’Ingegneria Chimica

Non è possibile descrivere tutti questi metodi. Mi limiterò a qualche breve commento. Il metodo di ricerca casuale è il più robusto fra tutti quelli che si possano immaginare, ma è anche estremamente inefficiente. Può essere utile solo in problemi con un numero di variabili estremamente basso e con funzioni che richiedano poco tempo di calcolo. I metodi genetici sono abbastanza robusti, ma anch’essi sono molto inefficienti. Essi prendono il nome dal criterio utilizzato per generare nuovi punti di tentativo basato su regole che simulano il comportamento di cellule viventi. Tali metodi sono talvolta usati in problemi di piccole dimensioni per inizializzare altri metodi più efficienti. Guido Buzzi-Ferraris Metodi e Applicazioni numeriche nell’Ingegneria Chimica

I metodi di Hooke - Jeeves e di Rosenbrok hanno ormai solo importanza storica dal momento che non hanno né particolari doti di robustezza, né sono molto efficienti. Il metodo del Simplex può essere ancora utilizzato sia da solo che abbinato ad altri metodi più efficienti perché è ragionevolmente robusto. Questo metodo ha lo stesso nome di un metodo molto noto usato in problemi lineari con vincoli lineari anche se essi non hanno nulla in comune. Guido Buzzi-Ferraris Metodi e Applicazioni numeriche nell’Ingegneria Chimica

Metodo Rob (OPTNOV) Il metodo Rob non è un vero algoritmo di ottimizzazione, ma piuttosto un metodo base per gestire in modo robusto altri algoritmi di ottimizzazione. La sua filosofia è essenzialmente ricavata dal metodo OPTNOV che viceversa era un vero programma di ottimizzazione. Il metodo Rob è come il suo precursore OPTNOV particolarmente adatto a risolvere problemi con valli molto strette, anche se si comporta piuttosto bene in presenza di discontinuità o di molti minimi relativi. In altre parole il metodo Rob si presta molto bene a gestire un programma di ottimizzazione che sia robusto. Affinché il programma sia anche efficiente deve essere integrato con opportuni algoritmi là dove richiesto dal metodo Rob. Guido Buzzi-Ferraris Metodi e Applicazioni numeriche nell’Ingegneria Chimica

Le idee di base su cui è imperniato il metodo Rob e ricavate dal metodo OPTNOV sono molto semplici. Si consideri un problema con una valle molto stretta. Tutti gli algoritmi usuali non riescono a progredire in modo soddisfacente perché non accettano punti che siano peggiori del migliore trovato fino a quel momento. Anche con il metodo di Rosenbrock che teoricamente dovrebbe essere adatto a seguire una valle stretta si ha lo stesso problema a meno che la direzione trovata non sia esattamente allineata con la valle. Guido Buzzi-Ferraris Metodi e Applicazioni numeriche nell’Ingegneria Chimica

La prima idea su cui si basa il metodo Rob è quella di non scartare sempre i punti di ricerca quando risultano peggiori dei precedenti. La seconda idea su cui si basa il metodo Rob è che se si parte da un punto che non si trovi sul fondo della valle stretta un algoritmo qualsiasi (scelto per risolvere quel particolare problema a cui è rivolto il programma) riesce facilmente a trovare il fondo della valle. La terza idea su cui si basa il metodo Rob è che la congiungente due punti situati sul fondo della valle è una buona direzione della valle stessa. La quarta idea su cui si basa il metodo Rob è di non usare questa direzione come una direzione di ricerca monodimensionale, ma come una direzione lungo la quale proiettare un nuovo punto da cui iterare il procedimento sopra descritto. Guido Buzzi-Ferraris Metodi e Applicazioni numeriche nell’Ingegneria Chimica

Alcuni accorgimenti sono indispensabili per una corretta implementazione del metodo Rob. Il primo e fondamentale accorgimento è quello di fare in modo che (qualunque sia il metodo di ricerca usato per ritornare sul fondo della valle) nella ricerca non venga usata fino alla fine la direzione lungo la quale è stato effettuato lo spostamento. In caso contrario si ritornerebbe probabilmente al punto ottimo precedente Un secondo accorgimento è di fare in modo di incrementare lo spostamento quando il nuovo punto sul fondo della valle è migliore del precedente e di decrementarlo in caso contrario. Un terzo accorgimento è di porre dei limiti alla zona di ricerca quando viene effettuata per tornare sul fondo della valle in modo che il nuovo punto non collassi sul precedente. Un quarto accorgimento è necessario per inizializzare il procedimento iterativo. Guido Buzzi-Ferraris Metodi e Applicazioni numeriche nell’Ingegneria Chimica

Metodi che usano il gradiente, ma non l’Hessiano
1. Metodi che usano il gradiente come direzione di ricerca. 2. Metodi delle direzioni coniugate Guido Buzzi-Ferraris Metodi e Applicazioni numeriche nell’Ingegneria Chimica

Metodi che usano il gradiente come direzione di ricerca
Obsoleti Guido Buzzi-Ferraris Metodi e Applicazioni numeriche nell’Ingegneria Chimica

Metodi delle direzioni coniugate
Esistono diverse versioni di metodi delle direzioni coniugate. 1. Metodi del PARTAN che sfruttano le tangenti alle ellissi 2. Metodi che usano il gradiente per calcolare le direzioni coniugate. Guido Buzzi-Ferraris Metodi e Applicazioni numeriche nell’Ingegneria Chimica

Questi metodi sono meno efficienti dei metodi che utilizzano la matrice Hessiana. Hanno ancora qualche interesse in problemi di grandissime dimensioni per cui sia problematica la memorizzazione della matrice Hessiana. Essi non sono metodi robusti e possono essere utilizzati solo con funzioni che possano ragionevolmente essere approssimate con una quadrica. Guido Buzzi-Ferraris Metodi e Applicazioni numeriche nell’Ingegneria Chimica

Metodi delle direzioni coniugate
Praticamente obsoleti Guido Buzzi-Ferraris Metodi e Applicazioni numeriche nell’Ingegneria Chimica

Metodi che usano sia il gradiente che l’Hessiano
1. Metodo di Newton 2. Metodi di Newton modificato 3. Metodi Quasi Newton Guido Buzzi-Ferraris Metodi e Applicazioni numeriche nell’Ingegneria Chimica

Metodo di Newton Se si espande la funzione da minimizzare in serie di Taylor nell’intorno di un punto xi arrestando lo sviluppo ai termini di secondo grado si ottiene: Se l’Hessiano Gi è definito positivo il valore di di che rende minima questa quadrica si ottiene uguagliando a zero le sue derivate prime. Gidi = - gi Il metodo di Newton, nella sua forma elementare, utilizza iterativamente la relazione: xi+1 = xi + di con di ricavato risolvendo il precedente sistema lineare. Guido Buzzi-Ferraris Metodi e Applicazioni numeriche nell’Ingegneria Chimica

Vantaggi del metodo di Newton Svantaggi del metodo di Newton
Il metodo di Newton, quando converge, converge molto rapidamente (ha una velocità di convergenza quadratica). Se l’Hessiano è definito positivo la direzione di del metodo di Newton è tale da garantire la diminuzione della funzione. Svantaggi del metodo di Newton Il metodo va in crisi se l’Hessiano non è definito positivo o se è singolare o molto mal condizionato. Il metodo può non convergere. La previsione può essere peggiore di quella dell’iterazione precedente. Il metodo non è robusto. Ad ogni iterazione deve essere calcolato l’Hessiano. Se come spesso avviene l’Hessiano è calcolato numericamente ad ogni iterazione la funzione F(x) deve essere calcolata N(N +1)/2 volte. Ad ogni iterazione deve essere risolto il sistema lineare: Gi di = - gi Guido Buzzi-Ferraris Metodi e Applicazioni numeriche nell’Ingegneria Chimica

Sono state proposte numerose varianti del metodo di Newton. Esse possono essere raggruppate in due categorie a seconda di come viene calcolato l’Hessiano. 1. Metodi di Newton modificato. L’Hessiano viene calcolato (numericamente o analiticamente) ad ogni iterazione. In questi metodi ad ogni iterazione deve essere risolto anche il sistema lineare Gi di = - gi . 2. Metodi Quasi Newton. L’Hessiano viene aggiornato ad ogni iterazione sommandogli una opportuna matrice. In questi metodi ad ogni iterazione di solito viene anche evitata la soluzione del sistema lineare Gi di = - gi . In entrambi i casi vengono apportate delle modifiche al metodo di Newton elementare che cercano di evitare i problemi di convergenza o di crisi. Questi metodi sono molto importanti per risolvere problemi che non richiedano algoritmi robusti (discontinuità, molti minimi, valli molto strette ecc.). Guido Buzzi-Ferraris Metodi e Applicazioni numeriche nell’Ingegneria Chimica

Qui di seguito vengono riportati i grafici di alcune funzioni che vengono utilizzate per verificare se un programma di minimizzazione è robusto. Guido Buzzi-Ferraris Metodi e Applicazioni numeriche nell’Ingegneria Chimica

Guido Buzzi-Ferraris Metodi e Applicazioni numeriche nell’Ingegneria Chimica

Metodi e Applicazioni numeriche nell’Ingegneria Chimica

Presentazioni simili

Presentazione sul tema: "Metodi e Applicazioni numeriche nell’Ingegneria Chimica"— Transcript della presentazione:

Presentazioni simili

Sul progetto

Feed-back

Entrare

Autorizzarsi attraverso i social network:

Metodi e Applicazioni numeriche nell’Ingegneria Chimica

Presentazioni simili

Presentazione sul tema: "Metodi e Applicazioni numeriche nell’Ingegneria Chimica"— Transcript della presentazione:

Presentazioni simili

Sul progetto

Feed-back