Marco Rolando Stochastic Chaotic Simulated Annealing A Noisy Chaotic Neural Network for Solving Combinatorial Optimization Problems.

Presentazione sul tema: "Marco Rolando Stochastic Chaotic Simulated Annealing A Noisy Chaotic Neural Network for Solving Combinatorial Optimization Problems."— Transcript della presentazione:

1 Marco Rolando Stochastic Chaotic Simulated Annealing A Noisy Chaotic Neural Network for Solving Combinatorial Optimization Problems

2 Marco Rolando Introduzione Ottimizzazione Combinatoria Modello: SCSA Applicazioni: TSP e CAP2 Conclusioni

3 Marco Rolando Ottimizzazione combinatoria(1) Il neurone ij ha uscita x ij =1 se e solo se la risorsa i è assegnata a j. Tutti neuroni sono completamente connessi in modo che luscita del neurone ij sia ingresso del neurone kl con peso w ijkl. Problema: assegnamento di M risorse a N utilizzatori Rispettando linsieme di vincoli V. Minimizzando la funzione obiettivo F(x). Il problema di ottimizzazione può essere ridotto allevoluzione di una rete neurale ricorrente NxM con queste caratteristiche:

4 Marco Rolando Ottimizzazione combinatoria(2) Si definisce una funzione di costo E che tenga conto sia della funzione obiettivo, sia dei vincoli Si determinano i pesi w ij delle rete neurale in modo che levoluzione della rete sia nella direzione in cui E si riduce.

5 Marco Rolando Rete di Hopfield Vantaggi: per w ijij =0 e w ijkl =w klji è garantita la stabilità asintotica. Le condizioni sono sufficienti per dimostrare che è una funzione di Liapunov per il sistema. Svantaggi: possono esserci molti minimi locali! La rete converge al primo che incontra. x ij uscita del neurone y ij stato del neurone I ij soglia di ingresso parametro di pendenza per la funzione di uscita E un modello dinamico che presenta diversi tipi di attrattori. Ai fini dellottimizzazione combinatoria si semplifica la sua dinamica in modo che presenti solo equilibri.

6 Marco Rolando Simulated Annealing Problema: la funzione E può avere molti minimi locali. Il simulated annealing consiste nellintrodurre rumore in modo controllato durante laggiornamento della soluzione. Il rumore viene gradualmente ridotto per permettere la convergenza. Consideriamo due tipi di annealing: Stocastico: SSA Caotico: CSA

7 Marco Rolando Stochastic Simulated Annealing A[n(t)]massima ampiezza del rumore stocastico n(t)rumore stocastico al tempo, uniformemente distribuito tra –A[n(t)] e A[n(t)] 1 parametro di smorzamento del rumore stocastico E la forma più semplice di annealing. Consiste nellaggiungere un segnale stocastico in ingresso ad ogni neurone: Vantaggi: per A[n(0)] sufficientemente grande e 1 piccolo la ricerca avviene in modo esaustivo in tutto lo spazio di ricerca. Svantaggi: se 1 è piccolo la convergenza può essere molto lenta.

8 Marco Rolando Chaotic Simulated Annealing (1) Sfrutta lautoaccoppiamento e porta la rete a funzionare su un attrattore caotico. z(t) ampiezza dellautoaccoppiamento negativo 2 parametro di smorzamento dellauto-accoppiammento ksmorzamento della membrana nervosa a, I 0 parametri positivi Note La rete esibisce un comportamento caotico per z(0) sufficientemente grande. Il comportamento caotico è limitato ad un transitorio iniziale, la cui durata dipende dal parametro 2.

9 Marco Rolando Si può dimostrare che lattrattore verso cui tende la rete è uno strano attrattore le cui dimensioni, sotto opportune ipotesi, sono sufficientemente grandi da includere tutti i minimi della funzione. Vantaggi: La ricerca della soluzione avviene in modo efficiente perché coinvolge solo una frazione dello spazio delle soluzioni. Svantaggi: La rete CSA ha una dinamica completamente deterministica. Quindi, a prescindere dalla lentezza con cui viene ridotto il parametro di annealing (lautoaccoppiamento), la rete potrebbe non raggiungere un minimo globale, e in generale, un buona soluzione. Chaotic Simulated Annealing (2)

10 Marco Rolando Stochastic Chaotic S.A. (SCSA) Combina gli approcci di SSA e CSA. Lobiettivo è duplice: Sfruttare lefficienza del modello caotico Garantire laffidabilità del modello stocastico

11 Marco Rolando Applicazione: TSP(1) Dato un grafo completo, trovare il percorso di lunghezza minima che attraversa tutti i nodi una sola volta. Consideriamo un grafo con n nodi e introduciamo le seguenti variabili x ij : uguale a 1 se la città i è in j-esima posizione, altrimenti 0 d ij : distanza fra la città i e la città j Il problema può essere mappato su una rete neurale con n x n neuroni che minimizzi una funziona energia composta dai seguenti termini Note: Questa non è la formulzione più efficace per affrontare il TSP.

12 Marco Rolando Applicazione: TSP(2) Minima lunghezza Lunghezza media Validi CSA ( 1 = 1) 722 1 (2.5%) SCSA 1 = 10 -5 --0 (0%) 1 = 5*10 -6 --0 (0%) 1 = 2*10 -6 668677.54 (20%) 1 = 10 -6 666686.17 (35%) Berlin52: 200 iterazioni TS70: 20 iterazioni Minima lunghezza Lunghezza media Validi CSA ( 1 = 1) 75557789.35 (2.5%) SCSA 1 = 10 -5 79918131.515 (7.5%) 1 = 5*10 -6 75497909.769 (34.5%) 1 = 2*10 -6 75257885.668 (34%) 1 = 10 -6 76017942.464 (32%)

13 Marco Rolando Applicazione: CAP2(1) In una rete radiomobile, determinare un assegnamento dei canali che minimizzi le interferenze e rispetti i vincoli di richiesta. Consideriamo una rete con N celle e M canali e introduciamo le seguenti variabili x jk : uguale a 1 se la cella j è assegnata al canale k, altrimenti 0 D j : numero di chiamate nella cella j P ji(m+1) : tensore di costo fra la cella i e la cella j per canali a distanza m Come per TSP, la funzione energia è costituita dalle seguenti componenti

14 Marco Rolando Applicazione: CAP2(2) SSACSASCSA AveMinAveMinAveMin Hex10.00 0 0 Hex20.100.00 0 Hex350.74948.14747.146 Hex420.41918.91817.517 Hex582.57977.17676.874 Hex621.01717.71716.416 10 iterazioni per ogni problema della famiglia HEX

15 Marco Rolando Conclusioni SCSA combina gli approcci di SSA e CSA e ne sorpassa i limiti. E più efficiente di SSA: restringe lo spazio di ricerca al sottospazio dellattrattore caotico, che è molto più piccolo dellintero spazio di ricerca sfruttato da SSA. E più affidabile di CSA: non ha una dinamica completamente deter- ministica e continua a cercare anche dopo la scomparsa del caos.

16 Marco Rolando Bibliografia Lipo Wang, Sa Li, Fuyu Tian, Xiuju Fu, A Noisy Chaotic Neural Network for Solving Combinatorial Optimization Problems: Stochastic Chaotic Simulated Annealing, IEEE TRANSACTIONS ON SYSTEMS, MAN, AND CYBERNETICSPART B: CYBERNETICS, VOL. 34, NO. 5, OCTOBER 2004 Luonan Chen, Kazuyuki Aihara, Chaotic dynamics of neural networks and its application to combinatorial optimization, Journal of Dynamical Systems and Differential Equations, invited review paper, vol.9, no.3, pp.139-168, 2001.