Problemi di scheduling multi-agente

Presentazione sul tema: "Problemi di scheduling multi-agente"— Transcript della presentazione:

1 Problemi di scheduling multi-agente
Alessandro Agnetis, Università di Siena Gianluca De Pascale, Università di Siena Pitu B. Mirchandani, University of Arizona Dario Pacciarelli, Università di Roma Tre Andrea Pacifici, Università di Roma Tor Vergata Marco Pranzo, Università di Siena Alessandria, 16 marzo 2007

2 Problemi multi-agente
Diversi agenti competono per l’utilizzo di un insieme limitato di risorse produttive o logistiche Per raggiungere un accordo, gli agenti possono negoziare l’utilizzo della risorsa Un eventuale soggetto centrale può avere parte attiva nel problema o essere solo un coordinatore

3 Treni in competizione per l’utilizzo di binari [Brewer e Plott 1996]

4 AGV in competizione su una rete
[Huang e Hallam 1995] Job di diversi ordini che competono per l’uso di slot temporali su una macchina --- agenti autonomi [Kutanoglu e Wu 1999, Wellman et al. 2001] Tipi diversi di segnali (dati, voce) che competono per le stesse risorse radio [Arbib et al. 2002]

5 Problemi di scheduling con due agenti
Due agenti, A e B, possiedono ciascuno un set di job che richiedono determinate risorse di processamento Gli agenti possiedono ciascuno una funzione di costo f A(s) and f B(s) rispettivamente Ogni funzione di costo dipende soltanto dai job del rispettivo agente

6 Problemi multi-agente: aspetti
Situazione iniziale Possibilità e modalità di scambio delle informazioni tra agenti Possibilità di compensazioni/scambi di utilità tra agenti

7 Situazione iniziale: scenari
Esiste una allocazione iniziale rispetto alla quale solo un insieme limitato di riallocazioni è possibile (es. orario ferroviario) Non esiste alcuna situazione iniziale, tutti gli agenti si presentano contemporaneamente e hanno uguale priorità

8 Scambi di informazione: scenari
Tutti gli agenti possono comunicare direttamente tra loro informazioni complete riguardanti i propri job e le proprie utilità Esiste un protocollo di comunicazione e offerta (e.g. aste) Ciascun agente comunica solo con un sottoinsieme di agenti o con un coordinatore

9 Trasferimenti di utilità: scenari
L’utilità degli agenti e i rapporti relativi sono tali da consentire una redistribuzione dell’utilità (e.g. in termini monetari) L’utilità degli agenti è espressa in termini che non ne consentono una redistribuzione immediata (e.g. diverse funzioni obiettivo)

10 Modelli multi-agente Giochi cooperativi: sequencing games Aste:
Wellman et al. (asta ascendente parallela) Kutanoglu-Wu (asta combinatoria) Bargaining problems: estensione dei concetti di soluzioni di Nash e Kalai Smorodinski

11 Sequencing games Sono particolari giochi cooperativi ad utilità trasferibile Si studiano situazioni di sequenziamento in cui, a partire da uno schedule iniziale s0, i giocatori possono formare coalizioni per rischedulare i loro job in modo proficuo senza danneggiare gli altri giocatori In molti casi, il nucleo è non vuoto [Curiel, Pederzoli and Tijs 1989, Slikker 2003]

12 2. MARKET ORIENTED PROGRAMMING

13 Aste - Market Oriented Programming
La situazione è rappresentata da un modello di tipo economico [Wellman, Walsh, Wurman, Mc-Kie Mason 2002] Gli agenti si muovono in un mercato i cui beni sono i periodi di utilizzo delle risorse La comunicazione è limitata alle offerte che ciascun agente formula per le risorse

14 Market Oriented Programming - II
Gli agenti formulano le proprie offerte sulla base di valutazioni individuali Le uniche informazioni scambiate sono nel formato di prezzi e avvengono tra agenti e un coordinatore (automatico) L’analisi studia le relazioni tra equilibrio e ottimalità

15 Modello di scheduling Un insieme G di n time slot
Un insieme A di agenti compreso l’agente “venditore” F0 Un vettore [p1, p2,…, pn] di prezzi per i vari time slot Per ogni XG, un valore vj(X) che l’agente j attribuisce a X I job sono interrompibili

16 Modello di scheduling Ciascuna risorsa i ha un reserve price qi, che rappresenta il valore della risorsa per il sistema se non viene allocata Il valore globale di un’allocazione è

17 Allocazione ottima Una allocazione f è ottima se il suo valore globale è massimo L’ottimalità di una soluzione dipende soltanto dall’allocazione f e dai valori wj, non dai prezzi a cui le risorse possono essere acquisite

18 Prezzi e agenti Dato un vettore p di prezzi, la quantità Hj(p) misura il massimo guadagno che l’agente j può conseguire

19 Equilibrio Un’allocazione f è in equilibrio per un vettore p di prezzi se: 1) (ossia, ogni agente consegue il massimo guadagno)

20 Equilibrio 2) pi  qi per ogni slot i allocato
pi = qi per ogni slot i non allocato (ossia, anche l’agente “venditore” ha un vantaggio)

21 Esempio pi w1=16 d1 =3 L1=2 w2=10 d2 =4 L2=2 w3=6 d3 =2 L3=1 w4=14,5
€6,25 €6,25 €6,25 €3,25 €3,25 €3,25 €3,25 €3,25 1 2 3 4 5 6 7 8 w1=16 d1 =3 L1=2 w2=10 d2 =4 L2=2 w3=6 d3 =2 L3=1 w4=14,5 d4 =8 L4=4 qi = € 3

22 Esempio pi w1=16 d1 =3 L1=2 w1=16 d1 =3 L1=2 w2=10 d2 =4 L2=2 w2=10
€6,25 €6,25 €6,25 €3,25 €3,25 €3,25 €3,25 €3,25 1 2 3 4 5 6 7 8 w1=16 d1 =3 L1=2 w1=16 d1 =3 L1=2 w2=10 d2 =4 L2=2 w2=10 d2 =4 L2=2 w3=6 d3 =2 L3=1 w4=14,5 d4 =8 L4=4 w4=14,5 d4 =8 L4=4 qi = € 3

23 Equilibrio e ottimalità
Teorema [Bikhchandani e Mamer 1997, Gul e Stacchetti 1999, Wellman et al. 2001]: Se esiste un sistema di prezzi p per cui f è in equilibrio, allora f è ottima Il viceversa in generale non è vero

24 Esempio 1 2 w1=3 d1 =2 L1=2 w2=2 d2 =2 L2=1 qi = € 0

25 Allocazione ottima w1=3 d1 =2 L1=2 w1=3 d1 =2 L1=2 w2=2 d2 =2 L2=1
p1 p2 1 2 w1=3 d1 =2 L1=2 w1=3 d1 =2 L1=2 w2=2 d2 =2 L2=1 qi = € 0

26 Equilibrio e ottimalità
Perché f sia in equilibrio, per l’agente 2 deve essere conveniente non comprare nulla Questo si ha solo se p1  2 e p2  2 Ma allora non può essere in equilibrio per l’agente 1 !

27 Equilibrio e ottimalità
Le due condizioni sono equivalenti nel caso più particolare di job unitari Anche nel caso multiple-deadline

28 Analisi dei protocolli di asta
Come si può raggiungere una soluzione di equilibrio da parte di agenti distribuiti? Meccanismi di asta Esempio: l’asta ascendente

29 Asta ascendente Gli agenti formulano in modo asincrono offerte per ciascuno slot i Se l’offerta corrente è bi , l’offerta successiva deve essere pari ad almeno ai =bi + e (ask price) Quando non ci sono più offerte, la risorsa è allocata al miglior offerente

30 Comportamento degli agenti
Ciascun agente offre il valore ai per alcune risorse, in modo da massimizzare il proprio surplus L’asta ascendente raggiunge un equilibrio?

31 Esempio w1= € 20 d1 =2 L1=2 w2= € 8 d2 =3 L2=2 w3= € 2,5 d3 =3 L3=1
Prezzo corr 1 2 3 w1= € 20 d1 =2 L1=2 w2= € 8 d2 =3 L2=2 w3= € 2,5 d3 =3 L3=1 qi = € 0, e = € 1

32 Offerta agente 2 w1= € 20 d1 =2 L1=2 w2= € 8 d2 =3 L2=2 w2= € 8 d2 =3
Prezzo corr Prezzo corr 1 2 3 w1= € 20 d1 =2 L1=2 w2= € 8 d2 =3 L2=2 w2= € 8 d2 =3 L2=2 w2= € 2,5 d2 =3 L2=1 qi = € 0, e = € 1

33 Offerta agente 1 w1= € 20 d1 =2 L1=2 w2= € 8 d2 =3 L2=2 w2= € 8 d2 =3
Prezzo corr Prezzo corr 1 2 3 w1= € 20 d1 =2 L1=2 w2= € 8 d2 =3 L2=2 w2= € 8 d2 =3 L2=2 w2= € 2,5 d2 =3 L2=1 qi = € 0, e = € 1

34 Offerta agente 3 w1= € 20 d1 =2 L1=2 w2= € 8 d2 =3 L2=2 w2= € 8 d2 =3
Prezzo corr Prezzo corr 1 2 3 w1= € 20 d1 =2 L1=2 w2= € 8 d2 =3 L2=2 w2= € 8 d2 =3 L2=2 w2= € 2,5 d2 =3 L2=1 qi = € 0, e = € 1

35 Offerta agente 2 w1= € 20 d1 =2 L1=2 w2= € 8 d2 =3 L2=2 w2= € 8 d2 =3
Prezzo corr Prezzo corr Prezzo corr 1 2 3 w1= € 20 d1 =2 L1=2 w2= € 8 d2 =3 L2=2 w2= € 8 d2 =3 L2=2 w2= € 2,5 d2 =3 L2=1 qi = € 0, e = € 1

36 p1= 8 p2 = 8 p3 = 1 L’agente 3 esce di scena
Perché un sistema di prezzi sia in equilibrio, dev’essere p3  2 Ad esempio: p1= 8 p2 = 8 p3 = 1

37 Equilibrio w1= € 20 d1 =2 L1=2 w2= € 8 d2 =3 L2=2 w2= € 8 d2 =3 L2=2
Prezzo 1 2 3 w1= € 20 d1 =2 L1=2 w2= € 8 d2 =3 L2=2 w2= € 8 d2 =3 L2=2 w2= € 2,5 d2 =3 L2=1 qi = € 0, e = € 1

38 Convergenza di un’asta
L’asta ascendente può non raggiungere un equilibrio, anche se esiste Può raggiungere un’allocazione arbitrariamente lontana dall’ottimo Nel caso di job unitari, la distanza tra il valore di un’allocazione ottima e quella generata dall’asta è limitata (ke+1)

39 3. KUTANOGLU - WU

40 Aste – modello di Kutanoglu-Wu
Il sistema è un job shop Un insieme di agenti, ognuno dei quali possiede un job, che richiede l’utilizzo di alcune macchine per alcuni time slot I job sono non interrompibili Un coordinatore centrale gestisce l’asta combinatoria

41 Kutanoglu-Wu (II) A ogni iterazione, ogni slot su ogni macchina ha un prezzo In base ai prezzi di ogni slot/macchina (k,t), e in base alla propria funzione di utilità, ogni agente, risolvendo un problema di ottimizzazione, formula la propria migliore offerta

42 Kutanoglu-Wu (III) Il banditore raccoglie dunque tutte le offerte, le elabora e annuncia i nuovi prezzi delle risorse Lo scopo del banditore è di convergere verso uno schedule ammissibile, per cui i prezzi delle risorse più contese vengono aumentati in misura del livello di conflitto:

43 Kutanoglu-Wu (III) lktr+1 = lktr + s Dkt
Ad esempio, l’aggiornamento dei prezzi può realizzarsi attraverso un semplice meccanismo di proporzionalità, ossia lktr+1 = lktr + s Dkt

44 Kutanoglu-Wu (IV) Il procedimento va avanti fino a raggiungere un criterio di arresto Lo schedule risultante può non essere ammissibile Obiettivo globale non monotono Il comportamento può variare molto a seconda del pricing scheme e del protocollo usato (regola usata per aggiornare i prezzi)

45 4. BARGAINING

46 Bargaining problems Due giocatori, A e B, devono scegliere uno di un insieme X di possibili agreements I giocatori possono comunicare, ma non possono trasferirsi utilità Questi giochi modellano le situazioni di negoziazione

47 Bargaining problems (II)
La soluzione di un bargaining problem è un agreement che soddisfa certe proprietà (assiomatiche) che ne fanno un particolare candidato a essere il risultato del processo di negoziazione

48 Bargaining problems (III)
A e B sono “razionali”, i.e., hanno funzioni di utilità (o anche value functions) uA(x), uB(x) definite su X che soddisfano gli assiomi di von Neumann-Morgenstern D è il disagreement point (dominato da tutti gli altri punti di X) Stavolta lo scenario prevede due soli giocatori, che devono trovare un accordo tra un insieme di alternative. In genere, questo insieme di alternative (o agreements) è rappresentato da una regione di piano X. Un’alternativa x è dunque un punto di X, ossia una coppia (xA,xB) – dove ad esempio xA e xB rappresentano la cifra conseguita dai due giocatori nell’alternativa x. Il punto D rappresenta quello che i due giocatori conseguono se non si mettono d’accordo – eventualità paventata da entrambi.

49 Bargaining problems (IV)
La teoria della negoziazione studia in che modo il risultato finale della negoziazione dipende dai parametri del problema e/o dal comportamento dei giocatori In particolare, la soluzione di Nash tiene conto dell’utilità dei giocatori e dunque del loro atteggiamento rispetto al rischio Dunque la situazione è questa: i due giocatori devono mettersi d’accordo su una delle alternative. Se non vi riescono, ciascuno dei due ottiene molto poco (il disagreement point), e dunque ambedue sono incentivati dal trovare un accordo. D’altra parte, l’arma che un giocatore ha – come del resto si sa nelle negoziazioni – per cercare di strappare un accordo più vantaggioso, è quella di minacciare la rottura delle trattative… quello che si fa nei giochi di negoziazione è cercare di caratterizzare, nell’insieme delle alternative, quelle che più delle altre hanno titolo per costituire l’esito finale della trattativa. Come ora vedremo, a John Nash si deve, ancora una volta, il risultato più importante nei giochi di negoziazione (anche se è un risultato molto meno famoso di quello di equilibrio, che da un punto di vista matematico non ha niente in comune con questo).

50 Soluzione di Nash La soluzione di Nash può caratterizzarsi in termini delle preferenze dei giocatori sull’insieme delle lotterie aventi come premi gli elementi di X La soluzione di Nash x* è un’alternativa rispetto alla quale nessuno dei due giocatori ha abbastanza incentivi a deviare Una soluzione di un problema di negoziazione è un criterio per caratterizzare uno tra tutti i possibili agreements: non è necessariamente l’esito della negoziazione. Una soluzione rappresenta però, tra tutti i possibili agreements, quello che soddisfa determinate proprietà che lo rendono in un certo senso “privilegiato” rispetto ad altri. Un po’ come, nella teoria delle decisioni, la scelta di una determinata decisione in condizioni di rischio, può essere tale da rispettare una certa proprietà (nella fattispecie, massimizzare l’utilità attesa della decisione), ma… non è detto che un decisore seguirebbe poi davvero quella decisione. Nondimeno, quella decisione è la più “razionale”. Così anche qui, si tratta di caratterizzare, tra tutti i possibili agreements, quello più “razionale” (in qualche senso) dal punto di vista di entrambi i giocatori.

51 Soluzione di Nash È un agreement x* tale che, se esiste un agreement x e una probabilità p tale che il giocatore A preferisce L = < p, x; 1-p, d > a x*, allora il giocatore B preferisce L = < p, x*; 1-p, d > a x Un agreement x* come quello descritto ha, rispetto agli altri, maggiori requisiti di “stabilità”, in quanto la nostra eventuale avversione per l’agreement x* è bilanciata da un’avversione altrettanto forte, da parte del nostro concorrente, per la soluzione x proposta da noi. Quando questo accade, per qualche x*, quest’ultimo prende il nome di soluzione di Nash. La definizione è peraltro simmetrica, ossia deve valere anche a parti invertite.

52 uA(x*) uB(x*) ≥ uA(x) uB(x)
Soluzione di Nash Date le funzioni di utilità dei due giocatori, la soluzione di Nash x* è tale che uA(x*) uB(x*) ≥ uA(x) uB(x) per ogni xX La soluzione di Nash è unica se X è compatto e convesso Questa è una caratterizzazione estremamente elegante della soluzione di Nash. Va detto inoltre che la soluzione di Nash – si può dimostrare – è unica, se l’insieme X è limitato, chiuso e convesso.

53 Soluzione di Nash Se X non è compatto e convesso (e.g. un insieme discreto), il concetto di soluzione di Nash può ancora definirsi come soluzione che massimizza il prodotto delle utilità, ma può non essere unica Questa definizione serve per capire come dipende la soluzione di Nash dalla propensione al rischio di un giocatore.

54 Soluzione di Nash - dominio discreto
(dA,dB) * S * * * * * * * * d * * * * * * * * * * * * * * * * * * * * * * * * Non appartiene necessariamente alla frontiera efficiente

55 Altri concetti di soluzione
La soluzione di Nash fa riferimento a una caratterizzazione dei decisori basata sul loro atteggiamento rispetto al rischio (value function) Consideriamo il caso di decisori indifferenti al rischio (relativamente al valore dell’indice di costo)

56 Equità e vantaggio globale
Un punto di vista diverso confronta la situazione migliore e quella peggiore in assoluto per i due decisori (tipicamente la migliore per A è la peggiore per B e viceversa) Siano zA* , zB* ,zA0, zB0 , i valori ottimi e quelli peggiori per i due giocatori

57 Equità e vantaggio globale
Data una qualsiasi soluzione s di valore zA e zB per i due agenti, si può osservare come si situa rispetto agli estremi:

58 Equità e vantaggio globale
I due valori rA e rB indicano a quanto ciascun giocatore sta rinunciando rispetto alla situazione in cui è da solo Dunque, si vuole che rA e rB siano piccoli (qualità globale) ma anche che siano il più possibile vicini (equità)

59 Equità e vantaggio globale
Siamo interessati a trovare i due schedule sA e sB tali che:

60 Equità e vantaggio globale
La soluzione di Kalai Smorodinski (nel discreto) è definita come quello schedule sKS tale che r(sKS) = min {rA (s), rB (s)}

61 Soluzione di Kalai-Smorodinsky - dominio discreto
(dA,dB) * (dA,dB) * * 1 * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * 1 Non appartiene necessariamente alla frontiera efficiente

62 Scheduling bargaining problems
Problemi: Quanto è grande l’insieme di tutti gli schedule Pareto-ottimi? Quanto è complesso trovarne ognuno? Quanto è complesso determinare la soluzione di Nash e quella di KS? Questa definizione serve per capire come dipende la soluzione di Nash dalla propensione al rischio di un giocatore.

63 Modello di ottimizzazione vincolato
1 | f B ≤ Q | f A è il problema di trovare lo schedule s* che minimizza f A(s) tra quelli tali che f B(s) ≤ Q

64 Modello bicriterio l f A + (1- l) f B
Un altro approccio minimizza una combinazione convessa delle funzioni obiettivo dei due agenti l f A + (1- l) f B

65 I due approcci Il modello vincolato può essere iterativamente utilizzato per trovare tutte le soluzioni Pareto-ottime Il modello bicriterio può essere più semplice da risolvere ma consente di trovare solo le soluzioni estreme o efficienti

66 f A f B Soluzioni Pareto-ottime che sono anche soluzioni del modello
bicriterio

67 1|SCiB  Q | TmaxA - Esempio
Agente A f A= TmaxA Ji pi di 1 5 4 2 3 13 3 4 21 Agente B f B= Si CiB Q = 43 Ji pi 1 3 2 4 3 4

68 Schedule s TmaxA = 2 Si CiB = 8 + 12 + 23 = 43 J1 J2 J3 5 8 12 15 19
5 8 12 15 19 23 J1 J2 J3 TmaxA = 2 Si CiB = = 43

69 Schedule s’ TmaxA = 2 Si CiB = 8 + 12 + 19 = 39 J1 J2 J3 5 8 12 15 19
5 8 12 15 19 23 J1 J2 J3 TmaxA = 2 Si CiB = = 39

70 1| CmaxB  Q | S wiACiA - Esempio
Agent A f A= Si wiACiA JiA piA wiA 1 6 9 2 5 7 3 3 4 4 4 5 Agent B f B= CmaxB JiB piB 1 10 Q = 20

71 Si wiACiA(s) = 9*6+5*10+7*25+4*28 Soluzione ottima s* CmaxB(s*)= 20
6 10 20 25 28 J1B J2A J3A J4A J1A Si wiACiA(s) = 9*6+5*10+7*25+4*28 JiA piA wiA CmaxB(s*)= 20

72 Constr.model Size of P Bicriteria
fmaxA fmaxB O(n2) O(nAnB) O(n4) SwjACjA CmaxB NP-hard pseudopol. O(n log n) SwjACjA TmaxB NP-hard pseudopol. NP-hard SCjA fmaxB O(n log n) O(nAnB) O(n3log n) SUjA fmaxB O(n log n) O(nA) O(n2log n) SUjA SUjB O(n3) O(nA) O(n4) SCjA SUjB O(nB) SwjACjA SUjB NP-hard O(nB) NP-hard SCjA SCjB NP-hard pseudopol. O(n log n)

73 Constr.model Nash/KS Bicriteria
fmaxA fmaxB O(n2) O(nAnB) O(n4) SwjACjA CmaxB NP-hard O(n log n) SwjACjA TmaxB NP-hard NP-hard SCjA fmaxB O(n log n) O(n3log n) O(n3log n) SUjA fmaxB O(n log n) O(n2log n) O(n2log n) SUjA SUjB O(n3) O(n4) O(n4) SCjA SUjB SwjACjA SUjB NP-hard NP-hard SCjA SCjB NP-hard NP-hard O(n log n)

74 Ricerca dei triangoli critici (per WC/WC)
Per velocizzare l’intero processo: 1. Generiamo i “triangoli”, ognuno corrispondente ad una coppia di soluzioni estreme. 2. Identifichiamo un “triangolo critico” nel quale cercare la soluzione desiderata. risultati validi per ogni problema di ottimizzazione combinatoria

75 Triangolo critico di Nash
La soluzione di Nash è qui (da qualche parte) Questa è la soluzione di Nash (a), (b) e (c) sono mutuamente esclusive

76 Triangolo critico di Kalai-Smorodinsky
E’ sufficiente identificare i due schedule(successivi) s’, s’’ tali che: s’ s’’

77 Ricerca in corso Algoritmi esatti (branch and bound) per trovare soluzioni Pareto-ottime nei casi difficili Studio di protocolli di negoziazione per giungere ad allocazioni “buone” senza bisogno di rivelare tutta l’informazione Connessione con altri modelli di negoziazione, come aste etc