La presentazione è in caricamento. Aspetta per favore

La presentazione è in caricamento. Aspetta per favore

1 Definizione: CATENA Le catene sono p.s. in cui lo stato è discreto : X={x 1,x 2, … }. Linsieme X può essere sia finito sia infinito numerabile. Il tempo.

Presentazioni simili


Presentazione sul tema: "1 Definizione: CATENA Le catene sono p.s. in cui lo stato è discreto : X={x 1,x 2, … }. Linsieme X può essere sia finito sia infinito numerabile. Il tempo."— Transcript della presentazione:

1 1 Definizione: CATENA Le catene sono p.s. in cui lo stato è discreto : X={x 1,x 2, … }. Linsieme X può essere sia finito sia infinito numerabile. Il tempo può essere discreto o continuo. 5. Catene di Markov a tempo discreto (CMTD)

2 2 Catene di Markov a tempo discreto In una CMTD le transizioni di stato possono verificarsi solo in istanti di tempo discreti. Inoltre, k N, Pr{ x(k+1)=x k+1 | x(k)=x k, x(k-1)= x k-1, …, x(0)=x 0 } = Pr{ x(k+1)=x k+1 | x(k)=x k } [Proprietà di Markov]

3 3 Una CMTD è una tripla C=(X,P(k), (0)) dove: X : insieme degli stati, P(k) : matrice delle probabilità di transizione dello stato allistante k (k N) P(k) = [ p ij (k) ] p ij (k) = Pr{ x(k+1)=x j | x(k)=x i } x i,x j X, k N (0): distribuzione di probabilità assoluta iniziale (vettore riga) (0)=[ i (0), i N ] dove i (0)=Pr{ x(0)=x i }, x i X

4 4 La matrice P(k) soddisfa le seguenti condizioni k N : p ij (k) [0,1], x i,x j X x j X p ij (k) = 1 x i X Ogni matrice che soddisfa tali condizioni viene detta matrice stocastica e gode della seguente proprietà: almeno un autovalore è = 1, tutti gli altri autovalori hanno modulo 1. la somma degli elementi lungo una riga è = 1

5 5 Se la matrice P(k) = cost. allora la CMTD ad essa relativa viene detta omogenea. Esempio: modello meteorologico. x 0 = pioggia, x 1 = sole a = prob. che domani piova se oggi piove b = prob. che domani ci sia il sole se oggi cè il sole

6 6 Ad una CMTD omogenea è possibile associare una rappresentazione grafica data da un grafo orientato e pesato G=(V,A) dove: V = X (ad ogni stato corrisponde un vertice) A X X (insieme degli archi dove il peso del generico arco a = (x i,x j ) è pari a p ij ). Esempio: modello meteorologico. x 0 = pioggia, x 1 = sole x1x1 x0x0 b 1-b a 1-a N.B. La somma dei pesi degli archi uscenti da ciascun vertice deve essere pari a 1.

7 7 Equazioni di evoluzione Sia (k) = [ i (k), i N ] dove i (k) = Pr{ x(k)=x i }, x i X, ossia (k) indica il vettore riga delle probabilità assolute allistante k. Per ogni k > 0 vale la seguente relazione: (k) = (k-1) P(k-1) xjxj j (k)= x i X P ij (k-1) i (k-1) Segue dal fatto che per ogni j: (k) = (0) P(0) P(1) … P(k-1) Equazione di Chapman- Kolmogorov

8 8 Nel caso in cui la CMTD è omogenea: (1) = (0) P (2) = (1) P = (0) P 2 : (k) = (k-1) P = (0) P k Equazione di Chapman- Kolmogorov per CMTD omogenea

9 9 Esempio: si consideri un robot sempre alimentato che prende i pezzi e li mette in un deposito di capacità infinita. I = inattivo, T = in trasferimento, G = guasto. X={I,T,G} TI 1-r- q r 1-p p G1-s q s p: p. che inizi a lavorare, r: p. che concluda la lavoraz.

10 10 (0) = [1 0 0] (1) = (0) P = [1-p p 0] (2) = (1) P = [(1-p) 2 + rp p(1-p) + p(1-r-q) pq] In tal modo posso studiare il transitorio della CMTD.

11 11 Ricordiamo ora le seguenti definizioni: TE T T: componente transitoria o transiente E: componente ergodica o assorbente 3 componenti fortemente connesse

12 12 N.B. Dato un grafo orientato, un sotto- insieme di nodi costituisce una componente fortemente connessa se e solo se ogni nodo è raggiungibile da un qualunque altro nodo seguendo un cammino orientato.

13 13 Definizione: probabilità di transizione ad n passi p ij (k,k+ n) = Pr{ x(k+n)=x j | x(k)=x i }, Se la catena è omogenea, chiaramente tale probabilità non dipende da k, ma solo da n. Notazione: p ij (n) = p ij (k,k+ n)

14 14 Classificazione degli stati di una CMTD Uno stato x j X è detto raggiungibile o accessibile da un altro stato x i X, se è possibile che una sequenza di transizioni di stato porti la CMTD dallo stato x i allo stato x j, ossia se n: p ij (n) > 0. Due stati mutuamente raggiungibili sono detti comunicanti. Se ogni stato in X è comunicante con ciascuno degli altri stati, la CMTD è detta irriducibile. In caso contrario è detta riducibile.

15 15 Tali proprietà sono facilmente verificabili a partire dal grafo associato alla CMTD: uno stato è raggiungibile da un altro in n passi se esiste almeno un cammino orientato dal primo al secondo di lunghezza n; Due stati comunicanti appartengono alla stessa componente fortemente connessa; la CMTD è irriducibile se il grafo ad essa associato è fortemente connesso.

16 16 Per ogni stato x i X la probabilità di ritorno in n passi, ossia la probabilità che il primo ritorno nello stato x i lasciato allistante k avvenga allistante k+ n, è definita come i (n) = Pr{ x(k+1) x i, …, x(k+n-1) x i, x(k+n) = x i | x(k) = x i } La probabilità di ritorno allo stato x i è

17 17 Uno stato x i X è detto: transiente, se i < 1; ricorrente, se i = 1 (il ritorno a x i è certo); ricorrente con periodo d se esiste un d > 1 massimo comune divisore dellinsieme { n>0 | p ii (n) > 0 }; ricorrente aperiodico, se d=1 è il massimo comune divisore dellinsieme { n>0 | p ii (n) > 0 };

18 18 In una CMTD uno stato è: transiente se e solo se appartiene ad una componente transiente; ricorrente se e solo se appartiene ad una componente ergodica. Dallosservazione del grafo, possiamo invece dedurre quanto segue.

19 19 Esempi: Date le seguenti CMTD, vogliamo capire se lo stato ricorrente x 1 è periodico x2x2 x1x1 1 x3x x4x4 1 x2x2 x1x1 1 x3x3 11 { n>0 | p 11 (n) > 0 } = {3, 6, 9, … } 1) MCD=3 --> x 1 è periodico di periodo 3 2) { n>0 | p 11 (n) > 0 } = {3, 6, 9, …, 4, 8, 12, …, 7, 11, … } MCD=1 --> x 1 è aperiodico

20 20 3) 4) { n> 0 | p 11 (n) > 0 } = {2, 4, 6, 8, … } MCD=2 --> x 1 è periodico di periodo 2 x2x2 x1x1 0.3 x3x3 1 x4x { n>0 | p 11 (n) > 0 } = {3, 6, 9, …, 2, 4, 8, …, 5, 7,... } MCD=1 --> x 1 è aperiodico x2x2 x1x1 0.3 x3x3 1 x4x x5x5 1 { n>0 | p 44 (n) > 0 } = {4, 6, 8, 10, … } MCD=2 --> x 4 è periodico di periodo 2

21 21 Interpretazione fisica: Se uno stato ricorrente x i è periodico di periodo d, allora tutte le sequenze che hanno origine da x i e terminano in x i hanno lunghezza multipla del periodo d. Inoltre, qualunque sequenza che abbia origine in x i ma la cui lunghezza non è un multiplo del periodo, certamente non termina in x i. Se invece uno stato ricorrente x i è aperiodico, è possibile che le sequenze che hanno origine in x i e la cui lunghezza è pari ad multiplo intero di una certa costante terminino ancora in x i. Tuttavia tali sequenze non sono le sole che terminano in x i.

22 22 Osservazione: La periodicità di uno stato dipende solo dalla struttura del grafo non dal particolare valore che dei pesi associati agli archi.

23 23 Sia P la matrice delle probabilità di transizione relativa alla sola componente ergodica. Sia = { n | p (n) ii > 0 i }. Se D = MCD { } > 1, la componente ergodica è periodica di periodo D. Se D=1 la componente ergodica è aperiodica. Periodicità di una componente ergodica

24 24 Es. n3 x2x2 x1x1 1 1 = { n | p (n) ii > 0 i } = {2, 4, 6, … } D=2

25 25 Proposizione: Una componente ergodica è periodica se solo se tutti i suoi stati sono periodici. Ciò significa che gli stati di una componente ergodica possono essere o tutti periodici o tutti aperiodici Si può inoltre dimostrare che nel caso in cui tutti gli stati sono periodici, questi hanno lo stesso periodo e tale periodo coincide con il periodo D della componente ergodica.

26 26 Esempio x2x2 x1x x3x3 x4x Tutti gli stati sono periodici di periodo 2 per cui la componente ergodica è anchessa periodica di periodo 2.

27 27 Se una CMTD è irriducibile allora o tutti gli stati sono aperiodici, o tutti gli stati sono periodici con lo stesso periodo. Se in una CMTD lo spazio X è finito, allora almeno uno degli stati è ricorrente (il ritorno ad esso è certo). Come caso particolare di quanto sopra:

28 28 Esempiox1x1 x0x x4x x3x3 x2x2 1 1 x5x5 0.1 La CMTD è riducibile: non tutti gli stati sono comunicanti ossia mutuamente raggiungibili.

29 29 Vi sono 4 componenti fortemente connesse: 3 egodiche ({x 0, x 1 }, {x 2, x 3 }, {x 4 }) e una transiente ({x 5 }). Tutti gli stati sono ricorrenti tranne x 5 che è transiente. Gli stati x 0, x 1 e x 4 sono aperiodici. Gli stati x 2 e x 3 sono periodici di periodo d=2.

30 30 Distribuzione stazionaria Consideriamo ora CMTD omogenee. Una distribuzione di probabilità assoluta s viene detta stazionaria se e solo se sono verificate le seguenti condizioni: Se s è una distribuzione stazionaria, ciò significa che se tale distribuzione viene raggiunta in un dato istante, allora questa rimarrà inalterata in tutti gli istanti successivi.

31 31 Osservazione: Non e detto che una CMTD ammetta distribuzione stazionaria. Non e detto che se esiste una certa distruzione stazionaria questa sia unica.

32 32 Distribuzione limite Una CMTD ha una distribuzione limite se per k, la distribuzione di probabilità assoluta tende ad un vettore costante, ossia Proposizione: Se l è una distribuzione limite, allora essa è anche stazionaria. Dim. (k) = (k-1) P

33 33 Ergodicità Una CMTD è ergodica se e solo se: 1) esiste 2) tale limite è unico e non dipende dalla particolare distribuzione iniziale (0). Se tali condizioni sono verificate, è sufficiente studiare una qualunque realizzazione per capire il comportamento della catena a regime.

34 34 Osservazione: Se una CMTD è ergodica, il calcolo della distribuzione limite si riduce al calcolo di una componente stazionaria (ossia alla risoluzione di un sistema lineare di equazioni di primo grado).

35 35 Esempio n1 x2x2 x1x

36 36 Sia La CMTD è pertanto ergodica. N.B. Se avessimo saputo a priori che il sistema è ergodico, avremmo potuto calcolare la distribuzione limite tenendo conto che in tal caso questa coincide con la distribuzione stazionaria (risolvendo quindi un semplice sistema lineare).

37 37 Osservazione: Il risultato ottenuto era del tutto prevedibile in base alla struttura del grafo. Se infatti lo stato iniziale è x 1 (stato transiente), si potrà per un certo tempo rimanere in tale stato, ma prima o poi si effettuerà la transizione che porta ad x 2. Una volta arrivati ad x 2 (stato assorbente), lo stato non può più cambiare. Se lo stato iniziale è x 2 lo stato x 1 non verrà invece mai raggiunto.

38 38 Esempio n2 x2x2 x1x x3x3 1 se Tale CMTD è quindi non ergodica.

39 39 Osservazioni: Anche in questo caso il risultato ottenuto era del tutto prevedibile in base alla struttura del grafo. È facile verificare che esistono infinite distribuzioni stazionarie

40 40 Esempio n3 x2x2 x1x1 1 1 Quindi, in generale non esiste a meno che non sia La CMTD non è ergodica.

41 41 N.B. In questo caso esiste una sola distribuzione stazionaria Possono pertanto presentarsi tre diverse situazioni: la CMTD è ergodica la CMTD non è ergodica in quanto la distribuzione limite esiste ma dipende dalla particolare distribuzione iniziale la CMTD non è ergodica in quanto la distribuzione limite non esiste (se non per qualche particolare distribuzione iniziale)

42 42 Esistono due diverse tecniche che permettono di studiare lergodicità di una CMTD omogenea. Criterio degli autovalori Teorema: Una CMTD omogenea finita è ergodica se e solo se gli autovalori della matrice P hanno tutti modulo < 1, tranne uno che ha chiaramente modulo unitario (essendo P una matrice stocastica). Es. n1 ergodica

43 43 Es. n2 non ergodica Es. n3 non ergodica

44 44 Criterio grafico x2x2 x1x Es. n1 La condizione necessaria è verificata essendo {x 2 } lunica componente ergodica. Ciò tuttavia non basta per concludere che tale CMTD è ergodica. Teorema: Condizione necessaria affinché una CMTD omogenea finita sia ergodica è che il grafo ad essa associato ammetta ununica componente ergodica.

45 45 Es. n2 x2x2 x1x x3x3 1 La condizione necessaria non è verificata in quanto vi sono due componenti ergodiche ({x 2 } e {x 3 }). Possiamo subito concludere che tale CMTD non è ergodica. x2x2 x1x1 1 1 Es. n3 La condizione necessaria è verificata essendo {x 1, x 2 } una componente ergodica. Non posso però concludere che tale CMTD è ergodica.

46 46 Teorema: Condizione necessaria e sufficiente affinchè una CMTD omogenea finita sia ergodica è che il grafo ad essa associato ammetta ununica componente ergodica e questa sia aperiodica. Es. n1 x2x2 x1x La CMTD è ergodica in quanto {x 2 } è lunica componente ergodica e questa è chiaramente aperiodica.

47 47 Es. n3 x2x2 x1x1 1 1 La CMTD non è ergodica essendo la componente ergodica periodica di periodo 2.

48 48 Processi di nascita morte (CMTD-NM) I processi di nascita morte a tempo discreto sono delle CMTD che godono delle seguenti caratteristiche: gli stati possono solo assumere valori interi: X = {0, 1, 2, 3, … } sono ammesse solo le transizioni che consentono di passare da uno stato ad uno adiacente.

49 b b 1 - d b 2 - d b 3 - d 3 b0b0 b1b1 b2b2 d1d1 d2d2 d3d3 b : birth (nascita) d : death (morte) Lo spazio degli stati rappresenta la popolazione del sistema modellato (ad es. i clienti in una coda, i veicoli in un sistema di trasporto, i messaggi in un sistema di comunicazione, … ).

50 50 In generale b i =b i (k) e d i =d i (k). Se b i e d i sono costanti per ogni k allora il processo è omogeneo (P=cost.). Se b i e d i sono > 0 per ogni i, la CMTD-NM è irriducibile (tutti gli stati sono mutuamente raggiungibili) aperiodica (è costituita da ununica componente ergodica e tale componente è aperiodica: esiste infatti sempre almeno il cappio relativo allo stato 0). Se b i =b e d i =d per ogni i allora il processo è uniforme. In questo caso se b,d > 0, la catena oltre ad essere irriducibile è

51 51 La matrice delle probabilità di transizione ha la seguente struttura: P ha chiaramente dimensione infinita se il numero degli stati è infinito.

52 52 Calcolo della distribuzione stazionaria (nel caso in cui il numero degli stati sia infinito): se il processo è uniforme,

53 53 se questa serie converge, allora la catena è ergodica. Ciò è vero purché sia Questo segue dal fatto che solo in questo caso il processo può stabilizzarsi. N.B.: Se invece il numero di stati è finito il processo uniforme è sempre ergodico a prescindere dal valore di.

54 54 Se la catena è ergodica, allora la distrubuzione limite coincide con quella stazionaria, che risulta definita come segue:

55 55 È interessante calcolare il numero medio di utenti a regime: Posso usare la funzione generatrice di probabilità:

56 56 numero medio di utenti a regime


Scaricare ppt "1 Definizione: CATENA Le catene sono p.s. in cui lo stato è discreto : X={x 1,x 2, … }. Linsieme X può essere sia finito sia infinito numerabile. Il tempo."

Presentazioni simili


Annunci Google