La presentazione è in caricamento. Aspetta per favore

La presentazione è in caricamento. Aspetta per favore

1 6. Catene di Markov a tempo continuo (CMTC) Definizione Una CMTC è un processo stocastico definito come segue: lo spazio di stato è discreto: X={x 1,x.

Presentazioni simili


Presentazione sul tema: "1 6. Catene di Markov a tempo continuo (CMTC) Definizione Una CMTC è un processo stocastico definito come segue: lo spazio di stato è discreto: X={x 1,x."— Transcript della presentazione:

1 1 6. Catene di Markov a tempo continuo (CMTC) Definizione Una CMTC è un processo stocastico definito come segue: lo spazio di stato è discreto: X={x 1,x 2, … }. L insieme X può essere sia finito sia infinito numerabile. L insieme dei tempi è continuo. È un processo markoviano.

2 2 La differenza essenziale tra una CMTD e una CMTC sta quindi nel fatto che in una CMTC una transizione di stato può avvenire in un qualunque istante di tempo t, mentre in una CMTD una transizione può verificarsi solo in istanti di tempo discreti. La proprietà di markovianeità implica che è uguale alla probabilità condizionata con tutti gli istanti precedenti.

3 3 Levoluzione dinamica di una CMTC è regolata dalle funzioni di transizione. La generica funzione di transizione è definita come la probabilità di transizione da uno stato x i allistante t 1 ad uno stato x j allistante t 2 : Chiaramente

4 4 Definiamo la matrice delle probabilità di transizione: Definiamo inoltre il vettore delle probabilità assolute allistante t:

5 5 Problema: esistono infinite matrici delle probabilità di transizione (una per ogni coppia t 1 e t 2 o equivalentemente per ogni coppia t e t). Lequazione che regola levoluzione dinamica della CMTC è: Segue dal fatto che per ogni j:

6 6 Definiamo ora la matrice delle frequenze (o tassi) di transizione: Per definizione, il generico elemento q ij (t) della matrice Q(t) rappresenta la frequenza di transizione dallo stato x i allistante t allo stato x j in un istante di tempo infinitamente vicino (t+ dt). Infatti, dalla relazione sopra segue che

7 7 Per quanto riguarda il generico elemento q ii lungo la diagonale, osserviamo invece che

8 8 La matrice Q(t) soddisfa quindi le seguenti proprietà: Q(t) ha sempre un autovalore = 0 e tutti gli altri hanno parte reale 0. La somma degli elementi di ciascuna riga è = 0.

9 9 Lo studio delle CMTC si semplifica notevolmente nel caso in cui il processo sia tempo-invariante. In questo caso la CMTC viene detta omogenea e P(t,t+ t) P( t) ossia la matrice delle probabilità di transizione dipende dalla sola differenza t, e Q(t) Q ossia la matrice delle frequenze di transizione è costante.

10 10 Una CMTC viene pertanto definita come una tripla C=(X,Q(t), (0)) dove: X : insieme degli stati, Q(t) : matrice delle frequenze di transizione allistante t (t 0) (0) : distribuzione di probabilità assoluta iniziale (vettore riga) N.B. Nel seguito ci limiteremo a considerare CMTC omogenee.

11 11 Esempio: Una macchina può trovarsi in due stati: funzionante o guasta. La frequenza con cui la macchina si guasta è pari a 0.01 giorni -1. La frequenza con cui viene riparata è invece pari a 1 giorni -1. X={x 1,x 2 } x 1 = funzionante, x 2 = guasta CMTC omogenea

12 12 Ad una CMTC omogenea è possibile associare una rappresentazione grafica data da un grafo orientato e pesato G=(V,A) dove: V = X (ad ogni stato corrisponde un vertice) A X X insieme degli archi dove: il peso del generico arco a = (x i,x j ) è pari a q ij ; non esistono archi da x i ad x i (cappi) Esempio precedente: x1x1 x2x x 1 = funzionante, x 2 = guasta

13 13 Equazione di evoluzione (di Chapman-Kolmogorov)

14 14 che in forma matriciale diventa: Equazione di Chapman-Kolmogorov (per CMTC omogenee)

15 15 Questa equazione è lanalogo di per le CMTD. Osservazione: lequazione di Chapman-Kolmogorov non è sempre di agevole risoluzione (in particolare per sistemi di ordine elevato) e questo rende difficile lo studio del transitorio. Soluzione analitica:

16 16 Un approccio utile per la risoluzione delleq. ne di C.K. può essere quello di ricorrere alle trasformate di Laplace. Date le condizioni iniziali (0) e indicata con (s) la trasformata di Laplace di (t): (t) = L -1 { (s) }

17 17 Esempio:x1x1 x2x

18 18

19 19 Distribuzione stazionaria Una distribuzione di probabilità assoluta s viene detta stazionaria se e solo se sono verificate le seguenti condizioni: Se s è una distribuzione stazionaria, ciò significa che se tale distribuzione viene raggiunta in un dato istante, allora questa rimarrà inalterata in tutti gli istanti successivi.

20 20 Distribuzione limite Una CMTC ha una distribuzione limite se per t, la distribuzione di probabilità assoluta tende ad un vettore costante, ossia Chiaramente anche per le CMTC vale la seguente proprietà

21 21 Proposizione: Se l è una distribuzione limite, allora essa è anche stazionaria. (la dimostrazione è del tutto analoga a quella vista per le CMTD)

22 22 Ergodicità Una CMTC è ergodica se e solo se: 1) esiste 2) tale limite è unico e non dipende dalla particolare distribuzione iniziale (0). Esistono due diverse tecniche che permettono di studiare lergodicità di una CMTC omogenea. Criterio degli autovalori Criterio grafico

23 23 Criterio degli autovalori Teorema: Una CMTC omogenea è ergodica se e solo se gli autovalori della matrice Q hanno tutti parte reale < 0, tranne uno che chiaramente è = 0. Criterio grafico Teorema: Una CMTC omogenea è ergodica se e solo se il grafo ad essa associato ammette ununica componente ergodica.

24 24 Esempio: x1x1 x2x La catena è ergodica. Criterio degli autovalori: Criterio grafico: Il grafo presenta ununica componente ergodica.

25 25 La distribuzione limite può essere agevolmente calcolata tenendo conto che, essendo la catena ergodica, questa coincide con la distribuzione stazionaria. N.B. Non è stato detto nulla a proposito della classificazione degli stati in quanto è possibile ripetere esattamente le stesse definizioni viste nel caso di CMTD (tranne naturalmente che per le definizioni relative alla periodicità).

26 26 Processi di nascita morte (CMTC-NM) I processi di nascita morte a tempo continuo sono delle CMTC che godono delle seguenti caratteristiche: gli stati possono solo assumere valori interi: X = {0, 1, 2, 3, … } sono ammesse solo le transizioni che consentono di passare da uno stato ad uno adiacente.

27 i : tasso di nascita dallo stato i i : tasso di morte dallo stato i Anche nel caso delle CMTC-NM lo spazio degli stati rappresenta la popolazione del sistema modellato (ad es. i clienti in una coda, i veicoli in un sistema di trasporto, i messaggi in un sistema di comunicazione, … ).

28 28 In generale i = i (t) e i = i (t). Se i e i sono costanti al variare di t allora il processo è omogeneo (Q=cost.). Se i = e i = per ogni i allora il processo è anche uniforme. Se i e i sono > 0 per ogni i, la CMTC-NM è irriducibile in quanto tutti gli stati sono mutuamente raggiungibili.

29 29 La matrice delle frequenze di transizione ha la seguente struttura: Q ha chiaramente dimensione infinita se il numero degli stati è infinito.

30 30 Calcolo della distribuzione stazionaria (nel caso in cui il numero degli stati sia infinito):

31 31 Il 1° membro di unequazione è = al 2° di quella precedente.

32 32 se il processo è uniforme, definiamo se questa serie converge, allora la catena è ergodica. Ciò è vero purché sia

33 33 Se la catena è ergodica, allora la distrubuzione limite coincide con quella stazionaria, che risulta definita come segue: numero medio di utenti a regime Questo significa che anche nel caso delle CMTC- NM ergodiche :


Scaricare ppt "1 6. Catene di Markov a tempo continuo (CMTC) Definizione Una CMTC è un processo stocastico definito come segue: lo spazio di stato è discreto: X={x 1,x."

Presentazioni simili


Annunci Google