Bagaimana Anda melihat rantai Markov tidak dapat direduksi?

12

Saya mengalami kesulitan memahami properti rantai Markov tidak dapat direduksi .

Dapat direduksi dikatakan berarti bahwa proses stokastik dapat "pergi dari negara bagian ke negara bagian".

Tetapi apa yang menentukan apakah ia dapat beralih dari status ke status , atau tidak bisa? $i$ $j$

The halaman wikipedia memberikan formalisasi:

Negara adalah diakses (ditulis ) dari negara , jika ada bilangan bulat st $j$ $i\rightarrow j$ $i$ $n_{ij}>0$

P (X_{n_{i j}} = j | X_{0} = i) = p_{i j}^{(n_{i j})} > 0

$P(X_{n_{ij}}=j\space |\space X_0=i)=p_{ij}^{(n_{ij})} >0$

maka komunikasi adalah jika dan . $i\rightarrow j$ $j \rightarrow i$

Dari irreducibilitas ini mengikuti entah bagaimana.

stochastic-processes markov-process

— mavavilj
sumber

Apa intuisi tentang "aksesibilitas"? Saya tidak mengerti mengapa memiliki probabilitas bersyarat membuat sesuatu "dapat diakses"?

— mavavilj

Anda mungkin melihat dari titik tidak dapat diaksesnya . Negara dikatakan tidak dapat diakses dari jika tidak ada kesempatan untuk sampai ke sana dari , yaitu untuk sejumlah langkah probabilitas kejadian ini tetap . Untuk membuat definisi aksesibilitas, seseorang harus mengganti kuantor, yaitu ke exist dan ke (yang sama dengan , karena probabilitasnya positif).

j

$j$

i

$i$

i

$i$

n

$n$

0

$0$

\forall

$\forall$

\exists

$\exists$

= 0

$=0$

\neq 0

$\neq 0$

> 0

$>0$

— nmerci

12

Berikut adalah tiga contoh untuk matriks transisi, dua yang pertama untuk kasus yang dapat direduksi, yang terakhir untuk yang tidak dapat direduksi.

\begin{array}{rcl} P_{1} & = & (\begin{array}{cccc} 0.5 & 0.5 & 0 & 0 \\ 0.9 & 0.1 & 0 & 0 \\ 0 & 0 & 0.2 & 0.8 \\ 0 & 0 & 0.7 & 0.3 \end{array}) \\ P_{2} & = & (\begin{array}{cccc} 0.1 & 0.1 & 0.4 & 0.4 \\ 0.5 & 0.1 & 0.1 & 0.3 \\ 0.2 & 0.4 & 0.2 & 0.2 \\ 0 & 0 & 0 & 1 \end{array}) \end{array}

$\begin{eqnarray*} P_1 &=& \left( \begin{array}{cccc} 0.5 & 0.5 & 0 & 0 \\ 0.9 & 0.1 & 0 & 0 \\ 0 & 0 & 0.2 & 0.8 \\ 0 & 0 & 0.7 & 0.3 \end{array} \right) \\\\ P_2 &=& \left( \begin{array}{cccc} 0.1 & 0.1 & 0.4 & 0.4 \\ 0.5 & 0.1 & 0.1 & 0.3 \\ 0.2 & 0.4 & 0.2 & 0.2 \\ 0 & 0 & 0 & 1% \end{array} \right) \end{eqnarray*}$ Untuk , ketika Anda berada dalam keadaan 3 atau 4, Anda akan tinggal di sana, dan sama untuk negara 1 dan 2. Tidak ada cara untuk pergi dari negara 1 ke negara 3 atau 4, misalnya.

P_{1}

$P_1$

Untuk , Anda bisa masuk ke negara bagian mana pun dari negara bagian 1 hingga 3, tetapi begitu Anda berada di negara bagian 4, Anda akan tetap di sana. Untuk ini Misalnya, Anda dapat memulai di negara bagian mana saja dan masih dapat mencapai negara bagian lain, meskipun tidak harus dalam satu langkah. $P_2$

P_{3} = (\begin{array}{cccccc} 0.5 & 0.5 & 0 & 0 & 0 & 0 \\ 0.9 & 0 & 0 & 0 & 0 & 0.1 \\ 0 & 0 & 0 & 0.8 & 0 & 0.2 \\ 0.7 & 0 & 0.1 & 0 & 0.2 & 0 \\ 0 & 0 & 0 & 0.1 & 0.9 & 0 \\ 0.9 & 0 & 0 & 0 & 0.1 & 0 \end{array})

$P_3=\left( \begin{array}{cccccc} 0.5 & 0.5 & 0 & 0 & 0 & 0 \\ 0.9 & 0 & 0 & 0 & 0 & 0.1 \\ 0 & 0 & 0 & 0.8 & 0 & 0.2 \\ 0.7 & 0 & 0.1 & 0 & 0.2 & 0 \\ 0 & 0 & 0 & 0.1 & 0.9 & 0 \\ 0.9 & 0 & 0 & 0 & 0.1 & 0% \end{array} \right)$

— Christoph Hanck
sumber

5

Keadaan dikatakan dapat diakses dari keadaan (biasanya dilambangkan dengan ) jika ada beberapa sedemikian rupa sehingga: Itu adalah, seseorang dapat pergi dari keadaan ke keadaan dalam langkah dengan probabilitas $j$ $i$ $i \to j$ $n\geq 0$

p_{i j}^{n} = P (X_{n} = j ∣ X_{0} = i) > 0

$p^n_{ij}=\mathbb P(X_n=j\mid X_0=i) > 0$

.

i

$i$

j

$j$

n

$n$

p_{i j}^{n}

$p^n_{ij}$

$i\to j$ $j\to i$ $i$ $j$ $i\leftrightarrow j$

— nmerci
sumber

n

$n$

p_{i j}^{n}

$p_{ij}^n$

P = (p_{i j})

$\mathbf P=(p_{ij})$

p_{i j}^{n}

$p_{ij}^n$

i j

$ij$

P^{n}

$\mathbf P^n$

n

$n$

2

$i$ $j$ $i$ $j$ $\cdots$ $j$ $i$

$i\rightarrow j$ $j$ $i$ $m>0$ $p_{ij}^{(m)}>0$

$j\rightarrow i$ $n>0$ $p_{ji}^{(n)}>0$

$i\rightarrow j$ $j\rightarrow i$ $i$ $j$ $i \leftrightarrow j$ $m>0,\;\; n>0$ $p_{ij}^{(m)}>0$ $p_{ji}^{(n)}>0$

Jika semua negara bagian dalam Rantai Markov termasuk dalam satu kelas komunikasi tertutup , maka rantai tersebut disebut rantai Markov yang tidak dapat direduksi . Irreducibility adalah properti rantai.

Dalam Rantai Markov yang tidak dapat direduksi, prosesnya dapat berpindah dari negara bagian mana saja ke negara bagian mana pun, berapa pun jumlah langkah yang diperlukan.

— LVRao
sumber

1

Beberapa jawaban yang ada tampaknya salah bagi saya.

Seperti dikutip dalam Proses Stochastic oleh J. Medhi (halaman 79, edisi 4), rantai Markov tidak dapat direduksi jika tidak mengandung subset 'tertutup' yang tepat selain ruang negara.

Jadi jika dalam matriks probabilitas transisi Anda, ada subset negara sehingga Anda tidak bisa 'mencapai' (atau mengakses) negara lain selain dari negara-negara tersebut, maka rantai Markov dapat direduksi. Kalau tidak, rantai Markov tidak dapat direduksi.

— Kosmik
sumber

-1

Pertama, kata peringatan: jangan pernah melihat matriks kecuali Anda memiliki alasan serius untuk melakukannya: satu-satunya yang dapat saya pikirkan adalah memeriksa angka yang salah ketik, atau membaca di buku teks.

$P$ $\exp(P)$ $P$ $P^n$ $n$

Irreducibility artinya: Anda dapat beralih dari negara mana saja ke negara lain dalam jumlah langkah terbatas.

$P_3$

— titus
sumber

1

i

$i$

j

$j$

1

Anda benar-benar perlu bertanya pada guru Anda. Dia tidak akan memakanmu, kau tahu.

— titus

e^{P_{i j}}

$e^{P_{ij}}$

Saya mengacu pada matriks eksponensial

— titus