Mengingat dua rantai Markov menyerap, berapa probabilitas bahwa satu akan berakhir sebelum yang lain?

Saya memiliki dua rantai Markov yang berbeda, masing-masing dengan satu negara menyerap dan posisi awal yang diketahui. Saya ingin menentukan probabilitas bahwa rantai 1 akan mencapai kondisi menyerap dalam beberapa langkah lebih sedikit daripada rantai 2.

Saya pikir saya bisa menghitung probabilitas mencapai keadaan menyerap dalam rantai tertentu setelah n langkah: diberi matriks transisi $P$ probabilitas diserap setelah langkah adalah mana adalah keadaan awal dan adalah negara menyerap. $n$ $P^n_{ij}$ $i$ $j$

Saya tidak yakin ke mana harus pergi dari sini. Masalah analog yang pernah saya lihat melibatkan dadu (misalnya, menggulirkan jumlah 7 sebelum jumlah 8), tetapi itu lebih mudah untuk dipecahkan karena kemungkinan menggulirkan jumlah tertentu konstan dan independen dari jumlah langkah yang diambil sejauh ini.

probability markov-chain transition-matrix

— Jeff
sumber

Jalankan rantai secara paralel. Tentukan tiga kondisi menyerap dalam rantai produk yang dihasilkan:

Rantai pertama mencapai kondisi menyerap tetapi yang kedua tidak.
Rantai kedua mencapai kondisi menyerap tetapi yang pertama tidak.
Kedua rantai secara bersamaan mencapai kondisi menyerap.

Probabilitas yang membatasi dari ketiga kondisi ini dalam rantai produk memberikan peluang menarik.

Solusi ini melibatkan beberapa konstruksi (sederhana). Seperti dalam pertanyaan, biarkan menjadi matriks transisi untuk rantai . Saat rantai dalam status , $\mathbb{P} = P_{ij}, 1 \le i,j\le n$ $\mathcal P$ $i$ memberikan probabilitas transisi ke keadaan . Keadaanmenyerapmembuat transisi ke dirinya sendiri dengan probabilitas . $P_{ij}$ $j$ $1$

Keadaan apa pun yang dapat lakukan ketika mengganti baris dengan vektor indikator dengan pada posisi . $i$ $\mathbb{P}_{i} = (P_{ij}, j=1, 2, \ldots,n)$ $(0,0,\ldots,0,1,0,\ldots,0)$ $1$ $i$
Setiap set menyerap negara dapat digabungkan dengan menciptakan sebuah rantai baru yang negara adalah $A$ $\mathcal{P}/A$ . Matriks transisi diberikan oleh $\{i\,|\, i\notin A\}\cup \{A\}$

$(P / A)_{i j} = \begin{array}{ll} {\begin{cases} P_{i j} & i \notin A, j \notin A \\ \sum_{k \in A} P_{i k} & i \notin A, j = A \\ 0 & i = A, j \notin A \\ 1 & i = j = A . \end{cases} \end{array}$ $(\mathbb{P}/A)_{ij} = \begin{array}{ll} \left\{ \begin{array}{ll} P_{ij} & i \notin A,\, j \notin A\\ \sum_{k\in A} P_{ik} & i\notin A, j=A \\ 0 & i=A, j\notin A \\ 1 & i = j = A. \end{array}\right. \end{array}$
Ini sama dengan menjumlahkan kolom sesuai dengan dan mengganti baris yang sesuai dengan dengan satu baris yang membuat transisi ke dirinya sendiri. $\mathbb{P}$ $A$ $A$
The produk dari dua rantai pada negara-negara dan pada negara-negara , dengan transisi matriks dan , masing-masing, adalah rantai Markov pada negara-negara $\mathcal{P}$ $S_P$ $\mathcal{Q}$ $S_Q$ $\mathbb{P}$ $\mathbb{Q}$ dengan matriks transisi $S_P\times S_Q = \{(p,q)\,|\, p\in S_P, q\in S_Q\}$

$(P \otimes Q)_{(i, j), (k, l)} = P_{i k} Q_{j l} .$ $(\mathbb{P} \otimes \mathbb{Q})_{(i,j),(k,l)} = P_{ik}Q_{jl}.$
Akibatnya, rantai produk menjalankan dua rantai secara paralel, secara terpisah melacak di mana masing-masing, dan membuat transisi secara mandiri.

Contoh sederhana dapat memperjelas konstruksi ini. Misalkan Polly adalah membalik koin dengan kesempatan kepala mendarat. Dia berencana untuk melakukannya sampai mengamati kepala. Status untuk proses membalik koin adalah mewakili hasil flip terbaru: untuk ekor, untuk kepala. Dengan berencana berhenti di kepala, Polly akan menerapkan konstruksi pertama dengan menjadikan sebagai negara penyerap. Matriks transisi yang dihasilkan adalah $p$ $S_P = \{\text{T},\text{H}\}$ $\text{T}$ $\text{H}$ $\text H$

P = (\begin{matrix} 1 - p & p \\ 0 & 1 \end{matrix}) .

$\mathbb{P} = \pmatrix{1-p & p \\ 0 & 1}.$

Itu dimulai dalam keadaan acak diberikan oleh lemparan pertama. $(1-p,p)$

Seiring dengan Polly, Quincy akan melemparkan koin yang adil. Dia berencana untuk berhenti begitu dia melihat dua kepala berturut-turut. Rantai Markov-nya harus melacak hasil sebelumnya serta hasil saat ini. Ada empat kombinasi dua kepala dan dua ekor, yang saya akan menyingkat " ", misalnya, di mana huruf pertama adalah hasil sebelumnya dan huruf kedua adalah hasil saat ini . Quincy menerapkan konstruksi (1) untuk menjadikan sebagai negara penyerap. Setelah melakukan itu, ia menyadari bahwa ia tidak benar-benar membutuhkan empat keadaan: ia dapat menyederhanakan rantai ke tiga keadaan: berarti hasil saat ini adalah ekor, berarti hasil saat ini adalah kepala, dan $\text{TH}$ $\text{HH}$ $\text{T}$ $\text{H}$ $\text{X}$ berarti dua hasil terakhir sama-sama kepala - ini adalah negara menyerap. Matriks transisi adalah

Q = (\begin{matrix} \frac{1}{2} & \frac{1}{2} & 0 \\ \frac{1}{2} & 0 & \frac{1}{2} \\ 0 & 0 & 1 \end{matrix}) .

$\mathbb{Q} = \pmatrix{\frac{1}{2} & \frac{1}{2} & 0 \\ \frac{1}{2} & 0 & \frac{1}{2} \\ 0 & 0 & 1}.$

Rantai produk berjalan di enam negara: . Matriks transisi adalah produk tensor dari dan dan dengan mudah dihitung. Misalnya, $(T,T), (T,H), (T,X); (H,T), (H,H), (H,X)$ $\mathbb{P}$ $\mathbb{Q}$ adalah kesempatan yang Polly membuat transisi darikedan, pada saat yang sama (dan mandiri), Quincy membuat transisi darike. Mantan memiliki kesempatandan kesempatan kedua. Karena rantai dijalankan secara independen, peluang itu berlipat ganda, memberi. Matriks transisi penuh adalah $(\mathbb{P}\otimes\mathbb{Q})_{(T,T),(T,H)}$ $\text T$ $\text T$ $\text T$ $\text H$ $1-p$ $1/2$ $(1-p)/2$

P \otimes Q = (\begin{matrix} \frac{1 - p}{2} & \frac{1 - p}{2} & 0 & \frac{p}{2} & \frac{p}{2} & 0 \\ \frac{1 - p}{2} & 0 & \frac{1 - p}{2} & \frac{p}{2} & 0 & \frac{p}{2} \\ 0 & 0 & 1 - p & 0 & 0 & p \\ 0 & 0 & 0 & \frac{1}{2} & \frac{1}{2} & 0 \\ 0 & 0 & 0 & \frac{1}{2} & 0 & \frac{1}{2} \\ 0 & 0 & 0 & 0 & 0 & 1 \end{matrix}) .

$\mathbb{P}\otimes\mathbb{Q} = \pmatrix{ \frac{1-p}{2} & \frac{1-p}{2} & 0 & \frac{p}{2} & \frac{p}{2} & 0 \\ \frac{1-p}{2} & 0 & \frac{1-p}{2} & \frac{p}{2} & 0 & \frac{p}{2} \\ 0 & 0 & 1-p & 0 & 0 & p \\ 0 & 0 & 0 & \frac{1}{2} & \frac{1}{2} & 0 \\ 0 & 0 & 0 & \frac{1}{2} & 0 & \frac{1}{2} \\ 0 & 0 & 0 & 0 & 0 & 1 }.$

Itu dalam bentuk matriks blok dengan blok yang sesuai dengan matriks kedua : $\mathbb Q$

P \otimes Q = (\begin{matrix} P_{11} Q & P_{12} Q \\ P_{21} Q & P_{22} Q \end{matrix}) = (\begin{matrix} (1 - p) Q & p Q \\ 0 & Q \end{matrix}) .

$\mathbb{P}\otimes\mathbb{Q} = \pmatrix{ P_{11}\mathbb Q & P_{12}\mathbb Q \\ P_{21}\mathbb Q & P_{22}\mathbb Q } = \pmatrix{ (1-p)\mathbb Q & p\mathbb Q \\ \mathbb 0 & \mathbb Q }.$

Polly dan Quincy bersaing untuk melihat siapa yang akan mencapai tujuan mereka terlebih dahulu. Pemenang akan Polly setiap kali transisi pertama kali dilakukan ke mana tidak ; pemenangnya adalah Quincy setiap kali transisi pertama kali dilakukan ke ; dan jika sebelum salah satu dari itu bisa terjadi transisi dibuat ke , hasilnya akan menjadi seri. Untuk melacak, kami akan membuat status dan $(\text{H},\text{*})$ $\text{*}$ $\text X$ $(\text{T},\text{X})$ $(\text{H},\text{X})$ $(\text{H},\text{T})$ $(\text{H},\text{H})$ keduanya menyerap (melalui konstruksi (1)) dan kemudian menggabungkannya (melalui konstruksi (2)). Matriks transisi yang dihasilkan, diurutkan oleh state adalah $(T,T), (T,H), (T,X), \{(H,T), (H,H)\}, (H,X)$

R = (\begin{matrix} \frac{1 - p}{2} & \frac{1 - p}{2} & 0 & p & 0 \\ \frac{1 - p}{2} & 0 & \frac{1 - p}{2} & \frac{p}{2} & \frac{p}{2} \\ 0 & 0 & 1 & 0 & 0 \\ 0 & 0 & 0 & 1 & 0 \\ 0 & 0 & 0 & 0 & 1 \end{matrix}) .

$\mathbb{R} = \pmatrix{ \frac{1-p}{2} & \frac{1-p}{2} & 0 & p & 0 \\ \frac{1-p}{2} & 0 & \frac{1-p}{2} & \frac{p}{2} & \frac{p}{2} \\ 0 & 0 & 1 & 0 & 0 \\ 0 & 0 & 0 & 1 & 0 \\ 0 & 0 & 0 & 0 & 1 }.$

$(T,T), (T,H), (T,X), \{(H,T), (H,H)\}, (H,X)$ $\mu = ((1-p)/2, (1-p)/2, 0, p, 0)$

$n\to \infty$

μ \cdot R^{n} \to \frac{1}{1 + 4 p - p^{2}} (0, 0, (1 - p)^{2}, p (5 - p), p (1 - p)) .

$\mu \cdot \mathbb{R}^n \to \frac{1}{1+4p-p^2}(0, 0, (1-p)^2, p(5-p), p(1-p)).$

$(T,X), \{(H,T), (H,H)\}, (H,X)$ $(1-p)^2:p(5-p):p(1-p)$

Angka

$p$

— whuber
sumber

Contoh yang sangat rapi, terima kasih untuk ini. Saya masih mengerjakan detail untuk melihatnya sendiri. Hanya sebuah pertanyaan: di sini kita mengasumsikan dua peristiwa (lemparan Polly dan Quincy) terjadi secara bersamaan, berapa banyak perbedaan yang akan terjadi jika kita membuatnya secara berurutan, atau bahkan memilih secara acak setiap kali siapa yang akan melempar berikutnya?

— user929304

@ user929304 Anda akan mendapatkan jawaban yang berbeda, mungkin secara substansial demikian. Sebagai contoh, misalkan P dan Q menjalankan rantai di mana negara-negara dipartisi menjadi himpunan bagian A dan B di mana semua transisi dari A pergi ke B dan semua dari B pergi ke A. Biarkan P dan Q keduanya dimulai pada negara di A. In rantai produk mereka berdua secara bersamaan bergantian antara A dan B, tetapi rantai pilihan berurutan dan acak mematahkan pola invarian tersebut.

— whuber