Nilai Worm dan Apple yang Diharapkan

Sebuah apel terletak di titik dari pentagon , dan cacing terletak dua simpul jauh, di . Setiap hari cacing merangkak dengan probabilitas yang sama dengan salah satu dari dua simpul yang berdekatan. Jadi setelah satu hari cacing berada di vertex atau , masing-masing dengan probabilitas . Setelah dua hari, worm mungkin kembali ke lagi, karena tidak memiliki memori dari posisi sebelumnya. Ketika mencapai titik , ia berhenti untuk makan.A B C D E C B D 1 / 2 C $A$$ABCDE$$C$$B$$D$$1/2$$C$$A$

(a) Apa arti dari jumlah hari sampai makan malam?

(B) Misalkan p menjadi probabilitas bahwa jumlah hari adalah atau lebih. Apa yang dikatakan Markov tentang Ketimpangan tentang ?$100$$p$

Untuk (a), misalkan adalah variabel acak yang ditentukan oleh jumlah hari sampai makan malam. Jadi P (X = 0) = 0 \\ P (X = 1) = 0 \\ P (X = 2) = \ frac {1} {\ binom {5} {2}} \\ \ vdots$X$

$$P(X = 0) = 0 \\ P(X=1) = 0 \\ P(X=2) = \frac{1}{\binom{5}{2}} \\ \vdots$$

Apa yang akan menjadi distribusi umum?

Untuk (b), jika kita tahu (a), maka kita tahu bahwa

$$P(X \geq 100) \leq \frac{E(X)}{100}$$

Dalam jawaban yang sangat baik dari Glen_b , ia menunjukkan bahwa Anda dapat menghitung nilai yang diharapkan secara analitis menggunakan sistem persamaan linear sederhana. Dengan mengikuti metode analitik ini, Anda dapat menentukan bahwa jumlah gerakan yang diharapkan ke apel adalah enam. Jawaban sempurna lainnya oleh whuber menunjukkan bagaimana memperoleh fungsi massa probabilitas untuk proses setelah sejumlah gerakan tertentu, dan metode ini juga dapat digunakan untuk mendapatkan solusi analitik untuk nilai yang diharapkan. Jika Anda ingin melihat beberapa wawasan lebih lanjut tentang masalah ini, Anda harus membaca beberapa makalah tentang jalan acak melingkar (lihat misalnya, Stephens 1963 )

Untuk memberikan pandangan alternatif tentang masalah, saya akan menunjukkan kepada Anda bagaimana Anda bisa mendapatkan hasil yang sama menggunakan metode brute force dengan hanya menghitung rantai Markov menggunakan komputasi statistik. Metode ini lebih rendah daripada pemeriksaan analitis dalam banyak hal, tetapi memiliki keunggulan yang memungkinkan Anda untuk menangani masalah tanpa memerlukan wawasan matematika utama.

---

Metode komputasi brute force: Mengambil status dalam urutan , transisi rantai Markov Anda sesuai dengan matriks transisi berikut:$A,B,C,D,E$

$$\mathbf{P} = \begin{bmatrix} 1 & 0 & 0 & 0 & 0 \\[6pt] \tfrac{1}{2} & 0 & \tfrac{1}{2} & 0 & 0 \\[6pt] 0 & \tfrac{1}{2} & 0 & \tfrac{1}{2} & 0 \\[6pt] 0 & 0 & \tfrac{1}{2} & 0 & \tfrac{1}{2} \\[6pt] \tfrac{1}{2} & 0 & 0 & \tfrac{1}{2} & 0 \\[6pt] \end{bmatrix}$$

Keadaan pertama adalah keadaan menyerap mana cacing berada di apel. Biarkan menjadi jumlah bergerak sampai cacing sampai ke apel dari negara . Maka untuk semua probabilitas bahwa worm ada di apel setelah jumlah gerakan ini adalah dan jumlah gerakan yang diharapkan untuk mendapatkan apel dari kondisi ini adalah:$A$$T_C$$C$$n \in \mathbb{N}$$\mathbb{P}(T_C \leqslant n) = \{ \mathbf{P}^n \}_{C,A}$

$$\mathbb{E}(T_C) = \sum_{n=0}^\infty \mathbb{P}(T_C > n) = \sum_{n=0}^\infty (1-\{ \mathbf{P}^n \}_{C,A}).$$

Istilah dalam jumlah berkurang secara eksponensial untuk besar sehingga kita dapat menghitung nilai yang diharapkan untuk tingkat akurasi yang diinginkan dengan memotong jumlah pada jumlah istilah yang terbatas. (Peluruhan eksponensial dari ketentuan memastikan bahwa kami dapat membatasi ukuran ketentuan yang dihapus agar berada di bawah level yang diinginkan.) Dalam praktiknya, mudah untuk mengambil sejumlah besar istilah hingga ukuran istilah yang tersisa sangat kecil.$n$

---

Memprogram ini dalam R: Anda dapat memprogram ini sebagai fungsi dalam Rmenggunakan kode di bawah ini. Kode ini telah di-vektor-kan untuk menghasilkan array kekuatan matriks transisi untuk urutan gerakan yang terbatas. Kami juga menghasilkan sebidang probabilitas bahwa apel belum tercapai, menunjukkan bahwa ini menurun secara eksponensial.

#Create function to give n-step transition matrix for n = 1,...,N
#N is the last value of n
PROB <- function(N) { P <- matrix(c(1, 0, 0, 0, 0, 
                                    1/2, 0, 1/2, 0, 0, 
                                    0, 1/2, 0, 1/2, 0,
                                    0, 0, 1/2, 0, 1/2,
                                    1/2, 0, 0, 1/2, 0),
                                  nrow = 5, ncol = 5, 
                                  byrow = TRUE);
                      PPP <- array(0, dim = c(5,5,N));
                      PPP[,,1] <- P;
                      for (n in 2:N) { PPP[,,n] <- PPP[,,n-1] %*% P; } 
                      PPP }

#Calculate probabilities of reaching apple for n = 1,...,100
N  <- 100;
DF <- data.frame(Probability = PROB(N)[3,1,], Moves = 1:N);

#Plot probability of not having reached apple
library(ggplot2);
FIGURE <- ggplot(DF, aes(x = Moves, y = 1-Probability)) +
          geom_point() +
          scale_y_log10(breaks = scales::trans_breaks("log10", function(x) 10^x),
                        labels = scales::trans_format("log10", 
                                 scales::math_format(10^.x))) +
          ggtitle('Probability that worm has not reached apple') +
          xlab('Number of Moves') + ylab('Probability');
FIGURE;

#Calculate expected number of moves to get to apple
#Calculation truncates the infinite sum at N = 100
#We add one to represent the term for n = 0
EXP <- 1 + sum(1-DF$Probability);
EXP;

[1] 6

Seperti yang dapat Anda lihat dari perhitungan ini, jumlah gerakan yang diharapkan untuk mencapai apel adalah enam. Perhitungan ini sangat cepat menggunakan kode vektor di atas untuk rantai Markov.

Hanya ingin mengilustrasikan cara sederhana untuk melihat bagian (a) tanpa melalui semua rantai rutin Markov. Ada dua kelas negara yang perlu dikhawatirkan: menjadi satu langkah dan dua langkah lagi (C dan D identik dalam hal langkah yang diharapkan hingga mencapai A, dan B dan E identik). Biarkan " " mewakili jumlah langkah yang diambil dari vertex dan seterusnya.$S_B$$B$

$E(S_C) = 1+\frac12[E(S_B)+E(S_D)] = 1+ \frac12[E(S_B)+E(S_C)]$

Demikian pula menulis persamaan untuk ekspektasi untuk .$E(S_B)$

Gantikan yang kedua menjadi yang pertama (dan untuk kenyamanan tuliskan untuk ) dan Anda mendapatkan solusi untuk dalam beberapa baris.E ( S C ) $c$$E(S_C)$$c$

Masalah

Rantai Markov ini memiliki tiga status, dibedakan dengan apakah cacing berjarak atau spasi dari Misalkan menjadi variabel acak yang memberikan berapa langkah cacing akan dilakukan untuk mencapai dari keadaan Mereka fungsi pembangkit probabilitas adalah cara aljabar nyaman untuk mengkodekan probabilitas variabel-variabel ini. Hal ini tidak perlu khawatir tentang isu-isu analitik seperti konvergensi: hanya melihat mereka sebagai seri kekuasaan formal di simbol diberikan oleh$0,$ $1,$$2$$C.$$X_i$$C$$i\in\{0,1,2\}.$$t$

$$f_i(t) = \Pr(X_i=0) + \Pr(X_i=1)t^1 + \Pr(X_i=2)t^2 + \cdots + \Pr(X_i=n)t^n + \cdots$$

Karena itu sepele bahwa Kita perlu menemukan$\Pr(X_0=0)=1,$$f_0(t)=1.$$f_2.$

Analisis dan solusi

Dari negara worm memiliki kesempatan yang sama dari pindah kembali ke keadaan atau mencapai . Akuntansi untuk mengambil satu langkah ini menambahkan ke semua kekuatan , sama dengan mengalikan pgf dengan , memberi$1,$$1/2$$2$$C$$1$$t$$t$

$$f_1 = \frac{1}{2}t\left(f_2 + f_0\right).$$

Demikian pula, dari kondisi cacing memiliki peluang yang sama untuk tetap dalam kondisi atau mencapai kondisi mana$2$$2$$1,$

$$f_2 = \frac{1}{2}t\left(f_2 + f_1\right).$$

Tampilan menunjukkan pekerjaan kita akan dipermudah dengan memperkenalkan variabel memberi$t/2$$x=t/2,$

$$f_1(x) = x(f_2(x) + f_0(x));\quad f_2(x) = x(f_2(x) + f_1(x)).$$

Mengganti yang pertama menjadi yang kedua dan mengingat memberi$f_0=1$

$$f_2(x) = x(f_2(x) + x(f_2(x) + 1))\tag{*}$$

yang memiliki solusi unik

$$f_2(x) = \frac{x^2}{1 - x - x^2}.\tag{**}$$

Saya menyoroti persamaan untuk menekankan kesederhanaan dasarnya dan persamaan formalnya dengan persamaan yang akan kami peroleh dengan menganalisis hanya nilai yang diharapkan pada dasarnya, untuk jumlah pekerjaan yang sama yang dibutuhkan untuk menemukan nomor yang satu ini, kami mendapatkan seluruh distribusi.$(*)$$E[X_i]:$

Implikasi dan penyederhanaan

Secara ekuivalen, ketika dituliskan istilah demi istilah dan kekuatan dicocokkan, ini menyatakan bahwa untuk$(*)$$t$$n\ge 4,$

$$2^n\Pr(X_2=n) = 2^{n-1}\Pr(X_2=n-1) + 2^{n-2}\Pr(X_2=n-2).$$

Ini adalah pengulangan untuk deretan angka Fibonacci yang terkenal

$$(F_n) = (1,1,2,3,5,8,13,21,34,55,89,144,\ldots)$$

(diindeks dari ). Solusi yang cocok adalah urutan ini digeser oleh dua tempat (karena tidak ada kemungkinan atau dan mudah untuk memeriksa bahwa ).$n=0$$(**)$$X_2=0$$X_2=1$$2^2\Pr(X_2=2)=1=2^3\Pr(X_2=3)$

Karena itu

$$\Pr(X_2 = n) = 2^{-n-2}F_{n-2}.$$

Lebih spesifik,

$$\eqalign{ f_2(t) &= 2^{-2}F_0t^2 + 2^{-3}F_1 t^3 + 2^{-4} F_2 t^4 + \cdots \\ &= \frac{1}{4}t^2 + \frac{1}{8}t^3 + \frac{2}{16}t^4 + \frac{3}{32}t^5 + \frac{5}{64}t^6 + \frac{8}{128}t^7 +\frac{13}{256}t^8 + \cdots. }$$

---

Harapan mudah ditemukan dengan mengevaluasi turunan dan mengganti karena (membedakan kekuatan istilah dengan istilah) ini memberikan rumus$X_2$$f^\prime$$t=1,$$t$

$$f^\prime(1) = \Pr(X_2=0)(0) + \Pr(X_2=1)(1)1^0 + \cdots + \Pr(X_2=n)(n)1^{n-1} + \cdots$$

yang, sebagai jumlah dari probabilitas kali nilai-nilai justru definisi dari Mengambil turunan menggunakan menghasilkan formula sederhana untuk ekspektasi.$X_2,$$E[X_2].$$(**)$

---

Beberapa komentar singkat

Dengan memperluas sebagai fraksi parsial, dapat ditulis sebagai jumlah dari dua deret geometri. Ini segera menunjukkan probabilitas akan menurun secara eksponensial. Ini juga menghasilkan formulir tertutup untuk probabilitas ekor Dengan menggunakan itu, kita dapat dengan cepat menghitung bahwa sedikit kurang dari$(**)$$f_2$$\Pr(X_2=n)$$\Pr(X_2 \gt n).$$\Pr(X_2 \ge 100)$$10^{-9}.$

Akhirnya, rumus-rumus ini melibatkan Rasio Emas Angka ini adalah panjang akor pentagon reguler (sisi unit), menghasilkan hubungan yang mencolok antara rantai Markov kombinatorial murni pada pentagon (yang "tidak tahu" tentang geometri Euclidean) dan geometri pentagon reguler di Pesawat Euclidean.$\phi = (1 + \sqrt{5})/2.$

Untuk jumlah rata-rata hari sampai makan malam, syarat pada langkah yang diambil pada hari pertama. Biarkan menjadi jumlah hari sampai cacing mendapatkan apel. Biarkan menjadi langkah pertama.$X$$F$

Lalu kita punya

$$E[X]=E[X|F=B] \ [P(F=B)]+E[X|F=D] \ P[F=D]$$

Jika langkah pertama adalah ke maka salah satu cacing mendapatkan apel pada hari 2 dengan probabilitas satu-setengah, atau kembali ke vertex dengan probabilitas satu-setengah dan itu dimulai kembali. Kita bisa menulis ini sebagai$B,$$C$

$$E[X|F=B]=2 \left( \frac{1}{2} \right) + \left(2+E[X] \right) \left( \frac{1}{2} \right)=2+\frac{E[X]}{2}$$

Jika langkah pertama adalah ke maka dengan simetri ini sama dengan berada di titik kecuali worm telah mengambil satu langkah sehingga$D,$$C$

$$E[X|F=D]=1+E[X]$$

Menyatukan semuanya, kita dapatkan

$$E[X] = \left( 2+\frac{E[X]}{2} \right)\left( \frac{1}{2} \right) + \left( 1 + E[X] \right)\left( \frac{1}{2} \right)$$

Pemecahan untuk hasil$E[X]$

$$E[X] = 6$$