Turunkan Persamaan Bellman dalam Pembelajaran Penguatan

Saya melihat persamaan berikut dalam " In Reinforcement Learning. An Introduction ", tetapi tidak cukup mengikuti langkah yang telah saya soroti dengan warna biru di bawah ini. Bagaimana tepatnya langkah ini diturunkan?

Ini adalah jawaban untuk semua orang yang bertanya-tanya tentang matematika yang bersih dan terstruktur di belakangnya (yaitu jika Anda termasuk dalam kelompok orang yang tahu apa variabel acak dan bahwa Anda harus menunjukkan atau berasumsi bahwa variabel acak memiliki kerapatan maka ini adalah jawaban untuk Anda ;-)):

Pertama-tama kita perlu memiliki bahwa Proses Keputusan Markov hanya memiliki sejumlah terbatas kartu, yaitu kita perlu bahwa ada set kepadatan terbatas , masing-masing milik variabel , yaitu untuk semua dan peta sedemikian sehingga (yaitu dalam automata di belakang MDP, mungkin ada banyak negara bagian yang tak terhingga tetapi hanya ada banyak sekali distribusi- melekat pada transisi yang mungkin tak terbatas antara negara-negara)$L^1$$E$$L^1$$\int_{\mathbb{R}}x \cdot e(x) dx < \infty$$e \in E$$F : A \times S \to E$

$$p(r_t|a_t, s_t) = F(a_t, s_t)(r_t)$$ $L^1$

Teorema 1 : Misalkan (yaitu variabel acak nyata yang dapat diintegrasikan) dan biarkan menjadi variabel acak lain sehingga memiliki kerapatan yang sama maka $X \in L^1(\Omega)$$Y$$X,Y$

$$E[X|Y=y] = \int_\mathbb{R} x p(x|y) dx$$

Bukti : Pada dasarnya dibuktikan di sini oleh Stefan Hansen.

Teorema 2 : Misalkan dan misalkan menjadi variabel acak lebih lanjut sehingga memiliki kerapatan yang sama maka di mana adalah berbagai .$X \in L^1(\Omega)$$Y,Z$$X,Y,Z$

$$E[X|Y=y] = \int_{\mathcal{Z}} p(z|y) E[X|Y=y,Z=z] dz$$ $\mathcal{Z}$$Z$

Bukti :

$$\begin{align*} E[X|Y=y] &= \int_{\mathbb{R}} x p(x|y) dx \\ &~~~~\text{(by Thm. 1)}\\ &= \int_{\mathbb{R}} x \frac{p(x,y)}{p(y)} dx \\ &= \int_{\mathbb{R}} x \frac{\int_{\mathcal{Z}} p(x,y,z) dz}{p(y)} dx \\ &= \int_{\mathcal{Z}} \int_{\mathbb{R}} x \frac{ p(x,y,z) }{p(y)} dx dz \\ &= \int_{\mathcal{Z}} \int_{\mathbb{R}} x p(x|y,z)p(z|y) dx dz \\ &= \int_{\mathcal{Z}} p(z|y) \int_{\mathbb{R}} x p(x|y,z) dx dz \\ &= \int_{\mathcal{Z}} p(z|y) E[X|Y=y,Z=z] dz \\ &~~~~\text{(by Thm. 1)} \end{align*}$$

Masukkan dan masukkan maka seseorang dapat menunjukkan (menggunakan fakta bahwa MDP hanya memiliki cukup banyak kartu) bahwa menyatu dan bahwa karena fungsimasih dalam (yaitu integrable) kita juga dapat menunjukkan (dengan menggunakan kombinasi teorema konvergensi monoton yang biasa dan kemudian mendominasi konvergensi pada persamaan penentuan untuk [faktorisasi] ekspektasi bersyarat) bahwa Sekarang orang menunjukkan itu $G_t = \sum_{k=0}^\infty \gamma^k R_{t+k}$$G_t^{(K)} = \sum_{k=0}^K \gamma^k R_{t+k}$$L^1$$G_t^{(K)}$$\sum_{k=0}^\infty \gamma^k |R_{t+k}|$$L^1(\Omega)$

$$\lim_{K \to \infty} E[G_t^{(K)} | S_t=s_t] = E[G_t | S_t=s_t]$$ $$E[G_t^{(K)} | S_t=s_t] = E[R_{t} | S_t=s_t] + \gamma \int_S p(s_{t+1}|s_t) E[G_{t+1}^{(K-1)} | S_{t+1}=s_{t+1}] ds_{t+1}$$ menggunakan , Thm. 2 di atas lalu Thm. 1 pada dan kemudian menggunakan perang marginalisasi langsung, satu menunjukkan bahwa untuk semua . Sekarang kita perlu menerapkan batas ke kedua sisi persamaan. Untuk menarik batas ke dalam integral ruang negara kita perlu membuat beberapa asumsi tambahan:$G_t^{(K)} = R_t + \gamma G_{t+1}^{(K-1)}$$E[G_{t+1}^{(K-1)}|S_{t+1}=s', S_t=s_t]$$p(r_q|s_{t+1}, s_t) = p(r_q|s_{t+1})$$q \geq t+1$$K \to \infty$$S$

Entah ruang keadaan terbatas (lalu dan jumlahnya terbatas) atau semua hadiah semuanya positif (maka kita menggunakan konvergensi monoton) atau semua hadiah negatif (kemudian kita beri tanda minus di depan persamaan dan gunakan konvergensi monoton lagi) atau semua hadiah dibatasi (maka kita menggunakan konvergensi dominan). Kemudian (dengan menerapkan untuk kedua sisi dari persamaan Bellman parsial / terbatas di atas) kita memperoleh$\int_S = \sum_S$$\lim_{K \to \infty}$

$$E[G_t | S_t=s_t] = E[G_t^{(K)} | S_t=s_t] = E[R_{t} | S_t=s_t] + \gamma \int_S p(s_{t+1}|s_t) E[G_{t+1} | S_{t+1}=s_{t+1}] ds_{t+1}$$

dan sisanya adalah manipulasi kepadatan biasa.

KETERANGAN: Bahkan dalam tugas yang sangat sederhana, ruang negara bisa tanpa batas! Salah satu contohnya adalah tugas 'menyeimbangkan tiang'. Keadaan pada dasarnya adalah sudut kutub (nilai dalam , himpunan tak terbatas yang tak terhitung jumlahnya!)$[0, 2\pi)$

KETERANGAN: Orang mungkin mengomentari adonan, bukti ini dapat dipersingkat lebih banyak jika Anda hanya menggunakan kerapatan secara langsung dan menunjukkan bahwa '... TAPI ... pertanyaan saya adalah:$G_t$$p(g_{t+1}|s_{t+1}, s_t) = p(g_{t+1}|s_{t+1})$

1. Kenapa Anda bahkan tahu bahwa memiliki kepadatan?$G_{t+1}$
2. Kenapa Anda bahkan tahu bahwa memiliki kepadatan bersama dengan ?$G_{t+1}$$S_{t+1}, S_t$
3. Bagaimana Anda menyimpulkan bahwa ? Ini bukan hanya properti Markov: Properti Markov hanya memberi tahu Anda sesuatu tentang distribusi marjinal tetapi ini tidak serta merta menentukan keseluruhan distribusi, lihat misalnya Gaussians multivarian!$p(g_{t+1}|s_{t+1}, s_t) = p(g_{t+1}|s_{t+1})$

Biarkan jumlah total hadiah diskon setelah waktu menjadi: $t$
$G_t = R_{t+1}+\gamma R_{t+2}+\gamma^2 R_{t+3}+...$

Nilai utilitas dari mulai di negara, pada waktu, setara dengan jumlah yang diharapkan dari imbalan diskonto melaksanakan kebijakan mulai dari negara dan seterusnya. Dengan definisi Secara hukum linearitas Secara hukum$s$$t$
$R$$\pi$$s$
$U_\pi(S_t=s) = E_\pi[G_t|S_t = s]$
$\\ = E_\pi[(R_{t+1}+\gamma R_{t+2}+\gamma^2 R_{t+3}+...)|S_t = s]$$G_t$
$= E_\pi[(R_{t+1}+\gamma (R_{t+2}+\gamma R_{t+3}+...))|S_t = s]$
$= E_\pi[(R_{t+1}+\gamma (G_{t+1}))|S_t = s]$
$= E_\pi[R_{t+1}|S_t = s]+\gamma E_\pi[ G_{t+1}|S_t = s]$
$= E_\pi[R_{t+1}|S_t = s]+\gamma E_\pi[E_\pi(G_{t+1}|S_{t+1} = s')|S_t = s]$Total Ekspektasi Menurut definisi Menurut hukum linearitas
$= E_\pi[R_{t+1}|S_t = s]+\gamma E_\pi[U_\pi(S_{t+1}= s')|S_t = s]$$U_\pi$
$= E_\pi[R_{t+1} + \gamma U_\pi(S_{t+1}= s')|S_t = s]$

Dengan asumsi bahwa proses memenuhi Markov Properti:
Probabilitas berakhir di negara setelah dimulai dari negara dan mengambil tindakan , dan Reward berakhir di negara setelah dimulai dari negara dan mengambil tindakan , $Pr$$s'$$s$$a$
$Pr(s'|s,a) = Pr(S_{t+1} = s', S_t=s,A_t = a)$
$R$$s'$$s$$a$
$R(s,a,s') = [R_{t+1}|S_t = s, A_t = a, S_{t+1}= s']$

Oleh karena itu kita dapat menulis ulang persamaan utilitas di atas sebagai,
$= \sum_a \pi(a|s) \sum_{s'} Pr(s'|s,a)[R(s,a,s')+ \gamma U_\pi(S_{t+1}=s')]$

Dimana; : Probabilitas mengambil tindakan ketika dalam keadaan untuk kebijakan stokastik. Untuk kebijakan deterministik,$\pi(a|s)$$a$$s$$\sum_a \pi(a|s)= 1$

Ini buktiku. Ini didasarkan pada manipulasi distribusi bersyarat, yang membuatnya lebih mudah diikuti. Semoga yang ini membantu Anda.

$$\begin{align} v_{\pi}(s)&=E{\left[G_t|S_t=s\right]} \nonumber \\ &=E{\left[R_{t+1}+\gamma G_{t+1}|S_t=s\right]} \nonumber \\ &= \sum_{s'}\sum_{r}\sum_{g_{t+1}}\sum_{a}p(s',r,g_{t+1}, a|s)(r+\gamma g_{t+1}) \nonumber \\ &= \sum_{a}p(a|s)\sum_{s'}\sum_{r}\sum_{g_{t+1}}p(s',r,g_{t+1} |a, s)(r+\gamma g_{t+1}) \nonumber \\ &= \sum_{a}p(a|s)\sum_{s'}\sum_{r}\sum_{g_{t+1}}p(s',r|a, s)p(g_{t+1}|s', r, a, s)(r+\gamma g_{t+1}) \nonumber \\ &\text{Note that $p(g_{t+1}|s', r, a, s)=p(g_{t+1}|s')$ by assumption of MDP} \nonumber \\ &= \sum_{a}p(a|s)\sum_{s'}\sum_{r}p(s',r|a, s)\sum_{g_{t+1}}p(g_{t+1}|s')(r+\gamma g_{t+1}) \nonumber \\ &= \sum_{a}p(a|s)\sum_{s'}\sum_{r}p(s',r|a, s)(r+\gamma\sum_{g_{t+1}}p(g_{t+1}|s')g_{t+1}) \nonumber \\ &=\sum_{a}p(a|s)\sum_{s'}\sum_{r}p(s',r|a, s)\left(r+\gamma v_{\pi}(s')\right) \label{eq2} \end{align}$$ Ini adalah persamaan Bellman yang terkenal.

Ada apa dengan pendekatan berikut?

$$\begin{align} v_\pi(s) & = \mathbb{E}_\pi\left[G_t \mid S_t = s\right] \\ & = \mathbb{E}_\pi\left[R_{t+1} + \gamma G_{t+1} \mid S_t = s\right] \\ & = \sum_a \pi(a \mid s) \sum_{s'} \sum_r p(s', r \mid s, a) \cdot \,\\ & \qquad \mathbb{E}_\pi\left[R_{t+1} + \gamma G_{t+1} \mid S_{t} = s, A_{t+1} = a, S_{t+1} = s', R_{t+1} = r\right] \\ & = \sum_a \pi(a \mid s) \sum_{s', r} p(s', r \mid s, a) \left[r + \gamma v_\pi(s')\right]. \end{align}$$

Jumlahnya diperkenalkan untuk mengambil , dan dari . Setelah semua, tindakan yang mungkin dan kemungkinan status selanjutnya bisa. Dengan kondisi tambahan ini, linearitas dari harapan mengarah ke hasil yang hampir secara langsung.$a$$s'$$r$$s$

Saya tidak yakin seberapa ketat argumen saya secara matematis. Saya terbuka untuk perbaikan.

Ini hanya komentar / tambahan untuk jawaban yang diterima.

Saya bingung di garis di mana hukum harapan total sedang diterapkan. Saya tidak berpikir bentuk utama dari hukum harapan total dapat membantu di sini. Varian yang sebenarnya dibutuhkan di sini.

Jika adalah variabel acak dan dengan asumsi semua harapan ada, maka identitas berikut berlaku:$X,Y,Z$

$E[X|Y] = E[E[X|Y,Z]|Y]$

Dalam hal ini, , dan . Kemudian$X= G_{t+1}$$Y = S_t$$Z = S_{t+1}$

$E[G_{t+1}|S_t=s] = E[E[G_{t+1}|S_t=s, S_{t+1}=s'|S_t=s]$ , yang oleh Markov milik eqauls to$E[E[G_{t+1}|S_{t+1}=s']|S_t=s]$

Dari sana, seseorang dapat mengikuti sisa bukti dari jawabannya.

$\mathbb{E}_\pi(\cdot)$ biasanya menunjukkan ekspektasi dengan asumsi agen mengikuti kebijakan . Dalam hal ini tampaknya non-deterministik, yaitu mengembalikan probabilitas bahwa agen mengambil tindakan ketika negara di .$\pi$$\pi(a|s)$$a$$s$

Sepertinya , huruf kecil, menggantikan , variabel acak. Harapan kedua menggantikan jumlah tak terbatas, untuk mencerminkan asumsi bahwa kita terus mengikuti untuk semua masa depan . adalah hadiah langsung yang diharapkan pada langkah waktu berikutnya; Kedua harapan-yang menjadi -adalah nilai yang diharapkan dari negara berikutnya, ditimbang dengan probabilitas berliku di negara setelah mengambil dari .$r$$R_{t+1}$$\pi$$t$$\sum_{s',r} r \cdot p(s′,r|s,a)$$v_\pi$$s'$$a$$s$

Dengan demikian, harapan memperhitungkan probabilitas kebijakan serta fungsi transisi dan penghargaan, di sini dinyatakan bersama sebagai .$p(s', r|s,a)$

meskipun jawaban yang benar telah diberikan dan beberapa waktu telah berlalu, saya pikir panduan langkah demi langkah berikut mungkin berguna:
Secara linearitas dari Nilai yang Diharapkan kita dapat membagi ke dalam dan . Saya akan menguraikan langkah-langkah hanya untuk bagian pertama, karena bagian kedua mengikuti langkah-langkah yang sama dikombinasikan dengan Hukum Total Harapan.$E[R_{t+1} + \gamma E[G_{t+1}|S_{t}=s]]$$E[R_{t+1}|S_t=s]$$\gamma E[G_{t+1}|S_{t}=s]$

$$\begin{align} E[R_{t+1}|S_t=s]&=\sum_r{ r P[R_{t+1}=r|S_t =s]} \\ &= \sum_a{ \sum_r{ r P[R_{t+1}=r, A_t=a|S_t=s]}} \qquad \text{(III)} \\ &=\sum_a{ \sum_r{ r P[R_{t+1}=r| A_t=a, S_t=s] P[A_t=a|S_t=s]}} \\ &= \sum_{s^{'}}{ \sum_a{ \sum_r{ r P[S_{t+1}=s^{'}, R_{t+1}=r| A_t=a, S_t=s] P[A_t=a|S_t=s] }}} \\ &=\sum_a{ \pi(a|s) \sum_{s^{'},r}{p(s^{'},r|s,a)} } r \end{align}$$

Sedangkan (III) mengikuti formulir:

$$\begin{align} P[A,B|C]&=\frac{P[A,B,C]}{P[C]} \\ &= \frac{P[A,B,C]}{P[C]} \frac{P[B,C]}{P[B,C]}\\ &= \frac{P[A,B,C]}{P[B,C]} \frac{P[B,C]}{P[C]}\\ &= P[A|B,C] P[B|C] \end{align}$$

Saya tahu sudah ada jawaban yang diterima, tetapi saya ingin memberikan derivasi yang mungkin lebih konkret. Saya juga ingin menyebutkan bahwa walaupun trik @Jie Shi agak masuk akal, tapi itu membuat saya merasa sangat tidak nyaman :(. Kita perlu mempertimbangkan dimensi waktu untuk membuat ini bekerja. Dan penting untuk dicatat bahwa, harapan sebenarnya mengambil alih seluruh cakrawala tak terbatas, bukan hanya di atas dan . Asumsikan kita mulai dari (pada kenyataannya, derivasi adalah sama terlepas dari waktu mulai; saya tidak ingin mencemari persamaan dengan subscript lain ) $s$$s'$$t=0$$k$

$$\begin{align} v_{\pi}(s_0)&=\mathbb{E}_{\pi}[G_{0}|s_0]\\ G_0&=\sum_{t=0}^{T-1}\gamma^tR_{t+1}\\ \mathbb{E}_{\pi}[G_{0}|s_0]&=\sum_{a_0}\pi(a_0|s_0)\sum_{a_{1},...a_{T}}\sum_{s_{1},...s_{T}}\sum_{r_{1},...r_{T}}\bigg(\prod_{t=0}^{T-1}\pi(a_{t+1}|s_{t+1})p(s_{t+1},r_{t+1}|s_t,a_t)\\ &\times\Big(\sum_{t=0}^{T-1}\gamma^tr_{t+1}\Big)\bigg)\\ &=\sum_{a_0}\pi(a_0|s_0)\sum_{a_{1},...a_{T}}\sum_{s_{1},...s_{T}}\sum_{r_{1},...r_{T}}\bigg(\prod_{t=0}^{T-1}\pi(a_{t+1}|s_{t+1})p(s_{t+1},r_{t+1}|s_t,a_t)\\ &\times\Big(r_1+\gamma\sum_{t=0}^{T-2}\gamma^tr_{t+2}\Big)\bigg) \end{align}$$ mencatat bahwa ATAS PERSAMAAN MEMEGANG MESKIPUN , SEBENARNYA AKAN BENAR SAMPAI AKHIR UNIVERSE (mungkin sedikit berlebihan :))$T\rightarrow\infty$
Pada tahap ini, saya percaya sebagian besar dari kita harus sudah memikirkan bagaimana hal di atas mengarah ke ekspresi akhir - kita hanya perlu menerapkan aturan jumlah-produk ( ) dengan susah payah . Mari kita menerapkan hukum linearitas Ekspektasi untuk setiap istilah di dalam$\sum_a\sum_b\sum_cabc\equiv\sum_aa\sum_bb\sum_cc$$\Big(r_{1}+\gamma\sum_{t=0}^{T-2}\gamma^tr_{t+2}\Big)$

Bagian 1

$$\sum_{a_0}\pi(a_0|s_0)\sum_{a_{1},...a_{T}}\sum_{s_{1},...s_{T}}\sum_{r_{1},...r_{T}}\bigg(\prod_{t=0}^{T-1}\pi(a_{t+1}|s_{t+1})p(s_{t+1},r_{t+1}|s_t,a_t)\times r_1\bigg)$$

Yah ini agak sepele, semua probabilitas hilang (sebenarnya berjumlah 1) kecuali yang terkait dengan . Karenanya, kita memiliki $r_1$

$$\sum_{a_0}\pi(a_0|s_0)\sum_{s_1,r_1}p(s_1,r_1|s_0,a_0)\times r_1$$

Bagian 2
Coba tebak, bagian ini bahkan lebih sepele - hanya melibatkan mengatur ulang urutan penjumlahan.

$$\sum_{a_0}\pi(a_0|s_0)\sum_{a_{1},...a_{T}}\sum_{s_{1},...s_{T}}\sum_{r_{1},...r_{T}}\bigg(\prod_{t=0}^{T-1}\pi(a_{t+1}|s_{t+1})p(s_{t+1},r_{t+1}|s_t,a_t)\bigg)\\=\sum_{a_0}\pi(a_0|s_0)\sum_{s_1,r_1}p(s_1,r_1|s_0,a_0)\bigg(\sum_{a_1}\pi(a_1|s_1)\sum_{a_{2},...a_{T}}\sum_{s_{2},...s_{T}}\sum_{r_{2},...r_{T}}\bigg(\prod_{t=0}^{T-2}\pi(a_{t+2}|s_{t+2})p(s_{t+2},r_{t+2}|s_{t+1},a_{t+1})\bigg)\bigg)$$

Dan Eureka !! kami memulihkan pola rekursif di samping tanda kurung besar. Mari kita gabungkan dengan , dan kami memperoleh dan bagian 2 menjadi $\gamma\sum_{t=0}^{T-2}\gamma^tr_{t+2}$$v_{\pi}(s_1)=\mathbb{E}_{\pi}[G_1|s_1]$

$$\gamma\mathbb{E}_{\pi}[G_1|s_1]=\sum_{a_1}\pi(a_1|s_1)\sum_{a_{2},...a_{T}}\sum_{s_{2},...s_{T}}\sum_{r_{2},...r_{T}}\bigg(\prod_{t=0}^{T-2}\pi(a_{t+2}|s_{t+2})p(s_{t+2},r_{t+2}|s_{t+1},a_{t+1})\bigg)\bigg(\gamma\sum_{t=0}^{T-2}\gamma^tr_{t+2}\bigg)$$
$$\sum_{a_0}\pi(a_0|s_0)\sum_{s_1,r_1}p(s_1,r_1|s_0,a_0)\times \gamma v_{\pi}(s_1)$$

Bagian 1 + Bagian 2

$$v_{\pi}(s_0) =\sum_{a_0}\pi(a_0|s_0)\sum_{s_1,r_1}p(s_1,r_1|s_0,a_0)\times \Big(r_1+\gamma v_{\pi}(s_1)\Big)$$

Dan sekarang jika kita dapat memasukkan dimensi waktu dan memulihkan rumus rekursif umum

$$v_{\pi}(s) =\sum_a \pi(a|s)\sum_{s',r} p(s',r|s,a)\times \Big(r+\gamma v_{\pi}(s')\Big)$$

Pengakuan terakhir, saya tertawa ketika melihat orang-orang di atas menyebutkan penggunaan hukum harapan total. Jadi inilah saya

Sudah ada banyak jawaban untuk pertanyaan ini, tetapi sebagian besar melibatkan beberapa kata yang menggambarkan apa yang terjadi dalam manipulasi. Saya akan menjawabnya dengan menggunakan lebih banyak kata, saya pikir. Untuk memulai,

$$G_{t} \doteq \sum_{k=t+1}^{T} \gamma^{k-t-1} R_{k}$$

didefinisikan dalam persamaan 3.11 dari Sutton dan Barto, dengan faktor diskon konstan dan kita dapat memiliki atau , tetapi tidak keduanya. Karena imbalannya, , adalah variabel acak, demikian juga karena itu hanyalah kombinasi linear dari variabel acak.$0 \leq \gamma \leq 1$$T = \infty$$\gamma = 1$$R_{k}$$G_{t}$

$$\begin{align} v_\pi(s) & \doteq \mathbb{E}_\pi\left[G_t \mid S_t = s\right] \\ & = \mathbb{E}_\pi\left[R_{t+1} + \gamma G_{t+1} \mid S_t = s\right] \\ & = \mathbb{E}_{\pi}\left[ R_{t+1} | S_t = s \right] + \gamma \mathbb{E}_{\pi}\left[ G_{t+1} | S_t = s \right] \end{align}$$

Baris terakhir itu mengikuti dari linearitas nilai ekspektasi. adalah hadiah yang didapat agen setelah mengambil tindakan pada langkah waktu . Untuk kesederhanaan, saya berasumsi bahwa itu dapat mengambil sejumlah nilai terbatas . $R_{t+1}$$t$$r \in \mathcal{R}$

Kerjakan istilah yang pertama. Dengan kata lain, saya perlu menghitung nilai ekspektasi mengingat kita tahu bahwa kondisi saat ini adalah . Rumus untuk ini adalah$R_{t+1}$$s$

$$\begin{align} \mathbb{E}_{\pi}\left[ R_{t+1} | S_t = s \right] = \sum_{r \in \mathcal{R}} r p(r|s). \end{align}$$

Dengan kata lain probabilitas munculnya hadiah dikondisikan pada negara ; negara bagian yang berbeda mungkin memiliki hadiah yang berbeda pula. Ini distribusi adalah distribusi marginal dari suatu distribusi yang juga berisi variabel dan , tindakan yang diambil pada waktu dan negara pada waktu setelah tindakan, masing-masing:$r$$s$$p(r|s)$$a$$s'$$t$$t+1$

$$\begin{align} p(r|s) = \sum_{s' \in \mathcal{S}} \sum_{a \in \mathcal{A}} p(s',a,r|s) = \sum_{s' \in \mathcal{S}} \sum_{a \in \mathcal{A}} \pi(a|s) p(s',r | a,s). \end{align}$$

Di mana saya telah menggunakan , mengikuti konvensi buku. Jika persamaan terakhir itu membingungkan, lupakan jumlah, tekan (probabilitas sekarang terlihat seperti probabilitas gabungan), gunakan hukum penggandaan dan akhirnya perkenalkan kembali kondisi pada dalam semua istilah baru. Sekarang mudah untuk melihat bahwa istilah pertama adalah$\pi(a|s) \doteq p(a|s)$$s$$s$

$$\begin{align} \mathbb{E}_{\pi}\left[ R_{t+1} | S_t = s \right] = \sum_{r \in \mathcal{R}} \sum_{s' \in \mathcal{S}} \sum_{a \in \mathcal{A}} r \pi(a|s) p(s',r | a,s), \end{align}$$

seperti yang dipersyaratkan. istilah kedua, di mana saya berasumsi bahwa adalah variabel acak yang mengambil sejumlah nilai . Sama seperti istilah pertama:$G_{t+1}$$g \in \Gamma$

$$\begin{align} \mathbb{E}_{\pi}\left[ G_{t+1} | S_t = s \right] = \sum_{g \in \Gamma} g p(g|s). \qquad\qquad\qquad\qquad (*) \end{align}$$

Sekali lagi, saya "tidak meminggirkan" distribusi probabilitas dengan menulis (hukum penggandaan lagi)

$$\begin{align} p(g|s) & = \sum_{r \in \mathcal{R}} \sum_{s' \in \mathcal{S}} \sum_{a \in \mathcal{A}} p(s',r,a,g|s) = \sum_{r \in \mathcal{R}} \sum_{s' \in \mathcal{S}} \sum_{a \in \mathcal{A}} p(g | s', r, a, s) p(s', r, a | s) \\ & = \sum_{r \in \mathcal{R}} \sum_{s' \in \mathcal{S}} \sum_{a \in \mathcal{A}} p(g | s', r, a, s) p(s', r | a, s) \pi(a | s) \\ & = \sum_{r \in \mathcal{R}} \sum_{s' \in \mathcal{S}} \sum_{a \in \mathcal{A}} p(g | s', r, a, s) p(s', r | a, s) \pi(a | s) \\ & = \sum_{r \in \mathcal{R}} \sum_{s' \in \mathcal{S}} \sum_{a \in \mathcal{A}} p(g | s') p(s', r | a, s) \pi(a | s) \qquad\qquad\qquad\qquad (**) \end{align}$$

Baris terakhir di sana mengikuti dari properti Markovian. Ingat bahwa adalah jumlah dari semua hadiah masa depan (diskon) yang diterima agen setelah keadaan . Properti Markovian adalah bahwa prosesnya kurang memori sehubungan dengan status, tindakan, dan hadiah sebelumnya. Tindakan di masa depan (dan imbalan yang mereka tuai) hanya bergantung pada keadaan di mana tindakan itu diambil, jadi , dengan asumsi. Ok, jadi istilah kedua dalam buktinya sekarang$G_{t+1}$$s'$$p(g | s', r, a, s) = p(g | s')$

$$\begin{align} \gamma \mathbb{E}_{\pi}\left[ G_{t+1} | S_t = s \right] & = \gamma \sum_{g \in \Gamma} \sum_{r \in \mathcal{R}} \sum_{s' \in \mathcal{S}} \sum_{a \in \mathcal{A}} g p(g | s') p(s', r | a, s) \pi(a | s) \\ & = \gamma \sum_{r \in \mathcal{R}} \sum_{s' \in \mathcal{S}} \sum_{a \in \mathcal{A}} \mathbb{E}_{\pi}\left[ G_{t+1} | S_{t+1} = s' \right] p(s', r | a, s) \pi(a | s) \\ & = \gamma \sum_{r \in \mathcal{R}} \sum_{s' \in \mathcal{S}} \sum_{a \in \mathcal{A}} v_{\pi}(s') p(s', r | a, s) \pi(a | s) \end{align}$$

seperti yang dipersyaratkan, sekali lagi. Menggabungkan dua istilah melengkapi bukti

$$\begin{align} v_\pi(s) & \doteq \mathbb{E}_\pi\left[G_t \mid S_t = s\right] \\ & = \sum_{a \in \mathcal{A}} \pi(a | s) \sum_{r \in \mathcal{R}} \sum_{s' \in \mathcal{S}} p(s', r | a, s) \left[ r + \gamma v_{\pi}(s') \right]. \end{align}$$

MEMPERBARUI

Saya ingin membahas apa yang tampak seperti sulap dalam derivasi dari istilah kedua. Dalam persamaan yang ditandai dengan , saya menggunakan istilah dan kemudian dalam persamaan yang ditandai Saya mengklaim bahwa tidak bergantung pada , dengan memperdebatkan properti Markovian. Jadi, Anda mungkin mengatakan bahwa jika ini masalahnya, maka . Tetapi ini tidak benar. Saya dapat mengambil karena probabilitas di sisi kiri pernyataan itu mengatakan bahwa ini adalah probabilitas dikondisikan pada , , , dan$(*)$$p(g|s)$$(**)$$g$$s$$p(g|s) = p(g)$$p(g | s', r, a, s) \rightarrow p(g | s')$$g$$s'$$a$$r$$s$. Karena kita baik tahu atau menganggap negara , tak satu pun dari conditional lainnya masalah, karena properti Markov. Jika Anda tidak tahu atau menganggap negara , maka imbalan masa depan (arti ) akan tergantung pada negara Anda mulai di, karena yang akan menentukan (berdasarkan kebijakan) yang menyatakan Anda mulai ketika menghitung .$s'$$s'$$g$$s'$$g$

Jika argumen itu tidak meyakinkan Anda, cobalah untuk menghitung apa itu:$p(g)$

$$\begin{align} p(g) & = \sum_{s' \in \mathcal{S}} p(g, s') = \sum_{s' \in \mathcal{S}} p(g | s') p(s') \\ & = \sum_{s' \in \mathcal{S}} p(g | s') \sum_{s,a,r} p(s', a, r, s) \\ & = \sum_{s' \in \mathcal{S}} p(g | s') \sum_{s,a,r} p(s', r | a, s) p(a, s) \\ & = \sum_{s \in \mathcal{S}} p(s) \sum_{s' \in \mathcal{S}} p(g | s') \sum_{a,r} p(s', r | a, s) \pi(a | s) \\ & \doteq \sum_{s \in \mathcal{S}} p(s) p(g|s) = \sum_{s \in \mathcal{S}} p(g,s) = p(g). \end{align}$$

Seperti dapat dilihat pada baris terakhir, tidak benar bahwa . Nilai yang diharapkan dari tergantung pada negara bagian tempat Anda memulai (yaitu identitas ), jika Anda tidak tahu atau menganggap status .$p(g|s) = p(g)$$g$$s$$s'$