Kebijakan dan kondisi konvergensi algoritma iterasi nilai

8

Algoritme kebijakan dan nilai iterasi dapat digunakan untuk menyelesaikan masalah proses keputusan Markov. Saya mengalami kesulitan memahami kondisi yang diperlukan untuk konvergensi. Jika kebijakan optimal tidak berubah selama dua langkah (yaitu selama iterasi i dan i +1 ), dapatkah disimpulkan bahwa algoritma telah konvergen? Jika tidak, lalu kapan?

algorithms markov-process convergence

— ELEC
sumber

3

Untuk menjawab pertanyaan Anda, izinkan saya terlebih dahulu menuliskan beberapa persamaan penting (dalam).

Persamaan optimalitas Bellman:

$\begin{aligned} v_{*} (s) & = max_{a} E [R_{t + 1} + γ v_{*} (S_{t + 1}) ∣ S_{t} = s, A_{t} = a] \\ = max_{a} \sum_{s^{'}} p (s^{'} ∣ s, a) [r (s, a, s^{'}) + γ v_{*} (s^{'})] \end{aligned}$ $\begin{align} v_∗(s) &= \max_{a} \mathbb{E}[R_{t+1} + \gamma v_* (S_{t+1}) \mid S_t =s, A_t =a] \\ &= \max_{a} \sum_{s'}p(s'\mid s, a) \biggl[r(s, a, s') + \gamma v_∗(s')\biggl] \end{align}$
di mana $v_*(.)$ adalah fungsi nilai optimal.

Teorema peningkatan kebijakan ( Pit ):

Biarkan dan pasangan kebijakan deterministik apa pun sehingga, untuk semua , Kemudian kebijakan harus sebagus, atau lebih baik dari, . Artinya, ia harus memperoleh pengembalian yang diharapkan lebih besar atau sama dari semua negara . $\pi$ $\pi'$ $s \in S$ $q_\pi(s, \pi'(s)) \geq v_\pi(s)$ $\pi'$ $\pi$ $s \in S: v_{\pi'} (s) \geq v_\pi(s)$

(temukan di halaman 89 dari Sutton & Barto, Reinforcement learning: An Introduction book)

Kami dapat meningkatkan kebijakan di setiap negara bagian dengan aturan berikut: $\pi$

\begin{aligned} π^{'} (s) & = \arg max_{a} q_{π} (s, a) \\ = \arg max_{a} \sum_{s^{'}} p (s^{'} ∣ s, a) [r (s, a, s^{'}) + γ v_{π} (s^{'})] \end{aligned}

$\begin{align} \pi'(s) &= \arg \max_{a}q_π(s, a)\\ &= \arg \max_{a} \sum_{s'}p(s' \mid s, a)\biggl[r(s, a, s') + \gamma v_\pi(s')\biggl] \end{align}$

Kebijakan baru kami memenuhi kondisi Pit dan sama baiknya dengan atau lebih baik dari . Jika sama baiknya dengan, tetapi tidak lebih baik dari , maka untuk semua . Dari definisi kami tentang kami menyimpulkan, bahwa: $\pi'$ $\pi$ $\pi'$ $\pi$ $v_{\pi'}(s)=v_{\pi}(s)$ $s$ $\pi'$

\begin{aligned} v_{π^{'}} (s) & = max_{a} E [R_{t + 1} + γ v_{π^{'}} (S_{t + 1}) ∣ S_{t} = s, A_{t} = a] \\ = max_{a} \sum_{s^{'}} p (s^{'} ∣ s, a) [r (s, a, s^{'}) + γ v_{π^{'}} (s^{'})] \end{aligned}

$\begin{align} v_{\pi'}(s)&=\max_{a} \mathbb{E}\biggl[R_{t+1} + \gamma v_{ \pi'}(S_{t+1}) \mid S_t =s, A_t =a \biggl]\\ &= \max_{a}\sum_{s'}p(s' \mid s, a) \biggl[r(s, a, s') + \gamma v_{π'}(s') \biggl] \end{align}$

Tetapi persamaan ini sama dengan persamaan optimalitas Bellman sehingga harus sama dengan . $v_{\pi'}$ $v_*$

Dari kata di atas, mudah-mudahan jelas, bahwa jika kita meningkatkan kebijakan dan mendapatkan fungsi nilai yang sama, yang kita miliki sebelumnya, kebijakan baru harus menjadi salah satu kebijakan yang optimal. Untuk informasi lebih lanjut, lihat Sutton & Barto (2012)

— Jan Vainer
sumber

1

Anda benar: estimasi fungsi nilai saat ini atau estimasi kebijakan saat ini dapat sepenuhnya menggambarkan keadaan algoritma. Masing-masing menyiratkan pilihan unik berikutnya untuk yang lain. Dari kertas yang ditautkan di bawah ini,

"Iterasi kebijakan berlanjut hingga ." $V_{n+1} = V_n, α_{n+1} = α_n$

https://editorialexpress.com/jrust/research/siam_dp_paper.pdf

— eric_kernfeld
sumber