Mengapa algoritma iterasi kebijakan menyatu dengan fungsi kebijakan dan nilai yang optimal?

Saya membaca catatan kuliah Andrew Ng tentang pembelajaran penguatan, dan saya mencoba memahami mengapa iterasi kebijakan digabungkan ke fungsi nilai optimal dan kebijakan optimal .$V^*$$\pi^*$

Ingat iterasi kebijakan adalah:

$\text{Initialize $\pi$ randomly} \\ \text{Repeat}\{\\ \quad Let \ V := V^{\pi} \text{ \\for the current policy, solve bellman's eqn's and set that to the current V}\\ \quad Let \ \pi(s) := argmax_{a \in A} \sum_{s'}P_{sa}(s') V(s')\\ \}$

Mengapa algoritma serakah mengarah pada kebijakan optimal dan fungsi nilai optimal? (Saya tahu algoritma serakah tidak selalu menjamin hal itu, atau mungkin terjebak dalam optima lokal, jadi saya hanya ingin melihat bukti untuk optimalitas algoritma).

Juga, bagi saya tampaknya iterasi kebijakan adalah sesuatu yang analog dengan pengelompokan atau penurunan gradien. Untuk pengelompokan, karena dengan pengaturan parameter saat ini, kami mengoptimalkan. Mirip dengan gradient descent karena hanya memilih beberapa nilai yang tampaknya meningkatkan beberapa fungsi. Dua metode ini tidak selalu menyatu ke maxima optimal, dan saya mencoba memahami bagaimana algoritma ini berbeda dari yang sebelumnya saya sebutkan.

---

Ini adalah pemikiran saya sejauh ini:

Katakanlah bahwa kita mulai dengan beberapa kebijakan , kemudian setelah langkah pertama, untuk kebijakan tetap itu kita memilikinya:$\pi_1$

$V^{\pi_1}(s) = R(s) + \gamma \sum_{s'}P_{s\pi_1(s)}(s')V^{\pi_1}(s')$

$V^{(1)} := V^{\pi_1}(s)$

Di mana V ^ {(1)} adalah fungsi nilai untuk iterasi pertama. Kemudian setelah langkah kedua kami memilih beberapa kebijakan baru untuk meningkatkan nilai . Sekarang, dengan kebijakan baru , jika kita melakukan langkah kedua algoritma, ketidaksetaraan berikut ini berlaku:$\pi_2$$V^{\pi_1}(s)$$\pi_2$

$R(s) + \gamma \sum_{s'}P_{s\pi_1(s)}(s')V^{\pi_1}(s') \leq R(s) + \gamma \sum_{s'}P_{s\pi_2(s)}(s')V^{\pi_1}(s')$

Karena kita memilih pada langkah kedua untuk meningkatkan fungsi nilai pada langkah sebelumnya (yaitu untuk meningkatkan . Sejauh ini, jelas bahwa memilih hanya dapat meningkatkan V ^ {(1)}, karena itulah cara kami memilih . Namun, kebingungan saya muncul pada langkah pengulangan karena setelah kami mengulangi dan kembali ke langkah 1, kami benar-benar mengubah banyak hal karena kami menghitung ulang untuk kebijakan baru . Pemberian yang mana:$\pi_2$$V^{(1)}$$\pi_2$$\pi_2$$V^{2}$$\pi_2$

$V^{\pi_2}(s) = R(s) + \gamma \sum_{s'}P_{s\pi_2(s)}(s')V^{\pi_2}(s')$

tapi ini BUKAN:

$V^{\pi_1}(s) = R(s) + \gamma \sum_{s'}P_{s\pi_2(s)}(s')V^{\pi_1}(s')$

Yang tampaknya menjadi masalah karena dipilih untuk meningkatkan , dan bukan . Pada dasarnya masalahnya adalah bahwa menjamin untuk meningkatkan dengan melakukan sebagai gantinya dari ketika fungsi nilai adalah . Tetapi pada langkah berulang kami mengubah menjadi , tetapi saya tidak melihat bagaimana hal itu menjamin bahwa fungsi nilai meningkat secara monoton pada setiap pengulangan karena dihitung untuk meningkatkan fungsi nilai saat fungsi nilai tetap di$\pi_2$$V^{(1)}$$V^{\pi_2}$$pi_2$$R(s) + \gamma \sum_{s'}P_{s\pi_1(s)}(s')V^{\pi_1}(s')$π 2 p i 1 V π 1 V π 1 V π 2 π 2 V π 1 V π 1V π 2 π 2$\pi_2$$pi_1$$V^{\pi_1}$$V^{\pi_1}$$V^{\pi_2}$$\pi_2$$V^{\pi_1}$, tetapi langkah 1 mengubah menjadi (yang buruk karena I hanya meningkatkan fungsi nilai sebelumnya yang kami miliki).$V^{\pi_1}$$V^{\pi_2}$$\pi_2$

Saya pikir bagian yang Anda lewatkan adalah bahwa dijamin untuk alasan yang sama kita dapat memesan . Itulah dasarnya definisi dari satu kebijakan menjadi lebih baik dari yang lain - bahwa fungsi nilainya lebih besar atau sama di semua negara. Anda telah menjamin ini dengan memilih tindakan pemaksimalan - tidak ada nilai keadaan yang mungkin lebih buruk daripada sebelumnya, dan jika hanya satu pilihan tindakan telah berubah untuk memilih tindakan pemaksimalan yang lebih baik, maka Anda sudah tahu (tetapi mungkin belum menghitung) bahwa untuk keadaan itu akan lebih tinggi daripada . π 2 ≥ π 1 V π 2 ( s ) V π 1 ( s $V^{\pi_2} \ge V^{\pi_1}$$\pi_2 \ge \pi_1$$V^{\pi_2}(s)$$V^{\pi_1}(s)$

Ketika kami memilih untuk memaksimalkan hasil untuk menghasilkan , kami tidak tahu apa yang akan menjadi untuk keadaan apa pun, tetapi kami tahu bahwa .V π 2 ( s ) ∀ s : V π 2 ( s ) ≥ V π 1 ( s $\pi_2$$V^{\pi_2}(s)$$\forall s: V^{\pi_2}(s) \ge V^{\pi_1}(s)$

Karena itu, kembali melalui loop dan menghitung untuk kebijakan baru dijamin memiliki nilai yang sama atau lebih tinggi dari sebelumnya, dan ketika datang untuk memperbarui kebijakan lagi, . π 3 ≥ π 2 ≥ π $V^{\pi_2}$$\pi_3 \ge \pi_2 \ge \pi_1$

Pertama mari kita lihat mengapa Algoritma Iterasi Kebijakan berfungsi. Ini memiliki dua langkah.

Langkah Evaluasi Kebijakan:

$v_n = r_{d_n} + \gamma P_{d_n}v_n$ adalah bentuk umum dari sistem persamaan linear.

Di sini, istilah adalah hadiah langsung dan baris yang sesuai dari matriks transisi.$r_{d_n}, P_{d_n}$

Istilah-istilah ini tergantung pada kebijakan$\Pi_n$

Memecahkan sistem persamaan di atas kita dapat menemukan nilai-nilai$v_n$

Langkah Perbaikan Kebijakan:

Asumsikan bahwa kami dapat menemukan kebijakan baru sedemikian rupa$\Pi_{n+1}$

$$\begin{align} r_{d_n+1} + \gamma P_{d_n+1}v_n & \ge r_{d_n} + \gamma P_{d_n}v_n \\ \implies r_{d_n+1} & \ge [I - \gamma P_{d_n+1}]v_n \quad \text{say this is eqn. 1}\\ \end{align}$$

Sekarang, berdasarkan pada kebijakan baru , kita dapat menemukan , katakan ini adalah persamaan 2. v n + 1 = r d n + 1 + γ P d n + 1 v n + $\Pi_{n+1}$$v_{n+1} = r_{d_{n+1}} + \gamma P_{d_{n+1}}v_{n+1}$

Kami akan menunjukkan bahwa ;$v_{n+1} \ge v_n$

yaitu dasarnya untuk semua negara, kebijakan yang baru dipilih memberikan nilai yang lebih baik dibandingkan dengan kebijakan sebelumnya Π $\Pi_{n+1}$$\Pi_{n}$

Bukti:

Dari, persamaan 2, kita memiliki,

$[I - \gamma P_{d_{n+1}}]v_{n+1} = r_{d_n+1}$

Dari, , kami punya$1 \&2$

$v_{n+1} \ge v_{n}$

Pada dasarnya, nilai-nilai meningkat secara monoton dengan setiap iterasi.

Ini penting untuk memahami mengapa Interasi Kebijakan tidak akan macet secara maksimal.

Kebijakan tidak lain adalah ruang tindakan negara.

Pada setiap langkah iterasi kebijakan, kami mencoba menemukan setidaknya satu tindakan-negara yang berbeda antara dan dan melihat apakah . Hanya jika kondisi terpenuhi kami akan menghitung solusi untuk sistem persamaan linear baru.$\Pi_{n+1}$$\Pi_{n}$$\quad r_{d_n+1} + \gamma P_{d_n+1}v_n \ge r_{d_n} + \gamma P_{d_n}v_n$

Asumsikan dan adalah optimum global dan lokal masing-masing.$\Pi^*$$\Pi^\#$

Tersirat,$v_* \ge v_\#$

Asumsikan algoritma macet pada optimal lokal.

Jika ini masalahnya, maka langkah peningkatan kebijakan tidak akan berhenti di ruang tindakan-tindakan lokal optimal , karena terdapat setidaknya satu tindakan negara di yang berbeda dari dan menghasilkan nilai dibandingkan dengan$\Pi^\#$$\Pi^*$$\Pi^\#$$v_{*}$$v_{\#}$

atau, dengan kata lain,

$[I-\gamma P_{d_*}]v_* \ge [I-\gamma P_{d_*}]v_{\#}$

$\implies r_{d_*} \ge [I-\gamma P_{d_*}]v_{\#}$

$\implies r_{d_*} + \gamma P_{d_*}v_{\#} \ge v_{\#}$

$\implies r_{d_*} + \gamma P_{d_*}v_{\#} \ge r_{d_\#} + \gamma P_{d_\#}v_\#$

Oleh karena itu, iterasi Kebijakan tidak berhenti pada optimal lokal