Mengapa selalu ada setidaknya satu kebijakan yang lebih baik atau sama dengan semua kebijakan lainnya?

Pembelajaran Penguatan: Suatu Pengantar. Edisi kedua, dalam proses ., Richard S. Sutton dan Andrew G. Barto (c) 2012, hlm. 67-68.

Memecahkan tugas pembelajaran penguatan berarti, secara kasar, menemukan kebijakan yang mencapai banyak penghargaan dalam jangka panjang. Untuk MDP terbatas, kita dapat dengan tepat menetapkan kebijakan optimal dengan cara berikut. Fungsi nilai menentukan pemesanan sebagian atas kebijakan. Sebuah kebijakan $\pi$ didefinisikan untuk menjadi lebih baik dari atau sama dengan kebijakan $\pi'$ jika pengembalian yang diharapkan lebih besar dari atau sama dengan yang $\pi'$ , untuk semua negara. Dengan kata lain, $\pi \geq \pi'$ jika dan hanya jika $v_\pi(s) \geq v_{\pi'}(s)$ , untuk semua $s \in \mathcal{S}$ . Selalu ada setidaknya satu kebijakan yang lebih baik atau sama dengan semua kebijakan lainnya. Ini adalah kebijakan yang optimal.

Mengapa selalu ada setidaknya satu kebijakan yang lebih baik atau sama dengan semua kebijakan lainnya?

Hanya melewati bagian yang dikutip, paragraf yang sama sebenarnya memberi tahu Anda apa kebijakan ini: itu adalah yang mengambil tindakan terbaik di setiap negara. Dalam MDP, tindakan yang kami lakukan di satu negara tidak memengaruhi hadiah untuk tindakan yang dilakukan di negara lain, jadi kami hanya dapat memaksimalkan kebijakan negara bagian demi negara.

Keberadaan kebijakan yang optimal tidak jelas. Untuk mengetahui alasannya, perhatikan bahwa fungsi nilai hanya menyediakan pemesanan parsial atas ruang kebijakan. Ini berarti:

$$\pi' \geq \pi \iff v_{\pi'}(s) \geq v_{\pi}(s), \forall s \in S$$

Karena ini hanya pemesanan parsial, mungkin ada kasus di mana dua kebijakan, dan π 2 , tidak dapat dibandingkan. Dengan kata lain, ada himpunan bagian dari ruang keadaan, S 1 dan S 2 sedemikian rupa sehingga:$\pi_1$$\pi_2$$S_1$$S_2$

$$v_{\pi'}(s) \geq v_{\pi}(s), \forall s \in S_1$$

$$v_{\pi}(s) \geq v_{\pi'}(s),\forall s \in S_2$$

Dalam hal ini, kami tidak dapat mengatakan bahwa satu kebijakan lebih baik daripada yang lain. Tetapi jika kita berurusan dengan MDP terbatas dengan fungsi nilai terikat, maka skenario seperti itu tidak pernah terjadi. Hanya ada satu fungsi nilai optimal, meskipun mungkin ada beberapa kebijakan optimal.

Untuk bukti ini, Anda perlu memahami teorema Titik Tetap Banach. Untuk analisis terperinci, silakan merujuk .

$\newcommand{\mc}{\mathcal} \newcommand{\mb}{\mathbb}$

Pengaturan

Kami sedang mempertimbangkan dalam pengaturan:

• Tindakan terpisah
• Status diskrit
• Hadiah terbatas
• Kebijakan stasioner
• Cakrawala tak terbatas

The kebijakan yang optimal didefinisikan sebagai: dan fungsi nilai optimal adalah: V * = max π V π ( s ) , ∀ s ∈ S Ada dapat satu set kebijakan yang mencapai maksimum. Tetapi hanya ada satu fungsi nilai optimal: V ∗ = V π

$$\pi^\ast \in \arg \max_\pi V^\pi(s), \forall s \in \mc{S} \tag{1}$$ $$V^\ast = \max_\pi V^\pi (s), \forall s \in \mc S \tag{2}$$ $$V^\ast = V^{\pi^\ast} \tag{3}$$

Pertanyaan

How to prove that there exists at least one $\pi^\ast$ which satisfies (1) simultaneously for all $s \in \mc{S}$ ?

Outline of proof

1. Construct the optimal equation to be used as a temporary surrogate definition of optimal value function, which we will prove in step 2 that it is equivalent to the definition via Eq.(2).

   $$V^\ast(s) = \max_{a \in \mc A} [ R(s, a) + \gamma \, \sum_{s^\prime \in \mc S} T(s, a, s^\prime) V^\ast(s^\prime)] \tag{4}$$

2. Turunkan persamaan dari fungsi nilai optimal mendefinisikan melalui Persamaan (4) dan melalui Persamaan (2).

   (Catat sebenarnya kita hanya perlu arah keperluan dalam buktinya, karena kecukupan sudah jelas karena kita membangun Persamaan. (4) dari Persamaan. (2).)

3. Buktikan bahwa ada solusi unik untuk Persamaan. (4).

4. Pada langkah 2, kita tahu bahwa solusi yang diperoleh pada langkah 3 juga merupakan solusi untuk Persamaan. (2), jadi ini adalah fungsi nilai yang optimal.

5. Dari fungsi nilai optimal, kita dapat memulihkan kebijakan optimal dengan memilih tindakan maximizer dalam Persamaan (4) untuk setiap negara.

Detail langkah-langkahnya

1

$V^\ast(s) = V^{\pi^\ast}(s) = \mb E_a [Q^{\pi^\ast}(s, a)]$$V^{\pi^\ast}(s) \le \max_{a \in \mc A} Q^{\pi^\ast} (s, a)$$\tilde{s}$ such that $V^{\pi^\ast} \neq \max_{a \in \mc A} Q^{\pi^\ast} (s, a)$, we can choose a better policy by maximizing $Q^{\ast} (s, a) = Q^{\pi^\ast} (s, a)$ over $a$.

2

(=>)

Follows by step 1.

(<=)

i.e. If $\tilde V$ satisfies $\tilde V(s) = \max_{a \in \mc A} [ R(s, a) + \gamma \, \sum_{s^\prime \in \mc S} T(s, a, s^\prime) \tilde V(s^\prime)]$, then $\tilde V(s) = V^\ast(s) = \max_\pi V^\pi(s), \forall s \in \mc S$.

Define the optimal Bellman operator as

$$\mc T V(s) = \max_{a \in \mc A} [ R(s, a) + \gamma \, \sum_{s^\prime \in \mc S} T(s, a, s^\prime) V(s^\prime)] \tag{5}$$ So our goal is to prove that if $\tilde V = \mc T \tilde V$, then $\tilde V = V^\ast$. We show this by combining two results, following Puterman[1]:

a) If $\tilde V \ge \mc T \tilde V$, then $\tilde V \ge V^\ast$.

b) If $\tilde V \le \mc T \tilde V$, then $\tilde V \le V^\ast$.

Proof:

a)

For any $\pi = (d_1, d_2, ...)$,

$$\begin{align} \tilde V &\ge \mc T \tilde V = \max_{d} [ R_d + \gamma \, P_d \tilde V] \\ &\ge R_{d_1} + \gamma \, P_{d_1} \tilde V \\ \end{align}$$ Here $d$ is the decision rule(action profile at specific time), $R_d$ is the vector representation of immediate reward induced from $d$ and $P_d$ is transition matrix induced from $d$.

By induction, for any $n$,

$$\tilde V \ge R_{d_1} + \sum_{i=1}^{n-1} \gamma^i P_\pi^i R_{d_{i+1}} + \gamma^n P_\pi^n \tilde V$$ where $P_\pi^j$ represents the $j$-step transition matrix under $\pi$.

Since

$$V^\pi = R_{d_1} + \sum_{i=1}^{\infty}\gamma^i P_\pi^i R_{d_{i+1}}$$ we have $$\tilde V - V^\pi \ge \underbrace{\gamma^n P_\pi^n \tilde V -\sum_{i=n}^{\infty}\gamma^i P_\pi^i R_{d_{i+1}}}_{\rightarrow 0 \ \text{as}\ n\rightarrow \infty}$$ So we have $\tilde V \ge V^\pi$. And since this holds for any $\pi$, we conclude that $$\tilde V \ge \max_\pi V^\pi = V^\ast$$ b)

Follows from step 1.

3

The optimal Bellman operator is a contraction in $L_\infty$ norm, cf. [2].

Proof: For any $s$,

$$\begin{align} \left\vert \mc T V_1(s) - \mc TV_2(s) \right\vert &= \left\vert \max_{a \in \mc A} [ R(s, a) + \gamma \, \sum_{s^\prime \in \mc S} T(s, a, s^\prime) V_1(s^\prime)] -\max_{a^\prime \in \mc A} [ R(s, a^\prime) + \gamma \, \sum_{s^\prime \in \mc S} T(s, a^\prime, s^\prime) V(s^\prime)]\right\vert \\ &\overset{(*)}{\le} \left\vert \max_{a \in \mc A} [\gamma \, \sum_{s^\prime \in \mc S} T(s, a, s^\prime) (V_1(s^\prime) - V_2(s^\prime))] \right\vert \\ &\le \gamma \Vert V_1 - V_2 \Vert_\infty \end{align}$$ where in (*) we used the fact that $$\max_a f(a) - \max_{a^\prime} g(a^\prime) \le \max_a [f(a) - g(a)]$$

Thus by Banach fixed point theorum it follows that $\mc T$ has a unique fixed point.

References

[1] Puterman, Martin L.. “Markov Decision Processes : Discrete Stochastic Dynamic Programming.” (2016).

[2] A. Lazaric. http://researchers.lille.inria.fr/~lazaric/Webpage/MVA-RL_Course14_files/slides-lecture-02-handout.pdf

The policy $a=\pi(s)$ gives the best action $a$ to execute in state $s$ according to policy $\pi$, i.e. the value function $v_\pi(s)=\max_{a \in A} q_\pi (s,a)$ is highest for action $a$ in state $s$.

There is always at least one policy that is better than or equal to all other policies.

Thus there is always a policy $\pi_*$ which gives equal or higher expected rewards than policy $\pi$. Note that this implies that $\pi$ could be an/the optimal policy ($\pi_*$) itself.