Apa operator Bellman dalam pembelajaran penguatan?

Dalam matematika, kata operator dapat merujuk ke beberapa konsep yang berbeda tetapi terkait. Operator dapat didefinisikan sebagai fungsi antara dua ruang vektor, dapat didefinisikan sebagai fungsi di mana domain dan codomain adalah sama, atau dapat didefinisikan sebagai fungsi dari fungsi (yang merupakan vektor) ke fungsi lain (untuk contoh, operator diferensial ), yaitu, fungsi tingkat tinggi (jika Anda terbiasa dengan pemrograman fungsional).

Apa operator Bellman dalam pembelajaran penguatan (RL)? Mengapa kita membutuhkannya? Bagaimana operator Bellman terkait dengan persamaan Bellman di RL?

reinforcement-learning terminology math

— nbro
sumber

Beberapa makalah yang berkaitan dengan topik ini adalah Metode Berbasis Fitur untuk Pemrograman Dinamis Skala Besar (oleh John N. Tsitsiklis dan Benjamin Van Roy, 1996), Analisis Pembelajaran Perbedaan Temporal dengan Pendekatan Fungsi (oleh John N. Tsitsiklis dan Benjamin Van Roy, 1997) dan Least-Squares Policy Iteration (oleh Michail G. Lagoudakis dan Ronald Parr, 2003).

— nbro

Beberapa makalah terkait lainnya yang saya temukan adalah Proses Keputusan Markov Umum: Pemrograman dinamis dan Algoritma pembelajaran Penguatan (oleh Csaba Szepesvári dan Michael L. Littman, 1997) dan

ϵ

$\epsilon$ -MDPs: Learning in Varying Environments (oleh István Szita, Bálint Takács, András Lörincz, 2002).

— nbro

Notasi yang akan saya gunakan adalah dari dua kuliah berbeda oleh David Silver dan juga diinformasikan oleh slide ini .

Persamaan Bellman yang diharapkan adalah

\begin{matrix} (1) & v_{π} (s) = \sum_{a \in A} π (a | s) (R_{s}^{a} + γ \sum_{s^{'} \in S} P_{s s^{'}}^{a} v_{π} (s^{'})) \end{matrix}

$v_\pi(s) = \sum_{a\in \cal{A}} \pi(a|s) \left(\cal{R}_s^a + \gamma\sum_{s' \in \cal{S}} \cal{P}_{ss'}^a v_\pi(s')\right) \tag 1$

Jika kita membiarkannya

\begin{matrix} (2) & P_{s s^{'}}^{π} = \sum_{a \in A} π (a | s) P_{s s^{'}}^{a} \end{matrix}

$\cal{P}_{ss'}^\pi = \sum\limits_{a \in \cal{A}} \pi(a|s)\cal{P}_{ss'}^a \tag 2$ dan

\begin{matrix} (3) & R_{s}^{π} = \sum_{a \in A} π (a | s) R_{s}^{a} \end{matrix}

$\cal{R}_{s}^\pi = \sum\limits_{a \in \cal{A}} \pi(a|s)\cal{R}_{s}^a \tag 3$ maka kita bisa menulis ulang

(1)

$(1)$ sebagai

\begin{matrix} (4) & v_{π} (s) = R_{s}^{π} + γ \sum_{s^{'} \in S} P_{s s^{'}}^{π} v_{π} (s^{'}) \end{matrix}

$v_\pi(s) = \cal{R}_s^\pi + \gamma\sum_{s' \in \cal{S}} \cal{P}_{ss'}^\pi v_\pi(s') \tag 4$

Ini dapat ditulis dalam bentuk matriks

\begin{matrix} (5) & [\begin{matrix} v_{π} (1) \\ ⋮ \\ v_{π} (n) \end{matrix}] = [\begin{matrix} R_{1}^{π} \\ ⋮ \\ R_{n}^{π} \end{matrix}] + γ [\begin{matrix} P_{11}^{π} & \dots & P_{1 n}^{π} \\ ⋮ & ⋱ & ⋮ \\ P_{n 1}^{π} & \dots & P_{n n}^{π} \end{matrix}] [\begin{matrix} v_{π} (1) \\ ⋮ \\ v_{π} (n) \end{matrix}] \end{matrix}

$\left. \begin{bmatrix} v_\pi(1) \\ \vdots \\ v_\pi(n) \end{bmatrix}= \begin{bmatrix} \cal{R}_1^\pi \\ \vdots \\ \cal{R}_n^\pi \end{bmatrix} +\gamma \begin{bmatrix} \cal{P}_{11}^\pi & \dots & \cal{P}_{1n}^\pi\\ \vdots & \ddots & \vdots\\ \cal{P}_{n1}^\pi & \dots & \cal{P}_{nn}^\pi \end{bmatrix} \begin{bmatrix} v_\pi(1) \\ \vdots \\ v_\pi(n) \end{bmatrix} \right. \tag 5$

Atau, lebih kompak,

\begin{matrix} (6) & v_{π} = R^{π} + γ P^{π} v_{π} \end{matrix}

$v_\pi = \cal{R}^\pi + \gamma \cal{P}^\pi v_\pi \tag 6$

Perhatikan bahwa kedua sisi $(6)$ adalah $n$ vektor -dimensi. Sini $n=|\cal{S}|$ adalah ukuran ruang keadaan. Kami kemudian dapat mendefinisikan operator $\cal{T}^\pi:\mathbb{R}^n\to\mathbb{R}^n$ sebagai

\begin{matrix} (7) & T^{π} (v) = R^{π} + γ P^{π} v \end{matrix}

$\cal{T^\pi}(v) = \cal{R}^\pi + \gamma \cal{P}^\pi v \tag 7$

untuk apa saja $v\in \mathbb{R}^n$ . Ini adalah operator Bellman yang diharapkan.

Demikian pula, Anda dapat menulis ulang persamaan optimalitas Bellman

\begin{matrix} (8) & v_{*} (s) = max_{a \in A} (R_{s}^{a} + γ \sum_{s^{'} \in S} P_{s s^{'}}^{a} v_{*} (s^{'})) \end{matrix}

$v_*(s) = \max_{a\in\cal{A}} \left(\cal{R}_s^a + \gamma\sum_{s' \in \cal{S}} \cal{P}_{ss'}^a v_*(s')\right) \tag 8$

sebagai operator optimalitas Bellman

\begin{matrix} (9) & T^{*} (v) = max_{a \in A} (R^{a} + γ P^{a} v) \end{matrix}

$\cal{T^*}(v) = \max_{a\in\cal{A}} \left(\cal{R}^a + \gamma \cal{P}^a v\right) \tag 9$

Operator Bellman adalah "operator" di mana mereka memetakan dari satu titik ke titik lain dalam ruang vektor nilai-nilai negara, $\mathbb{R}^n$ .

Menulis ulang persamaan Bellman sebagai operator berguna untuk membuktikan bahwa algoritma pemrograman dinamis tertentu (misalnya iterasi kebijakan, iterasi nilai) bertemu menjadi titik tetap yang unik. Kegunaan ini datang dalam bentuk badan kerja yang ada dalam teori operator, yang memungkinkan kita untuk menggunakan properti khusus dari operator Bellman.

Secara khusus, fakta bahwa operator Bellman adalah kontraksi memberikan hasil yang bermanfaat, untuk kebijakan apa pun $\pi$ dan setiap vektor awal $v$ ,

\begin{matrix} (10) & lim_{k \to \infty} (T^{π})^{k} v = v_{π} \end{matrix}

$\lim_{k\to\infty}(\cal{T}^\pi)^k v = v_\pi \tag{10}$

\begin{matrix} (11) & lim_{k \to \infty} (T^{*})^{k} v = v_{*} \end{matrix}

$\lim_{k\to\infty}(\cal{T}^*)^k v = v_* \tag{11}$

dimana $v_\pi$ adalah nilai kebijakan $\pi$ dan $v_*$ adalah nilai kebijakan yang optimal $\pi^*$ . Buktinya karena teorema pemetaan kontraksi .

— Philip Raeisghasem
sumber