Contoh langkah demi langkah diferensiasi otomatis mode terbalik

Tidak yakin apakah pertanyaan ini ada di sini, tetapi terkait erat dengan metode gradien dalam pengoptimalan, yang tampaknya menjadi topik di sini. Bagaimanapun, jangan ragu untuk bermigrasi jika Anda pikir beberapa komunitas lain memiliki keahlian yang lebih baik dalam topik ini.

Singkatnya, saya mencari contoh selangkah demi selangkah dari diferensiasi otomatis mode terbalik . Tidak banyak literatur tentang topik di luar sana dan implementasi yang ada (seperti yang ada di TensorFlow ) sulit untuk dipahami tanpa mengetahui teori di baliknya. Jadi saya akan sangat berterima kasih jika seseorang dapat menunjukkan secara rinci apa yang kami lewati , bagaimana kami memprosesnya dan apa yang kami ambil dari grafik komputasi.

Beberapa pertanyaan yang paling sulit saya hadapi:

biji - mengapa kita membutuhkannya?
membalikkan aturan diferensiasi - Saya tahu bagaimana membuat diferensiasi maju, tetapi bagaimana kita mundur? Misalnya dalam contoh dari bagian ini , bagaimana kita tahu bahwa ? $\bar{w_2}=\bar{w_3}w_1$
apakah kita hanya bekerja dengan simbol atau melewati nilai aktual ? Misalnya dalam contoh yang sama , apakah dan simbol atau nilai? $w_i$ $\bar{w_i}$

— teman
sumber

"Pembelajaran Mesin Langsung dengan Scikit-Learn & TensorFlow" Lampiran D memberikan pendapat yang sangat bagus menurut saya. Saya merekomendasikannya.

— Agustin Barrachina

Katakanlah kita memiliki ekspresi dan ingin mencari turunan dan . Reverse-mode AD membagi tugas ini menjadi 2 bagian, yaitu, meneruskan dan membalikkan pass. $z = x_1x_2 + \sin(x_1)$ $\frac{dz}{dx_1}$ $\frac{dz}{dx_2}$

Maju terus

Pertama, kami menguraikan ekspresi kompleks kami menjadi satu set yang primitif, yaitu ekspresi yang terdiri dari paling banyak pemanggilan fungsi tunggal. Perhatikan bahwa saya juga mengganti nama variabel input dan output untuk konsistensi, meskipun itu tidak perlu:

w_{1} = x_{1}

$w_1 = x_1$

w_{2} = x_{2}

$w_2 = x_2$

w_{3} = w_{1} w_{2}

$w_3 = w_1w_2$

w_{4} = \sin (w_{1})

$w_4 = \sin(w_1)$

w_{5} = w_{3} + w_{4}

$w_5 = w_3 + w_4$

z = w_{5}

$z = w_5$

Keuntungan dari representasi ini adalah bahwa aturan diferensiasi untuk setiap ekspresi yang terpisah sudah diketahui. Sebagai contoh, kita tahu bahwa turunan dari adalah , dan karenanya . Kami akan menggunakan fakta ini secara terbalik di bawah ini. $\sin$ $\cos$ $\frac{dw_4}{dw_1} = \cos(w_1)$

Pada dasarnya, umpan maju terdiri dari mengevaluasi setiap ekspresi ini dan menyimpan hasilnya. Katakan, input kami adalah: dan . Maka kita memiliki: $x_1 = 2$ $x_2 = 3$

w_{1} = x_{1} = 2

$w_1 = x_1 = 2$

w_{2} = x_{2} = 3

$w_2 = x_2 = 3$

w_{3} = w_{1} w_{2} = 6

$w_3 = w_1w_2 = 6$

w_{4} = \sin (w_{1}) = 0.9

$w_4 = \sin(w_1) ~= 0.9$

w_{5} = w_{3} + w_{4} = 6.9

$w_5 = w_3 + w_4 = 6.9$

z = w_{5} = 6.9

$z = w_5 = 6.9$

Reverse pass

Ini adalah keajaiban dimulai, dan itu dimulai dengan aturan rantai . Dalam bentuk dasarnya, aturan rantai menyatakan bahwa jika Anda memiliki variabel yang bergantung pada yang, pada gilirannya, tergantung pada , maka: $t(u(v))$ $u$ $v$

\frac{d t}{d v} = \frac{d t}{d u} \frac{d u}{d v}

$\frac{dt}{dv} = \frac{dt}{du}\frac{du}{dv}$

atau, jika bergantung pada melalui beberapa jalur / variabel , mis: $t$ $v$ $u_i$

u_{1} = f (v)

$u_1 = f(v)$

u_{2} = g (v)

$u_2 = g(v)$

t = h (u_{1}, u_{2})

$t = h(u_1, u_2)$

lalu (lihat buktinya di sini ):

\frac{d t}{d v} = \sum_{i} \frac{d t}{d u_{saya}} \frac{d {kamu}_{saya}}{d v}

$\frac{dt}{dv} = \sum_i \frac{dt}{du_i}\frac{du_i}{dv}$

Dalam hal grafik ekspresi, jika kita memiliki simpul akhir dan simpul input , dan jalur dari ke melewati simpul perantara (yaitu mana ), kita dapat menemukan turunannya sebagai $z$ $w_i$ $z$ $w_i$ $w_p$ $z = g(w_p)$ $w_p = f(w_i)$ $\frac{dz}{dw_i}$

\frac{d z}{d w_{i}} = \sum_{p \in p a r e n t s (i)} \frac{d z}{d w_{hal}} \frac{d w_{hal}}{d w_{saya}}

$\frac{dz}{dw_i} = \sum_{p \in parents(i)} \frac{dz}{dw_p} \frac{dw_p}{dw_i}$

Dengan kata lain, untuk menghitung turunan dari variabel keluaran wrt variabel antara atau input , kita hanya perlu mengetahui turunan dari orang tuanya dan rumus untuk menghitung turunan dari ekspresi primitif . $z$ $w_i$ $w_p = f(w_i)$

Reverse pass dimulai pada bagian akhir (yaitu ) dan menyebar mundur ke semua dependensi. Di sini kita punya (ekspresi untuk "seed"): $\frac{dz}{dz}$

\frac{d z}{d z} = 1

$\frac{dz}{dz} = 1$

Itu dapat dibaca sebagai "perubahan dalam menghasilkan perubahan yang persis sama dalam ", yang cukup jelas. $z$ $z$

Maka kita tahu bahwa dan sebagainya: $z = w_5$

\frac{d z}{d w_{5}} = 1

$\frac{dz}{dw_5} = 1$

$w_5$ secara linear tergantung pada dan , jadi dan . Menggunakan aturan rantai kami menemukan: $w_3$ $w_4$ $\frac{dw_5}{dw_3} = 1$ $\frac{dw_5}{dw_4} = 1$

\frac{d z}{d w_{3}} = \frac{d z}{d w_{5}} \frac{d w_{5}}{d w_{3}} = 1 \times 1 = 1

$\frac{dz}{dw_3} = \frac{dz}{dw_5} \frac{dw_5}{dw_3} = 1 \times 1 = 1$

\frac{d z}{d w_{4}} = \frac{d z}{d w_{5}} \frac{d w_{5}}{d w_{4}} = 1 \times 1 = 1

$\frac{dz}{dw_4} = \frac{dz}{dw_5} \frac{dw_5}{dw_4} = 1 \times 1 = 1$

Dari definisi dan aturan turunan parsial, kami menemukan bahwa . Demikian: $w_3 = w_1w_2$ $\frac{dw_3}{dw_2} = w_1$

\frac{d z}{d w_{2}} = \frac{d z}{d w_{3}} \frac{d w_{3}}{d w_{2}} = 1 \times w_{1} = w_{1}

$\frac{dz}{dw_2} = \frac{dz}{dw_3} \frac{dw_3}{dw_2} = 1 \times w_1 = w_1$

Yang, seperti yang sudah kita ketahui dari umpan maju, adalah:

\frac{d z}{d w_{2}} = w_{1} = 2

$\frac{dz}{dw_2} = w_1 = 2$

Akhirnya, berkontribusi ke melalui dan . Sekali lagi, dari aturan turunan parsial kita tahu bahwa dan . Demikian: $w_1$ $z$ $w_3$ $w_4$ $\frac{dw_3}{dw_1} = w_2$ $\frac{dw_4}{dw_1} = \cos(w_1)$

\frac{d z}{d w_{1}} = \frac{d z}{d w_{3}} \frac{d w_{3}}{d w_{1}} + \frac{d z}{d w_{4}} \frac{d w_{4}}{d w_{1}} = w_{2} + \cos (w_{1})

$\frac{dz}{dw_1} = \frac{dz}{dw_3} \frac{dw_3}{dw_1} + \frac{dz}{dw_4} \frac{dw_4}{dw_1} = w_2 + \cos(w_1)$

Dan lagi, mengingat input yang diketahui, kita dapat menghitungnya:

\frac{d z}{d w_{1}} = w_{2} + \cos (w_{1}) = 3 + \cos (2) = 2.58

$\frac{dz}{dw_1} = w_2 + \cos(w_1) = 3 + \cos(2) ~= 2.58$

Karena dan hanyalah alias untuk dan , kami mendapatkan jawaban kami: $w_1$ $w_2$ $x_1$ $x_2$

\frac{d z}{d x_{1}} = 2.58

$\frac{dz}{dx_1} = 2.58$

\frac{d z}{d x_{2}} = 2

$\frac{dz}{dx_2} = 2$

Dan itu dia!

Deskripsi ini hanya menyangkut input skalar, yaitu angka, tetapi sebenarnya itu juga dapat diterapkan pada array multidimensi seperti vektor dan matriks. Dua hal yang harus diingat ketika membedakan ekspresi dengan objek-objek tersebut:

Derivatif mungkin memiliki dimensi yang jauh lebih tinggi daripada input atau output, misalnya turunan dari vektor wrt vektor adalah matriks dan turunan dari matriks wrt adalah array 4 dimensi (kadang-kadang disebut sebagai tensor). Dalam banyak kasus turunan seperti itu sangat jarang.
Setiap komponen dalam larik keluaran adalah fungsi independen dari 1 atau lebih komponen larik masukan. Misalkan jika dan keduanya dan adalah vektor, tidak pernah bergantung pada , tetapi hanya pada subset dari . Secara khusus, ini berarti menemukan turunan bermuara pada pelacakan bagaimana bergantung pada . $y = f(x)$ $x$ $y$ $y_i$ $y_j$ $x_k$ $\frac{dy_i}{dx_j}$ $y_i$ $x_j$

Kekuatan diferensiasi otomatis adalah bahwa ia dapat menangani struktur rumit dari bahasa pemrograman seperti kondisi dan loop. Namun, jika semua yang Anda butuhkan adalah ekspresi aljabar dan Anda memiliki kerangka kerja yang cukup baik untuk bekerja dengan representasi simbolik, dimungkinkan untuk membangun ekspresi simbolik sepenuhnya. Pada kenyataannya, dalam contoh ini kita dapat menghasilkan ekspresi dan menghitung turunan ini untuk input apa pun yang kita inginkan. $\frac{dz}{dw_1} = w_2 + \cos(w_1) = x_2 + \cos(x_1)$

— teman
sumber

Pertanyaan / jawaban yang sangat berguna. Terima kasih. Hanya kritik kecil: Anda tampaknya bergerak di atas struktur pohon tanpa menjelaskan (saat itulah Anda mulai berbicara tentang orang tua, dll.)

— MadHatter

Juga tidak ada salahnya menjelaskan mengapa kita membutuhkan benih.

— MadHatter

\frac{d z}{d z} = 1

$\frac{dz}{dz} = 1$

Terima kasih! Saya perhatikan ketika Anda harus menetapkan lebih dari satu "seed", umumnya seseorang memilih 1 dan 0. Saya ingin tahu mengapa. Maksud saya, orang mengambil "hasil bagi" dari wrt diferensial itu sendiri, jadi "1" setidaknya secara intuitif dibenarkan .. Tapi bagaimana dengan 0? Dan bagaimana jika seseorang harus memilih lebih dari 2 biji?

— MadHatter

Sejauh yang saya mengerti, lebih dari satu seed hanya digunakan dalam mode forward-AD. Dalam hal ini Anda mengatur seed ke 1 untuk variabel input yang ingin Anda bedakan sehubungan dengan dan mengatur seed ke 0 untuk semua variabel input lainnya sehingga mereka tidak berkontribusi pada nilai output. Dalam mode terbalik, Anda mengatur seed ke variabel output , dan Anda biasanya hanya memiliki satu variabel output. Saya kira, Anda dapat membangun pipa AD mode balik dengan beberapa variabel output dan mengatur semuanya tetapi satu ke 0 untuk mendapatkan efek yang sama seperti dalam mode maju, tapi saya belum pernah menyelidiki opsi ini.

— berteman