Bagaimana meningkatkan gradien seperti gradient descent?

Saya membaca entri Wikipedia yang berguna tentang peningkatan gradien ( https://en.wikipedia.org/wiki/Gradient_boosting ), dan mencoba memahami bagaimana / mengapa kita dapat memperkirakan residu dengan langkah penurunan paling curam (juga disebut pseudo-gradient) ). Adakah yang bisa memberi saya intuisi tentang bagaimana keturunan paling curam terkait / mirip dengan residu? Bantuan sangat dihargai!

self-study gradient-descent

— Wouter
sumber

Misalkan kita berada dalam situasi berikut. Kami memiliki beberapa data , di mana setiap dapat berupa angka atau vektor, dan kami ingin menentukan fungsi yang mendekati hubungan , dalam arti bahwa kuadrat terkecil kesalahan: $\{ x_i, y_i \}$ $x_i$ $f$ $f(x_i) \approx y_i$

\frac{1}{2} \sum_{i} (y_{i} - f (x_{i}))^{2}

$\frac{1}{2} \sum_i (y_i - f(x_i))^2$

kecil.

Sekarang, pertanyaannya adalah apa yang kita inginkan dari domain menjadi. Pilihan yang merosot untuk domain hanyalah poin dalam data pelatihan kami. Dalam hal ini, kita dapat mendefinisikan , yang mencakup seluruh domain yang diinginkan, dan dilakukan dengan itu. Putaran tentang cara untuk sampai pada jawaban ini adalah dengan melakukan gradient descent dengan ruang diskrit ini sebagai domain. Ini membutuhkan sedikit perubahan dalam sudut pandang. Mari kita lihat kerugian sebagai fungsi dari titik true dan prediksi (untuk saat ini, bukan fungsi, tetapi hanya nilai prediksi) $f$ $f(x_i) = y$ $y$ $f$ $f$

L (f; y) = \frac{1}{2} (y - f)^{2}

$L(f; y) = \frac{1}{2} (y - f)^2$

dan kemudian ambil gradien sehubungan dengan prediksi

\nabla_{f} L (f; y) = f - y

$\nabla_f L(f; y) = f - y$

Kemudian pembaruan gradien, mulai dari nilai awal adalah $y_0$

y_{1} = y_{0} - \nabla_{f} (y_{0}, y) = y_{0} - (y_{0} - y) = y

$y_1 = y_0 - \nabla_f (y_0, y) = y_0 - (y_0 - y) = y$

Jadi kami memulihkan prediksi sempurna kami dalam langkah gradien dengan pengaturan ini, yang bagus!

Cacat di sini adalah, tentu saja, bahwa kita ingin didefinisikan pada lebih dari sekedar titik data pelatihan kami. Untuk melakukan ini, kita harus membuat beberapa konsesi, karena kita tidak dapat mengevaluasi fungsi kerugian, atau gradiennya, pada titik mana pun selain dari kumpulan data pelatihan kita. $f$

Ide besar adalah untuk lemah perkiraan . $\nabla L$

Startdengan tebakan awal pada , hampir selalu fungsi konstan sederhana , ini didefinisikan di mana-mana. Sekarang buat dataset kerja baru dengan mengevaluasi gradien fungsi kerugian pada data pelatihan, menggunakan tebakan awal untuk : $f$ $f(x) = f_0$ $f$

W = {x_{i}, f_{0} - y}

$W = \{ x_i, f_0 - y \}$

Now approximate $\nabla L$ dengan memasang lemah pelajar untuk . Katakanlah kita mendapatkan pendekatan . Kami telah memperoleh ekstensi data di seluruh domain dalam bentuk , meskipun kami telah kehilangan presisi di titik-titik pelatihan, karena kami cocok dengan pelajar kecil. $W$ $F \approx \nabla L$ $W$ $F(X)$

Finally, gunakan sebagai pengganti dalam pembaruan gradien di seluruh domain: $F$ $\nabla L$ $f_0$

f_{1} (x) = f_{0} (x) - F (x)

$f_1(x) = f_0(x) - F(x)$

Kami keluar , perkiraan baru , sedikit lebih baik dari . Mulai lagi dengan , dan sampai puas. $f_1$ $f$ $f_0$ $f_1$

Mudah-mudahan, Anda melihat bahwa yang benar-benar penting adalah mendekati gradien dari kerugian. Dalam kasus minimalisasi kuadrat, ini mengambil bentuk residu mentah, tetapi dalam kasus yang lebih canggih tidak. Mesin masih berlaku. Selama seseorang dapat membangun algoritma untuk menghitung kerugian dan gradien kerugian pada data pelatihan, kita dapat menggunakan algoritma ini untuk memperkirakan suatu fungsi yang meminimalkan kerugian tersebut.

— Matthew Drury
sumber

Yah, saya pikir itu bagus. Satu-satunya hal yang perlu diperhatikan adalah bahwa jika Anda, misalnya, ingin meningkatkan untuk meminimalkan kerugian binomial maka gradien yang kami kembangkan tidak lagi terkait dengan residu secara alami.

\sum_{i} y_{i} \log (p_{i}) + (1 - y_{i}) \log (1 - p_{i})

$\sum_i y_i \log (p_i) + (1 - y_i) \log(1 - p_i)$

— Matthew Drury

Terima kasih Matthew. Satu hal yang saya coba untuk mendapatkan kepalaku. Dalam literatur sering dinyatakan bahwa pembaruan model adalah F (m + 1) = F (m) + , di mana h (m) adalah pembelajar yang lemah. Jika saya memikirkan model berbasis pohon - apakah itu berarti baik untuk regresi maupun klasifikasi, kami secara praktis memperbarui prediksi kami untuk titik data tertentu dengan tambahan sederhana hasil dari kedua model? apakah itu juga berfungsi jika kita mencoba untuk mengklasifikasikan biner ini? atau tanda + tidak harus ditafsirkan secara harfiah?

α_{m} * h (m)

$\alpha_m*h(m)$

— Wouter

Tanda plus cukup literal. Tetapi untuk pelajar yang lemah berdasarkan pohon, prediksi model harus ditafsirkan sebagai rata-rata tertimbang dalam daun, bahkan dalam kasus di mana pohon tersebut cocok dengan data binomial. Perhatikan bahwa dalam meningkatkan, kita biasanya tidak cocok dengan data binomial, kita cocok dengan gradien dari kemungkinan yang dievaluasi pada prediksi tahap sebelumnya, yang tidak akan bernilai .

0, 1

$0,1$

— Matthew Drury

@MatthewDrury Saya pikir dalam banyak literatur, kami bukan pembaruan langsung dengan , tetapi dengan , di mana dari 0 hingga 1 adalah tingkat pembelajaran.

f_{1}

$f_1$

f_{0} - F (x)

$f_0-F(x)$

f_{0} - α * F (x)

$f_0-\alpha*F(x)$

α

$\alpha$

— Haitao Du

@ hxd1011 Ya, itu benar sekali, dan penting untuk menggunakan peningkatan gradien dengan sukses.

— Matthew Drury