Apa perbedaan antara fungsi kerugian dan fungsi keputusan?

Saya melihat bahwa kedua fungsi merupakan bagian dari metode penambangan data seperti Gradient Boosting Regressors. Saya melihat bahwa itu adalah objek yang terpisah juga.

Bagaimana hubungan keduanya secara umum?

Sebuah fungsi keputusan adalah fungsi yang mengambil dataset sebagai masukan dan memberikan keputusan sebagai output. Apa keputusan itu tergantung pada masalah yang dihadapi. Contohnya termasuk:

• Masalah estimasi: "keputusan" adalah estimasi.
• Masalah pengujian hipotesis: keputusannya adalah menolak atau tidak menolak hipotesis nol.
• Masalah klasifikasi: keputusannya adalah untuk mengklasifikasikan pengamatan baru (atau pengamatan) ke dalam kategori.
• Masalah pemilihan model: keputusannya adalah memilih salah satu model kandidat.

$\mathbf{x}=(x_1,x_2,\ldots,x_{10})$$d(\mathbf{x})$

• $d(\mathbf{x})=\frac{1}{10}\sum_{i=1}^{10}x_i$
• $d(\mathbf{x})=\mbox{median}(\mathbf{x})$
• $d(\mathbf{x})=\sqrt[10]{x_1\cdots x_{10}}$
• $d(\mathbf{x})=1$$\mathbf{x}$

Lalu bagaimana kita dapat menentukan mana dari fungsi keputusan ini untuk digunakan? Salah satu caranya adalah dengan menggunakan fungsi kerugian , yang menggambarkan kerugian (atau biaya) yang terkait dengan semua keputusan yang mungkin. Fungsi keputusan yang berbeda akan cenderung mengarah pada berbagai jenis kesalahan. Fungsi kerugian memberi tahu kita jenis kesalahan apa yang harus kita perhatikan. Fungsi keputusan terbaik adalah fungsi yang menghasilkan kerugian yang diharapkan terendah . Apa yang dimaksud dengan kerugian yang diharapkan tergantung pada pengaturan (khususnya, apakah kita berbicara tentang statistik frequentist atau Bayesian ).

Singkatnya:

• Fungsi keputusan digunakan untuk membuat keputusan berdasarkan data.
• Fungsi kerugian digunakan untuk menentukan fungsi keputusan mana yang digunakan.

Fungsi kerugian adalah yang diminimalkan untuk mendapatkan model yang optimal dalam beberapa hal. Model itu sendiri memiliki fungsi keputusan yang digunakan untuk memprediksi.

Misalnya, dalam pengklasifikasi SVM:

• $\mathcal{L}(\mathbf{w}, \xi) =\frac{1}{2}\|\mathbf{w}\|^2 + C\sum_i \xi_i$
• $f(\mathbf{x}) = \mathbf{w}^T\mathbf{x} + b$