Fungsi objektif, fungsi biaya, fungsi kerugian: apakah semuanya itu sama?

Dalam pembelajaran mesin, orang berbicara tentang fungsi objektif, fungsi biaya, fungsi kerugian. Apakah mereka hanya nama yang berbeda dari hal yang sama? Kapan menggunakannya? Jika mereka tidak selalu merujuk pada hal yang sama, apa perbedaannya?

Ini bukan istilah yang sangat ketat dan mereka sangat terkait. Namun:

• Fungsi kerugian biasanya merupakan fungsi yang didefinisikan pada titik data, prediksi dan label, dan mengukur penalti. Sebagai contoh:
  • kerugian kuadrat , digunakan dalam regresi linier$l(f(x_i|\theta),y_i) = \left (f(x_i|\theta)-y_i \right )^2$
  • kehilangan engsel , digunakan dalam SVM$l(f(x_i|\theta), y_i) = \max(0, 1-f(x_i|\theta)y_i)$
  • 0/1 kerugian , digunakan dalam analisis teoretis dan definisi keakuratan$l(f(x_i|\theta), y_i) = 1 \iff f(x_i|\theta) \neq y_i$
• Fungsi biaya biasanya lebih umum. Ini mungkin merupakan jumlah fungsi kehilangan selama set latihan Anda ditambah beberapa hukuman kompleksitas model (regularisasi). Sebagai contoh:
  • Mean Squared Error$MSE(\theta) = \frac{1}{N} \sum_{i=1}^N \left (f(x_i|\theta)-y_i \right )^2$
  • Fungsi biaya (ada kendala tambahan yang menghubungkan dengan dan dengan set pelatihan)$SVM(\theta) = \|\theta\|^2 + C \sum_{i=1}^N \xi_i$$\xi_i$$C$
• Fungsi obyektif adalah istilah paling umum untuk fungsi apa pun yang Anda optimalkan selama pelatihan. Misalnya, kemungkinan menghasilkan pelatihan yang ditetapkan dalam pendekatan kemungkinan maksimum adalah fungsi objektif yang terdefinisi dengan baik, tetapi itu bukan fungsi kerugian atau fungsi biaya (namun Anda dapat mendefinisikan fungsi biaya setara). Sebagai contoh:
  • MLE adalah jenis fungsi objektif (yang Anda maksimalkan)
  • Divergensi antar kelas dapat menjadi fungsi obyektif, tetapi ini bukan fungsi biaya, kecuali jika Anda mendefinisikan sesuatu yang artifisial, seperti 1-Divergence, dan beri nama biaya

Singkat cerita, saya akan mengatakan bahwa:

Fungsi kerugian adalah bagian dari fungsi biaya yang merupakan jenis fungsi objektif.

Menurut Prof. Andrew Ng (lihat slide di halaman 11),

Fungsi h (X) mewakili hipotesis Anda. Untuk parameter pemasangan tetap theta, ini adalah fungsi dari fitur X. Saya akan mengatakan ini juga bisa disebut Fungsi Objektif.

Fungsi Biaya J adalah fungsi dari parameter pemasangan theta. J = J (theta).

Menurut buku teks Hastie et al. "Elements of Statistical Learning" , oleh hal.37:

"Kami mencari fungsi f (X) untuk memprediksi nilai Y yang diberikan dari input X." [...] fungsi kerugian L (Y, f (X)) adalah "fungsi untuk menghukum kesalahan dalam prediksi",

Jadi sepertinya "fungsi kerugian" adalah istilah yang sedikit lebih umum daripada "fungsi biaya". Jika Anda mencari "kerugian" dalam PDF itu, saya pikir mereka menggunakan "fungsi biaya" dan "fungsi kerugian" agak sinonim.

Memang, hal. 502

"Situasi [dalam Clustering] agak mirip dengan spesifikasi fungsi kerugian atau biaya dalam masalah prediksi (supervised learning)".

Mungkin istilah-istilah ini ada karena mereka berkembang secara mandiri dalam komunitas akademik yang berbeda. "Fungsi Objektif" adalah istilah lama yang digunakan dalam Riset Operasi, dan Teknik Matematika. "Fungsi kerugian" mungkin lebih banyak digunakan di kalangan ahli statistik. Tapi saya berspekulasi di sini.

Dalam kata-kata Andrew NG-

"Akhirnya, fungsi kerugian didefinisikan sehubungan dengan contoh pelatihan tunggal. Ini mengukur seberapa baik Anda melakukan pada contoh pelatihan tunggal. Saya sekarang akan mendefinisikan sesuatu yang disebut fungsi biaya, yang mengukur seberapa baik Anda melakukan seluruh rangkaian pelatihan. Jadi fungsi biaya J yang diterapkan pada parameter Anda W dan B akan menjadi rata-rata dengan salah satu dari m dari jumlah fungsi kerugian yang diterapkan pada masing-masing contoh pelatihan dan berbelok. "

Dari bagian 4.3 dalam "Pembelajaran Jauh" - Ian Goodfellow, Yoshua Bengio, Aaron Courville http://www.deeplearningbook.org/

"Fungsi yang ingin kami perkecil atau maksimalkan disebut fungsi objektif, atau kriteria. Ketika kami meminimalkannya, kami juga dapat menyebutnya fungsi biaya, fungsi kerugian, atau fungsi kesalahan. Dalam buku ini, kami menggunakan istilah-istilah ini secara bergantian, meskipun beberapa publikasi pembelajaran mesin memberi arti khusus pada beberapa istilah ini. "

Dalam buku ini, paling tidak, kerugian dan biaya adalah sama.

Untuk memberi Anda jawaban singkat, menurut saya mereka sama. Namun, fungsi biaya lebih banyak digunakan dalam masalah optimasi dan fungsi kerugian digunakan dalam estimasi parameter.

Istilah biaya dan fungsi kerugian adalah identik beberapa orang juga menyebutnya fungsi kesalahan. Skenario yang lebih umum adalah menentukan fungsi tujuan terlebih dahulu, yang ingin kami optimalkan. Fungsi objektif ini bisa untuk

1. memaksimalkan probabilitas posterior (mis. Bayes naif)
2. memaksimalkan fungsi kebugaran (pemrograman genetik)
3. memaksimalkan fungsi total penghargaan / nilai (penguatan pembelajaran)
4. memaksimalkan perolehan / meminimalkan pengotor simpul anak (klasifikasi pohon keputusan CART) 5. meminimalkan fungsi biaya (atau kerugian) kuadrat rata-rata (CART, regresi pohon keputusan, regresi linier, neuron linier adaptif, ...
5. memaksimalkan log-likelihood atau meminimalkan fungsi cross-entropy loss (atau biaya) meminimalkan engsel loss (support vector machine)

Sebenarnya menjadi sederhana. Jika Anda memiliki data latih seperti ini (x (1), y (1)), (x (2), y (2)),. . . (x (m), y (m)) Kami menggunakan fungsi kerugian L (ycap, y) untuk menemukan kehilangan antara ycap dan y dari satu set pelatihan tunggal. Jika kami ingin menemukan kehilangan antara ycap dan y dari seluruh set pelatihan, kami menggunakan fungsi biaya.

Catatan: - Ycap berarti output dari model kami dan y berarti output yang diharapkan

Catatan: - Kredit berlaku Andrew ng Sumber: jaringan saraf coursera dan pembelajaran yang mendalam

Fungsi kehilangan menghitung kesalahan untuk contoh pelatihan tunggal, sedangkan fungsi biaya adalah rata-rata fungsi kerugian dari seluruh rangkaian pelatihan.