Gunakan koefisien korelasi Pearson sebagai tujuan optimisasi dalam pembelajaran mesin

Dalam pembelajaran mesin (untuk masalah regresi), saya sering melihat mean-squared-error (MSE) atau mean-absolute-error (MAE) digunakan sebagai fungsi kesalahan untuk meminimalkan (ditambah istilah regularisasi). Saya bertanya-tanya apakah ada situasi di mana menggunakan koefisien korelasi akan lebih sesuai? jika situasi seperti itu ada, maka:

1. Dalam situasi apa koefisien korelasi metrik lebih baik dibandingkan dengan MSE / MAE?
2. Dalam situasi ini, apakah MSE / MAE masih berfungsi sebagai biaya proksi yang baik?
3. Apakah memaksimalkan koefisien korelasi secara langsung dimungkinkan? Apakah ini fungsi objektif yang stabil untuk digunakan?

Saya tidak dapat menemukan kasus di mana koefisien korelasi digunakan secara langsung sebagai fungsi objektif dalam optimasi. Saya akan sangat menghargai jika orang dapat mengarahkan saya ke informasi di bidang ini.

Memaksimalkan korelasi berguna ketika output sangat bising. Dengan kata lain, hubungan antara input dan output sangat lemah. Dalam kasus seperti itu, meminimalkan MSE akan cenderung membuat output mendekati nol sehingga kesalahan predikasi sama dengan varians dari output pelatihan.

Langsung menggunakan korelasi sebagai fungsi objektif dimungkinkan untuk pendekatan gradient descent (cukup ubah untuk meminimalkan minus korelasi). Namun, saya tidak tahu bagaimana cara mengoptimalkannya dengan pendekatan SGD, karena fungsi biaya dan gradien melibatkan output dari semua sampel pelatihan.

Cara lain untuk memaksimalkan korelasi adalah dengan meminimalkan MSE dengan membatasi varians keluaran agar sama dengan varians pelatihan keluaran. Namun, kendala juga melibatkan semua output sehingga tidak ada cara (menurut saya) untuk memanfaatkan pengoptimal SGD.

EDIT: Jika lapisan atas dari jaringan saraf adalah lapisan keluaran linier, kita dapat meminimalkan MSE dan kemudian menyesuaikan bobot dan bias dalam lapisan linier untuk memaksimalkan korelasi. Penyesuaian dapat dilakukan mirip dengan CCA ( https://en.wikipedia.org/wiki/Canonical_analysis ).

Kami menggunakan korelasi Pearson dalam penelitian kami dan itu bekerja dengan baik. Dalam kasus kami ini cukup stabil. Karena ini adalah ukuran invarian dan skala, itu hanya berguna jika Anda ingin memprediksi bentuk, bukan nilai yang tepat. Oleh karena itu, berguna jika Anda tidak tahu apakah target Anda berada di ruang solusi model Anda dan Anda hanya tertarik pada bentuknya. Sebaliknya, MSE mengurangi jarak rata-rata antara prediksi dan target, sehingga MSE berusaha sesuaikan data sebanyak mungkin. Ini mungkin alasan mengapa MSE lebih banyak digunakan, karena Anda biasanya tertarik untuk memprediksi nilai yang tepat. Jika Anda meminimalkan MSE, maka korelasinya akan meningkat.