Bagaimana merancang dan mengimplementasikan fungsi kerugian asimetris untuk regresi?

Masalah

Dalam regresi satu biasanya menghitung mean squared error (MSE) untuk sampel: untuk mengukur kualitas prediktor.

MSE = \frac{1}{n} \sum_{saya = 1}^{n} {(g (x_{saya}) - \hat{g} (x_{saya}))}^{2}

$\text{MSE} = \frac{1}{n} \sum_{i=1}^n\left(g(x_i) - \widehat{g}(x_i)\right)^2$

Saat ini saya sedang mengerjakan masalah regresi di mana tujuannya adalah untuk memprediksi harga yang bersedia dibayar oleh pelanggan untuk suatu produk dengan sejumlah fitur numerik. Jika harga yang diprediksi terlalu tinggi, pelanggan tidak akan membeli produk, tetapi kerugian moneter rendah karena harga dapat dikurangi. Tentu saja tidak boleh terlalu tinggi karena produk mungkin tidak akan dibeli untuk waktu yang lama. Di sisi lain jika harga yang diprediksi terlalu rendah, produk akan dibeli dengan cepat tanpa kesempatan untuk menyesuaikan harga.

Dengan kata lain algoritma pembelajaran harus memprediksi harga yang sedikit lebih tinggi yang dapat dikurangi jika perlu daripada meremehkan harga sebenarnya yang akan mengakibatkan kerugian moneter langsung.

Pertanyaan

Bagaimana Anda merancang metrik kesalahan yang memasukkan asimetri biaya ini?

Kemungkinan Solusi

Cara untuk mendefinisikan fungsi kerugian asimetris adalah dengan mengalikan dengan bobot: denganmenjadi parameter kita bisa menyesuaikan diri dengan mengubah derajat asimetri. Saya menemukannyadi sini

\frac{1}{n} \sum_{saya = 1}^{n} | α - 1_{(g (x_{saya}) - \hat{g} (x_{saya})) < 0} | \cdot {(g (x_{saya}) - \hat{g} (x_{saya}))}^{2}

$\frac{1}{n} \sum_{i=1}^n \left| \alpha - \mathbb{1}_{(g(x_i) - \widehat{g}(x_i)) < 0} \right|\cdot \left(g(x_i) - \widehat{g}(x_i)\right)^2$

α \in (0, 1)

$\alpha \in (0,1)$ . Ini sepertinya hal yang paling lurus ke depan untuk dilakukan, sambil mempertahankan kerugian kuadratik.

regression error loss-functions

— Kiudee
sumber

@MichaelChernick, FTR, saya pikir ini adalah pertanyaan yang bagus, yang telah dinyatakan dengan jelas & koheren, & mengakui bahwa saya menjadi sedikit pemilih. Apa yang saya maksudkan adalah (seperti yang Anda tahu) pas regresi (yaitu, penyelesaian untuk

) dilakukan (secara default) dengan meminimalkan fungsi kehilangan OLS , SSE. Anda benar bahwa MSE dapat digunakan secara ekuivalen b / c yang dibagi dengan konstanta tidak akan memengaruhi pemesanan kandidat beta.

β

$\boldsymbol{\beta}$

— gung - Reinstate Monica

Fakta lain adalah bahwa MSE (lebih sering RMSE) sering digunakan untuk menilai kualitas model yang dipasang (walaupun, sekali lagi, SSE dapat digunakan secara setara). Masalahnya adalah, pertanyaan ini tampaknya (bagi saya tetap) tentang bagaimana memikirkan / mendesain ulang fungsi kerugian , sehingga beta yang dipasang berbeda dari yang seharusnya secara default, daripada tentang bagaimana berpikir secara berbeda tentang kualitas dari model yang sudah fit.

— gung - Reinstate Monica

@ Kiudee, jika interpretasi saya tentang Q Anda benar, apa yang akan Anda pikirkan tentang mengeditnya untuk menambahkan tag kerugian-fungsi , & mungkin merevisi judul menjadi sesuatu seperti: "Bagaimana merancang & mengimplementasikan fungsi kerugian asimetris untuk regresi"? Saya tidak akan mengedit sendiri jika Anda tidak setuju dengan mereka.

— gung - Reinstate Monica

Untuk referensi, saya telah melihat regresi kuantitatif yang disarankan ketika Anda ingin fungsi kerugian asimetris, lihat Berk, 2011 , PDF di sini .

— Andy W

Karena saya menggunakan berbagai algoritma pembelajaran untuk mengatasi masalah ini, fungsinya harus dapat dibedakan setidaknya satu kali.

— Kiudee

Seperti disebutkan dalam komentar di atas, regresi kuantil menggunakan fungsi kerugian asimetris (linier tetapi dengan kemiringan berbeda untuk kesalahan positif dan negatif). Analog kuadratik (kerugian kuadrat) dari regresi kuantil adalah regresi harapan.

Anda dapat google regresi kuantil untuk referensi. Untuk regresi harapan lihat paket R expectreg dan referensi dalam manual referensi.

— Innuo
sumber

Jenis bobot yang tidak sama ini sering dilakukan dalam masalah klasifikasi dengan dua kelas. Aturan Bayes dapat dimodifikasi menggunakan fungsi kerugian yang menimbang kerugian lebih tinggi untuk satu kesalahan daripada yang lain. Ini akan mengarah pada aturan yang menghasilkan tingkat kesalahan yang tidak sama.

Dalam regresi tentu akan mungkin untuk membangun fungsi bobot seperti jumlah kuadrat tertimbang yang akan memberikan bobot pada kesalahan negatif dan bobot yang lebih tinggi untuk yang positif. Ini akan mirip dengan kuadrat terkecil tertimbang tetapi sedikit berbeda karena kuadrat terkecil tertimbang dimaksudkan untuk masalah di mana varians kesalahan tidak konstan pada ruang nilai yang mungkin untuk variabel prediktor. Dalam hal ini bobot lebih tinggi untuk titik-titik di mana varians kesalahan diketahui kecil dan lebih tinggi di mana varians kesalahan diketahui besar. Ini tentu saja akan mengarah pada nilai untuk parameter regresi yang berbeda dari apa yang akan diberikan OLS kepada Anda.

— Michael R. Chernick
sumber