Regresi kuantitatif: Fungsi kerugian

24

Saya mencoba memahami regresi kuantitatif, tetapi satu hal yang membuat saya menderita adalah pilihan fungsi kerugian.

$\rho_\tau(u) = u(\tau-1_{\{u<0\}})$

Saya tahu bahwa minimum harapan sama dengan -quantile, tetapi apa alasan intuitif untuk memulai dengan fungsi ini? Saya tidak melihat hubungan antara meminimalkan fungsi ini dan kuantil. Adakah yang bisa menjelaskannya kepada saya? $\rho_\tau(y-u)$ $\tau\%$

quantiles loss-functions quantile-regression

— CDO
sumber

28

Saya memahami pertanyaan ini sebagai meminta wawasan tentang bagaimana orang bisa datang dengan setiap fungsi kerugian yang menghasilkan kuantil diberikan sebagai minimizer kerugian tidak peduli apa distribusi yang mendasari mungkin. Maka, tidak memuaskan, hanya mengulang analisis di Wikipedia atau di tempat lain yang menunjukkan bahwa fungsi kerugian ini berfungsi.

Mari kita mulai dengan sesuatu yang akrab dan sederhana.

Apa yang Anda bicarakan adalah menemukan "lokasi" relatif terhadap distribusi atau sekumpulan data . Sudah diketahui, misalnya, bahwa mean meminimalkan sisa kuadrat yang diharapkan; itu adalah nilai untuk itu $x^{*}$ $F$ $\bar x$

{L.}_{F} (\bar{x}) = \int_{R} (x - \bar{x})^{2} d F (x)

$\mathcal{L}_F(\bar x)=\int_{\mathbb{R}} (x - \bar x)^2 dF(x)$

sekecil mungkin. Saya telah menggunakan notasi ini untuk mengingatkan kita bahwa diturunkan dari kerugian , yang ditentukan oleh , tetapi yang paling penting tergantung pada angka . $\mathcal{L}$ $F$ $\bar x$

Cara standar untuk menunjukkan bahwa meminimalkan fungsi yang dimulai dengan menunjukkan nilai fungsi tidak berkurang ketika diubah sedikit. Nilai seperti itu disebut titik kritis fungsi. $x^{*}$ $x^{*}$

Fungsi kerugian seperti apa apa akan menghasilkan persentil menjadi titik kritis? Kerugian untuk nilai itu adalah $\Lambda$ $F^{-1}(\alpha)$

{L.}_{F} (F^{- 1} (α)) = \int_{R} Λ (x - F^{- 1} (α)) d F (x) = \int_{0}^{1} Λ (F^{- 1} (kamu) - F^{- 1} (α)) d kamu .

$\mathcal{L}_F(F^{-1}(\alpha)) = \int_{\mathbb{R}} \Lambda(x-F^{-1}(\alpha))dF(x)=\int_0^1\Lambda\left(F^{-1}(u)-F^{-1}(\alpha)\right)du.$

Agar ini menjadi titik kritis, turunannya harus nol. Karena kami hanya mencoba menemukan beberapa solusi, kami tidak akan berhenti sejenak untuk melihat apakah manipulasi itu sah: kami akan merencanakan untuk memeriksa detail teknis (seperti apakah kami benar-benar dapat membedakan , dll. ) Pada akhirnya. Demikian $\Lambda$

\begin{matrix} (1) & \begin{aligned} 0 & = L_{F}^{'} (x^{*}) = L_{F}^{'} (F^{- 1} (α)) = - \int_{0}^{1} Λ^{'} (F^{- 1} (u) - F^{- 1} (α)) d u \\ = - \int_{0}^{α} Λ^{'} (F^{- 1} (u) - F^{- 1} (α)) d u - \int_{α}^{1} Λ^{'} (F^{- 1} (u) - F^{- 1} (α)) d u . \end{aligned} \end{matrix}

$\eqalign{0 &=\mathcal{L}_F^\prime(x^{*})= \mathcal{L}_F^\prime(F^{-1}(\alpha))= -\int_0^1 \Lambda^\prime\left(F^{-1}(u)-F^{-1}(\alpha)\right)du \\ &= -\int_0^{\alpha} \Lambda^\prime\left(F^{-1}(u)-F^{-1}(\alpha)\right)du -\int_{\alpha}^1 \Lambda^\prime\left(F^{-1}(u)-F^{-1}(\alpha)\right)du.\tag{1} }$

Di sisi kiri, argumen negatif, sedangkan di sisi kanan positif. Selain itu, kami memiliki sedikit kendali atas nilai-nilai integral ini karena dapat berupa fungsi distribusi apa pun. Akibatnya, satu-satunya harapan kami adalah membuat hanya bergantung pada tanda argumennya, dan jika tidak maka itu harus konstan. $\Lambda$ $F$ $\Lambda^\prime$

Ini menyiratkan akan linear linear, berpotensi dengan kemiringan berbeda di kiri dan kanan nol. Jelas itu harus berkurang ketika mendekati nol - itu, bagaimanapun, adalah kerugian dan bukan keuntungan . Selain itu, men-rescaling dengan konstanta tidak akan mengubah propertinya, jadi kita mungkin merasa bebas untuk mengatur kemiringan tangan kiri menjadi . Biarkan menjadi kemiringan kanan. Kemudian disederhanakan menjadi $\Lambda$ $\Lambda$ $-1$ $\tau \gt 0$ $(1)$

0 = α - τ (1 - α),

$0 = \alpha - \tau (1 - \alpha),$

di mana solusinya yang unik , hingga kelipatan positif,

Λ (x) = {\begin{cases} - x, x \leq 0 \\ \frac{α}{1 - α} x, x \geq 0. \end{cases}

$\Lambda(x) = \cases{-x, \ x \le 0 \\ \frac{\alpha}{1-\alpha}x, \ x \ge 0.}$

Mengalikan solusi (alami) ini dengan , untuk menghapus penyebutnya, menghasilkan fungsi kerugian yang disajikan dalam pertanyaan. $1-\alpha$

Jelas semua manipulasi kami sah secara matematis ketika memiliki formulir ini. $\Lambda$

— whuber
sumber

19

Cara fungsi kerugian ini diekspresikan bagus dan ringkas tapi saya pikir lebih mudah untuk dipahami dengan menulis ulang sebagai

ρ_{τ} (X - m) = (X - m) (τ - 1_{(X - m < 0)}) = {\begin{cases} τ | X - m | & i f X - m \geq 0 \\ (1 - τ) | X - m | & i f X - m < 0) \end{cases}

$\rho_\tau(X-m) = (X-m)(\tau-1_{(X-m<0)}) = \begin{cases} \tau |X-m| & if \; X-m \ge 0 \\ (1 - \tau) |X-m| & if \; X-m < 0) \end{cases}$

Jika Anda ingin mendapatkan rasa intuitif mengapa meminimalkan fungsi kerugian ini menghasilkan th kuantil, sangat membantu untuk mempertimbangkan contoh sederhana. Biarkan menjadi variabel acak seragam antara 0 dan 1. Mari kita juga memilih nilai konkret untuk , katakanlah, . $\tau$ $X$ $\tau$ $0.25$

Jadi sekarang pertanyaannya adalah mengapa fungsi kerugian ini diminimalkan pada ? Jelas, ada massa tiga kali lebih banyak dalam distribusi seragam di sebelah kanan daripada di sebelah kiri. Dan fungsi kerugian menimbang nilai-nilai yang lebih besar dari angka ini hanya dengan sepertiga dari bobot yang diberikan untuk nilai-nilai lebih kecil dari itu. Dengan demikian, itu semacam intuitif yang timbangan seimbang ketika th kuantil yaitu digunakan sebagai titik belok untuk fungsi kerugian. $m=0.25$ $m$ $\tau$

— jjet
sumber

1

Bukankah seharusnya sebaliknya? Kurang menebak akan menelan biaya tiga kali lipat?

— Edi Bice

Terima kasih sudah menangkapnya. Rumusnya benar tetapi pada awalnya saya salah menuliskannya dalam penjelasan saya.

— jjet