Regresi linier dengan kesalahan Laplace

Pertimbangkan model regresi linier: mana , yaitu , Distribusi Laplace dengan mean dan parameter skala , semuanya saling independen. Pertimbangkan estimasi kemungkinan maksimum untuk parameter yang tidak diketahui : dari mana

y_{i} = x_{i} \cdot β + ε_{i}, i = 1, \dots, n,

$y_i = \mathbf x_i \cdot \boldsymbol \beta + \varepsilon _i, \, i=1,\ldots ,n,$

ε_{i} \sim L (0, b)

$\varepsilon _i \sim \mathcal L(0, b)$

0

$0$

b

$b$

β

$\boldsymbol \beta$

- \log p (y ∣ X, β, b) = n \log (2 b) + \frac{1}{b} \sum_{i = 1}^{n} | x_{i} \cdot β - y_{i} |

$-\log p(\mathbf y \mid \mathbf X, \boldsymbol \beta, b) = n\log (2b) + \frac 1b\sum _{i=1}^n |\mathbf x_i \cdot \boldsymbol \beta - y_i|$

{\hat{β}}_{M L} = {\arg min}_{β \in R^{m}} \sum_{i = 1}^{n} | x_{i} \cdot β - y_{i} |

$\hat{\boldsymbol \beta}_{\mathrm {ML}} = {\arg\min }_{\boldsymbol \beta \in \mathbb R^m} \sum _{i=1}^n |\mathbf x_i \cdot \boldsymbol \beta - y_i|$

Bagaimana seseorang dapat menemukan distribusi residu $\mathbf y - \mathbf X\hat{\boldsymbol \beta}_{\mathrm {ML}}$ dalam model ini?

regression laplace-distribution

— nmerci
sumber

Apa yang Anda maksud dengan menemukan distribusi residu?

— jlimahaverford

Karena residu dapat dikelompokkan dalam vektor acak, saya ingin mengetahui distribusinya. Setidaknya dua momen pertama.

— nmerci

Terima kasih, terima kasih! Sudahkah Anda mempertimbangkan untuk mensimulasikan dan merencanakan?

— jlimahaverford

Ya, saya ingin membangun wilayah kepercayaan untuk residu. Misalnya, untuk kesalahan Gaussian, wilayah tersebut adalah ellipsoid.

— nmerci

Sisa (sebenarnya disebut kesalahan) diasumsikan didistribusikan secara acak dengan distribusi eksponensial ganda (distribusi Laplace). Jika Anda memasang titik data x dan y ini, lakukan secara numerik. Anda pertama-tama menghitung beta-hat_ML untuk poin-poin ini secara keseluruhan menggunakan rumus yang Anda pasang di atas. Ini akan menentukan garis melalui titik-titik. Kemudian kurangi nilai y setiap titik dari nilai y garis pada nilai x itu. Ini adalah sisa untuk titik itu. Residu dari semua poin dapat digunakan untuk membuat histogram yang akan memberi Anda distribusi residu.

Ada artikel matematika yang bagus di dalamnya oleh Yang (2014) .

--Lee

— Lee G
sumber

Tautan tidak berfungsi.

— Michael R. Chernick