Inferensi dalam model linier dengan heteroskedastisitas bersyarat

Misalkan saya mengamati vektor variabel independen dan dan variabel dependen . Saya ingin mencocokkan model formulir: mana adalah beberapa fungsi bernilai positif yang dapat dua kali, adalah parameter penskalaan yang tidak diketahui, dan adalah variabel rata-rata, varians unit Gaussian variabel acak (diasumsikan independen dari dan ). Ini pada dasarnya adalah pengaturan uji Koenker tentang heteroskedastisitas (setidaknya sejauh yang saya mengerti). $\vec{x}$ $\vec{z}$ $y$

y = {\vec{x}}^{⊤} \vec{β_{1}} + σ g ({\vec{z}}^{⊤} \vec{β_{2}}) ϵ,

$y = \vec{x}^{\top}\vec{\beta_1} + \sigma g\left(\vec{z}^{\top} \vec{\beta_2}\right) \epsilon,$

g

$g$

σ

$\sigma$

ϵ

$\epsilon$

\vec{x}

$\vec{x}$

\vec{z}

$\vec{z}$

Saya memiliki pengamatan dan , dan saya ingin memperkirakan dan . Saya punya beberapa masalah: $n$ $\vec{x}, \vec{z}$ $y$ $\vec{\beta_1}$ $\vec{\beta_2}$

Saya tidak yakin bagaimana mengajukan masalah estimasi sebagai sesuatu seperti kuadrat terkecil (saya berasumsi ada trik terkenal). Tebakan pertama saya adalah kira-kira seperti tapi saya Saya tidak yakin bagaimana menyelesaikannya secara numerik (mungkin metode kuasi-Newton berulang mungkin dilakukan). $m i n_{\vec{β_{1}}, \vec{β_{2}}} (\sum_{i = 1}^{n} \frac{{(y_{i} - {\vec{x_{i}}}^{⊤} \vec{β_{1}})}^{2}}{g {({\vec{z_{i}}}^{⊤} \vec{β_{2}})}^{2}}) {(\sum_{i = 1}^{n} \frac{1}{g {({\vec{z_{i}}}^{⊤} \vec{β_{2}})}^{2}})}^{- 1},$ $min_{\vec{\beta_1}, \vec{\beta_2}} \left(\sum_{i=1}^n \frac{\left(y_i - \vec{x_i}^{\top}\vec{\beta_1}\right)^2}{g\left(\vec{z_i}^{\top}\vec{\beta_2}\right)^2}\right)\left(\sum_{i=1}^n \frac{1}{g\left(\vec{z_i}^{\top}\vec{\beta_2}\right)^2}\right)^{-1},$
Dengan asumsi saya dapat mengajukan masalah dengan cara yang waras dan menemukan beberapa perkiraan , saya ingin mengetahui distribusi perkiraan sehingga misalnya saya dapat melakukan tes hipotesis. Saya akan baik-baik saja dengan menguji dua koefisien koefisien secara terpisah, tetapi akan lebih memilih beberapa cara untuk menguji, misalnya untuk diberikan . $\hat{\beta}_1, \hat{\beta}_2$ $H_0: \vec{w_1}^{\top} \vec{\beta_1} + \vec{w_2}^{\top} \vec{\beta_2} \le c$ $\vec{w_1}, \vec{w_2}, c$

— shabbychef
sumber

Pertanyaan bagus. Apakah Anda memiliki gambaran seperti apa ? apakah itu mulus telah melompat? Alih-alih paling tidak kuadratkah Anda mencoba kemungkinan maksimum (Anda tahu makalah ini projecteuclid.org/... ?)

g

$g$

— robin girard

@robin girard: MLE adalah ide yang bagus untuk pertanyaan 1. Saya menduga bahwa untuk kesalahan Gaussian, MLE akan memberikan perkiraan yang identik dengan minimalisasi ad hoc saya . Adapun , seperti yang saya catat, kita dapat menganggap itu bernilai positif dan dua kali dapat dibedakan. Kita mungkin dapat menganggap itu cembung juga, dan mungkin kita dapat menganggapnya analitik.

g

$g$

— shabbychef

Dalam konteks yang sedikit lebih umum dengan sebuah dimensi vektor pengamatan (tanggapan, atau variabel dependen), dan matriks pengamatan (kovariat, atau variabel dependen) dan parameter sedemikian sehingga maka kemungkinan minus-log-kemungkinan adalah Dalam pertanyaan OP, adalah diagonal dengan $Y$ $n$ $y$ $X$ $n \times p$ $x$ $\theta = (\beta_1, \beta_2, \sigma)$ $Y \sim N(X\beta_1, \Sigma(\beta_2, \sigma))$

l (β_{1}, β_{2}, σ) = \frac{1}{2} (Y - X β_{1})^{T} Σ (β_{2}, σ)^{- 1} (Y - X β_{1}) + \frac{1}{2} \log | Σ (β_{2}, σ) |

$l(\beta_1, \beta_2, \sigma) = \frac{1}{2}(Y-X\beta_1)^T \Sigma(\beta_2, \sigma)^{-1} (Y-X\beta_1) + \frac{1}{2}\log |\Sigma(\beta_2, \sigma)|$

Σ (β_{2}, σ)

$\Sigma(\beta_2, \sigma)$

Σ (β_{2}, σ)_{i i} = σ^{2} g (z_{i}^{T} β_{2})^{2}

$\Sigma(\beta_2, \sigma)_{ii} = \sigma^2 g(z_i^T \beta_2)^2$ sehingga penentu menjadi dan kemungkinan dikurangi-log-kemungkinan menjadi Ada beberapa cara untuk mendekati minimalisasi fungsi ini (dengan asumsi tiga parameter adalah variasi independen).

σ^{2 n} \prod_{i = 1}^{n} g (z_{i}^{T} β_{2})^{2}

$\sigma^{2n} \prod_{i=1}^n g(z_i^T \beta_2)^2$

\frac{1}{2 σ^{2}} \sum_{i = 1}^{n} \frac{(y_{i} - x_{i}^{T} β_{1})^{2}}{g (z_{i}^{T} β_{2})^{2}} + n \log σ + \sum_{i = 1}^{n} \log g (z_{i}^{T} β_{2})

$\frac{1}{2\sigma^2} \sum_{i=1}^n \frac{(y_i-x_i^T\beta_1)^2}{ g(z_i^T \beta_2)^2} + n \log \sigma + \sum_{i=1}^n \log g(z_i^T \beta_2)$

Anda dapat mencoba meminimalkan fungsi dengan algoritma pengoptimalan standar mengingat batasan yang . $\sigma > 0$
Anda dapat menghitung profil dikurangi log-kemungkinan dengan meminimalkan untuk diperbaiki , dan kemudian tancapkan fungsi yang dihasilkan ke dalam algoritma optimasi standar yang tidak dibatasi. $(\beta_1, \beta_2)$ $\sigma$ $(\beta_1, \beta_2)$
Anda dapat bergantian antara mengoptimalkan masing-masing dari tiga parameter secara terpisah. Mengoptimalkan lebih dari dapat dilakukan secara analitis, mengoptimalkan lebih dari adalah masalah regresi kuadrat terkecil, dan mengoptimalkan lebih dari setara dengan menyesuaikan model linier umum gamma dengan tautan terbalik. $\sigma$ $\beta_1$ $\beta_2$ $g^2$

Saran terakhir menarik bagi saya karena itu dibangun di atas solusi yang sudah saya ketahui dengan baik. Selain itu, iterasi pertama adalah sesuatu yang saya akan pertimbangkan untuk dilakukan. Yaitu, pertama hitung estimasi awal dengan kuadrat terkecil biasa yang mengabaikan potensi heteroskedastisitas, lalu paskan gamma glm ke residu kuadrat untuk mendapatkan perkiraan awal hanya untuk memeriksa apakah model yang lebih rumit tampaknya bermanfaat. Iterasi menggabungkan heteroskedastisitas ke dalam solusi kuadrat terkecil karena bobot kemudian dapat meningkat pada estimasi. $\beta_1$ $\beta_2$ $-$

Mengenai bagian kedua dari pertanyaan, saya mungkin akan mempertimbangkan menghitung interval kepercayaan untuk kombinasi linear baik dengan menggunakan asimptotik MLE standar (memeriksa dengan simulasi bahwa asimptotik bekerja) atau dengan bootstrap. $w_1^T\beta_1 + w_2^T\beta_2$

Sunting: Dengan asimptotik MLE standar yang saya maksud menggunakan perkiraan normal multivariat untuk distribusi MLE dengan matriks kovarians informasi invers Fisher. Informasi Fisher adalah definisi matriks kovarians dari gradien . Secara umum tergantung pada parameter. Jika Anda dapat menemukan ekspresi analitik untuk jumlah ini, Anda dapat mencoba mencolokkan MLE. Sebagai alternatif, Anda dapat memperkirakan informasi Fisher dengan informasi Fisher yang diamati , yang merupakan Hessian dari di MLE. Parameter yang Anda minati adalah kombinasi linear dari parameter dalam dua $l$ $l$ $\beta$ -vektor, maka dari normal multivariat aproksimasi dari MLE Anda dapat menemukan perkiraan normal dari penduga penduga seperti yang dijelaskan di sini . Ini memberi Anda perkiraan kesalahan standar dan Anda dapat menghitung interval kepercayaan. Ini dijelaskan dengan baik di banyak buku statistik (matematis), tetapi presentasi yang cukup mudah diakses yang bisa saya rekomendasikan adalah Dalam Semua Kemungkinan oleh Yudi Pawitan. Bagaimanapun, derivasi formal dari teori asimptotik cukup rumit dan bergantung pada sejumlah kondisi keteraturan, dan itu hanya memberikan asimptotik yang validdistribusi. Oleh karena itu, jika ragu saya akan selalu melakukan beberapa simulasi dengan model baru untuk memeriksa apakah saya dapat mempercayai hasil untuk parameter realistis dan ukuran sampel. Bootstrap sederhana dan non-parametrik tempat Anda mencicipi tiga kali lipat dari kumpulan data yang diamati dengan penggantian dapat menjadi alternatif yang bermanfaat jika prosedur pemasangan tidak terlalu memakan waktu. $(y_i,x_i,z_i)$

— NRH
sumber

apa yang yang asymptotics MLE standar?

— shabbychef

@ shabbychef, sudah terlambat. Saya sudah memberikan penjelasan yang lebih detail. Perhatikan bahwa agar asimptotik berfungsi dalam teori sebagaimana dijelaskan, model harus benar dan penduga harus MLE. Hasil yang lebih umum dapat diperoleh dalam kerangka fungsi estimasi umum dan estimasi persamaan, lihat, misalnya, buku Quasi-likelihood dan ... oleh Heyde.

— NRH