Apa itu "kemungkinan maksimum terbatas" dan kapan itu harus digunakan?

73

Saya telah membaca dalam abstrak makalah ini bahwa:

"Prosedur kemungkinan maksimum (ML) dari Hartley aud Rao dimodifikasi dengan mengadaptasi transformasi dari Patterson dan Thompson yang membagi kemungkinan membuat normalitas menjadi dua bagian, satu bebas dari efek tetap. Memaksimalkan bagian ini menghasilkan apa yang disebut kemungkinan maksimum terbatas (REML) estimator. "

Saya juga membaca dalam abstrak makalah ini bahwa REML:

"Mempertimbangkan hilangnya derajat kebebasan yang dihasilkan dari memperkirakan efek tetap."

Sayangnya saya tidak memiliki akses ke teks lengkap dari kertas-kertas itu (dan mungkin tidak akan mengerti jika saya melakukannya).

Juga, apa kelebihan REML vs ML? Dalam keadaan apa REML lebih disukai daripada ML (atau sebaliknya) saat memasang model efek campuran? Tolong beri penjelasan yang cocok untuk seseorang dengan latar belakang matematika SMA (atau hanya di luar)!

mixed-model maximum-likelihood reml

— Joe King
sumber

lihat stats.stackexchange.com/questions/99895/…

62

Sesuai jawaban ocram, ML bias untuk estimasi komponen varians. Tetapi amati bahwa bias menjadi lebih kecil untuk ukuran sampel yang lebih besar. Oleh karena itu dalam menjawab pertanyaan Anda " ... apa keuntungan dari REML vs ML? Dalam keadaan apa mungkin REML lebih disukai daripada ML (atau sebaliknya) ketika memasang model efek campuran? ", Untuk ukuran sampel yang kecil, REML lebih disukai. Namun, tes rasio kemungkinan untuk REML memerlukan spesifikasi efek tetap yang sama persis di kedua model. Jadi, untuk membandingkan model dengan efek tetap berbeda (skenario umum) dengan tes LR, ML harus digunakan.

REML memperhitungkan jumlah parameter (efek tetap) yang diperkirakan, kehilangan 1 derajat kebebasan untuk masing-masing. Ini dicapai dengan menerapkan ML pada residu kuadrat terkecil, yang independen terhadap efek tetap.

— Robert Long
sumber

8

Memang, estimator REML dari komponen varians biasanya (kurang-lebih) tidak bias, sedangkan estimator ML bias negatif. Namun, estimator ML biasanya memiliki mean-squared error (MSE) yang lebih rendah daripada estimator REML. Jadi, jika Anda ingin menjadi rata-rata, pergi dengan REML, tetapi Anda membayar untuk ini dengan variabilitas yang lebih besar dalam perkiraan. Jika Anda ingin menjadi lebih dekat dengan nilai sebenarnya rata-rata, gunakan ML, tetapi Anda membayarnya dengan bias negatif.

— Wolfgang

3

Dalam kasus sederhana dari mean konstan, dan varians konstan, ML membagi SSR dengan sementara REML membagi SSR dengan . Jadi REML adalah generalisasi dari prosedur ini!

n

$n$

(n - 1)

$(n-1)$

— kjetil b halvorsen

"ML bias untuk estimasi komponen varians". Apakah ini berarti varians dari efek acak atau juga kesalahan standar dari koefisien efek tetap?

— skan

54

Inilah jawaban cepat ...

Contoh ilustrasi standar

Biarkan menjadi sampel dari distribusi normal ). Baik maupun tidak diketahui. Penaksir kemungkinan maksimum dari , diperoleh dengan mengambil turunan dari kemungkinan log sehubungan dengan dan menyamakan dengan nol, adalah mana adalah penaksir kemungkinan maksimum dari . Kita dapat menunjukkan bahwa [ Mulailah dengan menulis ulang $y = (y_1, \dotsc, y_n)$ $\mathrm{N}(\mu, \sigma^2$ $\mu$ $\sigma^2$ $\sigma^2$ $\sigma^2$

{\hat{σ}}_{ML}^{2} = \frac{1}{n} \sum_{i = 1}^{n} (y_{i} - \bar{y})^{2}

$\hat{\sigma}^2_{\textrm{ML}} = \frac{1}{n} \sum_{i=1}^n (y_i -\bar{y})^2$

\bar{y} = \frac{1}{n} \sum_{i = 1}^{n} y_{i}

$\bar{y} = \frac{1}{n} \sum_{i=1}^n y_i$

μ

$\mu$

E ({\hat{σ}}_{ML}^{2}) = \frac{n - 1}{n} σ^{2} .

$\mathrm{E}(\hat{\sigma}^2_{\textrm{ML}}) = \frac{n-1}{n} \sigma^2.$

{\hat{σ}}_{ML}^{2}

$\hat{\sigma}^2_{\textrm{ML}}$ sebagai ]. Dengan demikian, bias. Perhatikan bahwa jika kita tahu , maka MLE untuk akan tidak bias. Karenanya, masalah dengan tampaknya terkait dengan fakta bahwa kami telah mengganti untuk mean yang tidak diketahui dalam estimasi . Ide intuitif estimasi REML adalah untuk mengakhiri dengan kemungkinan yang berisi semua informasi di tetapi tidak lagi berisi informasi di .

\frac{1}{n} \sum_{i = 1}^{n} {((y_{i} - μ) + (μ - \bar{y}))}^{2}

$\frac{1}{n} \sum_{i=1}^n \left((y_i - \mu) + (\mu - \bar{y})\right)^2$

{\hat{σ}}_{ML}^{2}

$\hat{\sigma}^2_{\textrm{ML}}$

μ

$\mu$

σ^{2}

$\sigma^2$

{\hat{σ}}_{ML}^{2}

$\hat{\sigma}^2_{\textrm{ML}}$ $\bar{x}$

σ^{2}

$\sigma^2$

μ

$\mu$

Lebih teknis, kemungkinan REML adalah kemungkinan kombinasi linear dari data asli: alih-alih kemungkinan , kami mempertimbangkan kemungkinan , di mana matriks adalah sedemikian rupa sehingga . $y$ $Ky$ $K$ $\mathrm{E}[Ky] = 0$

Estimasi REML sering digunakan dalam konteks yang lebih rumit dari model campuran. Setiap buku tentang model campuran memiliki bagian yang menjelaskan estimasi REML lebih terinci.

Sunting

@ Jo King: Ini adalah salah satu buku favorit saya tentang model campuran yang sepenuhnya tersedia secara online. Bagian 2.4.2 membahas estimasi komponen varians. Selamat membaca :-)

— okram
sumber

Terima kasih - ini sangat membantu - meskipun saya tidak memiliki akses mudah ke buku tentang model campuran. Tolong bisakah Anda menghubungkan jawaban Anda dengan 2 kutipan di posting saya?

— Joe King

Saya ingin tahu bagaimana Gaussian multivariat mengubah cerita? stats.stackexchange.com/questions/167494/…

— Sibbs Gambling

9

Metode ML meremehkan parameter varians karena mengasumsikan bahwa parameter tetap diketahui tanpa ketidakpastian ketika memperkirakan parameter varians.

Metode REML menggunakan trik matematika untuk membuat perkiraan untuk parameter varians independen dari perkiraan untuk efek tetap. REML bekerja dengan terlebih dahulu mendapatkan residu regresi untuk pengamatan yang dimodelkan oleh bagian efek tetap dari model, mengabaikan pada titik ini setiap komponen varians.

Estimasi ML tidak bias untuk efek tetap tetapi bias untuk efek acak, sedangkan estimasi REML bias untuk efek tetap dan tidak bias untuk efek acak.

— skan
sumber