Apa Metode Momen dan apa bedanya dengan MLE?

13

Secara umum sepertinya metode saat ini hanya cocok dengan rata-rata sampel yang diamati, atau varians dengan momen teoritis untuk mendapatkan estimasi parameter. Ini sering sama dengan MLE untuk keluarga eksponensial, saya kumpulkan.

Namun, sulit untuk menemukan definisi yang jelas tentang metode momen dan diskusi yang jelas tentang mengapa MLE secara umum disukai, walaupun mungkin lebih sulit untuk menemukan mode fungsi likelihood.

Pertanyaan ini Apakah MLE lebih efisien daripada metode Moment? memiliki kutipan dari Prof. Donald Rubin (di Harvard) yang mengatakan bahwa semua orang sudah tahu sejak tahun 40-an bahwa MLE mengalahkan MoM, tetapi saya tertarik untuk mengetahui sejarah atau alasannya.

maximum-likelihood method-of-moments

— frelk
sumber

2

Berikut ini adalah presentasi yang membahas pro / kontra MLE / MoM: gradquant.ucr.edu/wp-content/uploads/2013/11/…

— Jon

Beberapa jawaban di situs yang membahas metode momen mungkin relevan untuk membantu Anda memahami.

— Glen_b -Reinstate Monica

Lihat juga stats.stackexchange.com/a/129188/28746

— Alecos Papadopoulos

1

@ Jon: Tautan mati.

— Ben - Reinstate Monica

7

Dalam MoM, estimator dipilih sehingga beberapa fungsi memiliki ekspektasi bersyarat sama dengan nol. Misalnya . Seringkali harapan tergantung pada . Biasanya, ini dikonversi menjadi masalah meminimalkan bentuk kuadrat dalam harapan ini dengan matriks bobot. $E[g(y,x,\theta)] = 0$ $x$

Dalam MLE, estimator memaksimalkan fungsi log likelihood.

Dalam generalisasi luas, MLE membuat asumsi yang lebih ketat (kepadatan penuh) dan dengan demikian biasanya kurang kuat tetapi lebih efisien jika asumsi dipenuhi (itu mencapai Kramer Rao yang terikat lebih rendah pada varian asimtotik).

Dalam beberapa kasus keduanya bertepatan, OLS menjadi salah satu contoh penting di mana solusi analitik identik dan karenanya estimator berperilaku dengan cara yang sama.

Dalam beberapa hal, Anda dapat menganggap MLE (dalam hampir semua kasus) sebagai penduga MoM karena penduga menetapkan nilai yang diharapkan dari gradien fungsi log likelihood sama dengan nol. Dalam hal itu, ada kasus di mana kepadatan tidak benar tetapi MLE masih konsisten karena kondisi urutan pertama masih terpenuhi. Kemudian MLE disebut sebagai "kuasi-ML".

— Superpronker
sumber

4

Biasanya, dengan MoM yang merujuk pada kasus di mana fungsi g adalah kekuatan sehingga harapan adalah momen. Ini lebih mirip "metode momen umum".

— kjetil b halvorsen

3

OLS adalah metode penaksir momen (MoME). Ini juga merupakan estimator kemungkinan maksimum (MLE), tetapi hanya untuk kasus khusus kemungkinan - yang normal. Untuk distribusi lain, OLS tidak akan menjadi MLE, sementara itu masih merupakan MoME.

— Richard Hardy

2

Apa metode momen?

Ada artikel bagus tentang ini di Wikipedia.

https://en.m.wikipedia.org/wiki/Method_of_moments_(statistics)

Ini berarti bahwa Anda memperkirakan parameter populasi dengan memilih parameter sedemikian rupa sehingga distribusi populasi memiliki momen yang setara dengan momen yang diamati dalam sampel.

Apa bedanya dengan MLE

Estimasi kemungkinan maksimum meminimalkan fungsi kemungkinan. Dalam beberapa kasus, minimum ini kadang-kadang dapat dinyatakan dalam pengaturan parameter populasi sama dengan parameter sampel.

$\mu = \bar{x}$ $\mu$

μ = 1 / n \sum l n (x_{saya}) = \bar{l n (x)}

$\mu = 1/n \sum ln (x_i) = \overline {ln (x)}$

Sedangkan solusi Kemenaker adalah pemecahan

e x hal (μ + \frac{1}{2} σ^{2}) = \bar{x}

$exp (\mu + \frac {1}{2}\sigma^2) = \bar {x}$

μ = l n (\bar{x}) - \frac{1}{2} σ^{2}

$\mu = ln (\bar {x}) - \frac {1}{2} \sigma^2$

Jadi MoM adalah cara praktis untuk memperkirakan parameter, seringkali mengarah ke hasil yang sama persis dengan MLE (karena momen-momen sampel sering bertepatan dengan momen-momen populasi, misalnya rata-rata sampel didistribusikan di sekitar mean populasi, dan hingga beberapa faktor / bias, ini bekerja dengan sangat baik). MLE memiliki landasan teori yang lebih kuat dan misalnya memungkinkan estimasi kesalahan menggunakan matriks Fisher (atau perkiraannya), dan ini merupakan pendekatan yang jauh lebih alami dalam kasus masalah regresi (saya belum mencobanya tetapi saya kira itu MoM untuk memecahkan parameter dalam regresi linier sederhanatidak bekerja dengan mudah dan dapat memberikan hasil yang buruk. Dalam jawaban oleh superpronker sepertinya ini dilakukan oleh beberapa meminimalkan fungsi. Untuk MLE minimisasi ini mengungkapkan probabilitas yang lebih tinggi, tetapi saya ingin tahu apakah ini mewakili hal yang serupa untuk MoM).

— Sextus Empiricus
sumber

1

Soorry, saya tidak bisa melewati komentar ..

MLE membuat asumsi yang lebih ketat (kepadatan penuh) dan karenanya biasanya kurang kuat tetapi lebih efisien jika asumsi dipenuhi

Sebenarnya di MITx " Fundamentals of Statistics " kita diajarkan kebalikannya, bahwa Kemenkeu mengandalkan persamaan waktu yang spesifik, dan jika kita mengambil kepadatan yang salah, kita benar-benar salah, sementara MLE lebih tangguh, karena kita dalam semua kasus meminimalkan perbedaan KD ..

— Antonello
sumber

Kurangnya reputasi bukan alasan yang sah untuk menggunakan ruang jawaban untuk komentar.

— Michael R. Chernick