Bagaimana estimasi kemungkinan maksimum memiliki perkiraan distribusi normal?

Saya telah membaca tentang MLE sebagai metode untuk menghasilkan distribusi yang sesuai.

Saya menemukan sebuah pernyataan yang mengatakan bahwa perkiraan kemungkinan maksimum "memiliki perkiraan distribusi normal."

Apakah ini berarti bahwa jika saya menerapkan MLE berulang kali pada data saya dan keluarga distribusi yang saya coba cocokkan, model yang saya dapatkan akan didistribusikan secara normal? Bagaimana tepatnya urutan distribusi memiliki distribusi?

normal-distribution estimation maximum-likelihood

— Matt O'Brien
sumber

Ketika Anda menerapkan MLE berulang kali ke data Anda kemudian - kecuali ada kesalahan komputasi - Anda akan mendapatkan hasil yang persis sama setiap kali. Cara untuk memikirkan hal ini adalah dengan merenungkan cara di mana data Anda bisa berubah secara berbeda. Ketika data bervariasi, maka lakukan estimasi ML berdasarkan pada mereka dan inilah variasi yang dihasilkan dalam estimasi yang sangat menarik.

— whuber

ahh ya ... Saya tidak mempertimbangkan ukuran sampel ...

— Matt O'Brien

Lihat diskusi di sini: andrewgelman.com/2012/07/05/...

— kjetil b halvorsen

Estimator adalah statistik, dan statistik memiliki distribusi sampling (yaitu, kita berbicara tentang situasi di mana Anda terus menggambar sampel dengan ukuran yang sama dan melihat distribusi perkiraan yang Anda dapatkan, satu untuk setiap sampel).

Kutipan mengacu pada distribusi MLE sebagai ukuran sampel mendekati tak terbatas.

Jadi mari kita perhatikan contoh eksplisit, parameter dari distribusi eksponensial (menggunakan parameterisasi skala, bukan parameterisasi laju).

f (x; μ) = \frac{_{1}}{^{μ}} e^{- \frac{x}{μ}}; x > 0, μ > 0

$f(x;\mu) = \frac{_1}{^\mu} e^{-\frac{x}{\mu}};\quad x>0,\quad \mu>0$

$\hat \mu = \bar x$ $n$ $\bar X$

masukkan deskripsi gambar di sini

Jika kita mengambil sampel berulang, masing-masing ukuran 1, kepadatan hasil dari sampel berarti diberikan di petak kiri atas. Jika kita mengambil sampel berulang, masing-masing ukuran 2, kepadatan hasil dari sampel berarti diberikan di petak kanan atas; pada saat n = 25, di kanan bawah, distribusi rata-rata sampel sudah mulai terlihat jauh lebih normal.

$1/\bar X$ $\lambda=1/\mu$

Sekarang pertimbangkan parameter bentuk distribusi gamma dengan rata-rata ~~skala yang~~ diketahui (di sini menggunakan parameterisasi rata-rata & bentuk daripada skala & bentuk).

Estimator tidak berbentuk tertutup dalam kasus ini, dan CLT tidak berlaku untuk itu (sekali lagi, setidaknya tidak secara langsung *), namun demikian argmax dari fungsi kemungkinan adalah MLE. Saat Anda mengambil sampel yang lebih besar dan lebih besar, distribusi pengambilan sampel dari estimasi parameter bentuk akan menjadi lebih normal.

masukkan deskripsi gambar di sini

$n$

$\hat{\theta}$ $\hat{\theta}$

Perhatikan juga bahwa efek yang kita lihat ketika kita melihat sampel kecil (setidaknya dibandingkan dengan tak terhingga, setidaknya) - bahwa perkembangan teratur menuju normalitas di berbagai situasi, seperti yang kita lihat dimotivasi oleh plot di atas - akan menyarankan bahwa jika kami menganggap cdf dari statistik standar, mungkin ada versi sesuatu seperti ketidakseimbangan Berry Esseen berdasarkan pendekatan yang mirip dengan cara menggunakan argumen CLT dengan MLE yang akan memberikan batasan pada seberapa lambat distribusi sampel dapat mendekati normalitas. Saya belum pernah melihat hal seperti itu, tetapi tidak mengejutkan saya menemukan bahwa itu telah dilakukan.

— Glen_b -Reinstate Monica
sumber