Apakah MLE selalu berarti kita mengetahui PDF yang mendasari data kita, dan apakah EM berarti kita tidak tahu?

Saya memiliki beberapa pertanyaan konseptual sederhana yang ingin saya klarifikasi mengenai MLE (Estimasi Kemungkinan Maksimum), dan tautan apa yang dimilikinya, jika ada, ke EM (Ekspektasi Maksimalisasi).

Seperti yang saya pahami, jika seseorang berkata "Kami menggunakan MLE", apakah itu secara otomatis berarti bahwa mereka memiliki model eksplisit dari data PDF mereka? Menurut saya jawabannya adalah ya. Dengan kata lain, jika suatu saat seseorang mengatakan "MLE", adalah wajar untuk bertanya kepada mereka apa PDF yang mereka asumsikan. Apakah ini benar?

Terakhir, pada EM, pemahaman saya adalah bahwa dalam EM, kita sebenarnya tidak tahu - atau perlu tahu, PDF yang mendasari data kami. Ini pemahaman saya.

Terima kasih.

estimation maximum-likelihood expectation-maximization

— Creatron
sumber

"M" dalam EM singkatan dari Maksimalisasi ... dari kemungkinan. Untuk menuliskan kemungkinan kita perlu pdf. EM adalah cara untuk menemukan MLE di hadapan 'tidak dapat diobservasi' dalam beberapa hal (yang diisi dalam langkah-E). Artinya, untuk menggunakan EM Anda memerlukan model eksplisit.

— Glen_b -Reinstate Monica

@Glen_b Terima kasih Gleb_b. Jadi, 1) apakah benar untuk mengatakan, bahwa dalam EM, seperti dalam MLE, kami selalu mengasumsikan beberapa model data PDF "? Berarti bahwa jika seseorang mengatakan" Kami menggunakan MLE / EM ", kita dapat bertanya," Apa PDF yang Anda asumsikan ". Apakah ini penilaian yang benar? 2) Terakhir, berkenaan dengan EM, saya percaya hal yang tidak dapat diobservasi yang Anda maksudkan adalah probabilitas PDF tertentu yang menyusun campuran, benar? Terima kasih sebelumnya.

— Creatron

Perhatikan bahwa ada metode kemungkinan maksimum non-parametrik. Lihatlah Kaplan-Meier.

— soakley

Creatron - on (1) Perhatikan bahwa EM adalah suatu algoritma untuk menghitung MLE yang jika tidak akan sulit untuk ditangani. Dalam kedua kasus, saya akan mengajukan pertanyaan yang sedikit lebih umum 'apa model Anda?', Karena sangat mungkin model menjadi lebih kompleks daripada beberapa pdf tunggal. Aktif (2) Algoritma EM tidak hanya berlaku untuk campuran; ini lebih umum dari itu.

— Glen_b -Reinstate Monica

Jawaban:

Metode MLE dapat diterapkan dalam kasus di mana seseorang mengetahui bentuk fungsional dasar pdf (misalnya, itu Gaussian, atau log-normal, atau eksponensial, atau apa pun), tetapi bukan parameter yang mendasarinya; misalnya, mereka tidak tahu nilai dan dalam pdf: $\mu$ $\sigma$ atau apa pun jenis pdf lain yang mereka asumsikan. Tugas metode MLE adalah memilih yang terbaik (yaitu, yang paling masuk akal) nilai untuk parameter yang tidak diketahui, mengingat pengukuran tertentu Datayang sebenarnya diamati. Jadi untuk menjawab pertanyaan pertama Anda, ya, Anda selalu berhak menanyakan kepada seseorangbentukpdf apa yang mereka asumsikan untuk perkiraan kemungkinan maksimum; memang, taksiran nilai parameter yang mereka katakan kepada Anda bahkan tidak berarti kecuali mereka pertama kali berkomunikasi konteks itu.

f (x | μ, σ) = \frac{1}{\sqrt{2 π σ^{2}}} \exp [\frac{- (x - μ)^{2}}{2 σ^{2}}]

$f(x|\mu, \sigma) = \frac{1}{\sqrt{2\pi\sigma^{2}}} \exp\left[\frac{-(x-\mu)^{2}}{2 \sigma^{2}}\right]$

x_{1}, x_{2}, x_{3}, . . .

$x_{1}, x_{2}, x_{3}, ...$

f (x | A_{1}, . . ., A_{N}, μ_{1}, . . ., μ_{N}, σ_{1}, . . . σ_{N}) = \sum_{k = 1}^{N} \frac{A_{k}}{\sqrt{2 π σ_{k}^{2}}} \exp [\frac{- (x - μ_{k})^{2}}{2 σ_{k}^{2}}]

$f(x|A_{1},...,A_{N},\mu_{1},...,\mu_{N}, \sigma_{1},...\sigma_{N}) = \sum_{k=1}^{N} \frac{A_{k}}{\sqrt{2\pi\sigma_{k}^{2}}} \exp\left[\frac{-(x-\mu_{k})^{2}}{2 \sigma_{k}^{2}}\right]$

A_{k}

$A_{k}$

N

$N$

x_{1}, x_{2}, x_{3}, . . .

$x_{1}, x_{2}, x_{3}, ...$

$N$ $N=1$ $A_{1}$ $\mu_{1}$ $\sigma_{1}$ $N=2$ $A_{1}$ $A_{2}$ $\mu_{1}$ $\mu_{2}$ $\sigma_{1}$ $\sigma_{2}$ $A_{1}$ $\mu_{1}$ $\sigma_{1}$ $N=1$ $N=2$

$N$ $N$

$N=1$ $N=2$ $N=3$

— stachyra
sumber

\sum A_{k} = 1

$\sum A_k = 1$

N

$N$

N

$N$

\sum A_{k} = 1

$\sum A_{k} = 1$

N

$N$

N

$N$

N = 4

$N=4$

N = 5

$N=5$

— stachyra

Terima kasih, stachyra. Pertanyaan terakhir, PDF dari campuran data luar (diberikan dalam persamaan kedua Anda yang terdiri dari jumlah tertimbang PDF), TIDAK sama dengan PDF gabungan dari semua sampel data kami, yang merupakan produk dari PDF mereka, benar ? (Asumsikan sampel data adalah IID).

— Creatron

Tidak, tidak sama sekali - mereka adalah dua hal yang sangat berbeda. Pdf gabungan yang Anda gambarkan terdengar jauh lebih mirip dengan bentuk fungsi kemungkinan yang digunakan dalam MLE. Buku teks mungkin membantu Anda di sini. Untuk MLE, saya suka bab 10 dari "Pengurangan Data dan Analisis Kesalahan untuk Ilmu Fisika" oleh Philip R. Bevington dan D. Keith Robinson, atau bagian 6.1 dari "Analisis Data Statistik" oleh Glen Cowan. Untuk contoh spesifik tentang bagaimana melakukan satu jenis implementasi EM, saya suka penjelasan ini , bagian 2 sampai 5.

— stachyra

MLE membutuhkan pengetahuan tentang paling tidak distribusi marjinal. Saat menggunakan MLE, kami biasanya mengestimasi parameter distribusi bersama dengan membuat asumsi awal, lalu memfaktorkan distribusi bersama sebagai produk dari marginal, yang kami tahu. Ada variasi, tetapi ini adalah gagasan dalam banyak kasus. Jadi MLE adalah metode parametrik.

Algoritma EM adalah metode untuk memaksimalkan fungsi kemungkinan yang muncul sebagai bagian dari algoritma MLE. Ini sering (biasanya?) Digunakan untuk solusi numerik.

Setiap kali kita menggunakan MLE, kita memerlukan setidaknya distribusi marjinal, dan beberapa asumsi tentang bagaimana sambungan itu terkait dengan marginal (kemerdekaan, dll.). Karena itu kedua metode ini mengandalkan pengetahuan distribusi.

— Charles Pehlivanian
sumber

Terima kasih @ Charles yang masuk akal. Apa artinya itu ketika orang berbicara tentang "MLE non-parametrik". Ungkapan itu tidak masuk akal pada pandangan pertama. MLE selalu memperkirakan parameter distribusi, bukan?

— Creatron

Mereka mungkin berbicara tentang ELE (Estimasi Empirik Kemungkinan). Saya tidak pernah menggunakannya; Saya akan mencoba menjelaskan jika perlu. Kalau tidak, saya tidak yakin.

— Charles Pehlivanian