Membandingkan estimasi kemungkinan maksimum (MLE) dan Teorema Bayes

12

Dalam teorema Bayesian, , dan dari buku yang saya baca, disebut sebagai kemungkinan , tapi saya menganggap itu hanya probabilitas bersyarat dari diberikan , kan?

p (y | x) = \frac{p (x | y) p (y)}{p (x)}

$p(y|x) = \frac{p(x|y)p(y)}{p(x)}$

p (x | y)

$p(x|y)$

x

$x$

y

$y$

The maksimum estimasi kemungkinan mencoba untuk memaksimalkan , kan? Jika demikian, saya sangat bingung, karena keduanya variabel acak, bukan? Untuk memaksimalkan hanya untuk mencari tahu yang ? Satu lagi masalah, jika 2 variabel acak ini independen, maka hanya , bukan? Maka memaksimalkan adalah memaksimalkan . $p(x|y)$ $x,y$ $p(x|y)$ $\hat y$ $p(x|y)$ $p(x)$ $p(x|y)$ $p(x)$

Atau mungkin, adalah fungsi dari beberapa parameter , yaitu , dan MLE mencoba menemukan yang dapat memaksimalkan ? Atau bahkan bahwa sebenarnya adalah parameter dari model, bukan variabel acak, memaksimalkan kemungkinannya adalah untuk menemukan ? $p(x|y)$ $\theta$ $p(x|y; \theta)$ $\theta$ $p(x|y)$ $y$ $\hat y$

MEMPERBARUI

Saya seorang pemula dalam pembelajaran mesin, dan masalah ini adalah kebingungan dari hal-hal yang saya baca dari tutorial pembelajaran mesin. Ini dia, diberikan dataset yang diamati , nilai targetnya adalah , dan saya mencoba menyesuaikan model dengan dataset ini. , jadi saya berasumsi bahwa, mengingat , memiliki bentuk distribusi bernama parameterized oleh , yaitu , dan saya menganggap ini adalah probabilitas posterior , kan? $\{x_1,x_2,...,x_n\}$ $\{y_1,y_2,...,y_n\}$ $x$ $y$ $W$ $\theta$ $p(y|x; \theta)$

Sekarang untuk memperkirakan nilai , saya menggunakan MLE. OK, inilah masalah saya, saya pikir kemungkinannya adalah , kan? Memaksimalkan kemungkinan berarti saya harus memilih hak dan ? $\theta$ $p(x|y;\theta)$ $\theta$ $y$

Jika pemahaman saya tentang kemungkinan salah, tolong tunjukkan saya cara yang benar.

bayesian maximum-likelihood

— alpukat
sumber

Saya pikir kebingungannya adalah ini: Teorema Bayes hanyalah manipulasi dari probabilitas bersyarat seperti yang Anda berikan di awal pertanyaan Anda. The Bayesian Estimasi memanfaatkan teorema Bayes untuk membuat parameter estimasi. Hanya di yang terakhir, lakukan estimasi kemungkinan maksimum (MLE) dan parameter theta, dll.

— Zhubarb

@Berkan, yah saya benar-benar mencoba mencari tahu apa kemungkinannya, mengingat .

x, y, θ

$x,y,\theta$

— alpukat

1

Saya melihat, saya akan merekomendasikan Anda untuk melihat set besar ini perkuliahan slide dalam estimasi parameter.

— Zhubarb

1

Topik hebat lainnya untuk dibaca adalah Pengukur Empiris Bayes. Kami baru belajar tentang hal-hal yang ada di kelas saya :) biostat.jhsph.edu/~fdominic/teaching/bio656/labs/labs09/…

— bdeonovic

16

Saya pikir kesalahpahaman inti berasal dari pertanyaan yang Anda ajukan di paruh pertama pertanyaan Anda. Saya mendekati jawaban ini sebagai kontras dengan paradigma inferensi MLE dan Bayesian. Diskusi MLE yang sangat mudah didekati dapat ditemukan di Bab 1 dari Gary King, Unifying Metodologi Politik Analisis Data Bayesian Gelman dapat memberikan rincian tentang sisi Bayesian.

Dalam teorema Bayes, dan dari buku yang saya baca, disebut sebagai kemungkinan, tapi saya berasumsi itu hanya probabilitas bersyarat diberikan , kan?
$p (y | x) = \frac{p (x | y) p (y)}{p (x)}$ $p(y|x)=\frac{p(x|y)p(y)}{p(x)}$ $p(x|y)$ $x$ $y$

Kemungkinannya adalah probabilitas bersyarat. Untuk sebuah Bayesian, rumus ini menggambarkan distribusi parameter diberikan Data dan sebelum . Tetapi karena notasi ini tidak mencerminkan maksud Anda, untuk selanjutnya saya akan menggunakan ( , ) untuk parameter dan untuk data Anda. $y$ $x$ $p(y)$ $\theta$ $y$ $x$

Tetapi pembaruan Anda menunjukkan bahwa diamati dari beberapa distribusi . Jika kami menempatkan data dan parameter kami di tempat yang tepat dalam aturan Bayes, kami menemukan bahwa parameter tambahan ini tidak menimbulkan masalah bagi orang Bayes: $x$ $p(x|\theta,y)$

p (θ | x, y) = \frac{p (x, y | θ) p (θ)}{p (x, y)}

$p(\theta|x,y)=\frac{p(x,y|\theta)p(\theta)}{p(x,y)}$

Saya percaya ungkapan ini adalah apa yang Anda cari dalam pembaruan Anda.

Estimasi kemungkinan maksimum mencoba memaksimalkan , kan? $p(x,y|\theta)$

Iya. MLE berpendapat bahwa Yaitu, ia memperlakukan istilah sebagai tidak dikenal (dan tidak diketahui) konstan. Sebaliknya, inferensi Bayesian memperlakukan sebagai konstanta normalisasi (sehingga probabilitas dijumlahkan / diintegrasikan ke dalam kesatuan) dan sebagai informasi kunci: informasi sebelumnya. Kita dapat menganggap sebagai cara untuk menjatuhkan penalti pada prosedur optimalisasi untuk "berkeliaran terlalu jauh" dari wilayah yang kita anggap paling masuk akal.

p (x, y | θ) \propto p (θ | x, y)

$p(x,y|\theta) \propto p(\theta|x,y)$

\frac{p (θ, y)}{p (x)}

$\frac{p(\theta,y)}{p(x)}$

p (x)

$p(x)$

p (θ, y)

$p(\theta,y)$

p (θ, y)

$p(\theta,y)$

Jika demikian, saya sangat bingung, karena adalah variabel acak, bukan? Untuk memaksimalkan hanya untuk mengetahui ? $x,y,\theta$ $p(x,y|\theta)$ $\hat{\theta}$

Dalam MLE, diasumsikan sebagai kuantitas tetap yang tidak diketahui tetapi dapat disimpulkan, bukan variabel acak. Bayesian inference memperlakukan sebagai variabel acak. Bayesian menempatkan inferensi probabilitas fungsi kepadatan di dan mendapat fungsi kepadatan probabilitas keluar , daripada titik ringkasan dari model, seperti dalam MLE. Artinya, inferensi Bayesian melihat kisaran penuh nilai parameter dan probabilitas masing-masing. MLE berpendapat bahwa adalah ringkasan yang memadai dari data yang diberikan model. $\hat{\theta}$ $\theta$ $\hat{\theta}$

— Sycorax berkata Reinstate Monica
sumber

1

Terima kasih atas jawaban Anda, saya memperbarui posting saya, silakan lihat pembaruan saya.

— alpukat

Pembaruan ini secara radikal mengubah pemahaman saya tentang pertanyaan itu. Awalnya, saya pikir Anda menganggap sebagai parameter dan sebagai data Anda. Sekarang tampaknya adalah data dan Anda tertarik untuk membangun model yang menggambarkan hubungan antara dan . Saya akan mengubah respons saya karena saya punya waktu.

y

$y$

x

$x$

(x, y)

$(x,y)$

x

$x$

y

$y$

— Sycorax berkata Reinstate Monica

+1 Ini masih merupakan jawaban yang bagus: Saya harap Anda mempertahankannya sebagian besar bahkan jika Anda memodifikasinya agar sesuai dengan perubahan dalam pertanyaan.

— whuber

Saya telah memperbarui respons saya untuk mencerminkan pertanyaan Anda yang diperbarui. Saya harap detail ini membantu. Saya sangat merekomendasikan merujuk referensi yang saya sebutkan. Dan saya harap @whuber masih menyetujuinya. ;-)

— Sycorax berkata Reinstate Monica

Terima kasih banyak atas pembaruannya, jadi maksud Anda walaupun saya mengambil bentuk distribusi untuk

, saya harus memperlakukan

keduanya sebagai data yang diamati ketika saya mencoba memperkirakan

?

p (y | x)

$p(y|x)$

x, y

$x,y$

θ

$\theta$

— alpukat

3

Biasanya adalah fungsi dari parameter . Pertimbangkan reformulasi teorema Bayes berikut: $p(x|y)$ $y$

p (θ | x) = \frac{p (x | θ) p (θ)}{p (x)}

$p(\theta|x) = \frac{p(x|\theta)p(\theta)}{p(x)}$

Atau bahkan lebih eksplisit (berkenaan dengan gagasan kemungkinan):

p (θ | x) = \frac{L (θ; x) p (θ)}{p (x)}

$p(\theta|x) = \frac{L(\theta;x)p(\theta)}{p(x)}$

Untuk contoh nyata, pertimbangkan modelnya

X | θ \sim B i n o m i a l (θ) θ \sim B e t a (α, β)

$X|\theta \sim Binomial(\theta) \\ \theta \sim Beta(\alpha,\beta)$

— David Marx
sumber

Jadi, biasanya

bukan variabel acak tetapi

, kan?

y

$y$

x

$x$

— alpukat

Y biasanya merupakan parameter pada pdf X. Dalam pengaturan frequentist, y biasanya merupakan nilai tetap. Dalam pengaturan Bayesian, Y sendiri merupakan variabel acak (seperti dalam contoh yang saya berikan). X | Y juga bisa menjadi probabilitas bersyarat dalam arti yang Anda maksudkan, saya mencoba memberi Anda motivasi di balik mengapa kuantitas itu disebut kemungkinan.

— David Marx

θ

$\theta$

X

$X$

Hanya karena sesuatu adalah variabel acak, bukan berarti itu bukan parameter. Selamat datang di dunia indah bayesian probabilitas :)

— David Marx

0

$p(x|y)$

$p(x|y)$ $x$ $y$

$p(x|y)$ $p(x)$ $p(x|y)$ $p(x)$

$p(x|y) = p(x)$ $p(x)$ $y$ $y$

$p(x|y)$ $\theta$ $p(x|y;\theta)$ $\theta$ $p(x|y)$ $\hat{y}$

$\theta$ $y$ $p(x|y;\theta)$ $\theta$

— Menepuk
sumber

θ

$\theta$

x

$x$

y

$y$

θ

$\theta$

0

Dari manual referensi STAN:

Jika sebelumnya seragam, mode posterior sesuai dengan estimasi kemungkinan maksimum (MLE) dari parameter. Jika prior tidak seragam, mode posterior kadang-kadang disebut estimasi maksimal posterior (MAP).

— Neerav
sumber