Laplace smoothing dan Dirichlet sebelumnya

11

Pada artikel wikipedia tentang Laplace smoothing (atau aditif smoothing), dikatakan bahwa dari sudut pandang Bayesian,

ini sesuai dengan nilai yang diharapkan dari distribusi posterior, menggunakan distribusi Dirichlet simetris dengan parameter sebagai sebelumnya. $\alpha$

Saya bingung bagaimana itu benar. Bisakah seseorang membantu saya memahami bagaimana kedua hal itu setara?

Terima kasih!

— DanielX2010
sumber

10

Tentu. Ini pada dasarnya adalah pengamatan bahwa distribusi Dirichlet adalah konjugat sebelum distribusi multinomial. Ini berarti mereka memiliki bentuk fungsional yang sama. Artikel itu menyebutkannya, tetapi saya hanya akan menekankan bahwa ini mengikuti dari model pengambilan sampel multinomial. Jadi, turun ke sana ...

Pengamatan tentang posterior, jadi mari kita perkenalkan beberapa data, , yang merupakan jumlah item berbeda. Kami mengamati total sampel. Kita asumsikan diambil dari distribusi yang tidak diketahui (di mana kita akan meletakkan sebelum -simplex). $x$ $K$ $N = \sum_{i=1}^K x_i$ $x$ $\pi$ $\mathrm{Dir}(\alpha)$ $K$

Probabilitas posterior dari diberikan dan data adalah $\pi$ $\alpha$ $x$

p (π | x, α) = p (x | π) p (π | α)

$p(\pi | x, \alpha) = p(x | \pi) p(\pi|\alpha)$

Kemungkinannya, , adalah distribusi multinomial. Sekarang mari kita menulis pdf: $p(x|\pi)$

p (x | π) = \frac{N!}{x_{1}! \dots x_{k}!} π_{1}^{x_{1}} \dots π_{k}^{x_{k}}

$p(x|\pi) = \frac{N!}{x_1!\cdots x_k!} \pi_1^{x_1} \cdots \pi_k^{x_k}$

dan

p (π | α) = \frac{1}{B (α)} \prod_{i = 1}^{K} π_{i}^{α - 1}

$p(\pi|\alpha) = \frac{1}{\mathrm{B}(\alpha)} \prod_{i=1}^K \pi_i^{\alpha - 1}$

di mana . Mengalikan, kami menemukan bahwa, $\mathrm{B}(\alpha) = \frac{\Gamma(\alpha)^K}{\Gamma(K\alpha)}$

p (π | α, x) = p (x | π) p (π | α) \propto \prod_{i = 1}^{K} π_{i}^{x_{i} + α - 1} .

$p(\pi|\alpha,x) = p(x | \pi) p(\pi|\alpha) \propto \prod_{i=1}^K \pi_i^{x_i + \alpha - 1}.$

Dengan kata lain, posterior juga Dirichlet. Pertanyaannya adalah tentang mean posterior. Karena posterior adalah Dirichlet, kita dapat menerapkan rumus untuk rata-rata Dirichlet untuk menemukan itu,

E [π_{i} | α, x] = \frac{x_{i} + α}{N + K α} .

$E[\pi_i | \alpha, x] = \frac{x_i + \alpha}{N + K\alpha}.$

Semoga ini membantu!

— ya
sumber

p (π | α, x) = p (x | π) p (π | α) / p (x | α),

$p(\pi | \alpha, x) = p(x | \pi)p(\pi | \alpha)/p(x | \alpha),$ jadi bukankah salah untuk mengatakan bahwaMereka proporsional sehubungan dengan , tetapi menulis persamaan tidak benar saya pikir.

p (π | α, x) = p (x | π) p (π | α) ?

$p(\pi | \alpha, x) = p(x | \pi)p(\pi | \alpha)?$

π

$\pi$

— michal

Saya bingung tentang ini untuk waktu yang lama, dan saya ingin membagikan realisasiku. Orang-orang ini memotivasi smoothing Laplace oleh Dirichlet menggunakan Posterior Mean, bukan MAP. Untuk kesederhanaan, asumsikan distribusi Beta (kasus paling sederhana dari Dirichlet) Rata-rata posterior adalah sedangkan MAP adalah . Jadi jika seseorang mengatakan dengan menambahkan 1 ke pembilang dan 2 ke penyebut, itu karena mereka menggunakan Posterior Mean.

\frac{α + n_{s u c c e s s}}{α + β + n_{s u c c e s s} + n_{f a i l u r e s}}

$\frac{\alpha + n_{success}}{\alpha + \beta + n_{success} + n_{failures}}$

\frac{α + n_{s u c c e s s} - 1}{α + β + n_{s u c c e s s} + n_{f a i l u r e s} - 2}

$\frac{\alpha + n_{success} - 1}{\alpha + \beta + n_{success} + n_{failures} - 2}$

α = β = 1

$\alpha = \beta = 1$

— RMurphy

0

Sebagai catatan tambahan, saya juga ingin menambahkan poin lain pada derivasi di atas, yang sebenarnya tidak menyangkut pertanyaan utama. Akan tetapi, berbicara tentang dirichlet tentang distribusi multinomial, saya pikir layak untuk menyebutkan bahwa apa yang akan menjadi bentuk fungsi kemungkinan jika kita akan mengambil probabilitas sebagai variabel gangguan.

Seperti yang ditunjukkan dengan benar oleh sydeulissie, sebanding dengan . Sekarang di sini saya ingin menghitung . $p(\pi | \alpha, x)$ $\prod_{i=1}^{K} \, \pi_i^{x_i+\alpha-1}$ $p(x|\alpha)$

p (x | α) = \int \prod_{i = 1}^{K} p (x | π_{i}, α) p (π | α) d π_{1} d π_{2} . . . d π_{K}

$\begin{equation} p(x | \alpha) = \int \prod_{i=1}^{K}p(x | \pi_i, \alpha)p(\pi|\alpha) \mathrm{d} \pi_1 \mathrm{d} \pi_2 ...\mathrm{d} \pi_K \end{equation}$

Menggunakan identitas integral untuk fungsi gamma, kami memiliki:

p (x | α) = \frac{Γ (K α)}{Γ (N + K α)} \prod_{i = 1}^{K} \frac{Γ (x_{i} + α)}{Γ (α)}

$\begin{equation} p(x|\alpha) = \frac{\Gamma(K\alpha)}{\Gamma(N + K\alpha)} \prod_{i=1}^{K} \frac{\Gamma(x_i + \alpha)}{\Gamma(\alpha)} \end{equation}$

Derivasi di atas dari kemungkinan untuk data kategori mengusulkan cara yang lebih kuat untuk menangani data ini untuk kasus-kasus yang ukuran sampel tidak cukup besar. $N$

— omidi
sumber