Dapatkah kemungkinan sebelum dan secara eksponensial yang tepat mengarah pada posterior yang tidak tepat?

(Pertanyaan ini terinspirasi oleh komentar dari Xi'an ini .)

Diketahui bahwa jika distribusi sebelumnya tepat dan kemungkinan terdefinisi dengan baik, maka distribusi posterior tepat hampir pasti. $\pi(\theta)$ $L(\theta | x)$ $\pi(\theta|x)\propto \pi(\theta) L(\theta|x)$

Dalam beberapa kasus, kami menggunakan kemungkinan temper atau eksponen, yang mengarah ke pseudo-posterior

\tilde{π} (θ | x) \propto π (θ) L (θ | x)^{α}

$\tilde\pi(\theta|x)\propto \pi(\theta) L(\theta|x)^\alpha$

untuk beberapa (misalnya, ini dapat memiliki keunggulan komputasi).

α > 0

$\alpha>0$

Dalam pengaturan ini, apakah mungkin untuk memiliki pseudo-posterior yang tepat sebelum tetapi yang tidak tepat?

bayesian prior posterior

— Robin Ryder
sumber

Sebenarnya, beberapa menit kemudian, saya akan menganggapnya tidak mungkin karena divergensi dari produk x kemungkinan sebelumnya berkurang ketika mempertimbangkan produk x kemungkinan sebelumnya ^ α ... Setiap barang yang akan mencapai infinity pergi ke sana lebih lambat! Dan istilah untuk nol lebih lambat dikendalikan oleh prior yang tepat. Jadi saya bertaruh bahwa ini tidak mungkin. (peringatan: Saya diketahui salah!)

— Xi'an

Mungkin berguna dalam mencari sampel tandingan ketika : Ketidaksetaraan Markov memberi tahu kita bahwa Jadi, jika Anda dapat menemukan case di mana memiliki polinomial tail, maka Anda mungkin dapat membuat pseudo-posterior yang tidak tepat.

α > 1

$\alpha > 1$

E_{θ \sim π} [L (x | θ)^{α}] ⩾ t^{α} P_{θ \sim π} (L (x | θ) > t) ⟹ E_{θ \sim π} [L (x | θ)^{α}] ⩾ sup_{t > 0} t^{α} P_{θ \sim π} (L (x | θ) > t)

$\mathbf{E}_{\theta \sim \pi} \left[ L(x| \theta)^\alpha \right] \geqslant t^\alpha \mathbf{P}_{\theta \sim \pi} (L(x| \theta) > t) \\ \implies \mathbf{E}_{\theta \sim \pi} \left[ L(x| \theta)^\alpha \right] \geqslant \sup_{t > 0} t^\alpha \mathbf{P}_{\theta \sim \pi} (L(x| \theta) > t)$

L (x | θ)

$L(x| \theta)$

— 8r8

Apakah argumen ini juga berfungsi untuk ? Juga, adakah cara untuk membuktikan bahwa kemungkinan yang dibangun dengan cara ini akan tepat?

α < 1

$\alpha < 1$

— InfProbSciX

Sebenarnya, untuk , karena kita tahu bahwa , supremum pada RHS selalu terbatas, dan untuk , satu menggunakan argumen Jensen Anda untuk membuat pengurangan yang sama. Jadi argumennya gagal dalam hal itu. Sebuah komentar kecil bahwa argumen ini membutuhkan kemungkinan tidak terbatas untuk berhasil, yaitu untuk semua .

α = 1

$\alpha =1$

E_{π} [L (x | θ)] < \infty

$\mathbf{E}_{\pi} [L (x | \theta)] < \infty$

α < 1

$\alpha < 1$

L

$L$

P_{π} (L (x | θ) > t) > 0

$\mathbf{P}_\pi (L (x | \theta) > t) > 0$

t

$t$

— 8r8

Benar, untuk , Anda tidak dapat membuat satu, bagus! Harus saya katakan, saya akan terpesona melihat contoh kemungkinan yang tidak terbatas! Mungkin posterior beta akan menjadi hasil dari kemungkinan yang tidak terbatas.

α = 1

$\alpha = 1$

— InfProbSciX

Jawaban:

Untuk , mungkin ini argumen untuk menunjukkan bahwa tidak mungkin membangun posterior seperti itu? $\alpha \leq 1$

Kami ingin mengetahui apakah mungkin untuk . $\int \tilde \pi(\theta|x)d\theta = \infty$

Di RHS:

\int π (θ) L^{α} (θ | x) d θ = E_{θ} (L^{α} (θ | x))

$\int \pi(\theta) L^{\alpha}(\theta|x) d\theta = E_{\theta}(L^{\alpha}(\theta|x))$

Jika , adalah fungsi cekung, maka oleh ketidaksetaraan Jensen: $\alpha \leq 1$ $x^{\alpha}$

E_{θ} (L^{α} (θ | x)) \leq E_{θ}^{α} (L (θ | x)) = m (x)^{α} < \infty

$E_{\theta}(L^{\alpha}(\theta|x)) \leq E^{\alpha}_{\theta}(L(\theta|x)) = m(x)^\alpha < \infty$

... di mana seperti yang ditunjukkan Xi'an, adalah konstanta normalisasi (bukti). $m(x)$

— InfProbSciX
sumber

Rapi, terima kasih. Saya suka Anda menggunakan fakta bahwa untuk posterior tepat.

α = 1

$\alpha=1$

— Robin Ryder

Dimungkinkan untuk menggunakan hasilnya dalam jawaban @ InfProbSciX untuk membuktikan hasilnya secara umum. Tulis ulang sebagai Jika , kita memiliki kasus ketidaksamaan Jensen di atas, karena kita tahu bahwa adalah normal. Demikian pula, jika , kita dapat menulis dengan , sekali lagi jatuh ke kasus yang sama, karena kita tahu bahwa adalah normal. Sekarang orang dapat menggunakan induksi (kuat) untuk menunjukkan case secara umum. $L(\theta\mid x)^\alpha\pi(\theta)$

L (θ ∣ x)^{α - 1} L (θ ∣ x) π (θ) .

$L(\theta\mid x)^{\alpha-1}L(\theta\mid x)\pi(\theta).$

1 \leq α \leq 2

$1 \leq \alpha \leq 2$

L (x | θ) π (θ)

$L(x|\theta)\pi(\theta)$

2 \leq α \leq 3

$2 \leq \alpha \leq 3$

L (x | θ)^{α - p} L (x | θ)^{p} π (θ),

$L(x|\theta)^{\alpha-p} L(x|\theta)^p\pi(\theta),$

1 \leq p \leq 2

$1 \leq p \leq 2$

L (x | θ)^{p} π (θ)

$L(x|\theta)^{p}\pi(\theta)$

Komentar lama

Tidak yakin apakah ini super berguna, tetapi karena saya tidak bisa berkomentar saya akan meninggalkan ini sebagai jawaban. Sebagai tambahan terhadap komentar luar biasa @ InfProbSciX tentang , jika seseorang membuat asumsi lebih lanjut bahwa , maka tidak mungkin untuk memiliki pseudo-posterior yang tepat tetapi pseudo-posterior yang tidak tepat. untuk . Misalnya, jika kita tahu bahwa momen kedua ( -th) dari ada, kita tahu itu ada di ( ) dan karenanya pseudo-posterior akan sesuai untuk . Bagian 1 dalam catatan ini $\alpha \leq 1$ $L(\theta \mid x) \in L^p$ $1 < \alpha \leq p$ $p$ $L(\theta \mid x)$ $L^2$ $L^p$ $0 \leq \alpha \leq 2$ masuk ke sedikit lebih detail, tetapi sayangnya tidak jelas seberapa luas kelas, katakanlah, pdf adalah. Saya minta maaf jika saya berbicara di luar giliran di sini, saya benar-benar ingin meninggalkan ini sebagai komentar. $L^{10}$

— Luiz Max Carvalho
sumber

Anda benar, jika fungsi kemungkinan berada dalam ruang - yaitu ruang menggunakan ukuran yang diinduksi oleh sebelumnya, maka posterior akan sesuai untuk . Saya benar-benar menebak-nebak di sini, tetapi saya berpikir bahwa ruang akan mencakup kemungkinan yang paling besar yang dapat kita pikirkan - saya pikir saya mungkin telah membaca bukti berabad-abad yang lalu yang mengatakan bahwa jika adalah Riemann yang dapat diintegrasikan, maka kekuatan positifnya juga. dapat diintegrasikan. Teorema 1.26 untuk referensi

L (θ | x)

$L(\theta|x)$

L^{p} (π_{θ})

$L^p(\bf {\pi_\theta})$

L^{p}

$L^p$

1 \leq α \leq p

$1 \leq \alpha \leq p$

f

$f$

f^{n}, n \in Z^{+}

$f^n, n \in \mathbb Z^+$

— InfProbSciX

@InfProbSciX, saya pikir mungkin ada bukti lengkap yang bersembunyi di bayang-bayang di sini. Saya ambil dari jawaban Anda bahwa bisa negatif. Jika itu benar, maka kita dapat menunjukkan bahwa untuk setiap kemungkinan pseudo-kemungkinan akan dapat diintegrasikan karena timbal balik dari fungsi yang dapat diintegrasikan dapat diintegrasikan. Dan jika kemungkinannya adalah integrable, saya berpendapat bahwa posterior akan integrable karena prior dibatasi, dan produk dari integrable dan function bounded adalah integrable ( math.stackexchange.com/a/56008/271610 ). Biarkan aku tahu apa yang kau pikirkan.

α

$\alpha$

p > 1

$p > 1$

— Luiz Max Carvalho

Saya pikir Anda dapat mengabaikan kasus di mana , karena pertanyaannya secara eksplisit mengasumsikan sebaliknya. Integrabilitas untuk semua kasus umum perlu ditunjukkan. Juga, saya tidak yakin apakah yang sebelumnya selalu dibatasi, misalnya, kepadatan tidak akan.

α < 0

$\alpha < 0$

L^{α}

$L^{\alpha}$

B e t a (0.5, 0.5)

$Beta(0.5, 0.5)$

— InfProbSciX

@InfProbSciX, apa yang saya maksudkan adalah bahwa bahkan jika tidak ada dalam pertanyaan, jika bukti Anda berlaku untuk kondisi itu juga, maka kita dapat menunjukkan integrabilitas untuk dengan memanfaatkan fakta bahwa jika dapat diintegrasikan maka adalah . Seperti yang Anda katakan, semua itu nol jika yang sebelumnya tidak terikat. Kita dapat mencoba untuk mengikat kemungkinan sebagai gantinya dan Tampaknya bagi saya bahwa setiap kemungkinan seseorang akan menggunakan MLE harus terikat atau cekung kuat ( en.wikipedia.org/wiki/Maximum_likelihood_estimation#Properties ) yang keduanya dapat digunakan untuk membangun bukti umum. Adakah pikiran?

α < 0

$\alpha < 0$

α > 1

$\alpha > 1$

f

$f$

1 / f

$1/f$

— Luiz Max Carvalho

Maaf, saya melewatkannya, ya sepertinya itu akan membuat upaya yang menarik!

— InfProbSciX