Apa hubungan di balik Jeffreys Priors dan transformasi penstabilan varian?

Saya membaca tentang Jeffreys sebelum di wikipedia: Jeffreys Prior dan melihat bahwa setelah setiap contoh, ini menggambarkan bagaimana transformasi penstabilan varian mengubah Jeffrey sebelum menjadi seragam sebelumnya.

Sebagai contoh, untuk kasus Bernoulli, menyatakan bahwa untuk koin yang kepala dengan probabilitas $\gamma \in [0,1]$ , Bernoulli Model uji coba hasil bahwa Jeffreys sebelumnya untuk parameter $\gamma$ adalah:

p (γ) \propto \frac{1}{\sqrt{γ (1 - γ)}}

$p(\gamma) \propto \frac{1}{\sqrt{\gamma ( 1-\gamma)}}$

Kemudian menyatakan bahwa ini adalah distribusi beta dengan $\alpha = \beta = \frac{1}{2}$ . Ini juga menyatakan bahwa jika $\gamma = \sin^2(\theta)$ , maka Jeffrey sebelum untuk $\theta$ seragam dalam interval $\left[0, \frac{\pi}{2}\right]$ .

Saya mengenali transformasi sebagai transformasi penstabilan varian. Yang membingungkan saya adalah:

Mengapa transformasi penstabilan varians menghasilkan seragam sebelumnya?
Mengapa kita bahkan menginginkan seragam sebelumnya? (Karena tampaknya lebih rentan menjadi tidak pantas)

Secara umum, saya tidak begitu yakin mengapa transformasi kuadrat-sinus diberikan dan peran apa yang dimainkan. Adakah yang punya ide?

bayesian prior jeffreys-prior

— pengguna1398057
sumber

Saya akan menyebut diri saya sebagai penipu otodidak dengan menanyakan hal ini, tetapi: transformasi penstabil varian mana yang Anda maksud?

\frac{1}{\sqrt{\sin^{2} (θ) (1 - \sin^{2} (θ))}}

$\frac{1}{\sqrt{\sin^2(\theta) \left( 1 - \sin^2(\theta) \right)}}$

— shadowtalker

Sinus kuadrat secara konvensional adalah cara yang salah untuk memikirkan transformasi.

adalah akar kuadrat arcsine atau transformasi sudut.

θ = arcsin \sqrt[]{γ}

$\theta = \text{arcsin} \root \of \gamma$

— Nick Cox

Jawaban:

The Jeffreys prior adalah invarian di bawah reparametrization. Karena alasan itu, banyak orang Bayesian menganggapnya sebagai “prior non-informatif”. (Hartigan menunjukkan bahwa ada seluruh ruang dari prior seperti untuk mana adalah prior Jeffreys 'dan adalah Hartigan yang sebelumnya merupakan invarian lokal asimptotik. - Invariant Prior Distributions ) $J^\alpha H^\beta$ $\alpha + \beta=1$ $J$ $H$

Ini adalah kepalsuan yang sering diulang bahwa seragam sebelumnya tidak informatif, tetapi setelah transformasi sewenang-wenang dari parameter Anda, dan seragam sebelum pada parameter baru berarti sesuatu yang sama sekali berbeda. Jika perubahan parametriisasi yang berubah-ubah memengaruhi prioritas Anda, maka prioritas Anda jelas informatif.

Menggunakan Jeffreys, menurut definisi , setara dengan menggunakan flat sebelum setelah menerapkan transformasi penstabil varian.
Dari sudut pandang matematika, menggunakan Jeffreys prior, dan menggunakan flat sebelum menerapkan transformasi variance-stable adalah setara. Dari sudut pandang manusia, yang terakhir mungkin lebih baik karena ruang parameter menjadi "homogen" dalam arti bahwa perbedaan semua sama di setiap arah di mana pun Anda berada di ruang parameter.

Pertimbangkan contoh Bernoulli Anda. Bukankah agak aneh bahwa skor 99% pada tes adalah jarak yang sama menjadi 90% karena 59% adalah 50%? Setelah transformasi penstabilan varians Anda, pasangan yang pertama lebih terpisah, sebagaimana seharusnya. Ini sesuai dengan intuisi kita tentang jarak aktual di luar angkasa. (Secara matematis, transformasi penstabilan varian membuat kelengkungan log-loss sama dengan matriks identitas.)

— Neil G
sumber

1. Saya setuju bahwa seragam sebelumnya tidak berarti "tidak informatif" sebelumnya, tetapi komentar saya tentang tidak menilai nilai tertentu atas nilai lain masih berlaku (di bawah parameterisasi tertentu). 2. Kelayakan prior sangat memprihatinkan . Jika Anda memiliki prior yang tidak tepat dan memiliki data, tidak dijamin bahwa Anda akan memiliki posterior yang tepat. Jadi itu sangat memprihatinkan.

— Greenparker

1. Tapi itulah intinya: parametrization itu arbitrer, jadi tidak ada artinya mengatakan bahwa Anda tidak menilai satu nilai di atas yang lain. 2. Dalam praktiknya, saya tidak pernah menemukannya. Mungkin itu menyangkut orang lain kurasa.

— Neil G

1. Poin yang adil. 2. Saya tidak yakin masalah apa yang Anda hadapi, tetapi bahkan kemungkinan Gaussian sederhana dengan Jeffrey sebelumnya dapat memiliki posterior yang tidak tepat. Lihat jawaban saya di sini .

— Greenparker

@ Greenparker Anda benar. Saya akan mengklarifikasi mengapa itu tidak mengganggu saya dalam jawaban saya.

— Neil G

Saya rasa editnya tidak benar. Jika posterior tidak tepat maka MCMC pasti tidak masuk akal karena Anda mencoba untuk menggambar dari distribusi yang tidak ditentukan. Bayangkan mencoba sampel dari Uniform

menggunakan skema pengambilan sampel apa pun. Meskipun, algoritma MCMC mungkin masih ergodic (ketika Anda memiliki pengulangan nol), tetapi sampel Anda tidak akan berguna.

(0, \infty)

$(0,\infty)$

— Greenparker

The Wikipedia Halaman yang Anda berikan tidak benar-benar menggunakan istilah "varians-menstabilkan transformasi". Istilah "transformasi penstabil varians" umumnya digunakan untuk menunjukkan transformasi yang membuat varians dari variabel acak menjadi konstan. Meskipun dalam kasus Bernoulli, inilah yang terjadi dengan transformasi, bukan itu yang menjadi tujuannya. Tujuannya adalah untuk mendapatkan distribusi yang seragam, dan bukan hanya varian yang menstabilkan.

Ingatlah bahwa salah satu tujuan utama menggunakan Jeffreys sebelumnya adalah bahwa ia tidak berubah. Ini berarti bahwa jika Anda men-parameterkan ulang variabel, prior tidak akan berubah.

The Jeffreys sebelumnya dalam kasus Bernoulli ini, seperti yang Anda menunjukkan, adalah Beta . $(1/2, 1/2)$

{hal}_{γ} (γ) \propto \frac{1}{\sqrt{γ (1 - γ)}} .

$p_{\gamma}(\gamma) \propto \dfrac{1}{\sqrt{\gamma(1-\gamma)}}.$

Mengulangi dengan , kita dapat menemukan distribusi . Pertama mari kita lihat bahwa $\gamma = \sin^2(\theta)$ $\theta$ , dan sejak,. Ingat. $\theta = \arcsin(\sqrt{\gamma})$ $0 < \gamma < 1$ $0 < \theta < \pi/2$ $\sin^2(x) + \cos^2(x) = 1$

\begin{aligned} F_{θ} (x) & = P (θ < x) \\ = P (\sin^{2} (θ) < \sin^{2} (x)) \\ = P (γ < \sin^{2} (x)) \\ = F_{γ} (\sin^{2} (x)) \\ f_{θ} (x) & = \frac{d F_{γ} (\sin^{2} (x)}{d x} \\ = 2 \sin (x) \cos (x) p_{γ} (\sin^{2} (x)) \\ \propto \sin (x) \cos (x) \frac{1}{\sqrt{\sin^{2} (x) (1 - \sin^{2} (x))}} \\ = 1. \end{aligned}

$\begin{align*} F_{\theta}(x) & = P(\theta < x)\\ & = P(\sin^2(\theta) < \sin^2(x))\\ & = P(\gamma < \sin^2(x))\\ & = F_{\gamma}(\sin^2(x))\\ f_{\theta}(x) & = \dfrac{d F_{\gamma}(\sin^2(x)}{d x}\\ & = 2\sin(x)\cos(x)\,p_{\gamma}(\sin^2(x))\\ & \propto \sin(x)\cos(x) \dfrac{1}{\sqrt{\sin^2(x)(1 - \sin^2(x))}}\\ & =1. \end{align*}$

$\theta$ $(0, \pi/2)$ $\sin^2(\theta)$ $\theta$

q (θ | x) \propto f (x | θ) f (θ) \propto f (x | θ) .

$q(\theta|x) \propto f(x|\theta) f(\theta) \propto f(x|\theta).$

$(0, \pi/2)$

— Greenparker
sumber

Gagasan bahwa Anda "tidak berkomitmen pada nilai apa pun" dengan menggunakan difus sebelumnya salah. Buktinya adalah bahwa Anda dapat mengambil transformasi ruang apa pun dan prior difus akan berarti sesuatu yang sama sekali berbeda.

— Neil G

Komentar saya tentang "tidak melakukan nilai apa pun" hanya merujuk pada parameterisasi tertentu. Tentu saja, transformasi akan mengubah cara massa didistribusikan (seperti dalam contoh Bernoulli ini).

— Greenparker

Seperti saya katakan di bawah komentar Anda yang lain, parametrization itu sewenang-wenang, itulah sebabnya pernyataan "tidak berkomitmen terhadap nilai apa pun" tidak ada artinya.

— Neil G