mensimulasikan sampel acak dengan MLE yang diberikan

Pertanyaan yang Divalidasi Lintas ini menanyakan tentang mensimulasikan sampel dengan syarat jumlah tetap mengingatkan saya pada masalah yang dibuat oleh George Casella .

$f(x|\theta)$ $(X_1,\ldots,X_n)$ $\theta$
$\hat{θ} (x_{1}, \dots, x_{n}) = \arg min \sum_{i = 1}^{n} \log f (x_{i} | θ)$ $\hat{\theta}(x_1,\ldots,x_n)=\arg\min \sum_{i=1}^n \log f(x_i|\theta)$ $\theta$ $(X_1,\ldots,X_n)$ $\hat{\theta}(X_1,\ldots,X_n)$

Misalnya, ambil distribusi , dengan parameter lokasi , yang densitasnya adalah Jika bagaimana kita bisa mensimulasikan tergantung pada ? Dalam contoh , distribusi tidak memiliki ekspresi bentuk tertutup. $\mathfrak{T}_5$ $\mu$

f (x | μ) = \frac{Γ (3)}{Γ (1 / 2) Γ (5 / 2)} {[1 + (x - μ)^{2} / 5]}^{- 3}

$f(x|\mu)=\dfrac{\Gamma(3)}{\Gamma(1/2)\Gamma(5/2)}\,\left[1+(x-\mu)^2/5\right]^{-3}$

(X_{1}, \dots, X_{n}) \overset{iid}{\sim} f (x | μ)

$(X_1,\ldots,X_n)\stackrel{\text{iid}}{\sim} f(x|\mu)$

(X_{1}, \dots, X_{n})

$(X_1,\ldots,X_n)$

\hat{μ} (X_{1}, \dots, X_{n}) = μ_{0}

$\hat{\mu}(X_1,\ldots,X_n)=\mu_0$

T_{5}

$\mathfrak{T}_5$

\hat{μ} (X_{1}, \dots, X_{n})

$\hat{\mu}(X_1,\ldots,X_n)$

— Xi'an
sumber

Salah satu pilihan adalah menggunakan varian HMC terbatas seperti yang dijelaskan dalam Keluarga Metode MCMC tentang Manifold yang Didefinisikan Secara Implisit oleh Brubaker et al (1). Ini mensyaratkan bahwa kita dapat menyatakan kondisi bahwa estimasi kemungkinan-maksimum parameter lokasi sama dengan beberapa tetap $\mu_0$ karena beberapa batasan holonomik yang didefinisikan secara implisit (dan dapat dibedakan) $c\left(\lbrace x_i \rbrace_{i=1}^N\right) = 0$ . Kami kemudian dapat mensimulasikan subjek dinamis Hamiltonian terbatas untuk kendala ini, dan menerima / menolak dalam langkah Metropolis-Hastings seperti dalam HMC standar.

Negatif log-likelihood adalah

L = - \sum_{i = 1}^{N} [\log f (x_{i} | μ)] = 3 \sum_{i = 1}^{N} [\log (1 + \frac{(x_{i} - μ)^{2}}{5})] + constant

$\mathcal{L} = -\sum_{i=1}^N \left[ \log f(x_i \,|\, \mu) \right] = 3 \sum_{i=1}^N \left[ \log\left(1 + \frac{(x_i - \mu)^2}{5}\right)\right] + \text{constant}$ yang memiliki turunan parsial urutan pertama dan kedua sehubungan dengan parameter lokasi

μ

$\mu$

Perkiraan kemungkinan maksimum dari

kemudian secara implisit didefinisikan sebagai solusi untuk

\frac{\partial L}{\partial μ} = 3 \sum_{i = 1}^{N} [\frac{2 (μ - x_{i})}{5 + (μ - x_{i})^{2}}] and \frac{\partial^{2} L}{\partial μ^{2}} = 6 \sum_{i = 1}^{N} [\frac{5 - (μ - x_{i})^{2}}{{(5 + (μ - x_{i})^{2})}^{2}}] .

$\frac{\partial \mathcal{L}}{\partial \mu} = 3 \sum_{i=1}^N \left[ \frac{2(\mu - x_i)}{5 + (\mu - x_i)^2}\right] \quad\text{and}\quad \frac{\partial^2 \mathcal{L}}{\partial \mu^2} = 6 \sum_{i=1}^N \left[\frac{5 - (\mu - x_i)^2}{\left(5 + (\mu - x_i)^2\right)^2}\right].$

μ_{0}

$\mu_0$

c = \sum_{i = 1}^{N} [\frac{2 (μ_{0} - x_{i})}{5 + (μ_{0} - x_{i})^{2}}] = 0 subject to \sum_{i = 1}^{N} [\frac{5 - (μ_{0} - x_{i})^{2}}{{(5 + (μ_{0} - x_{i})^{2})}^{2}}] > 0.

$c = \sum_{i=1}^N \left[ \frac{2(\mu_0 - x_i)}{5 + (\mu_0 - x_i)^2}\right] = 0 \quad\text{subject to}\quad \sum_{i=1}^N \left[\frac{5 - (\mu_0 - x_i)^2}{\left(5 + (\mu_0 - x_i)^2\right)^2}\right] > 0.$

Saya tidak yakin apakah ada hasil yang menunjukkan akan ada MLE unik untuk untuk diberikan - kepadatan tidak log-cekung dalam sehingga tampaknya tidak sepele untuk menjamin ini. Jika ada solusi unik tunggal di atas secara implisit mendefinisikan manifold dimensi yang terhubung yang tertanam dalam sesuai dengan himpunan dengan MLE untuk sama dengan $\mu$ $\lbrace x_i \rbrace_{i=1}^N$ $\mu$ $N - 1$ $\mathbb{R}^N$ $\lbrace x_i \rbrace_{i=1}^N$ $\mu$ $\mu_0$ . Jika ada beberapa solusi maka manifold dapat terdiri dari beberapa komponen yang tidak terhubung yang beberapa di antaranya mungkin sesuai dengan minimum dalam fungsi kemungkinan. Dalam hal ini kita perlu memiliki beberapa mekanisme tambahan untuk bergerak di antara komponen yang tidak terhubung (karena dinamika yang disimulasikan secara umum akan tetap terbatas pada satu komponen tunggal) dan memeriksa kondisi orde kedua dan menolak langkah jika itu terkait dengan pindah ke kemungkinan minimal.

Jika kita menggunakan untuk menunjukkan vektor dan memperkenalkan keadaan momentum konjugat dengan matriks massa dan pengali Lagrange untuk kendala skalar maka solusi untuk sistem ODE $\boldsymbol{x}$ $\left[ x_1 \dots x_N\right]^{\rm T}$ $\boldsymbol{p}$ $\mathbf{M}$ $\lambda$ $c(\boldsymbol{x})$ diberikan kondisi awaldengandan

\frac{d x}{d t} = M^{- 1} p, \frac{d p}{d t} = - \frac{\partial L}{\partial x} - λ \frac{\partial c}{\partial x} subject to c (x) = 0 and \frac{\partial c}{\partial x} M^{- 1} p = 0

$\frac{{\rm d}\boldsymbol{x}}{{\rm d}t} = \mathbf{M}^{-1}\boldsymbol{p}, \quad \frac{{\rm d}\boldsymbol{p}}{{\rm d}t} = -\frac{\partial \mathcal{L}}{\partial \mathbf{x}} - \lambda \frac{\partial c}{\partial \boldsymbol{x}} \quad\text{subject to}\quad c(\boldsymbol{x}) = 0 \quad\text{and}\quad \frac{\partial c}{\partial \boldsymbol{x}}\mathbf{M}^{-1}\boldsymbol{p} = 0$

x (0) = x_{0}, p (0) = p_{0}

$\boldsymbol{x}(0) = \boldsymbol{x}_0,~\boldsymbol{p}(0) = \boldsymbol{p}_0$

c (x_{0}) = 0

$c(\boldsymbol{x}_0) = 0$

, mendefinisikan dinamika Hamiltonian yang terbatas yang tetap terbatas pada manifold kendala, dapat dibalik waktu dan secara tepat melindungi elemen volume Hamiltonian dan bermacam-macam. Jika kita menggunakan integrator symplectic untuk sistem Hamiltonian dibatasi seperti SHAKE (2) atau rattle (3), yang justru mempertahankan kendala pada setiap timestep dengan memecahkan untuk Lagrange multiplier, kita dapat mensimulasikan dinamika yang tepat ke depan

diskrit timesteps

dari beberapa kendala awal memuaskan

{\frac{\partial c}{\partial x} |}_{x_{0}} M^{- 1} p_{0} = 0

$\left.\frac{\partial c}{\partial \boldsymbol{x}}\right|_{\boldsymbol{x}_0}\,\mathbf{M}^{-1}\boldsymbol{p}_0 = 0$

L

$L$

δ t

$\delta t$

dan menerima pasangan negara baru yang diusulkan

x, p

$\boldsymbol{x},\,\boldsymbol{p}$

dengan probabilitas

x^{'}, p^{'}

$\boldsymbol{x}',\,\boldsymbol{p}'$

Jika kita interleave pembaruan dinamika ini dengan resampling penuh / sebagian dari momentum dari Gaussian marginal mereka (terbatas pada subruang linier yang ditentukan oleh

min {1, \exp [L (x) - L (x^{'}) + \frac{1}{2} p^{T} M^{- 1} p - \frac{1}{2} p^{' T} M^{- 1} p^{'}]} .

$\min\left\lbrace 1, \,\exp\left[ \mathcal{L}(\boldsymbol{x}) - \mathcal{L}(\boldsymbol{x}') + \frac{1}{2}\boldsymbol{p}^{\rm T}\mathbf{M}^{-1}\boldsymbol{p} - \frac{1}{2}\boldsymbol{p}'^{\rm T}\mathbf{M}^{-1}\boldsymbol{p}'\right] \right\rbrace.$

) kemudian memodulasi kemungkinan ada beberapa komponen manifold kendala yang tidak terhubung, dinamika MCMC keseluruhan harus ergodik dan contoh keadaan konfigurasi

akan mencakup distribusi ke kepadatan target terbatas pada manifold kendala .

\frac{\partial c}{\partial x} M^{- 1} p = 0

$\frac{\partial c}{\partial \boldsymbol{x}}\mathbf{M}^{-1}\boldsymbol{p} = 0$

x

$\boldsymbol{x}$

Untuk melihat bagaimana HMC terbatas dilakukan untuk kasus di sini saya menjalankan implementasi HMC berbasis integrator geodesik yang dijelaskan dalam (4) dan tersedia di Github di sini (pengungkapan penuh: Saya adalah seorang penulis (4) dan pemilik repositori Github), yang menggunakan variasi skema integrator 'geodesic-BAOAB' yang diusulkan dalam (5) tanpa langkah Ornstein-Uhlenbeck stochastic. Dalam pengalaman saya, skema integrasi geodesik ini pada umumnya sedikit lebih mudah disetel daripada skema RATTLE yang digunakan dalam (1) karena fleksibilitas ekstra menggunakan beberapa langkah dalam yang lebih kecil untuk gerakan geodesik pada manifold kendala. Notebook IPython yang menghasilkan hasilnya tersedia di sini .

$N=3$ $\mu=1$ $\mu_0=2$ $\boldsymbol{x}$ $\mu_0$ $\delta t = 0.5$ $L=5$ $\boldsymbol{x}$

Lacak plot untuk contoh 3D

dan nilai yang sesuai dari turunan urutan pertama dan kedua dari log-likelihood negatif ditunjukkan di bawah ini

Log-kemungkinan plot jejak turunan

$\boldsymbol{x}$ $\boldsymbol{x}$ $\mathbb{R}^3$

Visualisasi 3D sampel terbatas pada manifold 2D

$\epsilon \to 0$ $\mathbb{R}^N$ $|c(\boldsymbol{x})| < \epsilon$ $\sqrt{\frac{\partial c}{\partial \boldsymbol{x}}^{\rm \scriptscriptstyle T}\frac{\partial c}{\partial \boldsymbol{x}}}$

Referensi

MA Brubaker, M. Salzmann, dan R. Urtasun. Keluarga metode MCMC pada manifold yang didefinisikan secara implisit. Dalam Prosiding Konferensi Internasional ke-15 tentang Kecerdasan Buatan dan Statistik , 2012.
http://www.cs.toronto.edu/~mbrubake/projects/AISTATS12.pdf
J.-P. Ryckaert, G. Ciccotti, dan HJ Berendsen. Integrasi numerik persamaan gerak sistem Cartesian dengan kendala: dinamika molekul n-alkana. Jurnal Fisika Komputasi , 1977.
http://citeseerx.ist.psu.edu/viewdoc/summary?doi=10.1.1.399.6868
HC Andersen. RATTLE: Versi "kecepatan" dari algoritma SHAKE untuk perhitungan dinamika molekul. Jurnal Fisika Komputasi , 1983.
http://www.sciencedirect.com/science/article/pii/0021999183900141
MM Graham dan AJ Storkey. Kesimpulan tepat asimptotik dalam model bebas kemungkinan. arXiv pra-cetak arXiv: 1605.07826v3 , 2016.
https://arxiv.org/abs/1605.07826
B. Leimkuhler dan C. Matthews. Dinamika molekuler yang efisien menggunakan integrasi geodesik dan pemisahan solven-solute. Proc R. Soc. A. Vol. 472. No. 2189. The Royal Society , 2016.
http://rspa.royalsocietypublishing.org/content/472/2189/20160138.abstract

— Matt Graham
sumber

Cemerlang dan membuka perspektif baru dan cerah! Terima kasih.

— Xi'an