Yang mana yang kemungkinan lebih baik atau kemungkinan marginal yang lebih baik dan mengapa?

Saat melakukan regresi jika kita menggunakan definisi dari: Apa perbedaan antara kemungkinan parsial, kemungkinan profil dan kemungkinan marginal?

itu, Kemungkinan Maksimum
Temukan β dan θ yang memaksimalkan L (β, θ | data).

Sementara, Marginal Likelihood
Kami mengintegrasikan θ dari persamaan kemungkinan dengan mengeksploitasi fakta bahwa kami dapat mengidentifikasi distribusi probabilitas θ bersyarat pada β.

Metodologi mana yang lebih baik untuk dimaksimalkan dan mengapa?

regression maximum-likelihood

— Ankit Chiplunkar
sumber

Jawaban:

Masing-masing akan memberikan hasil yang berbeda dengan interpretasi yang berbeda pula. Yang pertama menemukan pasangan , yang paling memungkinkan, sedangkan yang kedua menemukan yang (secara marginal) paling memungkinkan. Bayangkan distribusi Anda terlihat seperti ini: $\beta$ $\theta$ $\beta$

$\beta=1$ $\beta=2$
$\theta=1$ 0.0 0.2
$\theta=2$ 0.1 0.2
$\theta=3$ 0.3 0.2

Maka jawaban kemungkinan maksimum adalah ( ), sedangkan jawaban kemungkinan marginal maksimum adalah (karena, meminggirkan lebih dari , ). $\beta=1$ $\theta=3$ $\beta=2$ $\theta$ $P(\beta=2)=0.6$

Saya akan mengatakan bahwa secara umum, kemungkinan marginal seringkali adalah apa yang Anda inginkan - jika Anda benar-benar tidak peduli dengan nilai-nilai parameter , maka Anda harus runtuh karenanya. Tetapi mungkin dalam prakteknya metode ini tidak akan menghasilkan hasil yang sangat berbeda - jika mereka melakukannya, maka itu mungkin menunjuk pada beberapa ketidakstabilan yang mendasari dalam solusi Anda, misalnya beberapa mode dengan kombinasi , yang berbeda yang semuanya memberikan prediksi yang sama. $\theta$ $\beta$ $\theta$

— Chris
sumber

Saya memang menemukan hasil yang berbeda untuk metode kemungkinan maksimum / marginal dan karenanya pertanyaannya. Saya akan mengatakan bahwa dua hasil dalam kasus saya memberikan interpretasi yang berbeda tetapi hasil yang mungkin.

— Ankit Chiplunkar

Saya sendiri sedang bergulat dengan pertanyaan ini. Inilah hasil yang mungkin bisa membantu. Pertimbangkan model linier

y = X β + ϵ, ϵ \sim N (0, σ^{2})

$y = X\beta + \epsilon, \quad \epsilon \sim N(0,\sigma^2)$

di mana dan $y \in \mathbb{R}^n, \beta \in \mathbb{R}^p,$ $\beta$ dan adalah parameter yang menarik. Kemungkinan bersama adalah $\sigma^2$

L (β, σ^{2}) = (2 π σ^{2})^{- n / 2} e x p (- \frac{| | y - X β | |^{2}}{2 σ^{2}})

$L(\beta,\sigma^2) = (2 \pi \sigma^2)^{-n/2} exp\left(-\frac{||y-X\beta||^2}{2\sigma^2}\right)$

Mengoptimalkan hasil kemungkinan gabungan

\hat{β} = X^{+} y

$\hat{\beta} = X^+ y$

{\hat{σ}}^{2} = \frac{1}{n} | | r | |^{2}

$\hat{\sigma}^2 = \frac{1}{n}||r||^2$

di mana adalah pseudoinverse dari dan adalah vektor residual fit. Perhatikan bahwa di kita memiliki bukan derajat-of-kebebasan familiar dikoreksi rasio . Estimator ini diketahui bias dalam kasus sampel terbatas. $X^+$ $X$ $r=y-X\hat{\beta}$ $\hat{\sigma}^2$ $1/n$ $1/(n-p)$

Sekarang anggaplah alih-alih mengoptimalkan lebih dari dan , kami mengintegrasikan keluar dan memperkirakan $\beta$ $\sigma^2$ $\beta$ $\sigma^2$ from the resulting integrated likelihood:

{\hat{σ}}^{2} = {max}_{σ^{2}} \int_{R^{p}} L (β, σ^{2}) d β

$\hat{\sigma}^2 = \text{max}_{\sigma^2} \int_{\mathbb{R}^p} L(\beta,\sigma^2) d\beta$

Using elementary linear algebra and the Gaussian integral formula, you can show that

{\hat{σ}}^{2} = \frac{1}{n - p} | | r | |^{2}

$\hat{\sigma}^2 = \frac{1}{n-p} ||r||^2$

This has the degrees-of-freedom correction which makes it unbiased and generally favored over the joint ML estimate.

Dari hasil ini orang mungkin bertanya apakah ada sesuatu yang secara inheren menguntungkan tentang kemungkinan terintegrasi, tetapi saya tidak tahu ada hasil umum yang menjawab pertanyaan itu. Tampaknya konsensus bahwa ML terintegrasi lebih baik dalam akuntansi untuk ketidakpastian dalam sebagian besar masalah estimasi. Khususnya, jika Anda memperkirakan kuantitas yang bergantung pada taksiran parameter lainnya (bahkan secara implisit), maka pengintegrasian atas parameter lainnya akan lebih memperhitungkan ketidakpastiannya.

— Paul
sumber

β

$\beta$

@whuber Saya berbagi kekhawatiran Anda dan tidak memiliki jawaban yang siap, tetapi perhatikan bahwa kemungkinan dipinggirkan hanyalah posterior dengan seragam yang tidak pantas sebelumnya.

β

$\beta$ , jadi saya pikir ini terkait dengan pendekatan "obyektif Bayesian". Ada yang tidak peduli ketika parameter suka

β

$\beta$ has an improper prior distribution, so long as the posterior is integrable.

— Paul

Actually, based on this post and comments therein, I think integrated ML, not marginal ML, is the right term for what we're doing here. Edited accordingly.

— Paul

+1 I know i'm pretty late to this party but isn't integrating out fixed effects by putting an improper uniform prior on them exactly what REML does, so you've actually just obtained the REML estimate and this df correction is exactly the reason here that REML is better for smaller samples?

— jld

@Chaconne yes, this post was motivated by trying to understand REML! I have (almost) no formal statistics education, so deriving this was all new to me.

— Paul

This is usually not a matter of choice. If we are interested in the estimation of $\beta$ (e.g. when $\beta$ is a model hyperparameter and $\theta$ is a latent variable) and there is not a single value for $\theta$ and instead the distribution of $\theta$ in known, we need to integrate out $\theta$ . You can think of marginal likelihood as the weighted average of the likelihood for different values of $\theta_i$ weighted by their probability density $p(\theta_i)$ . Now that $\theta$ has disappeared, using training samples as $data$ , you can optimize the marginal likelihood w.r.t. $\beta$ .

— Seeda
sumber