Hubungan antara jumlah RV Gaussian dan Campuran Gaussian

13

Saya tahu bahwa sejumlah orang Gaussi adalah orang Gaussian. Jadi, bagaimana campuran dari orang-orang Gauss berbeda?

Maksud saya, campuran Gaussians hanya sejumlah Gaussians (di mana masing-masing Gaussian dikalikan dengan koefisien pencampuran masing-masing) kan?

— njk
sumber

7

Campuran gaussians adalah jumlah bobot kepadatan gaussian , bukan jumlah bobot variabel gaussian acak.

— probabilityislogic

7

Jumlah tertimbang dari variabel acak Gaussian adalah variabel acak Gaussian : if lalu $X_1,\ldots,X_p$

\sum_{saya = 1}^{hal} β_{saya} X_{saya}

$\sum_{i=1}^p \beta_i X_i$

(X_{1}, ..., X_{hal}) \sim N_{hal} (μ, Σ)

$(X_1,\ldots,X_p)\sim\text{N}_p(\mu,\Sigma)$

β^{T} (X_{1}, ..., X_{hal}) \sim N_{1} (β^{T} μ, β^{T} Σ β)

$\beta^\text{T}(X_1,\ldots,X_p)\sim\text{N}_1(\beta^\text{T}\mu,\beta^\text{T}\Sigma\beta)$

Campuran kepadatan Gaussian memiliki kepadatan yang diberikan sebagai jumlah bobot kepadatan Gaussian : yang hampir selalu tidak sama dengan kepadatan Gaussian. Lihat misalnya estimasi kerapatan campuran biru di bawah ini (di mana pita kuning adalah ukuran variabilitas campuran yang diperkirakan):

f (\cdot; θ) = \sum_{i = 1}^{p} ω_{i} φ (\cdot; μ_{i}, σ_{i})

$f(\cdot;\theta)=\sum_{i=1}^p \omega_i \varphi(\cdot;\mu_i,\sigma_i)$ masukkan deskripsi gambar di sini

[Sumber: Marin dan Robert, Bayesian Core , 2007]

Sebuah variabel acak dengan kepadatan ini, dapat direpresentasikan sebagai mana dan adalah Multinomial dengan : $X\sim f(\cdot;\theta)$

X = \sum_{i = 1}^{p} I (Z = i) X_{i} = X_{Z}

$X=\sum_{i=1}^p \mathbb{I}(Z=i) X_i = X_{Z}$

X_{i} \sim N_{p} (μ_{i}, σ_{i})

$X_i\sim\text{N}_p(\mu_i,\sigma_i)$

Z

$Z$

P (Z = i) = ω_{i}

$\mathbb{P}(Z=i)=\omega_i$

Z \sim M (1; ω_{1}, \dots, ω_{p})

$Z\sim\text{M}(1;\omega_1,\ldots,\omega_p)$

— Xi'an
sumber

3

Dan berikut ini adalah beberapa kode R untuk melengkapi jawaban Xi'an:

par(mfrow=c(2,1))
nsamples <- 100000

# Sum of two Gaussians
x1 <- rnorm(nsamples, mean=-10, sd=1)
x2 <- rnorm(nsamples, mean=10, sd=1)
hist(x1+x2, breaks=100)

# Mixture of two Gaussians
z <- runif(nsamples)<0.5 # assume mixture coefficients are (0.5,0.5)
x1_x2 <- rnorm(nsamples,mean=ifelse(z,-10,10),sd=1)
hist(x1_x2,breaks=100)

masukkan deskripsi gambar di sini

— Alberto
sumber

1

Distribusi jumlah variabel acak independen adalah konvolusi distribusinya. Seperti yang telah Anda catat, konvolusi dua Gaussi kebetulan Gaussian.

Distribusi model campuran melakukan rata - rata tertimbang dari distribusi RV. Sampel dari model campuran (hingga) dapat diproduksi dengan membalik koin (atau menggulung dadu) untuk menentukan distribusi yang akan diambil: Katakanlah saya memiliki dua RVs dan saya ingin menghasilkan RV yang distribusinya rata-rata dari dan Jika saya melempar koin, biarkan . jika saya mendarat ekor, biarkan . $X,Y$ $Z$ $X$ $Y$ $Z=X$ $Z=Y$

— enthdegree
sumber

Terima kasih enthdegree. Saya tahu bahwa contoh berikut secara inheren salah, tetapi mungkin tetap menarik: katakanlah kita memiliki jenis "campuran" khusus (jika kita masih dapat menyebutnya "campuran") dari 2 kepadatan Gaussian, di mana koefisien pencampuran keduanya sesuai dengan 1, apakah itu sama dengan jumlah RV Gaussian?

— njk

Tidak, meskipun campuran Anda akan menjadi gaussian dalam kasus ini, jika Anda menambahkan dua RV dengan distribusi komponen, jumlah RV akan memiliki lebih banyak varian daripada RV campuran.

— enthdegree

@enthdegree Bagaimana campuran rv gaussian? Itu masih bisa menjadi bimodal jika caranya tidak bersamaan, kan?

— belajar

@ belajar, Ya Anda benar. Ketika saya menulis prev. komentar untuk beberapa alasan saya berasumsi mereka memiliki rata-rata yang sama.

— enthdegree