Algoritma EM diimplementasikan secara manual

Saya ingin menerapkan algoritma EM manual dan kemudian membandingkannya dengan hasil normalmixEMdari mixtoolspaket. Tentu saja, saya akan senang jika keduanya menghasilkan hasil yang sama. Referensi utama adalah Geoffrey McLachlan (2000), Finite Mixture Models .

Saya memiliki kerapatan campuran dari dua Gaussians, dalam bentuk umum, log-likelihood diberikan oleh (McLachlan halaman 48):

\log L_{c} (Ψ) = \sum_{i = 1}^{g} \sum_{j = 1}^{n} z_{i j} {\log π_{i} + \log f_{i} (y_{i}; θ_{i})} .

$\log L_c(\Psi) = \sum_{i=1}^g \sum_{j=1}^n z_{ij}\{\log \pi_i + \log f_i(y_i;\theta_i)\}.$

The adalah , jika pengamatan itu dari^th kepadatan komponen, jika tidak . The adalah densitas distribusi normal. The adalah proporsi campuran, sehingga adalah probabilitas, bahwa observasi adalah dari distribusi Gaussian pertama dan adalah probabilitas, bahwa observasi adalah dari distribusi Gaussian kedua.

z_{i j}

$z_{ij}$

1

$1$

i

$i$

0

$0$

f_{i}

$f_i$

π

$\pi$

π_{1}

$\pi_1$

π_{2}

$\pi_2$

Langkah E sekarang, perhitungan ekspektasi bersyarat:

Q (Ψ; Ψ^{(0)}) = E_{Ψ (0)} {\log L_{c} (| Ψ) | y} .

$Q(\Psi;\Psi^{(0)}) = E_{\Psi(0)}\{\log L_c(|\Psi)|y\}.$ yang mengarah, setelah beberapa derivasi ke hasil (halaman 49):

\begin{aligned} τ_{saya} (y_{j}; Ψ^{(k)}) & = \frac{π_{saya}^{(k)} f_{saya} (y_{j}; θ_{saya}^{(k)}}{f (y_{j}; Ψ^{(k)}} \\ = \frac{π_{saya}^{(k)} f_{saya} (y_{j}; θ_{saya}^{(k)}}{\sum_{h = 1}^{g} π_{h}^{(k)} f_{h} (y_{j}; θ_{h}^{(k)})} \end{aligned}

$\begin{align} \tau_i(y_j;\Psi^{(k)}) &= \frac{\pi_i^{(k)}f_i(y_j;\theta_i^{(k)}}{f(y_j;\Psi^{(k)}} \\[8pt] &= \frac{\pi_i^{(k)}f_i(y_j;\theta_i^{(k)}}{\sum_{h=1}^g \pi_h^{(k)}f_h(y_j;\theta_h^{(k)})} \end{align}$ dalam kasus dua Gaussians (halaman 82):

τ_{saya} (y_{j}; Ψ) = \frac{π_{saya} ϕ (y_{j}; μ_{saya}, Σ_{saya})}{\sum_{h = 1}^{g} π_{h} ϕ (y_{j}; μ_{h}, Σ_{h})}

$\tau_i(y_j;\Psi) = \frac{\pi_i \phi(y_j;\mu_i,\Sigma_i)}{\sum_{h=1}^g \pi_h\phi(y_j; \mu_h,\Sigma_h)}$ Langkah M sekarang adalah maksimalisasi Q (halaman 49):

Q (Ψ; Ψ^{(k)}) = \sum_{saya = 1}^{g} \sum_{j = 1}^{n} τ_{saya} (y_{j}; Ψ^{(k)}) {\log π_{saya} + \log f_{saya} (y_{j}; θ_{saya})} .

$Q(\Psi;\Psi^{(k)}) = \sum_{i=1}^g\sum_{j=1}^n\tau_i(y_j;\Psi^{(k)})\{\log \pi_i + \log f_i(y_j;\theta_i)\}.$ Ini mengarah ke (dalam kasus dua orang Gauss) (halaman 82):

\begin{aligned} μ_{saya}^{(k + 1)} & = \frac{\sum_{j = 1}^{n} τ_{saya j}^{(k)} y_{j}}{\sum_{j = 1}^{n} τ_{saya j}^{(k)}} \\ Σ_{saya}^{(k + 1)} & = \frac{\sum_{j = 1}^{n} τ_{saya j}^{(k)} (y_{j} - μ_{saya}^{(k + 1)}) (y_{j} - μ_{saya}^{(k + 1)})^{T}}{\sum_{j = 1}^{n} τ_{saya j}^{(k)}} \end{aligned}

$\begin{align} \mu_i^{(k+1)} &= \frac{\sum_{j=1}^n \tau_{ij}^{(k)}y_j}{\sum_{j=1}^n \tau_{ij}^{(k)}} \\[8pt] \Sigma_i^{(k+1)} &= \frac{\sum_{j=1}^n \tau_{ij}^{(k)}(y_j - \mu_i^{(k+1)})(y_j - \mu_i^{(k+1)})^T}{\sum_{j=1}^n \tau_{ij}^{(k)}} \end{align}$ dan kami tahu itu (hlm. 50)

π_{saya}^{(k + 1)} = \frac{\sum_{j = 1}^{n} τ_{saya} (y_{j}; Ψ^{(k)})}{n} (saya = 1, ..., g) .

$\pi_i^{(k+1)} = \frac{\sum_{j=1}^n \tau_i(y_j;\Psi^{(k)})}{n}\qquad (i = 1, \ldots, g).$ Kami mengulangi langkah-langkah E, M hingga kecil.

L (Ψ^{(k + 1)}) - L (Ψ^{(k)})

$L(\Psi^{(k+1)})-L(\Psi^{(k)})$

Saya mencoba menulis kode R (data dapat ditemukan di sini ).

# EM algorithm manually
# dat is the data

# initial values
pi1       <-  0.5
pi2       <-  0.5
mu1       <- -0.01
mu2       <-  0.01
sigma1    <-  0.01
sigma2    <-  0.02
loglik[1] <-  0
loglik[2] <- sum(pi1*(log(pi1) + log(dnorm(dat,mu1,sigma1)))) + 
             sum(pi2*(log(pi2) + log(dnorm(dat,mu2,sigma2))))

tau1 <- 0
tau2 <- 0
k    <- 1

# loop
while(abs(loglik[k+1]-loglik[k]) >= 0.00001) {

  # E step
  tau1 <- pi1*dnorm(dat,mean=mu1,sd=sigma1)/(pi1*dnorm(x,mean=mu1,sd=sigma1) + 
          pi2*dnorm(dat,mean=mu2,sd=sigma2))
  tau2 <- pi2*dnorm(dat,mean=mu2,sd=sigma2)/(pi1*dnorm(x,mean=mu1,sd=sigma1) + 
          pi2*dnorm(dat,mean=mu2,sd=sigma2))

  # M step
  pi1 <- sum(tau1)/length(dat)
  pi2 <- sum(tau2)/length(dat)

  mu1 <- sum(tau1*x)/sum(tau1)
  mu2 <- sum(tau2*x)/sum(tau2)

  sigma1 <- sum(tau1*(x-mu1)^2)/sum(tau1)
  sigma2 <- sum(tau2*(x-mu2)^2)/sum(tau2)

  loglik[k] <- sum(tau1*(log(pi1) + log(dnorm(x,mu1,sigma1)))) + 
               sum(tau2*(log(pi2) + log(dnorm(x,mu2,sigma2))))
  k         <- k+1
}


# compare
library(mixtools)
gm <- normalmixEM(x, k=2, lambda=c(0.5,0.5), mu=c(-0.01,0.01), sigma=c(0.01,0.02))
gm$lambda
gm$mu
gm$sigma

gm$loglik

Algoritma tidak berfungsi, karena beberapa pengamatan memiliki kemungkinan nol dan log ini -Inf. Di mana kesalahan saya?

r expectation-maximization gaussian-mixture

— Stat Tistician
sumber

Masalahnya bukan masalah statistik, melainkan masalah numerik. Anda harus menambahkan kemungkinan untuk kemungkinan lebih kecil dari presisi mesin dalam kode Anda.

— JohnRos

mengapa Anda tidak mencoba mencari-cari fungsi mixtools dengan contoh yang sangat sederhana yang dapat diverifikasi dengan tangan, katakan saja lima atau sepuluh nilai dan dua kali pengaturan, pertama. kemudian, jika Anda berhasil di sana, generalisasi kode Anda dan verifikasi di setiap langkah.

Jawaban:

Anda memiliki beberapa masalah dalam kode sumber:

Seperti yang ditunjukkan oleh @Pat, Anda seharusnya tidak menggunakan log (dnorm ()) karena nilai ini dapat dengan mudah menuju infinity. Anda harus menggunakan logmvdnorm
Saat Anda menggunakan jumlah , berhati-hatilah untuk menghapus nilai tak terbatas atau hilang
Anda mengulang variabel k salah, Anda harus memperbarui loglik [k + 1] tetapi Anda memperbarui loglik [k]
Nilai awal untuk metode dan mixtools Anda berbeda. Anda menggunakan dalam metode Anda, tetapi menggunakan untuk mixtools (yaitu standar deviasi, dari manual mixtools). $\Sigma$ $\sigma$
Data Anda tidak terlihat seperti campuran normal (lihat histogram yang saya rencanakan di bagian akhir). Dan satu komponen campuran memiliki sd yang sangat kecil, jadi saya sewenang-wenang menambahkan baris untuk mengatur dan agar sama untuk beberapa sampel ekstrim. Saya menambahkannya hanya untuk memastikan kode dapat bekerja. $\tau_1$ $\tau_2$

Saya juga menyarankan Anda memasukkan kode lengkap (misalnya bagaimana Anda menginisialisasi loglik []) dalam kode sumber Anda dan membuat indentasi kode untuk membuatnya mudah dibaca.

Setelah semua, terima kasih telah memperkenalkan paket mixtools , dan saya berencana untuk menggunakannya dalam penelitian masa depan saya.

Saya juga menaruh kode kerja saya untuk referensi Anda:

# EM algorithm manually
# dat is the data
setwd("~/Downloads/")
load("datem.Rdata")
x <- dat

# initial values
pi1<-0.5
pi2<-0.5
mu1<--0.01
mu2<-0.01
sigma1<-sqrt(0.01)
sigma2<-sqrt(0.02)
loglik<- rep(NA, 1000)
loglik[1]<-0
loglik[2]<-mysum(pi1*(log(pi1)+log(dnorm(dat,mu1,sigma1))))+mysum(pi2*(log(pi2)+log(dnorm(dat,mu2,sigma2))))

mysum <- function(x) {
  sum(x[is.finite(x)])
}
logdnorm <- function(x, mu, sigma) {
  mysum(sapply(x, function(x) {logdmvnorm(x, mu, sigma)}))  
}
tau1<-0
tau2<-0
#k<-1
k<-2

# loop
while(abs(loglik[k]-loglik[k-1]) >= 0.00001) {
  # E step
  tau1<-pi1*dnorm(dat,mean=mu1,sd=sigma1)/(pi1*dnorm(x,mean=mu1,sd=sigma1)+pi2*dnorm(dat,mean=mu2,sd=sigma2))
  tau2<-pi2*dnorm(dat,mean=mu2,sd=sigma2)/(pi1*dnorm(x,mean=mu1,sd=sigma1)+pi2*dnorm(dat,mean=mu2,sd=sigma2))
  tau1[is.na(tau1)] <- 0.5
  tau2[is.na(tau2)] <- 0.5

  # M step
  pi1<-mysum(tau1)/length(dat)
  pi2<-mysum(tau2)/length(dat)

  mu1<-mysum(tau1*x)/mysum(tau1)
  mu2<-mysum(tau2*x)/mysum(tau2)

  sigma1<-mysum(tau1*(x-mu1)^2)/mysum(tau1)
  sigma2<-mysum(tau2*(x-mu2)^2)/mysum(tau2)

  #  loglik[k]<-sum(tau1*(log(pi1)+log(dnorm(x,mu1,sigma1))))+sum(tau2*(log(pi2)+log(dnorm(x,mu2,sigma2))))
  loglik[k+1]<-mysum(tau1*(log(pi1)+logdnorm(x,mu1,sigma1)))+mysum(tau2*(log(pi2)+logdnorm(x,mu2,sigma2)))
  k<-k+1
}

# compare
library(mixtools)
gm<-normalmixEM(x,k=2,lambda=c(0.5,0.5),mu=c(-0.01,0.01),sigma=c(0.01,0.02))
gm$lambda
	gm$mu
gm$sigma

gm$loglik

Historgram Histogram

— zhanxw
sumber

@zahnxw terima kasih atas jawaban Anda, jadi apakah itu berarti, bahwa kode saya salah? Jadi ide basi tidak berfungsi?

— Stat Tistician

"Saya juga menyarankan Anda memasukkan kode lengkap (misalnya bagaimana Anda menginisialisasi loglik []) dalam kode sumber Anda dan inden kode untuk membuatnya mudah dibaca." Nah ini kodenya? loglik [] didefinisikan seperti yang saya nyatakan dalam kode yang saya posting?

— Stat Tistician

@StatTistician idenya benar, tetapi implementasinya memang memiliki kekurangan. Misalnya, Anda tidak mempertimbangkan aliran bawah. Selain itu, Anda mengulang variabel k membingungkan, Anda pertama-tama mengatur loglik [1] dan loglik [2], setelah memasukkan loop sementara, Anda mengatur loglik [1] lagi. Ini bukan cara alami untuk melakukannya. Saran saya tentang menginisialisasi loglik [] berarti kode:, loklik <- rep(NA, 100)yang akan mengalokasikan loglik [1], loglik [2] ... loglik [100]. Saya mengajukan pertanyaan itu karena dalam kode asli Anda, saya tidak menemukan penghapusan loglik, mungkin kode tersebut terpotong saat menempel?

— zhanxw

Seperti yang saya posting di bawah ini: Terima kasih atas bantuan Anda, tetapi saya menjatuhkan topik ini, karena terlalu maju untuk saya.

— Stat Tistician

Apakah sekarang ada cara untuk menentukan bagian mana dari data yang termasuk campuran mana?

— Kardinal

Saya terus mendapatkan kesalahan ketika mencoba membuka file .rar Anda, tapi itu mungkin saya melakukan sesuatu yang konyol.

Saya tidak dapat melihat kesalahan yang jelas dalam kode Anda. Kemungkinan alasan Anda mendapatkan nol adalah karena presisi titik apung. Ingat, ketika Anda menghitung , Anda mengevaluasi . Tidak perlu perbedaan yang sangat besar antara dan untuk ini dibulatkan menjadi 0 ketika Anda melakukannya di komputer. Ini terlihat dua kali lipat dalam model campuran, karena beberapa data Anda tidak akan "ditugaskan" untuk masing-masing komponen campuran sehingga dapat berakhir sangat jauh darinya. Secara teori, poin-poin ini juga harus berakhir dengan nilai $f(y;\theta)$ $\exp(-0.5(y-\mu)^2/\sigma^2)$ $\mu$ $y$ $\tau$ ketika Anda mengevaluasi kemungkinan log, menangkal masalah - tetapi berkat kesalahan floating point, kuantitasnya telah dievaluasi sebagai -Jika pada tahap ini, jadi semuanya rusak :).

Jika itu masalahnya, ada beberapa solusi yang mungkin:

Pertama adalah memindahkan ke dalam logaritma. Jadi alih-alih mengevaluasi $\tau$

$\tau \log(f(y|\theta))$

evaluasi

$\log \left( f(y|\theta)^\tau \right)$ .

Secara matematis sama, tetapi pikirkan tentang apa yang terjadi ketika dan adalah . Saat ini Anda mendapatkan: $f(y|\theta)$ $\tau$ $\approx 0$

$0 \log (0) = 0 (-Inf) = NaN$

tetapi dengan tau pindah Anda dapatkan

$\log \left( 0^0\right) = \log(1) = 0$

dengan asumsi R mengevaluasi (Saya tidak tahu apakah itu benar atau tidak karena saya cenderung menggunakan matlab) $0^0 = 1$

Solusi lain adalah untuk memperluas hal-hal di dalam logaritma. Dengan asumsi Anda menggunakan logaritma natural:

$\tau \log(f(y|\theta))$

$= \tau \log(\exp(-0.5(y-\mu)^2/\sigma^2)/\sqrt{2\pi\sigma^2})$

$= -0.5\tau \log(2 \pi\sigma^2) - 0.5 \tau \frac{(y-\mu)^2}{\sigma^2}$ .

Secara matematis sama, tetapi harus lebih tahan terhadap kesalahan floating point karena Anda telah menghindari menghitung kekuatan negatif yang besar. Ini berarti Anda tidak dapat lagi menggunakan fungsi evaluasi norma bawaan, tetapi jika itu bukan masalah, ini mungkin jawaban yang lebih baik. Misalnya, katakanlah kita memiliki situasi di mana

$-0.5\frac{(y-\mu)^2}{\sigma^2} = -0.5*40^2 = -800$ .

Evaluasi itu seperti yang saya sarankan, dan Anda mendapatkan -800. Namun, dalam matlab jika kita mengekspansi pengambilan log, kita mendapatkan . $\log(\exp(-800)) = \log(0) = -Inf$

— Menepuk
sumber

mh, jujur saja: saya tidak cukup baik untuk membuat hal ini bekerja. Yang saya tertarik adalah: Dapatkah saya mendapatkan hasil yang sama dengan algoritma saya sebagai versi yang diimplementasikan dari paket mixtools. Tapi dari sudut pandang saya, ini sepertinya meminta bulan. Tapi saya pikir Anda berusaha keras untuk jawaban Anda, jadi saya akan menerimanya! Terima kasih!

— Stat Tistician