Menerapkan Maksimalisasi Ekspektasi pada contoh lemparan koin

Saya telah mempelajari sendiri Maksimalisasi Ekspektasi belakangan ini, dan mengambil sendiri beberapa contoh sederhana dalam proses:

Dari sini : Ada tiga koin $c_0$ , $c_1$ dan $c_2$ dengan $p_0$ , $p_1$ dan $p_2$ masing-masing probabilitas untuk mendarat di Head saat dilempar. Aduk $c_0$ . Jika hasilnya adalah Head, lempar $c_1$ tiga kali, atau lempar $c_2$ tiga kali. Data yang diamati dihasilkan oleh $c_1$ dan $c_2$ adalah seperti ini: HHH, TTT, HHH, TTT, HHH. Data tersembunyi adalah hasil . Perkirakan , $c_0$ $p_0$ $p_1$ dan . $p_2$

Dan dari sini : Ada dua koin dan dengan dan menjadi probabilitas masing-masing untuk mendarat di Head saat dilempar. Setiap putaran, pilih satu koin secara acak dan lemparkan sepuluh kali; catat hasilnya. Data yang diamati adalah hasil undian yang disediakan oleh dua koin ini. Namun, kita tidak tahu koin mana yang dipilih untuk babak tertentu. Perkirakan dan . $c_A$ $c_B$ $p_A$ $p_B$ $p_A$ $p_B$

Meskipun saya bisa mendapatkan perhitungan, saya tidak bisa menghubungkan cara penyelesaiannya dengan teori EM asli. Secara khusus, selama Langkah-M dari kedua contoh, saya tidak melihat bagaimana mereka memaksimalkan apa pun. Sepertinya mereka menghitung ulang parameter dan entah bagaimana, parameter baru lebih baik daripada yang lama. Selain itu, kedua E-Step bahkan tidak terlihat mirip satu sama lain, belum lagi E-Step teori asli.

Jadi, bagaimana tepatnya contoh-contoh ini bekerja?

probability-theory statistics

— IcySnow
sumber

Dalam contoh pertama, berapa banyak contoh percobaan yang sama yang kita dapatkan? Dalam contoh kedua, apa hukum "pilih satu koin secara acak"? Berapa putaran yang kita amati?

— Raphael

File PDF yang saya tautkan sudah menyelesaikan dua contoh ini langkah demi langkah. Namun, saya tidak begitu mengerti algoritma EM yang digunakan.

— IcySnow

@ IcySnow, apakah Anda memahami konsep ekspektasi dan ekspektasi bersyarat dari variabel acak?

— Nicholas Mancuso

Saya mengerti harapan dasar dari variabel acak dan probabilitas bersyarat. Namun, saya tidak terbiasa dengan harapan bersyarat, turunannya dan statistik yang cukup.

— IcySnow

(Jawaban ini menggunakan tautan kedua yang Anda berikan.)

$\newcommand{\Like}{\text{L}}\newcommand{\E}{\text{E}}$ Ingat definisi kemungkinan: di mana dalam kasus kami adalah penaksir untuk probabilitas bahwa koin A dan B masing-masing memiliki kepala, sebagai hasil percobaan kami, masing-masing terdiri dari 10 flips, dan menjadi koin yang digunakan dalam setiap percobaan.

L [θ | X] = Pr [X | θ] = \sum_{Z} Pr [X, Z | θ]

$\Like[\theta | X] = \Pr[X| \theta] = \sum_Z \Pr[X, Z | \theta]$

θ = (θ_{A}, θ_{B})

$\theta = (\theta_A, \theta_B)$

X = (X_{1}, \dots, X_{5})

$X = (X_1, \dotsc, X_5)$

X_{i}

$X_i$

Z = (Z_{1}, \dots, Z_{5})

$Z = (Z_1, \dotsc, Z_5)$

Kami ingin menemukan penaksir kemungkinan maksimum . Algoritma Expectation-Maximization (EM) adalah salah satu metode untuk menemukan (setidaknya lokal) . Ia bekerja dengan menemukan ekspektasi bersyarat, yang kemudian digunakan untuk memaksimalkan . Idenya adalah bahwa dengan terus mencari lebih mungkin (yaitu lebih mungkin) di setiap iterasi kita akan terus meningkatkan yang pada gilirannya, meningkatkan fungsi kemungkinan. Ada tiga hal yang perlu dilakukan sebelum maju merancang algoritma berbasis EM. $\hat{\theta}$ $\hat{\theta}$ $\theta$ $\theta$ $\Pr[X,Z|\theta]$

Bangun model
Hitung Harapan Bersyarat di bawah model (E-Step)
Maksimalkan kemungkinan kami dengan memperbarui perkiraan kami saat ini (Langkah-M) $\theta$

Bangun Model

Sebelum kita melangkah lebih jauh dengan EM kita perlu mencari tahu apa sebenarnya yang kita komputasi. Pada langkah-E kita menghitung persis nilai yang diharapkan untuk . Jadi, apa nilai ini? Perhatikan bahwa Alasannya adalah karena kami memiliki 5 percobaan untuk diperhitungkan, dan kami tidak tahu koin apa yang digunakan di masing-masing. Ketidaksamaan ini disebabkan oleh $\log \Pr[X,Z|\theta]$

\begin{aligned} \log Pr [X, Z | θ] & = \sum_{i = 1}^{5} \log \sum_{C \in {A, B}} Pr [X_{i}, Z_{i} = C | θ] \\ = \sum_{i = 1}^{5} \log \sum_{C \in {A, B}} Pr [Z_{i} = C | X_{i}, θ] \cdot \frac{Pr [X_{saya}, Z_{saya} = C | θ]}{Pr [Z_{saya} = C | X_{saya}, θ]} \\ \geq \sum_{saya = 1}^{5} \sum_{C \in {SEBUAH, B}} Pr [Z_{saya} = C | X_{saya}, θ] \cdot catatan \frac{Pr [X_{saya}, Z_{saya} = C | θ]}{Pr [Z_{saya} = C | X_{saya}, θ]} . \end{aligned}

$\begin{align*} \log \Pr[X,Z|\theta] &= \sum_{i=1}^5 \log\sum_{C\in \{A,B\}}\Pr[X_i, Z_i=C| \theta]\\ &=\sum_{i=1}^5 \log\sum_{C\in \{A,B\}} \Pr[Z_i=C | X_i, \theta] \cdot \frac{\Pr[X_i, Z_i=C| \theta]}{\Pr[Z_i=C | X_i, \theta]}\\ &\geq \sum_{i=1}^5 \sum_{C\in \{A,B\}} \Pr[Z_i=C | X_i, \theta] \cdot \log\frac{\Pr[X_i, Z_i=C| \theta]}{\Pr[Z_i=C | X_i, \theta]}. \end{align*}$

\log

$\log$ menjadi cekung dan menerapkan ketimpangan Jensen. Alasan kita membutuhkan batas bawah adalah bahwa kita tidak dapat secara langsung menghitung arg max dengan persamaan aslinya. Namun kita dapat menghitungnya untuk batas bawah akhir.

Sekarang apa itu ? Ini adalah probabilitas bahwa kita melihat koin diberikan percobaan dan . Menggunakan probabilitas bersyarat yang kami miliki, $\Pr[Z_i=C|X_i,\theta]$ $C$ $X_i$ $\theta$

Pr [Z_{saya} = C | X_{saya}, θ] = \frac{Pr [X_{saya}, Z_{saya} = C | θ]}{Pr [X_{saya} | θ]} .

$\Pr[Z_i=C| X_i, \theta] = \frac{\Pr[X_i, Z_i = C|\theta]}{\Pr[X_i|\theta]}.$

Meskipun kami telah membuat beberapa kemajuan, kami belum selesai dengan modelnya. Berapa probabilitas bahwa koin yang diberikan membalik urutan ? Membiarkan Sekarang adalah jelas hanya probabilitas di bawah kedua kemungkinan atau . Karena kita miliki, $X_i$ $h_i = \#\text{heads in } X_i$

Pr [X_{saya}, Z_{saya} = C | θ] = \frac{1}{2} \cdot θ_{C}^{h_{saya}} (1 - θ_{C})^{10 - h_{saya}}, untuk C \in {SEBUAH, B} .

$\Pr[X_i, Z_i = C| \theta] = \frac{1}{2} \cdot \theta_C^{h_i} (1 - \theta_C)^{10 - h_i},\ \text{ for } \ C \in \{A, B\}.$

Pr [X_{i} | θ]

$\Pr[X_i|\theta]$

Z_{i} = A

$Z_i=A$

Z_{i} = B

$Z_i=B$

Pr [Z_{i} = A] = Pr [Z_{i} = B] = 1 / 2

$\Pr[Z_i = A] = \Pr[Z_i = B] = 1/2$

Pr [X_{i} | θ] = 1 / 2 \cdot (Pr [X_{i} | Z_{i} = A, θ] + Pr [X_{i} | Z_{i} = B, θ]) .

$\Pr[X_i|\theta] = 1/2 \cdot (\Pr[X_i |Z_i = A, \theta] + \Pr[X_i |Z_i = B, \theta]).$

E-Step

Oke ... itu tidak terlalu menyenangkan tetapi kita dapat mulai melakukan beberapa pekerjaan EM sekarang. Algoritma EM dimulai dengan membuat beberapa tebakan acak untuk . Dalam contoh ini kita memiliki . Kami menghitung Nilai ini sejalan dengan apa yang ada di kertas. Sekarang kita dapat menghitung jumlah kepala yang diharapkan dalam dari koin , Melakukan hal yang sama untuk koin kita dapatkan, $\theta$ $\theta^0 = (0.6,0.5)$

Pr [Z_{1} = A | X_{1}, θ] = \frac{1 / 2 \cdot ({0.6}^{5} \cdot {0.4}^{5})}{1 / 2 \cdot (({0.6}^{5} \cdot {0.4}^{5}) + ({0.5}^{5} \cdot {0.5}^{5}))} \approx 0.45.

$\Pr[Z_1=A|X_1,\theta] = \frac{1/2 \cdot (0.6^5 \cdot 0.4^5)}{1/2 \cdot ((0.6^5 \cdot 0.4^5) + (0.5^5 \cdot 0.5^5))} \approx 0.45.$

X_{1} = (H, T, T, T, H, H, T, H, T, H)

$X_1 = (H,T,T,T,H,H,T,H,T,H)$

A

$A$

E [# heads by coin A | X_{1}, θ] = h_{1} \cdot Pr [Z_{1} = A | X_{1}, θ] = 5 \cdot 0.45 \approx 2.2.

$\E[\# \text{heads by coin }A | X_1, \theta] = h_1 \cdot \Pr[Z_1=A|X_1,\theta] = 5 \cdot 0.45 \approx 2.2.$

B

$B$

E [# heads by coin B | X_{1}, θ] = h_{1} \cdot Pr [Z_{1} = B | X_{1}, θ] = 5 \cdot 0.55 \approx 2.8.

$\E[\# \text{heads by coin }B | X_1, \theta] = h_1 \cdot \Pr[Z_1=B|X_1,\theta] = 5 \cdot 0.55 \approx 2.8.$ Kami dapat menghitung jumlah ekor yang sama dengan mengganti dengan . Ini berlanjut untuk semua nilai dan . Berkat linearitas ekspektasi, kita dapat mengetahui

h_{1}

$h_1$

10 - h_{1}

$10 - h_1$

X_{i}

$X_i$

h_{i}

$h_i$

1 \leq i \leq 5

$1 \leq i \leq 5$

E [# heads by coin A | X, θ] = \sum_{i = 1}^{5} E [# heads by coin A | X_{i}, θ]

$\E[\#\text{heads by coin } A|X ,\theta] = \sum_{i=1}^5 \E[\# \text{heads by coin }A | X_i, \theta]$

M-Step

Dengan nilai yang kami perkirakan, kini hadir langkah M di mana kami ingin memaksimalkan mengingat nilai yang kami harapkan. Ini dilakukan dengan normalisasi sederhana! Demikian juga untuk . Proses ini dimulai lagi dengan E-Step dan dan berlanjut sampai nilai-nilai untuk bertemu (atau ke beberapa ambang batas yang diijinkan). Dalam contoh ini kita memiliki 10 iterasi dan . Dalam setiap iterasi, nilai meningkat, karena perkiraan yang lebih baik dari $\theta$

θ_{SEBUAH}^{1} = \frac{E [# kepala X dengan koin SEBUAH | X, θ]}{E [# kepala dan ekor X dengan koin SEBUAH | X, θ]} = \frac{21.3}{21.3 + 9.6} \approx 0,71.

$\theta_A^1 = \frac{E[\#\text{heads over } X \text{ by coin } A|X ,\theta]}{E[\#\text{heads and tails over } X \text{ by coin } A|X ,\theta]} = \frac{21.3}{21.3 + 9.6} \approx 0.71.$

B

$B$

θ^{1}

$\theta^1$

θ

$\theta$

\hat{θ} = θ^{10} = (0.8, 0.52)

$\hat{\theta} = \theta^{10} = (0.8, 0.52)$

Pr [X, Z | θ]

$\Pr[X,Z|\theta]$

θ

$\theta$ .

Sekarang dalam kasus ini modelnya cukup sederhana. Hal-hal dapat menjadi jauh lebih rumit dengan cukup cepat, namun algoritma EM akan selalu menyatu, dan akan selalu menghasilkan estimator kemungkinan maksimum maksimum . Mungkin merupakan penaksir lokal , tetapi untuk menyiasatinya kita bisa memulai kembali proses EM dengan inisialisasi yang berbeda. Kita dapat melakukan ini dalam jumlah yang konstan dan mempertahankan hasil terbaik (yaitu, mereka yang memiliki kemungkinan akhir tertinggi). $\hat{\theta}$

— Nicholas Mancuso
sumber

Jika ada bagian yang tidak jelas saya dapat mencoba memperluasnya juga.

— Nicholas Mancuso

Itu menjadi jauh lebih jelas sekarang. Apa yang saya tidak benar-benar dapatkan adalah mengapa jumlah kepala yang diharapkan untuk koin A dihitung sebagai: E [# kepala dengan koin A | X1, θ] = h1⋅Pr [Z1 = A | X1, θ] = 5⋅0.45 ≈2.2? Masalah yang disebutkan dalam PDF pertama lebih rumit. Jika Anda tidak keberatan, dapatkah Anda melakukan perhitungan ilustratif untuk itu juga? Terima kasih banyak atas jawaban Anda.

— IcySnow

@IcySnow, sejauh perhitungan harapan berjalan: . Alasannya adalah Anda dapat menganggap ada variabel acak indikator lain jika A digunakan. Komputasi ekspektasi atas variabel indikator adalah probabilitas sederhana dari peristiwa itu.

E [# heads by coin A | X_{1}, θ] = \sum_{# heads in X_{1}} Pr [Z_{1} = A | X_{1}, θ] = 5 \cdot Pr [Z_{1} = A | X_{1}, θ]

$E[\# \text{ heads by coin }A|X_1,\theta] = \sum_{\#\text{ heads in }X_1} \Pr[Z_1 = A| X_1, \theta] = 5 \cdot \Pr[Z_1 = A| X_1, \theta]$

— Nicholas Mancuso

Maaf atas jawaban yang lambat. Terima kasih kepada Anda, saya sekarang dapat benar-benar memahami logika di balik dua contoh koin, setelah melalui jawaban Anda berkali-kali. Ada satu hal terakhir yang ingin saya tanyakan mengenai pertanyaan ini: Contoh mulai dari halaman 8 di slide ini cs.northwestern.edu/~ddowney/courses/395_Winter2010/em.ppt menunjukkan bahwa pada M-Step, kita harus menghitung terlebih dahulu turunan dari fungsi log-likelihood dan menggunakannya untuk memaksimalkan harapan. Mengapa tidak ada sesuatu seperti itu di coin-melemparkan contoh M-Langkah? Karena M-Langkah ini tidak terlihat seperti memaksimalkan apa pun

— IcySnow

Saya bingung dengan persamaan yang ditampilkan pertama setelah "Membangun Model". Bisakah Anda menjelaskan dari mana asalnya? Bagiku seperti , jadi jumlah bagian dalam adalah 1 untuk setiap , jadi seluruh sisi kanan menjadi nol. Saya yakin saya kehilangan sesuatu - dapatkah Anda menguraikan alasan tentang bagaimana Anda sampai pada persamaan itu?

Pr [Z_{i} = A | X_{i}, θ] + Pr [Z_{i} = B | X_{i}, θ] = 1

$\Pr[Z_i=A|X_i,\theta]+\Pr[Z_i=B|X_i,\theta]=1$

i

$i$

— DW