Deteksi changepoint online Bayesian (distribusi prediksi marjinal)

Saya membaca kertas pendeteksian changepoint online Bayesian oleh Adams dan MacKay ( tautan ).

Penulis mulai dengan menulis distribusi prediksi marjinal: mana

P (x_{t + 1} | x_{1 : t}) = \sum_{r_{t}} P (x_{t + 1} | r_{t}, x_{t}^{(r)}) P (r_{t} | x_{1 : t}) (1)

$P(x_{t+1} | \textbf{x}_{1:t}) = \sum_{r_t} P(x_{t+1} | r_t, \textbf{x}_t^{(r)}) P(r_t | \textbf{x}_{1:t}) \qquad \qquad (1)$

$x_t$ adalah pengamatan pada waktu ; $t$
$\textbf{x}_{1:t}$ menunjukkan set pengamatan sampai waktu ; $t$
$r_t \in \mathbb{N}$ adalah runlength saat ini (waktu sejak titik perubahan terakhir, bisa 0); dan
$\textbf{x}_t^{(r)}$ adalah himpunan pengamatan yang terkait dengan run . $r_t$

Eq. 1 secara resmi benar (lihat jawaban di bawah oleh @JuhoKokkala), tetapi pemahaman saya adalah bahwa jika Anda ingin benar-benar membuat prediksi tentang Anda harus mengembangkannya sebagai berikut: $x_{t+1}$

P (x_{t + 1} | x_{1 : t}) = \sum_{r_{t}, r_{t + 1}} P (x_{t + 1} | r_{t + 1}, x_{t}^{(r)}) P (r_{t} | x_{1 : t}) P (r_{t + 1} | r_{t}) (1 b)

$P(x_{t+1} | \textbf{x}_{1:t}) = \sum_{r_t, r_{t+1}} P(x_{t+1} | r_{t+1}, \textbf{x}_t^{(r)}) P(r_t | \textbf{x}_{1:t}) P(r_{t+1} | r_t) \qquad (1\text{b})$

Alasan saya adalah bahwa mungkin ada changepoint pada (masa depan) waktu , tetapi posterior hanya mencakup sampai . $t+1$ $P(r_t | \textbf{x}_{1:t})$ $t$

Intinya adalah, penulis dalam makalah ini membuat kita dari Persamaan. 1 sebagaimana adanya (lihat Persamaan. 3 dan 11 di koran), dan bukan 1b. Jadi, mereka tampaknya mengabaikan kemungkinan titik perubahan pada waktu saat memprediksi dari data yang tersedia pada waktu . Pada awal Bagian 2 mereka mengatakan en passant $t+1$ $x_{t+1}$ $t$

Kami berasumsi bahwa kami dapat menghitung distribusi prediktif [untuk ] bersyarat pada panjang run yang diberikan . $x_{t+1}$ $r_t$

yang barangkali di mana masalahnya. Tetapi secara umum, distribusi prediktif ini akan terlihat seperti Persamaan. 1b; yang bukan apa yang mereka lakukan (Persamaan. 11).

Jadi, saya tidak yakin saya mengerti apa yang sedang terjadi. Mungkin ada sesuatu yang lucu terjadi dengan notasi.

Referensi

Adams, RP, & MacKay, DJ (2007). Deteksi changepoint online Bayesian. arXiv preprint arXiv: 0710.3742.

— Lacerbi
sumber

Penjelasan potensial adalah bahwa mewakili panjang run pada akhir waktu langkah , yang setelah titik perubahan pada waktu . Dengan ini, Persamaan. Saya masuk akal. Bahkan, salah satu inisialisasi dari algoritma adalah dengan menetapkan yang mengasumsikan bahwa ada changepoint tepat sebelum mulai pada . Namun, Gambar 1 salah (atau setidaknya menyesatkan) dalam hal itu jika ada titik temu antara dan , dan antara dan seperti yang digambarkan pada Gambar 1a, maka dan

r_{t}

$r_t$

t

$t$

t

$t$

P (r_{0} = 0) = 1

$P(r_0 =0) = 1$

t = 1

$t=1$

t = 4

$t =4$

t = 5

$t=5$

t = 10

$t=10$

t = 11

$t=11$

r_{4}

$r_4$

r_{10}

$r_{10}$ harus 0 menurut notasi ini, dan bukan dan sesuai Gambar 1b.

r_{5}

$r_5$

r_{11}

$r_{11}$

— lacerbi

Ada sesuatu yang aneh terjadi dalam Persamaan. 3 sebagai faktor tengah dalam ringkasan di baris terakhir adalah sementara saya pikir berisi . Saya menduga dan telah beralih tempat karena akan masuk akal. Dalam Persamaan. 11, sisi kanan tampaknya bergantung pada yang tidak muncul di sisi kiri sama sekali, jadi ada sesuatu yang salah atau saya tidak mengerti notasi sama sekali.

P (x_{t} ∣ r_{t - 1}, x_{t}^{(r)})

$P(x_t \mid r_{t-1}, x^{(r)}_t)$

x_{t}^{(r)}

$x^{(r)}_t$

x_{t}

$x_t$

t

$t$

t - 1

$t-1$

P (x_{t} ∣ r_{t}, x_{t - 1}^{(r)})

$P(x_t \mid r_t, x^{(r)}_{t-1})$

x_{t}^{(r)}

$x_t^{(r)}$

— Juho Kokkala

@JuhoKokkala: Saya senang saya bukan satu-satunya dengan perasaan itu ...

— lacerbi

@ lacerbi, saya punya pertanyaan lain tentang makalah ini, dan saya pikir Anda mungkin bisa menjawabnya karena Anda sepertinya terbiasa dengan pekerjaan ini: stats.stackexchange.com/questions/419988 .

— gwg

Keduanya (1) dan (1b) benar. OP benar bahwa (dalam model ini) mungkin ada changepoint pada , dan tergantung pada apakah ada changepoint. Ini tidak menyiratkan masalah dengan (1) karena nilai yang mungkin dari sepenuhnya "ditutupi" oleh . berarti distribusi bersyarat dari bersyarat pada . Distribusi bersyarat ini rata-rata di atas "segalanya", termasuk , bersyarat pada . Sama seperti orang dapat menulis, katakanlah, $t+1$ $x_{t+1}$ $r_{t+1}$ $P(x_{t+1} \mid r_t, x_{1:t})$ $P(x_{t+1} | r_t, x_{1:t})$ $x_{t+1}$ $(r_t, x_{1:t})$ $r_{t+1}$ $(r_t, x_{1:t})$ $P(x_{t+1000} | x_t)$ , yang akan memperhitungkan semua kemungkinan konfigurasi changepoint serta nilai yang terjadi antara dan . $x_i$ $t$ $t+1000$

Dalam sisanya, saya pertama kali menurunkan (1) dan kemudian (1b) berdasarkan pada (1).

Derivasi (1)

Untuk variabel acak , kita memiliki selama adalah diskrit (kalau tidak jumlahnya perlu diganti dengan integral). Menerapkan ini ke : $A,B,C$

P (A ∣ B) = \sum_{c} P (A ∣ B, C = c) P (C = c ∣ B),

$\begin{equation} P(A \mid B) = \sum_c P(A \mid B, C=c)\,P(C=c \mid B), \end{equation}$

C

$C$

x_{t + 1}, x_{1 : t}, r_{t}

$x_{t+1},x_{1:t},r_t$

P (x_{t + 1} ∣ x_{1 : t}) = \sum_{r_{t}} P (x_{t + 1} ∣ r_{t}, x_{1 : t}) P (r_{t} ∣ x_{1 : t}),

$\begin{equation} P(x_{t+1} \mid x_{1:t}) = \sum_{r_t} P(x_{t+1} \mid r_t, x_{1:t})\,P(r_t \mid x_{1:t}), \end{equation}$ yang memegang tidak peduli apa pun dependensi antara , , adalah, yaitu, tidak ada asumsi model yang belum telah digunakan. Dalam model ini, diberikan diasumsikan * tidak tergantung secara kondisional dari nilai dari run sebelum . Ini menyiratkan . Mengganti ini ke dalam persamaan sebelumnya, kita dapatkan

r_{t}

$r_t$

x_{1 : t}

$x_{1:t}$

x_{t + 1}

$x_{t+1}$

x_{t + 1}

$x_{t+1}$

r_{t}, x_{t}^{(r)}

$r_t,x^{(r)}_t$

x

$x$

x_{t}^{(r)}

$x^{(r)}_t$

P (x_{t + 1} ∣ r_{t}, x_{1 : t}) = P (x_{t + 1} ∣ r_{t}, x_{t}^{(r)})

$P(x_{t+1} \mid r_t, x_{1:t}) = P(x_{t+1} \mid r_t, x^{(r)}_t)$

P (x_{t + 1} ∣ x_{1 : t}) = \sum_{r_{t}} P (x_{t + 1} ∣ r_{t}, x_{t}^{(r)}) P (r_{t} ∣ x_{1 : t}), (1)

$\begin{equation} P(x_{t+1} \mid x_{1:t}) = \sum_{r_t} P(x_{t+1} \mid r_t, x^{(r)}_t)\,P(r_t \mid x_{1:t}), \qquad \qquad \qquad (1) \end{equation}$ yang (1) di OP.

Penurunan dari (1b)

Mari kita pertimbangkan dekomposisi atas nilai yang mungkin dari : $P(x_{t+1} \mid r_t, x^{(r)}_t)$ $r_{t+1}$

P (x_{t + 1} ∣ r_{t}, x_{t}^{(r)}) = \sum_{r_{t + 1}} P (x_{t + 1} ∣ r_{t + 1}, r_{t}, x_{t}^{(r)}) P (r_{t + 1} ∣ r_{t}, x_{t}^{(r)}) .

$\begin{equation} P(x_{t+1} \mid r_t, x^{(r)}_t) = \sum_{r_{t+1}} P(x_{t+1} \mid r_{t+1}, r_t, x^{(r)}_t)P(r_{t+1} \mid r_t, x^{(r)}_t). \end{equation}$

Karena diasumsikan * bahwa apakah suatu changepoint terjadi pada (antara dan ) tidak bergantung pada sejarah , kita memiliki . Lebih lanjut, karena menentukan apakah termasuk dalam run yang sama dengan , kita memiliki . Mengganti dua penyederhanaan ini menjadi faktorisasi di atas, kita mendapatkan $t+1$ $x_t$ $x_{t+1}$ $x$ $P(r_{t+1} \mid r_t, x^{(r)}_t) = P(r_{t+1} \mid r_t)$ $r_{t+1}$ $x_{t+1}$ $x_t$ $P(x_{t+1} \mid r_{t+1}, r_t, x^{(r)}_t)=P(x_{t+1} \mid r_{t+1}, x^{(r)}_t)$

P (x_{t + 1} ∣ r_{t}, x_{t}^{(r)}) = \sum_{r_{t + 1}} P (x_{t + 1} ∣ r_{t + 1}, x_{t}^{(r)}) P (r_{t + 1} ∣ r_{t}) .

$\begin{equation} P(x_{t+1} \mid r_t, x^{(r)}_t) = \sum_{r_{t+1}} P(x_{t+1} \mid r_{t+1}, x^{(r)}_t)P(r_{t+1} \mid r_t). \end{equation}$ Mengganti ini menjadi (1), kita mendapatkan yang merupakan OP (1b).

P (x_{t + 1} ∣ x_{1 : t}) = \sum_{r_{t}} (\sum_{r_{t + 1}} P (x_{t + 1} ∣ r_{t + 1}, x_{t}^{(r)}) P (r_{t + 1} ∣ r_{t})) P (r_{t} ∣ x_{1 : t}), (1 b)

$\begin{equation} P(x_{t+1} \mid x_{1:t}) = \sum_{r_t} \left(\sum_{r_{t+1}} P(x_{t+1} \mid r_{t+1}, x^{(r)}_t)P(r_{t+1} \mid r_t)\right)\,P(r_t \mid x_{1:t}), \qquad (1b) \end{equation}$

* Komentar tentang asumsi independensi bersyarat model

Berdasarkan penelusuran cepat pada kertas, saya pribadi ingin properti independensi bersyarat untuk lebih eksplisit dinyatakan di suatu tempat, tapi saya kira maksudnya adalah bahwa adalah Markovian dan : s terkait dengan berbagai berjalan independen (diberikan berjalan). $r$ $x$

— Juho Kokkala
sumber

(+1) Terima kasih. Yap, tentu saja, saya mengerti Persamaan itu. 1 secara formal benar jika seseorang mengasumsikan marginalisasi implisit atas . Masalahnya adalah bahwa kemudian penulis membuat prediksi (Persamaan. 11 di koran, dan secara implisit dalam Persamaan. 3) dan mereka tampaknya tidak meminggirkan ketika mereka mengambilnya.

r_{t + 1}

$r_{t+1}$

r_{t + 1}

$r_{t+1}$

— lacerbi

Oh Tampaknya kemudian saya salah mengerti pertanyaan - haruskah saya menghapus ini? Anda mungkin ingin mengklarifikasi pertanyaan, saat ini kedengarannya seperti (1) entah bagaimana salah (bukannya mungkin tidak berguna)

— Juho Kokkala

Harap simpan jawaban ini, yang sangat berharga. Kesalahan saya bahwa saya tidak cukup jelas dalam posting asli saya. Saya mencoba mengklarifikasi pertanyaan saya berkat komentar Anda, dan dengan cara yang masih membuat jawaban ini bermakna.

— lacerbi