Bagaimana memodelkan koin bias dengan waktu yang bervariasi?

Model koin bias biasanya memiliki satu parameter . Salah satu cara untuk memperkirakan dari serangkaian undian adalah dengan menggunakan beta sebelum dan menghitung distribusi posterior dengan kemungkinan binomial.$\theta = P(\text{Head} | \theta)$$\theta$

Dalam pengaturan saya, karena beberapa proses fisik yang aneh, sifat koin saya perlahan berubah dan menjadi fungsi waktu . Data saya adalah serangkaian undian berurutan yaitu . Saya dapat mempertimbangkan bahwa saya hanya memiliki satu gambar untuk setiap pada kisi waktu diskrit dan reguler.$\theta$$t$$\{H,T,H,H,H,T,...\}$$t$

Bagaimana Anda membuat model ini? Saya sedang memikirkan sesuatu seperti filter Kalman yang disesuaikan dengan fakta bahwa variabel tersembunyi adalah dan menjaga kemungkinan binomial. Apa yang bisa saya gunakan untuk memodelkan untuk menjaga agar inferensi tetap bagus?$\theta$$P(\theta(t+1)|\theta(t))$

Edit jawaban berikut (terima kasih!) : Saya ingin memodelkan sebagai Rantai Markov pesanan 1 seperti yang dilakukan di filter HMM atau Kalman. Satu-satunya asumsi yang dapat saya buat adalah bahwa halus. Saya bisa menulis dengan noise Gaussian kecil (ide filter Kalman), tetapi ini akan melanggar persyaratan bahwa harus tetap dalam . Mengikuti ide dari @J Dav, saya bisa menggunakan fungsi probit untuk memetakan garis nyata ke , tetapi saya memiliki intuisi bahwa ini akan memberikan solusi non-analitis. Distribusi beta dengan mean$\theta(t)$$\theta(t)$$P(\theta(t+1)|\theta(t)) = \theta(t) + \epsilon$$\epsilon$$\theta$$[0,1]$$[0,1]$$\theta(t)$ dan varians yang lebih luas bisa melakukan trik.

Saya mengajukan pertanyaan ini karena saya merasa bahwa masalah ini sangat sederhana sehingga harus dipelajari sebelumnya.

Saya ragu Anda dapat datang dengan model dengan solusi analitik, tetapi kesimpulannya masih dapat dibuat traktat menggunakan alat yang tepat karena struktur ketergantungan model Anda sederhana. Sebagai peneliti pembelajaran mesin, saya lebih suka menggunakan model berikut karena kesimpulan dapat dibuat cukup efisien menggunakan teknik Propagasi Harapan:

Biarkan menjadi hasil dari uji coba -th. Mari kita tentukan parameter yang bervariasi waktu$X(t)$$t$

$\eta(t+1) \sim \mathcal{N}(\eta(t), \tau^2)$ untuk .$t \geq 0$

Untuk menautkan dengan , perkenalkan variabel laten$\eta(t)$$X(t)$

$Y(t) \sim \mathcal{N}(\eta(t), \beta^2)$ ,

dan model menjadi$X(t)$

$X(t) = 1$ jika , dan sebaliknya. Anda benar-benar dapat mengabaikan dan memarginalkannya hanya dengan mengatakan , (dengan cdf of standar normal) tetapi pengenalan variabel laten membuat inferensi mudah. Juga, perhatikan bahwa dalam parametrization asli Anda .$Y(t) \geq 0$$X(t) = 0$$Y(t)$$\mathbb{P}[X(t)=1] = \Phi(\eta(t)/\beta)$$\Phi$$\theta(t) = \eta(t)/\beta$

Jika Anda tertarik menerapkan algoritma inferensi, lihat makalah ini . Mereka menggunakan model yang sangat mirip sehingga Anda dapat dengan mudah mengadaptasi algoritma. Untuk memahami EP, halaman berikut mungkin bermanfaat. Jika Anda tertarik untuk melakukan pendekatan ini, beri tahu saya; Saya dapat memberikan saran yang lebih terperinci tentang bagaimana menerapkan algoritma inferensi.

Untuk menguraikan komentar saya, model seperti p (t) = p exp (-t) adalah model yang sederhana dan memungkinkan estimasi p (t) dengan memperkirakan p menggunakan estimasi kemungkinan maksimum. Tetapi apakah probabilitas benar-benar membusuk secara eksponensial. Model ini akan jelas salah jika Anda mengamati periode waktu dengan frekuensi keberhasilan tinggi daripada yang Anda amati pada waktu sebelumnya dan kemudian. Perilaku osilasi dapat dimodelkan sebagai p (t) = p | sint |. Kedua model sangat mudah ditelusuri dan dapat diselesaikan dengan kemungkinan maksimum tetapi mereka memberikan solusi yang sangat berbeda.$_0$$_0$$_0$

Peluang Anda berubah dengan tetapi seperti kata Michael, Anda tidak tahu caranya. linear atau tidak? Sepertinya masalah pemilihan model di mana kemungkinan Anda :$t$$p$

$p=\Phi(g(t,\theta))$ dapat bergantung pada fungsi sangat tidak linier . hanyalah fungsi pembatas yang menjamin probabilitas antara 0 dan 1.$g(t,\theta)$$\Phi$

Pendekatan eksplorasi yang sederhana adalah dengan mencoba beberapa kemungkinan untuk dengan berbagai non linier dan untuk melakukan pemilihan model berdasarkan Kriteria Informasi standar.$\Phi$$g()$$g()$

Untuk menjawab pertanyaan Anda yang diedit ulang :

Seperti yang Anda katakan menggunakan probit akan menyiratkan solusi numerik saja tetapi Anda dapat menggunakan fungsi logistik sebagai gantinya:

Fungsi logistik:$P[\theta(t+1)] = \frac{1}{1+\exp{(\theta(t)+\epsilon)}}$

Diniarisasi oleh:$\log{\frac{P}{1-P}} = \theta(t)+\epsilon$

Saya tidak yakin bagaimana ini bisa bekerja di bawah pendekatan filter Kalman, tetapi masih percaya bahwa spesifikasi non linear seperti atau banyak lainnya tanpa istilah acak akan lakukan pekerjaan. Seperti yang Anda lihat fungsi ini adalah "smoth" dalam arti bahwa itu kontinu dan dapat dibedakan. Sayangnya menambahkan akan menghasilkan lompatan dari probabilitas yang dihasilkan yang merupakan sesuatu yang tidak Anda inginkan sehingga saran saya adalah untuk mengeluarkan .ϵ $\theta(t+1)=a t^3 +bt^2+ct + d$$\epsilon$$\epsilon$

:$P[Coin_{t+1}=H | t] = \frac{1}{1+\exp{(\theta(t))}}$

Anda sudah memiliki pengacakan di acara bernoulli (Markov Chain) dan Anda menambahkan sumber tambahan karena . Dengan demikian, masalah Anda dapat diselesaikan sebagai Probit atau Logit yang diperkirakan dengan Kemungkinan maksimum dengan sebagai variabel penjelas. Saya kira Anda setuju bahwa kekikiran itu sangat penting. Kecuali jika tujuan utama Anda adalah menerapkan metode yang diberikan (HMM dan Kalman Filter) dan tidak memberikan solusi valid yang paling sederhana untuk masalah Anda.$\epsilon$$t$