Menentukan ambang aturan keputusan biner yang optimal dari pengamatan dengan prior yang tidak diketahui?

8

Diberikan hanya pengamatan sinyal biner yang terganggu oleh noise Gaussian dengan informasi sebelumnya yang tidak diketahui, bagaimana saya bisa memperkirakan ambang keputusan optimal?

(Tidak, ini bukan pertanyaan pekerjaan rumah)

Secara khusus, saya berpikir tentang model berikut: $Y$ adalah dua negara $(H_0,H_1)$ Variabel acak :

$P(Y|H_0) \sim \mathcal N(\mu_0,\sigma)$
$P(Y|H_1) \sim \mathcal N(\mu_1,\sigma),\quad \mu_0 < \mu_1$
$P(H_0) = \pi_0$
$P(H_1) = 1-\pi_0$

dengan parameter yang tidak diketahui : $\mu_0, \mu_1, \sigma, \pi_0$ .

Ambang kemungkinan Log Logikel Posteriori Maksimum dapat dihitung dari parameter tersebut jika saya mengetahuinya. Saya awalnya berpikir tentang cara memperkirakan parameter terlebih dahulu untuk mencapai ambang batas $Y_t$ . Tapi saya pikir mungkin lebih kuat untuk memperkirakan secara langsung $Y_t$ .

Pikiran: Normalisasi pengamatan (mengurangi mean sampel dan membaginya dengan standar deviasi) mengurangi ruang parameter menjadi 2 dimensi: $\pi_0$ dan $\frac \sigma{\mu_1-\mu_0}$ .

— Mark Borgerding
sumber

Masalah ini akan jauh lebih mudah jika Anda dapat berasumsi bahwa P0 adalah 0,5. :-)

— Jim Clay

Mungkin pertanyaan ini agak terkait dengan ini: stackoverflow.com/questions/1504378/… atau stackoverflow.com/questions/5451089/…

— hotpaw2

Apakah urutan pelatihan pengamatan tersedia untuk memperkirakan nilai rata-rata, varians, dll.? Atau apakah Anda hanya diberi urutan data di mana beberapa nilai berasal

H_{0}

$H_0$ dan beberapa dari

H_{1}

$H_1$ tetapi Anda tidak tahu yang mana?

— Dilip Sarwate

6

Intuisi saya adalah bahwa akan sulit untuk mendapatkan ambang keputusan yang tepat yang Anda harapkan:

τ = \frac{1}{2} (μ_{0} + μ_{1}) - \frac{σ^{2}}{‖ μ_{0} - μ_{1} ‖^{2}} catatan \frac{π}{1 - π} (μ_{0} - μ_{1})

$\tau = \frac{1}{2}\left(\mu_0 + \mu_1\right) - \frac{\sigma^2}{\lVert\mu_0 - \mu_1\rVert^2} \log \frac{\pi}{1 - \pi}\left(\mu_0 - \mu_1\right)$

Dari statistik global yang Anda pertimbangkan (mean sampel: $\pi \mu_0 + (1 - \pi) \mu_1$ ; standar deviasi: ekspresi yang lebih kompleks tapi saya ragu itu akan melibatkan log).

Saya akan mendekati masalah dengan cara ini:

Kalau asumsi itu $\sigma$ kecil bisa dibuat

Saya menyebutkan itu, karena perlu diingat bahwa ambang keputusan dipengaruhi oleh $\pi$ hanya jika $\sigma$ cukup tinggi untuk memungkinkan kedua kelas tumpang tindih. Jika $\mu$ Jauh lebih dari beberapa $\sigma$ , probabilitas kelas sebelumnya tidak ada artinya dalam proses pengambilan keputusan!
- Jalankan k-means pada pengamatan Anda ( $\sigma$ kecil dan dibagi oleh kedua kelas, sehingga k-means adalah dalam hal ini EM untuk model campuran). Jika Anda hanya ingin mem-binari pengamatan ini dan tidak ada data lain, Anda bisa berhenti di sini.
- Jika Anda memiliki pengamatan baru untuk binarize, dan Anda tahu mereka dihasilkan oleh proses yang sama, Anda dapat menggunakan centroid kelas yang ditemukan dengan k-means pada data pelatihan Anda sebagai perkiraan $\mu$ , dan gunakan tengah sebagai ambang keputusan.
Jika tidak ada asumsi tentang $\sigma$ dapat di buat
- Jalankan algoritma EM (dengan gabungan, kovarian diagonal) pada data pelatihan Anda. Gunakan variabel "keanggotaan kelas lunak" yang disimpulkan untuk membuat binari pengamatan Anda.
- Hitung ambang keputusan $\tau$ dari parameter yang diberikan oleh EM untuk membuat binari data baru yang dihasilkan oleh proses yang sama.

— pichenettes
sumber

2

Untuk meringkas Anda memiliki dua distribusi dengan parameter yang tidak diketahui dan pengukuran yang mungkin berasal dari proses stokastik. Ini biasanya disebut sebagai masalah asosiasi data dan sangat umum, dan dipelajari secara luas, dalam komunitas pelacakan. Anda mungkin mempertimbangkan untuk menggunakan algoritma Probability Data Association Filter (PDAF) atau Multi-Hypothesis Tracking (MHT). Ini harus memberi Anda perkiraan rata-rata dan varians untuk setiap distribusi.
Atau, karena suara Anda berwarna putih dan Gaussian, ML, MAP dan MMSE semuanya setara dan dapat ditemukan dengan meminimalkan kesalahan kuadrat rata-rata (fungsi biaya), seperti yang secara efektif dijelaskan oleh respons sebelumnya. Saya akan menggunakan pendekatan pemrograman dinamis untuk menemukan fungsi biaya minimum. Ini harus kurang kompleks (komputasional) dari metode EM / clustering yang dijelaskan sebelumnya. Satu komentar lagi: PDAF bersifat rekursif. Mengingat model sinyal sederhana itu harus bekerja sangat efektif dan apa yang saya harapkan adalah sebagian kecil dari kompleksitas komputasi dari algoritma EM. Semoga beruntung, -B

— Brant Jameson
sumber

1

Ada algoritma dari pertengahan 1980-an oleh Kittler dan Illingworth yang disebut "Minimum Error Thresholding" yang memecahkan masalah ini untuk distribusi Gaussian. Baru-baru ini Mike Titterington (Universitas Glasgow) dan JH Xue (sekarang di UCL) telah menempatkan ini dalam kerangka kerja statistik yang lebih formal, lihat publikasi jurnal bersama mereka.

— lebih membantu
sumber