Mengapa kita harus membahas perilaku konvergensi dari penduga yang berbeda dalam topologi yang berbeda?

Dalam bab pertama buku Algebraic Geometry dan Statistical Learning Theory yang berbicara tentang konvergensi estimasi dalam ruang fungsional yang berbeda, disebutkan bahwa estimasi Bayesian sesuai dengan topologi distribusi Schwartz, sedangkan estimasi kemungkinan maksimum sesuai dengan topologi sup-norm. (di halaman 7):

Misalnya, sup-norm, $L^p$ -norm, topologi lemah ruang Hilbert $L^2$ , topologi distribusi Schwartz, dan sebagainya. Ini sangat tergantung pada topologi ruang fungsi apakah konvergensi $K_n(w)\to K(w)$ bertahan atau tidak. Estimasi Bayes sesuai dengan topologi distribusi Schwartz, sedangkan kemungkinan maksimum atau metode posteriori sesuai dengan sup-norm. Perbedaan ini sangat mempengaruhi hasil belajar dalam model tunggal.

di mana dan masing-masing adalah KL-divergensi empiris (penjumlahan dari pengamatan) dan KL-divergensi yang sebenarnya (integral wrt distribusi data) antara model yang benar dan model parametrik (dengan parameter ). $K_n(w)$ $K(w)$ $w$

Adakah yang bisa memberikan penjelasan, atau memberi tahu saya tempat mana di buku yang memiliki justifikasi? Terima kasih.

Pembaruan : konten hak cipta dihapus.

bayesian maximum-likelihood statistical-learning

— ziyuang
sumber

apa itu

dan

K

$K$

K_{n}

$K_n$

— Taylor

@Aylor saya menambahkan beberapa informasi yang diperlukan.

— ziyuang

Saya akan menjawab pertanyaan Anda nanti, saya tahu buku watanabe relatif baik. Namun saya sangat tidak suka cara Anda mengutip buku. Ini dapat menyebabkan masalah hak cipta potensial jika Anda menempatkan bagian langsung di sini. Menggunakan nomor halaman dan mengetik kutipan dengan bib yang sesuai akan menjadi pilihan yang lebih baik.

— Henry.L

@ Henry.L Terima kasih, dan konten hak cipta dihapus.

— ziyuang

@ Henry: Walaupun saya percaya ada nilai untuk berhati-hati dan teliti dalam mereproduksi bagian dari karya berhak cipta, saya pikir, dalam hal ini, ziyuang sama sekali tidak perlu dikhawatirkan. Penggunaan kutipan kecil OP untuk kritik ilmiah jatuh sangat tepat dalam doktrin "penggunaan wajar" (AS). Memang, memiliki reproduksi yang tepat kadang-kadang bisa sangat berharga karena menghilangkan ambiguitas yang dapat diperkenalkan oleh penyajian ulang konten. (Semua yang dikatakan, IANAL.)

— kardinal

Untuk memahami diskusi Watanabe, penting untuk menyadari apa yang ia maksudkan dengan "singularitas". Singularitas (ketat) bertepatan dengan gagasan geometrik metrik singular dalam teorinya.

hal.10 [Watanabe]: "Model statistik dikatakan teratur jika dapat diidentifikasi dan memiliki metrik pasti positif. Jika model statistik tidak teratur, maka itu disebut singular singular." $p(x\mid w)$

Dalam praktiknya, singularitas biasanya muncul ketika metrik informasi Fisher diinduksi oleh model di degenerasi pada manifold yang ditentukan oleh model, seperti kasus berpangkat rendah atau jarang dalam karya "pembelajaran mesin".

Apa yang dikatakan Watanabe tentang konvergensi divergensi KL empiris dengan nilai teoretisnya dapat dipahami sebagai berikut. Salah satu asal usul divergensi berasal dari statistik yang kuat. M-estimator, yang termasuk MLE sebagai kasus khusus dengan fungsi kontras , biasanya dibahas menggunakan topologi yang lemah. Adalah masuk akal untuk membahas perilaku konvergensi menggunakan topologi yang lemah atas ruang (manifold dari semua langkah yang mungkin didefinisikan pada ruang Polandia $\rho(\theta,\delta(X))=-\log p(X\mid \theta)$ $M(\cal{X})$ $\cal{X}$ ) karena kami ingin mempelajari perilaku ketahanan MLE. Teorema klasik dalam [Huber] menyatakan bahwa dengan fungsi divergensi terpisah dengan baik . $D(\theta_0,\theta)=E_{\theta_{0}}\rho(\theta,\delta)$

inf_{| θ - θ_{0} | \geq ϵ} (| D (θ_{0}, θ) - D (θ_{0}, θ_{0}) |) > 0

$\inf_{|\theta-\theta_0|\geq\epsilon}(|D(\theta_0,\theta)-D(\theta_0,\theta_0)| )>0$ dan pendekatan empiris yang baik dari fungsi kontras untuk divergensi,

bersama dengan keteraturan, kita dapat menghasilkan konsistensi dalam arti

sup_{θ} | \frac{1}{n} \sum_{i} ρ (θ, δ (X_{i})) - D (θ_{0}, θ) | \to 0, n \to \infty

$\sup_{\theta}\left|\frac{1}{n}\sum_{i}\rho(\theta,\delta(X_i))- D(\theta_0,\theta)\right|\rightarrow 0,n\rightarrow\infty$

akan menyatu dengan

dalam probabilitas

. Hasil ini membutuhkan kondisi yang jauh lebih tepat jika kita dibandingkan dengan hasil Doob [Doob] dalam konsistensi yang lemah dari estimator Bayesian.

\hat{θ_{n}} := {a r g m i n}_{θ} ρ (θ, δ (X_{n}))

$\hat{\theta_n}:=\mathrm{arg\,min}_{\theta}\rho(\theta,\delta(X_n))$

θ_{0}

$\theta_0$

P_{θ_{0}}

$P_{\theta_0}$

Jadi di sini penaksir Bayesian dan MLE menyimpang. Jika kita masih menggunakan topologi yang lemah untuk membahas konsistensi penaksir Bayesian, itu tidak ada artinya karena penaksir Bayesian akan selalu (dengan probabilitas satu) konsisten dengan Doob. Oleh karena itu topologi yang lebih tepat adalah topologi distribusi Schwarz yang memungkinkan derivatif yang lemah dan teori von Mises ikut bermain. Barron memiliki laporan teknis yang sangat bagus tentang topik ini bagaimana kita dapat menggunakan teorema Schwartz untuk mendapatkan konsistensi.

$D$

"Hasil belajar singular" dipengaruhi karena, seperti yang kita lihat, teorema konsistensi Doob memastikan bahwa estimator Bayesian menjadi lemah secara konsisten (bahkan dalam model tunggal) dalam topologi yang lemah sementara MLE harus memenuhi persyaratan tertentu dalam topologi yang sama.

Hanya satu kata, [Watanabe] bukan untuk pemula. Ini memiliki beberapa implikasi mendalam pada set analitik nyata yang membutuhkan kematangan matematis lebih dari yang dimiliki kebanyakan ahli statistik, jadi mungkin bukan ide yang baik untuk membacanya tanpa bimbingan yang tepat.

$\blacksquare$ Referensi

[Watanabe] Watanabe, Sumio. Geometri aljabar dan teori pembelajaran statistik. Vol. 25. Cambridge University Press, 2009.

[Huber] Huber, Peter J. "Perilaku perkiraan kemungkinan maksimum dalam kondisi tidak standar." Prosiding simposium Berkeley kelima pada statistik matematika dan probabilitas. Vol. 1. No. 1. 1967.

[Doob] Doob, Joseph L. "Penerapan teori martingales." Mendapat perhitungan dengan aplikasi (1949): 23-27.

— Henry
sumber

Saya mencoba memberikan intuisi untuk beberapa bagian dari jawaban jadi koreksi saya jika saya salah. Estimator bayes konsisten jika kita melihatnya sebagai estimator titik (MAP, bukan distribusi probabilistik). Dibutuhkan lebih sedikit kondisi untuk konsistensi daripada MLE secara intuitif karena tindakan sebelumnya sebagai regularisasi. Di sisi lain, topologi distribusi Schwartz lebih cocok ketika kita melihat Bayes estimator sebagai distribusi, itu juga membantu membangun hubungan yang lebih dekat antara konsistensi MLE dan estimator Bayes, sehingga kasus di mana satu divergen dan konvergen lainnya tidak akan terjadi .

— ziyuang

Maaf tapi saya pikir penjelasan Anda tidak benar. Sebelumnya bertindak sebagai regularisasi tetapi itu tidak serta merta mengendalikan tingkat konvergensi. Sebenarnya flat rata sebenarnya memperlambat konvergensi. Mereka hanyalah dua topologi yang berbeda.

— Henry.L