Temuan root untuk fungsi stokastik

Misalkan kita memiliki fungsi yang hanya dapat kita amati melalui beberapa noise. Kami tidak dapat menghitung secara langsung, hanya mana adalah noise acak. (Dalam praktiknya: Saya menghitung menggunakan beberapa metode Monte Carlo.) $f(x)$ $f(x)$ $f(x) + \eta$ $\eta$ $f(x)$

Metode apa yang tersedia untuk menemukan akar , yaitu menghitung sehingga ? $f$ $x$ $f(x) = 0$

Saya mencari metode yang meminimalkan jumlah evaluasi yang diperlukan untuk , karena ini mahal secara komputasi. $f(x)+\eta$

Saya terutama tertarik pada metode yang menggeneralisasi ke beberapa dimensi (yaitu menyelesaikan ). $f(x,y) = 0, g(x,y) = 0$

Saya juga tertarik pada metode yang dapat menggunakan beberapa informasi tentang varian , karena perkiraan ini mungkin tersedia saat menghitung menggunakan MCMC. $\eta$ $f(x)$

approximation

— Szabolcs
sumber

Saya tidak yakin tag apa yang tepat untuk pertanyaan ini, tolong bantu dalam memberi tag ulang.

— Szabolcs

Agar adil, saya menemukan perkiraan Stochastic , tetapi sangat sedikit informasi praktis dengan contoh atau diskusi praktis tentang kapan ia bekerja dengan baik dan kapan tidak. Sebagian besar info dalam makalah akademis yang tampaknya membutuhkan sedikit pekerjaan untuk diubah menjadi aplikasi praktis. Hal lain yang saya temukan adalah estimasi kata kunci Likelihood-free yang memecahkan masalah yang sangat mirip dan ada lebih banyak informasi praktis yang tersedia secara online. Apakah ada hal lain? Referensi diterima!

— Szabolcs

masalah yang menarik. Saya kira semua metode gradien keluar jendela

— Aksakal

juga, dalam kasus Anda masalahnya adalah lebih sulit: Anda dapat mengontrol

melalui MC

v a r [η]

$var[\eta]$

— Aksakal

Saya akan menambahkan 50 tambahan untuk hadiah Glen_b untuk jawaban yang bagus.

— Szabolcs

Anda mungkin menemukan referensi berikut berguna:

Pasupathy, R.and Kim, S. (2011) Masalah pencarian akar stokastik: Tinjauan umum, solusi, dan pertanyaan terbuka. Transaksi ACM pada Pemodelan dan Simulasi Komputer, 21 (3). [ DOI ] [ pracetak ]

Waeber, R. (2013) Pencarian Biseksi Probabilistik untuk Stochastic Root-Finding. Disertasi Ph.D, Universitas Cornell, Ithaca. [ pdf ]

— QuantIbex
sumber

(+1) Menjawab pertanyaan dengan kutipan disertasi tahun 2013 cukup mengagumkan.

— Sycorax mengatakan Reinstate Monica

Google-fu yang satu ini kuat

— bdeonovic

Makalah pertama yang Anda kutip berguna, tetapi harus dicatat bahwa masih ada sedikit pekerjaan yang diperlukan untuk menerapkan metode ini.

— Szabolcs

Akan sangat menyenangkan jika seseorang yang menggunakan metode ini dapat memberikan perkiraan berapa banyak pekerjaan yang diperlukan untuk beralih dari kertas ke implementasi yang paling sederhana. Melirik kertas pertama dan tampaknya cukup padat.

— Ramon Martinez

Saya pikir untuk masalah-masalah seperti ini Anda dapat menggunakan penurunan gradien stokastik, lihat misalnya finzi.psych.upenn.edu/R/library/sgd/html/sgd.html

— Tom Wenseleers