Optimalisasi matematika pada fungsi yang bising

Misalkan menjadi fungsi yang cukup bagus (mis. Kontinu, dapat dibedakan, tidak terlalu banyak maxima lokal, mungkin cekung, dll.). Saya ingin mencari maksimum : nilai yang membuat sebesar mungkin. $f:\mathbb{R}^d \to \mathbb{R}$ $f$ $x \in \mathbb{R}^d$ $f(x)$

Jika saya memiliki prosedur untuk mengevaluasi tepat pada input apa pun pilihan saya, saya dapat menggunakan teknik optimasi matematika standar : mendaki bukit, gradient descent (well, gradient ascent), dll. Namun, dalam aplikasi saya, saya tidak memiliki cara mengevaluasi tepat. Sebaliknya, saya punya cara untuk memperkirakan nilai . $f$ $f(x)$ $f(x)$

Secara khusus, mengingat setiap dan apa pun , saya memiliki oracle yang akan menampilkan perkiraan , dan yang kesalahan yang diperkirakan sekitar . Waktu menjalankan doa oracle ini sebanding dengan . (Diimplementasikan oleh semacam simulasi; akurasi simulasi meningkat dengan akar kuadrat dari jumlah percobaan, dan saya dapat memilih berapa banyak percobaan untuk dijalankan, jadi saya dapat memilih akurasi yang diinginkan.) Jadi ini memberi saya cara untuk mendapatkan perkiraan akurasi yang saya inginkan, tetapi semakin akurat saya ingin estimasi itu, semakin lama waktu yang dibutuhkan. $x$ $\varepsilon$ $f(x)$ $\varepsilon$ $1/\varepsilon^2$

Mengingat ramalan bising ini untuk , adakah teknik untuk menghitung maksimal seefisien mungkin? (Atau, lebih tepatnya, menemukan perkiraan maksimal.) Apakah ada varian pendakian bukit, gradient descent, dll., Yang berfungsi dalam model ini? $f$ $f$

Tentu saja, saya bisa memperbaiki nilai sangat kecil dan menerapkan mendaki bukit atau gradient descent dengan oracle ini, menjaga sama tetap ada . Namun, ini mungkin tidak efisien yang tidak perlu: kita mungkin tidak memerlukan perkiraan yang tepat di awal, sedangkan presisi mendekati akhir ketika Anda memusatkan perhatian pada solusi lebih penting. Jadi apakah ada cara untuk mengambil keuntungan dari kemampuan saya untuk mengontrol keakuratan estimasi saya secara dinamis, untuk membuat proses optimisasi lebih efisien? Apakah masalah seperti ini telah dipelajari sebelumnya? $\varepsilon$ $\varepsilon$

optimization approximation

— DW
sumber

ϵ

$\epsilon$

cybersynchronicity, menemukan persis kasus ini baru-baru ini dalam program GA. setuju dengan rs di atas yang disimulasikan anil di mana ketepatan evaluasi fungsi kira-kira cocok dengan penurunan suhu harus bekerja. Gagasan lain adalah hanya melakukan jumlah sampel yang tetap di setiap titik dan mengambil rata-rata sebagai perkiraan. teori yang lebih maju mungkin hanya memberi tahu Anda bahwa Anda tidak dapat memperoleh sesuatu secara gratis & bahwa tidak ada jalan pintas untuk evaluasi yang meningkatkan optimisasi.

— vzn

$f(x,p)$ $f(x+\Delta x, p + \Delta p)$ $p$ $\Delta x$ $\Delta p$

Beberapa teknik yang digunakan dalam optimasi stokastik dan optimasi yang kuat mungkin dapat diterapkan.
$\frac{\partial f}{\partial x}\approx 0$ $\Delta x$ $\Delta p$
$\frac{\partial f}{\partial x}(\tilde{x}, \tilde{p})$ $f(\tilde{x}, \tilde{p})$
$\Delta p$ $\Delta x$ $1/\epsilon^2$
Tradeoff noise vs runtime yang diberikan adalah yang membedakan masalah ini dari masalah yang dipelajari lebih baik. Masalahnya adalah kebisingan tidak dapat dihindari lebih umum dan dipelajari dengan lebih baik.

— Thomas Klimpel
sumber

f (x, p)

$f(x,p)$

f^{*} (x + Δ x, Δ p)

$f^*(x+\Delta x,\Delta p)$

p

$p$

p = 0

$p=0$

f^{*}

$f^*$ ). Optimalisasi stokastik dan optimisasi yang kuat sepertinya kurang lebih seperti hal-hal yang saya cari, jadi itu sangat membantu. Terima kasih.

— DW

p = 0

$p=0$

f (x, 0)

$f(x,0)$

f (x + Δ x, Δ p)

$f(x+\Delta x, \Delta p)$

Δ x

$\Delta x$

Δ p

$\Delta p$