Dari setiap algoritma pengambilan sampel generik, seseorang dapat memperoleh suatu algoritma optimasi.
Memang, untuk memaksimalkan fungsi sewenang-wenang , cukup untuk mengambil sampel dari . Untuk cukup kecil, sampel-sampel ini akan mendekati maksimum global (atau maksimum lokal dalam praktik) dari fungsi .g ∼ e f / T T f
Maksud "sampling" yang saya maksud, menggambar sampel pseudo-acak dari distribusi yang diberi fungsi log-likelihood yang dikenal hingga konstanta. Misalnya, pengambilan sampel MCMC, pengambilan sampel Gibbs, Pengambilan Sampel Balok, dll. Dengan "optimalisasi" yang saya maksud adalah upaya untuk menemukan parameter yang memaksimalkan nilai fungsi yang diberikan.
Apakah mungkin sebaliknya? Mengingat heuristik untuk menemukan fungsi maksimum atau ekspresi kombinatorial, dapatkah kita mengekstraksi prosedur pengambilan sampel yang efisien?
HMC misalnya tampaknya memanfaatkan informasi gradien. Bisakah kita membuat prosedur pengambilan sampel yang mengambil keuntungan dari pendekatan Hessian seperti BFGS? (sunting: rupanya ya: http://papers.nips.cc/paper/4464-quasi-newton-methods-for-markov-chain-monte-carlo.pdf ) Kita dapat menggunakan MCTS dalam masalah kombinatorial, dapatkah kita menerjemahkannya menjadi prosedur pengambilan sampel?
Konteks: kesulitan dalam pengambilan sampel sering kali sebagian besar massa dari distribusi probabilitas terletak di wilayah yang sangat kecil. Ada teknik yang menarik untuk menemukan daerah tersebut, tetapi mereka tidak secara langsung diterjemahkan ke dalam prosedur pengambilan sampel yang tidak memihak.
Sunting: Saya sekarang memiliki perasaan yang tersisa bahwa jawaban untuk pertanyaan itu agak setara dengan kesetaraan kelas kompleksitas #P dan NP, membuat jawabannya cenderung "tidak". Itu menjelaskan mengapa setiap teknik pengambilan sampel menghasilkan teknik optimasi tetapi tidak sebaliknya.