Apakah akan ada masalah pemilihan model jika kami memiliki akses ke oracle yang memberi kami kesalahan generalisasi yang tepat?

Membiarkan $\mathcal{E(h)}$ sebuah fungsi yang diberi beberapa hipotesis $h$ mengembalikan kesalahan generalisasi untuk perbaikan itu $h$.

Saya membaca beberapa catatan tentang pemilihan model dan kesalahan generalisasi dan dikatakan:

"Jika kita memiliki akses ke $\mathcal{E(h)}$, tidak akan ada masalah pemilihan model juga. Kami hanya akan memilih gambut $\mathcal{H}$ sehingga dapat menemukan classifier yang meminimalkan kesalahan. "

Saya tidak yakin apakah saya sepenuhnya menghargai atau memahami pernyataan itu atau benar-benar setuju dengan pernyataan itu. Alasannya adalah, bahkan jika kita memiliki akses ke$\mathcal{E(h)}$ (Yang saya pikir mereka maksudkan oracle yang dibutuhkan $h$dan hanya mengatakan kesalahan generalisasi sebenarnya) Saya pikir masih akan bermasalah untuk menemukan model yang memiliki hipotesis yang menggeneralisasi dengan baik. Alasannya, katakanlah bahwa model kelas$\mathcal{H}$tidak terbatas (yaitu ada satu set model tak terbatas untuk dipilih). Kami tidak benar-benar tahu kapan$\mathcal{E(h)}$ telah mencapai batas minimum kecuali kami memeriksa setiap $\mathcal{H}$itu mungkin. yaitu bahkan jika kita memiliki hal seperti itu saya tidak berpikir masalah dihilangkan dengan mudah karena bagaimana kita bisa yakin kita benar-benar menemukan yang terbaik$\mathcal{H}$(dalam waktu polinomial)? Pada dasarnya saya merasa pertanyaan ini mengasumsikan bahwa kita memiliki oracle untuk menentukan kapan generalisasi juga minimum. Selain itu, seperti yang saya tunjukkan, algoritma / mesin berputar yang disarankan adalah decidable dan tidak dalam P (yaitu mungkin berjalan selamanya ...)

Masalah utama / keraguan yang saya miliki dengan pertanyaan ini adalah bahwa bahkan dengan Oracle seperti itu, saya tidak yakin bahwa pemilihan model telah diremehkan, jawaban yang mencoba menangani masalah khusus ini, memiliki peluang lebih tinggi untuk menangani pertanyaan saya dengan lebih baik.

Pada dasarnya saya merasa pertanyaan ini mengasumsikan bahwa kita memiliki oracle untuk menentukan kapan generalisasi juga minimum.

Tentu saja, memiliki ini akan luar biasa. Memiliki oracle yang memberi kita model terbaik akan lebih baik. Namun, Anda tampaknya salah menafsirkan fungsi oracle.

Tugas pemilihan model adalah memilih model terbaik dari set yang diberikan. Kami melakukan ini dengan memilih model yang kami yakini memiliki kinerja generalisasi terbaik. Tanpa nubuat untuk memberi tahu kami$\mathcal{E}(h)$ kami terpaksa memperkirakan kinerja generalisasi sebagai gantinya, katakanlah $\hat{\mathcal{E}}(h)$.

Karena kita perlu memilih model berdasarkan perkiraan kinerja generalisasi, kita tidak memiliki jaminan untuk memilih yang tepat. Inilah yang membuat pemilihan model sulit (dan agak sewenang-wenang). Jika kita memiliki akses ke kinerja generalisasi yang sebenarnya, pemilihan model akan menjadi sepele.

Alasannya, katakanlah bahwa model kelas $\mathcal{H}$ tidak terbatas (yaitu ada satu set model tak terbatas untuk dipilih).

Ini adalah pertanyaan teoretis yang bagus tetapi agak tangensial dengan masalah praktis karena seseorang biasanya ingin memilih model terbaik dalam serangkaian opsi yang terbatas.

Anda benar bahwa serangkaian model yang benar-benar tak terbatas akan menghasilkan masalah yang tidak dapat ditentukan tanpa membuat asumsi lebih lanjut. Namun dalam praktiknya, beberapa asumsi lebih lanjut masuk akal.

Adalah umum dan sering masuk akal untuk menganggap bahwa bentuk fungsional dari $\mathcal{E}(h)$berperilaku dengan cara tertentu sehubungan dengan hyperparameter dari kelas model yang diberikan (misalnya cembung). Jika asumsi tersebut berlaku, hiperparameter optimal secara global dapat ditemukan dalam waktu polinomial.