Bagaimana penduga yang meminimalkan jumlah bias kuadrat dan varians yang sesuai dengan teori keputusan?

Oke - pesan asli saya gagal mendapat respons; jadi, izinkan saya mengajukan pertanyaan yang berbeda. Saya akan mulai dengan menjelaskan pemahaman saya tentang estimasi dari perspektif teori keputusan. Saya tidak memiliki pelatihan formal dan tidak akan mengejutkan saya jika pemikiran saya cacat dalam beberapa cara.

Misalkan kita memiliki beberapa fungsi kerugian . Kerugian yang diharapkan adalah risiko (sering):$L(\theta,\hat\theta(x))$

$$R(\theta,\hat\theta(x))=\int L(\theta,\hat\theta(x))\mathcal{L}(\theta,\hat\theta(x))dx,$$

di mana adalah kemungkinannya; dan risiko Bayes adalah risiko yang sering terjadi:$\mathcal{L}(\theta,\hat\theta(x))$

$$r(\theta,\hat\theta(x))=\int\int R(\theta,\hat\theta(x))\pi (\theta)dxd\theta,$$

di mana adalah kami.$\pi (\theta)$

Secara umum, kami menemukan yang meminimalkan dan semua ini bekerja dengan baik; apalagi teorema Fubini berlaku dan kita dapat membalik urutan integrasi sehingga setiap yang meminimalkan tidak tergantung pada semua yang lain. Dengan cara ini prinsip kemungkinan tidak dilanggar dan kita bisa merasa senang menjadi Bayesian dan seterusnya.r θ (x)$\hat\theta(x)$$r$$\hat\theta(x)$$r$

Misalnya, mengingat hilangnya kesalahan kuadrat yang dikenal, risiko kita yang sering terjadi adalah kesalahan kuadrat rata-rata atau jumlah dari kuadrat bias dan varians dan risiko Bayes kami adalah jumlah yang diharapkan dari kuadrat bias dan varians yang diberikan sebelum kami - yaitu, a posteriori kerugian yang diharapkan.$L(\theta,\hat\theta(x))=(\theta- \hat\theta(x))^2,$

Sejauh ini sepertinya masuk akal bagi saya (walaupun saya bisa saja salah); tetapi, bagaimanapun juga, banyak hal yang kurang masuk akal bagi saya untuk beberapa tujuan lain. Sebagai contoh, anggaplah bahwa alih-alih meminimalkan jumlah bias kuadrat dan varians yang sama bobotnya , saya ingin meminimalkan jumlah bobot yang tidak sama - yaitu, saya ingin yang meminimalkan:$\hat\theta(x)$

$$(\mathbb{E}[\hat\theta(x)]-\theta)^2+k\mathbb{E}[(\hat\theta(x)-\mathbb{E}[\hat\theta(x)])^2],$$

di mana adalah konstanta nyata positif (selain 1).$k$

Saya biasanya merujuk pada jumlah seperti ini sebagai "fungsi tujuan" walaupun mungkin saya menggunakan istilah itu secara tidak benar. Pertanyaan saya bukan tentang bagaimana menemukan solusi - menemukan yang meminimalkan fungsi tujuan ini dapat dilakukan secara numerik - melainkan, pertanyaan saya ada dua:$\hat\theta(x)$

1. Bisakah fungsi objektif seperti itu masuk ke dalam paradigma teori keputusan? Jika tidak, apakah ada kerangka kerja lain yang cocok? Jika ya, bagaimana bisa begitu? Sepertinya fungsi kerugian yang terkait akan menjadi fungsi , , dan , yang - karena harapannya - adalah ( Saya pikir) tidak tepat.θ ( x ) E [ θ ( x ) $\theta$$\hat\theta(x)$$\mathbb{E}[\hat\theta(x)]$

2. Fungsi obyektif seperti itu melanggar prinsip kemungkinan karena setiap estimasi yang diberikan tergantung pada semua estimasi lain dari (bahkan yang hipotetis). Namun demikian, ada saat-saat ketika perdagangan peningkatan varians kesalahan untuk pengurangan bias diinginkan. Mengingat tujuan seperti itu, adakah cara untuk mengonseptualisasikan masalah sedemikian rupa sehingga sesuai dengan prinsip kemungkinan? θ (xi≠j$\hat\theta(x_{j})$$\hat\theta(x_{i\neq j})$

Saya berasumsi bahwa saya gagal memahami beberapa konsep dasar tentang teori keputusan / estimasi / optimisasi. Terima kasih sebelumnya atas segala jawaban dan tolong anggap saya tidak tahu apa-apa karena saya tidak memiliki pelatihan di bidang ini atau matematika secara umum. Selain itu, setiap referensi yang disarankan (untuk pembaca yang naif) dihargai.

Ini pertanyaan yang cukup menarik dan baru! Pada tingkat formal, menggunakan fungsi risiko frequentist berarti menggunakan (misalnya) fungsi kerugian yang didefinisikan sebagai sejak tidak ada alasan untuk melarang harapan seperti muncul dalam fungsi kerugian. Bahwa mereka bergantung pada seluruh distribusi adalah fitur yang mungkin tampak aneh, tetapi seluruh distribusi ditetapkan sebagai fungsi dan kerugian yang dihasilkan dengan demikian merupakan fungsi dari

$$(\mathbb{E}_\theta[\hat\theta(X)]-\theta)^2+k\mathbb{E}_\theta[(\hat\theta(X)-\mathbb{E}[\hat\theta(X)])^2],$$ E θ [ θ ( X ) ] θ ( X ) θ θ θ θ ( X $$L(\theta,\hat{\theta})=(\mathbb{E}_\theta[\hat\theta(X)]-\theta)^2+k(\hat\theta-\mathbb{E}_\theta[\hat\theta(X)])^2$$ $\mathbb{E}_\theta[\hat\theta(X)]$$\hat{\theta}(X)$$\theta$$\theta$ , dan distribusi .$\hat{\theta}$$\hat{\theta}(X)$

Saya dapat dengan sempurna meramalkan keberatan yang datang bahwa fungsi kerugian pada prinsipnya adalah fungsi dari keadaan alami, , dan tindakan, , yang terjadi misalnya dalam ruang parameter , karenanya tidak melibatkan asumsi distribusi sama sekali. Yang benar dari perspektif teori permainan. Tetapi mengingat bahwa ini adalah teori keputusan statistik, di mana keputusan akan tergantung pada pengamatan dari variabel acak , saya tidak melihat alasan mengapa generalisasi di mana fungsi kerugian tergantung pada distribusi , diindeks olehθ δ Θ δ x X X $L(\theta,\delta)$$\theta$$\delta$$\Theta$$\delta$$x$$X$$X$$\theta$, tidak bisa dipertimbangkan. Bahwa hal itu dapat melanggar prinsip kemungkinan tidak menjadi perhatian langsung untuk teori keputusan dan tidak mencegah derivasi formal dari penaksir Bayes.