Pendekatan rata-rata model - rata-rata estimasi koefisien vs prediksi model?

Saya punya pertanyaan dasar tentang pendekatan untuk pemodelan rata-rata menggunakan kriteria IT untuk model berat dalam satu set kandidat.

Sebagian besar sumber yang saya baca tentang model rata-rata menganjurkan rata-rata estimasi koefisien parameter berdasarkan bobot model (baik menggunakan 'rata-rata alami' atau metode 'rata-rata nol'). Namun, saya mendapat kesan bahwa rata-rata dan menimbang prediksi masing-masing model , daripada perkiraan koefisien parameter, berdasarkan bobot model adalah pendekatan yang lebih mudah dan tepat, terutama jika membandingkan model dengan variabel prediktor yang tidak bersarang.

Apakah ada panduan yang jelas tentang pendekatan mana untuk model rata-rata yang paling dibenarkan (rata-rata estimasi parameter berbobot vs prediksi berbobot)? Juga, apakah ada komplikasi lebih lanjut dengan model rata-rata estimasi koefisien dalam kasus model campuran?

Dalam model linier, rata-rata lintas koefisien akan memberi Anda nilai prediksi yang sama dengan nilai prediksi dari rata-rata prediksi, tetapi menyampaikan lebih banyak informasi. Banyak paparan berurusan dengan model linier dan karenanya rata-rata lintas koefisien.

Anda dapat memeriksa kesetaraan dengan sedikit aljabar linier. Katakan sudah$T$ pengamatan dan $N$prediktor. Anda mengumpulkan yang terakhir di$T\times N$ matriks $\mathbf{X}$. Kamu juga punya$M$ model, yang masing-masing memberikan estimasi koefisien $\beta_m$ ke $N$prediktor. Tumpuk estimasi koefisien ini di$N \times M$ matriks $\mathbf{\beta}$. Rata-rata berarti Anda menetapkan bobot$w_m$ untuk masing-masing model $m$(Bobot biasanya non-negatif dan jumlah hingga satu). Masukkan bobot ini dalam vektor$\mathbf{w}$ panjangnya $M$.

Nilai prediksi untuk masing-masing model diberikan oleh $\mathbf{\hat{y}}_m = \mathbf{X}\beta_m$, atau, dalam notasi bertumpuk

$$\mathbf{\hat{y}} = \mathbf{X}\mathbf{\beta}$$ Nilai yang diprediksi dari rata-rata di seluruh prediksi diberikan oleh $$\mathbf{\hat{y}} \mathbf{w} = (\mathbf{X}\mathbf{\beta})\mathbf{w}$$ Saat Anda rata-rata melintasi estimasi koefisien, Anda menghitung $$\mathbf{\beta}_w = \mathbf{\beta}\mathbf{w}$$ Dan nilai yang diprediksi dari koefisien rata-rata diberikan oleh $$\mathbf{X\beta}_w = \mathbf{X}(\mathbf{\beta}\mathbf{w})$$ Kesetaraan antara nilai-nilai yang diprediksi untuk kedua pendekatan mengikuti dari keterikatan produk matriks. Karena nilai yang diprediksi sama, Anda juga bisa menghitung rata-rata koefisien: ini memberi Anda lebih banyak informasi, jika Anda ingin melihat koefisien untuk masing-masing prediktor.

Dalam model non-linear, ekuivalensi biasanya tidak berlaku lagi dan di sana, memang masuk akal untuk rata-rata prediksi. Literatur yang luas tentang rata-rata prediksi (kombinasi perkiraan) misalnya dirangkum di sini .