Mengapa efek acak menyusut ke 0?

Apakah ada alasan intuitif untuk efek acak menyusut menuju nilai yang diharapkan dalam model campuran linier umum?

secara umum, sebagian besar "efek acak" terjadi dalam situasi di mana ada juga "efek tetap" atau bagian lain dari model. Model campuran linier umum terlihat seperti ini:

Di mana adalah "efek tetap" dan u adalah "efek acak". Jelas, perbedaannya hanya bisa pada tingkat konseptual, atau dalam metode estimasi u dan β . Karena jika saya mendefinisikan "efek tetap" baru ˜ x i = ( x T i , z T i ) T dan ˜ β = ( β T , u T ) T maka saya memiliki regresi linier biasa:$\beta$$u$$u$$\beta$$\tilde{x}_i=(x_i^T,z_i^T)^T$$\tilde{\beta}=(\beta^T,u^T)^T$

Ini sering merupakan masalah praktis yang nyata dalam hal menyesuaikan model campuran ketika tujuan konseptual yang mendasarinya tidak jelas. Saya pikir fakta bahwa efek acak yang menyusut menuju nol, dan bahwa efek tetap β tidak memberikan bantuan di sini. Ini berarti bahwa kita akan cenderung menyukai model dengan hanya β yang disertakan (yaitu u = 0 ) ketika perkiraan u memiliki presisi rendah dalam formulasi OLS, dan cenderung mendukung formulasi OLS lengkap ketika perkiraan u memiliki presisi tinggi.$u$ $\beta$ $\beta$$u=0$$u$$u$

Bukankah pertanyaan Anda menjawab sendiri? Jika suatu nilai diharapkan maka teknik yang membawa nilai lebih dekat ke yang terbaik.

Jawaban sederhana datang dari hukum angka besar. Katakanlah subjek adalah efek acak Anda. Jika Anda menjalankan subjek A hingga D dalam 200 percobaan dan subjek E dalam 20 percobaan yang mana dari kinerja rata-rata subjek yang diukur menurut Anda lebih representatif dari mu? Hukum angka besar akan memprediksi bahwa kinerja subjek E akan lebih cenderung menyimpang dengan jumlah yang lebih besar dari mu daripada A sampai D. Ini mungkin atau mungkin tidak, dan subjek mana pun bisa menyimpang, tetapi kita akan jauh lebih dibenarkan dalam menyusutkan efek subjek E terhadap subjek A sampai D daripada sebaliknya. Jadi efek acak yang lebih besar dan memiliki N yang lebih kecil cenderung menjadi yang paling menyusut.

Dari uraian ini juga muncul mengapa efek tetap tidak menyusut. Itu karena mereka sudah diperbaiki, hanya ada satu di model. Anda tidak memiliki referensi untuk mengecilkannya. Anda dapat menggunakan kemiringan 0 sebagai referensi tetapi bukan itu efek acak yang menyusut. Mereka menuju perkiraan keseluruhan seperti mu. Efek tetap yang Anda miliki dari model Anda adalah perkiraan itu.

Saya pikir mungkin membantu intuisi Anda untuk memikirkan model campuran sebagai model hierarkis atau multilevel . Setidaknya bagi saya, lebih masuk akal ketika saya berpikir tentang bersarang dan bagaimana model bekerja di dalam dan melintasi kategori secara hierarkis.

EDIT: Makro, saya membiarkan ini sedikit terbuka karena memang membantu saya melihatnya lebih intuitif, tapi saya tidak yakin itu benar. Tetapi untuk memperluasnya ke arah yang mungkin salah ...

Saya melihatnya sebagai efek tetap rata-rata di seluruh kategori dan efek acak yang membedakan antara kategori. Dalam beberapa hal, efek acak adalah "cluster" yang memiliki beberapa karakteristik, dan cluster yang lebih besar dan lebih kompak akan memiliki pengaruh yang lebih besar daripada rata-rata di level yang lebih tinggi.

Dengan OLS melakukan pemasangan (dalam fase, saya percaya), "cluster" efek acak yang lebih besar dan lebih kompak akan menarik lebih kuat ke arah mereka sendiri, sementara "cluster" yang lebih kecil atau lebih tersebar akan menarik kurang cocok. Atau mungkin kecocokan mulai mendekati "kelompok" yang lebih besar dan lebih ringkas karena rata-rata level yang lebih tinggi lebih dekat dengan permulaan

Maaf saya tidak bisa lebih jelas, dan bahkan mungkin salah. Masuk akal bagi saya secara intuitif, tetapi ketika saya mencoba menulisnya, saya tidak yakin apakah itu hal top-down atau bottom-up, atau sesuatu yang berbeda. Apakah ini masalah "klaster" tingkat rendah yang cocok dengan diri mereka sendiri dengan lebih kuat, atau memiliki pengaruh yang lebih besar terhadap rata-rata tingkat yang lebih tinggi - dan dengan demikian "berakhir" lebih dekat dengan rata-rata tingkat yang lebih tinggi - atau tidak?

Dalam kedua kasus tersebut, saya merasa hal itu menjelaskan mengapa kategori variabel acak yang lebih kecil dan lebih difus akan ditarik lebih jauh ke arah mean daripada kategori yang lebih besar dan lebih padat.