Apakah masuk akal untuk menambahkan istilah kuadratik tetapi bukan istilah linear untuk model?

Saya memiliki model (campuran) di mana salah satu prediktor saya harus apriori hanya terkait secara kuadratik dengan prediktor (karena manipulasi eksperimental). Oleh karena itu, saya hanya ingin menambahkan istilah kuadrat ke model. Dua hal yang membuat saya tidak melakukannya:

1. Saya pikir saya membaca di mana Anda harus selalu menyertakan polinomial urutan rendah ketika memasang polinomial tingkat tinggi. Saya lupa di mana saya menemukannya dan dalam literatur saya melihat (misalnya, Faraway, 2002; Fox, 2002) saya tidak dapat menemukan penjelasan yang baik.
2. Ketika saya menambahkan keduanya, istilah linear dan kuadratik, keduanya signifikan. Ketika saya menambahkan hanya satu dari mereka, mereka tidak signifikan. Namun, hubungan linier prediktor dan data tidak dapat ditafsirkan.

Konteks pertanyaan saya secara khusus menggunakan model campuran lme4, tetapi saya ingin mendapatkan jawaban yang dapat menjelaskan mengapa itu atau mengapa tidak baik untuk memasukkan polinomial orde tinggi dan bukan polinomial orde bawah.

Jika perlu saya bisa memberikan data.

1. Mengapa termasuk istilah linear?

Sangat menarik untuk memperhatikan bahwa hubungan kuadratik dapat ditulis dalam dua cara:

$$y = a_0 + a_1 x + a_2 x^2 = a_2(x - b)^2 + c$$

(di mana, menyamakan koefisien, kami menemukan dan ). Nilai sesuai dengan ekstrum global hubungan (secara geometris, ia menempatkan verteks parabola).$-2a_2 b = a_1$$a_2 b^2 + c = a_0$$x=b$

Jika Anda tidak menyertakan istilah linear , kemungkinan dikurangi menjadi$a_1 x$

$$y = a_0 + a_2 x^2 = a_2(x - 0)^2 + c$$

(Di mana sekarang, jelas, dan diasumsikan model berisi konstanta ). Artinya, Anda memaksa .$c = a_0$$a_0$$b=0$

Sehubungan dengan ini, pertanyaan # 1 turun ke apakah Anda yakin bahwa ekstrem global harus terjadi pada . Jika ya, maka Anda dapat dengan aman menghilangkan istilah linear . Kalau tidak, Anda harus memasukkannya.$x=0$$a_1 x$

2. Bagaimana memahami perubahan signifikansi saat istilah dimasukkan atau dikecualikan?

Ini dibahas dengan sangat rinci dalam utas terkait di https://stats.stackexchange.com/a/28493 .

Dalam kasus ini, signifikansi menunjukkan ada kelengkungan dalam hubungan dan signifikansi menunjukkan bahwa adalah nol: sepertinya Anda perlu memasukkan kedua istilah (dan juga konstanta, tentu saja).$a_2$$a_1$$b$

@whuber telah memberikan jawaban yang sangat bagus di sini. Saya hanya ingin menambahkan poin gratis kecil. Pertanyaannya menyatakan bahwa "hubungan linier prediktor dan data tidak dapat ditafsirkan". Ini mengisyaratkan kesalahpahaman yang umum, meskipun saya biasanya mendengarnya di ujung yang lain ('apa interpretasi dari istilah [kubik, dll] kuadrat?').

Ketika kita memiliki model dengan banyak kovariat yang berbeda , masing-masing [istilah] beta umumnya dapat diberikan interpretasinya sendiri. Misalnya, jika:

$$\widehat{\text{GPA}}_{college}=\beta_0+\beta_1\text{GPA}_{highschool}+\beta_2\text{class rank}+\beta_3\text{SAT},$$

(IPK berarti nilai rata-rata poin;
peringkat adalah urutan IPK siswa relatif terhadap siswa lain di sekolah menengah yang sama; &
SAT berarti 'tes bakat skolastik', ujian nasional untuk siswa yang melanjutkan ke universitas)

maka kita dapat menetapkan interpretasi terpisah untuk setiap beta / istilah. Misalnya, jika IPK sekolah menengah atas siswa 1 poin lebih tinggi - semuanya sama - kita harapkan IPK perguruan tinggi mereka menjadi poin lebih tinggi. $\beta_1$

Penting untuk dicatat, bahwa tidak selalu diizinkan untuk menafsirkan model dengan cara ini. Satu kasus yang jelas adalah ketika ada interaksi di antara beberapa variabel, karena tidak mungkin untuk istilah individu berbeda dan masih memiliki semua yang lain tetap konstan - kebutuhan, istilah interaksi akan berubah juga. Jadi, ketika ada interaksi, kami tidak menafsirkan efek utama tetapi hanya efek sederhana , seperti yang dipahami dengan baik.

Situasi dengan istilah kekuasaan secara analog, tetapi sayangnya, tampaknya tidak dipahami secara luas. Pertimbangkan model berikut: (Dalam situasi ini, dimaksudkan untuk mewakili kovariat berkelanjutan prototipikal.) Tidak mungkin bagi untuk berubah tanpa juga berubah, dan sebaliknya. Sederhananya, ketika ada istilah polinomial dalam model, berbagai istilah berdasarkan kovariat yang sama tidak diberikan interpretasi yang terpisah. Istilah ( , , dll.) Tidak memiliki arti independen. Fakta bahwa

$$\hat{y}=\beta_0+\beta_1x+\beta_2x^2$$ $x$$x$$x^2$$x^2$$x$$x^{17}$$p$-Kekuatan polinomial 'signifikan' dalam model menunjukkan bahwa ada 'tikungan' dalam fungsi yang berhubungan dengan dan . Sangat disayangkan, tetapi tidak dapat dihindari, bahwa ketika kelengkungan ada, interpretasi menjadi lebih rumit, dan mungkin kurang intuitif. Untuk menilai perubahan sebagai perubahan, kita harus menggunakan kalkulus. Turunan dari model di atas adalah: yang merupakan tingkat perubahan sesaat dalam nilai yang diharapkan dari sebagai perubahan, semuanya sama. Ini tidak sebersih interpretasi model paling atas; penting, tingkat perubahan instan di$p-1$$x$$y$$\hat{y}$$x$
$$\frac{dy}{dx}=\beta_1+2\beta_2x$$ $y$$x$$y$ tergantung pada tingkat dari mana perubahan tersebut dinilai$x$ . Lebih jauh lagi, tingkat perubahan dalam adalah tingkat sesaat; artinya, ia sendiri terus berubah sepanjang interval dari ke . Ini hanyalah sifat dari hubungan yang melengkung. $y$$x_{old}$$x_{new}$

@ whuber jawaban di atas tepat pada target dalam menunjukkan bahwa menghilangkan istilah linear adalah model kuadratik "biasa" setara dengan mengatakan, "Saya benar-benar yakin bahwa ekstrem berada pada "$x=0$

Namun, Anda juga perlu memeriksa apakah perangkat lunak yang Anda gunakan memiliki "gotcha". Beberapa perangkat lunak dapat secara otomatis memusatkan data saat memasang polinomial dan menguji koefisiennya kecuali jika Anda mematikan polinomial centering. Artinya, ini mungkin cocok dengan persamaan yang terlihat seperti mana adalah rata-rata dari s Anda. Itu akan memaksa ekstrem berada di . $Y = b_0 + b_2(x - \bar{x})^2$$\bar{x}$$x$$x=\bar{x}$

Pernyataan Anda bahwa istilah linear dan kuadratik penting ketika keduanya dimasukkan perlu klarifikasi. Sebagai contoh, SAS dapat melaporkan tes Tipe I dan / atau Tipe III untuk contoh tersebut. Tipe I menguji linear sebelum memasukkan kuadratik. Tipe III menguji linear dengan kuadrat dalam model.

Brambor, Clark dan Golder (2006) (yang dilengkapi dengan lampiran internet ) memiliki pandangan yang sangat jelas tentang bagaimana memahami model interaksi dan bagaimana menghindari perangkap umum, termasuk mengapa Anda harus (hampir) selalu memasukkan persyaratan tingkat rendah ( "istilah konstitutif") dalam model interaksi.

Analis harus memasukkan semua istilah konstitutif ketika menentukan model interaksi multiplikasi kecuali dalam keadaan yang sangat jarang. Dengan istilah konstitutif, yang kami maksud adalah setiap elemen yang membentuk istilah interaksi. [..]

Namun, pembaca harus memperhatikan bahwa model interaksi multiplikatif dapat mengambil berbagai bentuk dan mungkin melibatkan istilah kuadratik seperti atau istilah interaksi tingkat tinggi seperti . Tidak peduli apa bentuk dari istilah interaksi, semua istilah konstitutif harus dimasukkan. Jadi, harus dimasukkan ketika istilah interaksi adalah dan , , , , , dan harus dimasukkan ketika istilah interaksi adalah .$X^2$$XZJ$$X$$X^2$$X$$Z$$J$$XZ$$XJ$$ZJ$$XZJ$

Kegagalan untuk melakukannya dapat menghasilkan model yang kurang spesifik yang akan mengarah pada perkiraan yang bias. Ini dapat menyebabkan kesalahan inferensial.

Jika ini masalahnya dan berkorelasi dengan (atau ) seperti yang akan terjadi dalam hampir semua keadaan ilmu sosial, maka menghilangkan istilah konstitutif akan menghasilkan estimasi yang bias (dan tidak konsisten) dari , , dan . Meskipun tidak selalu diakui demikian, ini merupakan kasus langsung dari bias variabel yang dihilangkan (Greene 2003, hlm. 148-149).$Z$$XZ$$X$$Z$$\beta_0$$\beta_1$$\beta_3$