Jika Anda tidak dapat melakukannya secara orthogonal, lakukan mentah (regresi polinomial)

Saat melakukan regresi polinomial untuk ke , orang terkadang menggunakan polinomial mentah, terkadang polinomial ortogonal. Tetapi ketika mereka menggunakan apa yang tampaknya sepenuhnya sewenang-wenang.$Y$$X$

Di sini dan di sini polinomial mentah digunakan. Tetapi di sini dan di sini , polinomial ortogonal tampaknya memberikan hasil yang benar. Apa, bagaimana, mengapa ?!

Berbeda dengan itu, ketika belajar tentang regresi polinom dari buku teks (misalnya ISLR ), yang bahkan tidak menyebutkan polinomial mentah atau ortogonal - hanya model yang akan dipasang diberikan.

Jadi kapan kita harus menggunakan apa?
Dan mengapa nilai p individu untuk , dll banyak berbeda antara dua nilai ini?X $X$$X^2$

Variabel dan tidak linier independen. Jadi bahkan jika tidak ada efek kuadrat, menambahkan untuk model akan mengubah estimasi efek .X 2 X 2$X$$X^2$$X^2$$X$

Mari kita simak dengan simulasi yang sangat sederhana.

> x <- runif(1e3)
> y <- x + rnorm(length(x))
> summary(lm(y~x))

Coefficients:
            Estimate Std. Error t value Pr(>|t|)    
(Intercept) -0.03486    0.06233  -0.559    0.576    
x            1.05843    0.10755   9.841   <2e-16 ***

Sekarang dengan istilah kuadrat dalam model yang pas.

> summary(lm(y~x+I(x^2)))

Coefficients:
            Estimate Std. Error t value Pr(>|t|)
(Intercept)  0.03275    0.09528   0.344    0.731
x            0.65742    0.44068   1.492    0.136
I(x^2)       0.39914    0.42537   0.938    0.348

Tentu saja tes omnibus masih signifikan, tetapi saya pikir hasil yang kami cari bukan yang ini. Solusinya adalah dengan menggunakan polinomial ortogonal.

 > summary(lm(y~poly(x,2)))

 Coefficients:
            Estimate Std. Error t value Pr(>|t|)    
(Intercept)  0.49744    0.03098  16.059   <2e-16 ***
poly(x, 2)1  9.63943    0.97954   9.841   <2e-16 ***
poly(x, 2)2  0.91916    0.97954   0.938    0.348    

Perhatikan bahwa koefisien xdalam model pertama dan poly(x,2)1dalam model kedua tidak sama, dan bahkan intersepsi berbeda. Ini karena polymemberikan vektor ortonormal, yang juga ortogonal ke vektor rep(1, length(x)). Jadi poly(x,2)1bukan xtapi (x -mean(x))/sqrt(sum((x-mean(x))**2))...

Poin penting adalah bahwa tes Wald, dalam model terakhir ini, independen. Anda dapat menggunakan polinomial ortogonal untuk memutuskan sampai tingkat mana Anda ingin pergi, hanya dengan melihat tes Wald: di sini Anda memutuskan untuk mempertahankan tetapi tidak . Tentu saja Anda akan menemukan model yang sama dengan membandingkan dua model pas pertama, tetapi lebih sederhana dengan cara ini - jika Anda mempertimbangkan naik ke tingkat yang lebih tinggi, itu benar-benar jauh lebih sederhana.X $X$$X^2$

Setelah Anda memutuskan syarat mana yang harus dipertahankan, Anda mungkin ingin kembali ke polinomial mentah dan untuk interpretabilitas atau prediksi.X $X$$X^2$

Untuk memberikan penilaian yang naif terhadap situasi:

umumnya: misalkan Anda memiliki dua sistem fungsi basis yang berbeda , serta untuk beberapa fungsi (hilbert-) ruang, biasa , yaitu ruang semua fungsi persegi-integrable. { ˜ p } ∞ n = 1 L 2 ( [ a , b ] $\{p_n\}_{n=1}^\infty$$\{\tilde{p}\}_{n=1}^\infty$$L_2([a,b])$

Ini berarti bahwa masing-masing dari dua basis dapat digunakan untuk menjelaskan setiap elemen , yaitu untuk Anda miliki untuk beberapa koefisien dan , (dalam -sense): $L_2([a,b])$$y \in L_2([a,b])$$\theta_n$$\tilde{\theta}_n \in \mathbb{R}$$n=1,2,\dots$$L_2$

Namun, di sisi lain, jika Anda memotong kedua set fungsi basis di beberapa angka , yaitu Anda mengambil serta rangkaian fungsi basis terpotong ini sangat mungkin menggambarkan dua "bagian yang berbeda" dari .$k<\infty$

Namun, di sini dalam kasus khusus di mana satu basis, , hanyalah dari basis lainnya, , keseluruhan prediksi akan sama untuk setiap model terpotong ( dan rekanan ortogonalnya akan menggambarkan subruang -dimensi ).$\{\tilde{p}\}_{n=1}^\infty$$\{p_n\}_{n=1}^\infty$$y$$\{p\}_{n=1}^k$$k$$L_2([a,b])$

Tetapi masing-masing fungsi basis individu dari dua basis "berbeda" akan menghasilkan kontribusi yang berbeda untuk predcisi ini (jelas karena fungsi / prediktornya berbeda!) Menghasilkan nilai- dan koefisien yang berbeda.$p$

Oleh karena itu, dalam hal prediksi tidak ada (dalam hal ini).

Dari sudut pandang komputasi, model matriks yang terdiri dari fungsi-fungsi dasar ortogonal memiliki sifat numerik / komputasi yang bagus untuk estimator kuadrat terkecil. Sementara pada saat yang sama dari sudut pandang statistik, hasil orthogonalization dalam estimasi tidak berkorelasi, karena bawah asumsi standar.$var(\hat{\tilde{\theta}}) = I \sigma²$

Pertanyaan alami muncul jika ada sistem basis terpotong terbaik. Namun jawaban untuk pertanyaan ini tidak sederhana atau unik dan tergantung misalnya pada definisi kata "terbaik", yaitu apa yang Anda coba arsipkan.