Penghapusan istilah intersepsi yang signifikan secara statistik meningkatkan dalam model linier

101

Dalam model linier sederhana dengan variabel penjelas tunggal,

$\alpha_i = \beta_0 + \beta_1 \delta_i + \epsilon_i$

Saya menemukan bahwa menghapus istilah intersepsi sangat meningkatkan kecocokan (nilai berubah dari 0,3 menjadi 0,9). Namun, istilah intersepsi tampaknya signifikan secara statistik. $R^2$

Dengan mencegat:

Call:
lm(formula = alpha ~ delta, data = cf)

Residuals:
     Min       1Q   Median       3Q      Max 
-0.72138 -0.15619 -0.03744  0.14189  0.70305 

Coefficients:
            Estimate Std. Error t value Pr(>|t|)    
(Intercept)  0.48408    0.05397    8.97   <2e-16 ***
delta        0.46112    0.04595   10.04   <2e-16 ***
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1 

Residual standard error: 0.2435 on 218 degrees of freedom
Multiple R-squared: 0.316,    Adjusted R-squared: 0.3129 
F-statistic: 100.7 on 1 and 218 DF,  p-value: < 2.2e-16

Tanpa memotong:

Call:
lm(formula = alpha ~ 0 + delta, data = cf)

Residuals:
     Min       1Q   Median       3Q      Max 
-0.92474 -0.15021  0.05114  0.21078  0.85480 

Coefficients:
      Estimate Std. Error t value Pr(>|t|)    
delta  0.85374    0.01632   52.33   <2e-16 ***
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1 

Residual standard error: 0.2842 on 219 degrees of freedom
Multiple R-squared: 0.9259,   Adjusted R-squared: 0.9256 
F-statistic:  2738 on 1 and 219 DF,  p-value: < 2.2e-16

Bagaimana Anda menafsirkan hasil ini? Haruskah istilah intersepsi dimasukkan dalam model atau tidak?

Sunting

Berikut ini jumlah residu kuadrat:

RSS(with intercept) = 12.92305
RSS(without intercept) = 17.69277

— Ernest A
sumber

Saya ingat menjadi rasio yang dijelaskan untuk total varian HANYA jika intersep dimasukkan. Kalau tidak, itu tidak dapat diturunkan dan kehilangan interpretasinya.

R^{2}

$R^2$

— Momo

@Momo: Poin bagus. Saya telah menghitung jumlah residu kuadrat untuk masing-masing model, yang tampaknya menunjukkan bahwa model dengan istilah intersep lebih cocok terlepas dari apa yang dikatakan

R^{2}

$R^2$

— Ernest A

Nah, RSS harus turun (atau setidaknya tidak meningkat) ketika Anda memasukkan parameter tambahan. Lebih penting lagi, banyak inferensi standar dalam model linier tidak berlaku ketika Anda menekan intersep (bahkan jika itu tidak signifikan secara statistik).

— Makro

Apa

tidak ketika tidak ada intercept adalah bahwa ia menghitung

R

$R$

gantinya (perhatikan, tidak ada pengurangan mean dalam istilah penyebut). Ini membuat penyebut lebih besar yang, untuk MSE yang sama atau mirip menyebabkan

meningkat.

R^{2} = 1 - \frac{\sum_{i} (y_{i} - {\hat{y}}_{i})^{2}}{\sum_{i} y_{i}^{2}}

$R^2 = 1 - \frac{\sum_i (y_i - \hat y_i)^2}{\sum_i y_i^2}$

R^{2}

$R^2$

— kardinal

The

tidak tentu lebih besar. Ini hanya lebih besar tanpa intersep asalkan MSE dari fit dalam kedua kasus serupa. Tapi, perhatikan bahwa seperti yang ditunjukkan @Macro, pembilangnya juga menjadi lebih besar dalam case tanpa intersep sehingga tergantung pada yang mana yang menang! Anda benar bahwa mereka tidak boleh dibandingkan satu sama lain tetapi Anda juga tahu bahwa SSE dengan intersep akan selalu lebih kecil daripada SSE tanpa intersep. Ini adalah bagian dari masalah dengan menggunakan langkah-langkah dalam sampel untuk diagnostik regresi. Apa tujuan akhir Anda untuk penggunaan model ini?

R^{2}

$R^2$

— kardinal

Jawaban:

131

Pertama-tama, kita harus memahami apa yang dilakukan Rperangkat lunak ketika tidak ada intersep yang termasuk dalam model. Ingat bahwa perhitungan biasa ketika intercept hadir adalah $R^2$ Kesetaraan pertamahanyaterjadi karena dimasukkannya intersep dalam modelmeskipunini mungkin lebih populer dari dua cara penulisan itu. Thekeduakesetaraan benar-benar menyediakan interpretasi yang lebih umum! Poin ini juga dibahas dalampertanyaan terkait ini.

R^{2} = \frac{\sum_{saya} ({\hat{y}}_{saya} - \bar{y})^{2}}{\sum_{saya} (y_{saya} - \bar{y})^{2}} = 1 - \frac{\sum_{saya} (y_{saya} - {\hat{y}}_{saya})^{2}}{\sum_{saya} (y_{saya} - \bar{y})^{2}} .

$R^2 = \frac{\sum_i (\hat y_i - \bar y)^2}{\sum_i (y_i - \bar y)^2} = 1 - \frac{\sum_i (y_i - \hat y_i)^2}{\sum_i (y_i - \bar y)^2} \>.$

Tapi, apa yang terjadi jika tidak ada intersep dalam model?

R

R_{0}^{2} = \frac{\sum_{saya} {\hat{y}}_{saya}^{2}}{\sum_{saya} y_{saya}^{2}} = 1 - \frac{\sum_{saya} (y_{saya} - {\hat{y}}_{saya})^{2}}{\sum_{saya} y_{saya}^{2}} .

$R_0^2 = \frac{\sum_i \hat y_i^2}{\sum_i y_i^2} = 1 - \frac{\sum_i (y_i - \hat y_i)^2}{\sum_i y_i^2} \>.$

$R^2$ $R_0^2$

Tetapi, bagaimana mereka berbeda, dan kapan?

$\newcommand{\yhat}{\hat {\mathbf y}}\newcommand{\ytilde}{\tilde {\mathbf y}}\yhat$ $\ytilde$

Kita dapat menulis ulang ekspresi untuk dan sebagai dan masing-masing. $R^2$ $R_0^2$

R^{2} = 1 - \frac{‖ y - \hat{y} ‖_{2}^{2}}{‖ y - \bar{y} 1 ‖_{2}^{2}},

$\newcommand{\y}{\mathbf y}\newcommand{\one}{\mathbf 1} R^2 = 1 - \frac{\|\y - \yhat\|_2^2}{\|\y - \bar y \one\|_2^2} \>,$

R_{0}^{2} = 1 - \frac{‖ y - \tilde{y} ‖_{2}^{2}}{‖ y ‖_{2}^{2}},

$R_0^2 = 1 - \frac{\|\y - \ytilde\|_2^2}{\|\y\|_2^2} \>,$

Sekarang, karena , maka jika dan hanya jika $\|\y\|_2^2 = \|\y - \bar y \one\|_2^2 + n \bar y^2$ $R_0^2 > R^2$

\frac{‖ y - \tilde{y} ‖_{2}^{2}}{‖ y - \hat{y} ‖_{2}^{2}} < 1 + \frac{{\bar{y}}^{2}}{\frac{1}{n} ‖ y - \bar{y} 1 ‖_{2}^{2}} .

$\frac{\|\y - \ytilde\|_2^2}{\|\y - \yhat\|_2^2} < 1 + \frac{\bar y^2}{\frac{1}{n}\|\y - \bar y \one\|_2^2} \> .$

Sisi kiri lebih besar dari satu karena model yang sesuai dengan bersarang di dalam . Istilah kedua di sisi kanan adalah rata-rata kuadrat dari tanggapan dibagi dengan kesalahan kuadrat rata-rata dari model intercept-only. Jadi, semakin besar rata-rata respons relatif terhadap variasi lain, semakin banyak "kelonggaran" yang kita miliki dan peluang lebih besar mendominasi . $\ytilde$ $\yhat$ $R_0^2$ $R^2$

Perhatikan bahwa semua hal yang bergantung pada model ada di sisi kiri dan hal yang tidak tergantung model ada di sebelah kanan.

Ok, jadi bagaimana kita membuat rasio di sisi kiri kecil?

Ingat bahwa dan mana dan adalah matriks proyeksi yang berhubungan dengan ruang bagian dan sehingga . $\newcommand{\P}{\mathbf P}\ytilde = \P_0 \y$ $\yhat = \P_1 \y$ $\P_0$ $\P_1$ $S_0$ $S_1$ $S_0 \subset S_1$

Jadi, agar rasio menjadi dekat dengan salah satu, kita membutuhkan ruang bagian dan sangat mirip. Sekarang dan hanya berbeda oleh apakah adalah dasar vektor atau tidak, sehingga berarti bahwa telah lebih baik adalah ruang bagian yang sudah berada sangat dekat dengan . $S_0$ $S_1$ $S_0$ $S_1$ $\one$ $S_0$ $\one$

Pada dasarnya, itu berarti prediktor kita sebaiknya memiliki offset rata-rata yang kuat dan bahwa offset rata-rata ini harus mendominasi variasi prediktor.

Sebuah contoh

Di sini kami mencoba untuk menghasilkan contoh dengan intersep secara eksplisit dalam model dan yang berperilaku dekat dengan kasus dalam pertanyaan. Di bawah ini adalah beberapa Rkode sederhana untuk ditunjukkan.

set.seed(.Random.seed[1])

n <- 220
a <- 0.5
b <- 0.5
se <- 0.25

# Make sure x has a strong mean offset
x <- rnorm(n)/3 + a
y <- a + b*x + se*rnorm(x)

int.lm   <- lm(y~x)
noint.lm <- lm(y~x+0)  # Intercept be gone!

# For comparison to summary(.) output
rsq.int <- cor(y,x)^2
rsq.noint <- 1-mean((y-noint.lm$fit)^2) / mean(y^2)

Ini menghasilkan output sebagai berikut. Kami mulai dengan model dengan mencegat.

# Include an intercept!
> summary(int.lm)

Call:
lm(formula = y ~ x)

Residuals:
      Min        1Q    Median        3Q       Max
-0.656010 -0.161556 -0.005112  0.178008  0.621790

Coefficients:
            Estimate Std. Error t value Pr(>|t|)
(Intercept)  0.48521    0.02990   16.23   <2e-16 ***
x            0.54239    0.04929   11.00   <2e-16 ***
---
Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1

Residual standard error: 0.2467 on 218 degrees of freedom
Multiple R-squared: 0.3571,     Adjusted R-squared: 0.3541
F-statistic: 121.1 on 1 and 218 DF,  p-value: < 2.2e-16

Lalu, lihat apa yang terjadi ketika kita mengecualikan intersep.

# No intercept!
> summary(noint.lm)

Call:
lm(formula = y ~ x + 0)

Residuals:
     Min       1Q   Median       3Q      Max
-0.62108 -0.08006  0.16295  0.38258  1.02485

Coefficients:
  Estimate Std. Error t value Pr(>|t|)
x  1.20712    0.04066   29.69   <2e-16 ***
---
Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1

Residual standard error: 0.3658 on 219 degrees of freedom
Multiple R-squared: 0.801,      Adjusted R-squared: 0.8001
F-statistic: 881.5 on 1 and 219 DF,  p-value: < 2.2e-16

Di bawah ini adalah plot data dengan model-dengan-intersep dalam warna merah dan model-tanpa-intersep dalam warna biru.

Plot data dengan garis regresi

— kardinal
sumber

Ini sangat spektakuler, +1. Sebuah pertanyaan: sering kali ketika kita ingin mengadili model b / t 2, kami melakukan tes model bersarang, apakah hal ini menghalangi itu, atau apakah masih valid untuk menguji model yang dikurangi tanpa intersep terhadap model penuh dengan itu? ?

— gung

@ungung: Tidak, saya tidak percaya ada sesuatu yang menghalangi kita dari uji- khas . Tes tidak tergantung pada adanya intersep, dan, memang, saya yakin statistik akan bekerja dalam kasus ini menjadi . Ini memberi kita sedikit informasi kuantitatif dalam hal itu, jika memang , maka kita tahu bahwa dengan asumsi, tentu saja, saya sudah melakukan aljabar dengan benar.

F

$F$

F

$F$

F = (n - 2) (\frac{‖ \ y - \ ytilde ‖_{2}^{2}}{‖ \ y - \ yhat ‖_{2}^{2}} - 1)

$F = (n-2) \left(\frac{\|\y - \ytilde\|_2^2}{\|\y - \yhat\|_2^2} - 1 \right)$

R_{0}^{2} > R_{1}^{2}

$R_0^2 > R_1^2$

F < (n - 2) \frac{{\bar{y}}^{2}}{n^{- 1} ‖ \ y - \bar{y} \satu ‖_{2}^{2}},

$F < (n-2) \frac{\bar y^2}{n^{-1} \|\y - \bar y \one\|_2^2} \>,$

— kardinal

Saya lebih suka ungkapan

R_{0}^{2} = \frac{‖ \tilde{Y} ‖^{2}}{‖ Y ‖^{2}}

$R_0^2=\frac{\Vert \tilde Y \Vert^2}{\Vert Y \Vert^2}$

— Stéphane Laurent

@ naught101: Saya tidak akan mengatakan itu lebih benar, tetapi itu adalah sudut pandang yang sama masuk akal, secara umum. Untuk penjelasan ini, akan lebih mudah untuk menganggapnya sebagai absen dalam arti bahwa kita akhirnya tertarik pada hubungan antara ruang bagian dan . Perbedaan antara keduanya adalah ada, atau tidak adanya, dari vektor dasar .

S_{1}

$S_1$

S_{0}

$S_0$

1

$\mathbf 1$

— kardinal

Saya melewatkan sesuatu. Apakah yang dilakukan R, benar ? Maksud saya adalah nilai R ^ 2 yang dilaporkan, bahkan sebanding antara dengan dan tanpa kasus intersep?

— Andy Clifton

Saya akan mendasarkan keputusan saya pada kriteria informasi seperti kriteria Akaike atau Bayes-Schwarz daripada R ^ 2; bahkan saat itu saya tidak akan melihat ini sebagai absolut.

Jika Anda memiliki proses di mana kemiringan mendekati nol dan semua data jauh dari asal, R ^ 2 Anda yang benar harus rendah karena sebagian besar variasi dalam data akan disebabkan oleh noise. Jika Anda mencoba menyesuaikan data seperti itu dengan model tanpa intersep, Anda akan menghasilkan istilah slope yang besar dan salah dan kemungkinan besar akan terlihat lebih baik jika versi intersep gratis digunakan.

Grafik berikut menunjukkan apa yang terjadi dalam kasus ekstrem ini. Di sini proses menghasilkan adalah bahwa x = 100.100,1, .... dan y hanya 100 + noise acak dengan rata-rata 0 dan standar deviasi .1. Poinnya adalah lingkaran hitam, pas tanpa intersep adalah garis biru dan pas dengan intersep (zeroing out the slope) adalah garis merah:

[Maaf itu tidak akan membiarkan saya memposting grafik; jalankan R-code di bawah ini untuk menghasilkannya. Ini menunjukkan asal di sudut kiri bawah, sekelompok titik di sudut kanan atas. Fit no-intercept yang buruk beralih dari kiri bawah ke kanan atas dan fit yang benar adalah garis yang sejajar dengan sumbu x]

Model yang benar untuk ini harus memiliki R ^ 2 nol --- menjadi konstan plus noise acak. R akan memberi Anda dan R ^ 2 dari 0,99 untuk cocok tanpa intersep. Ini tidak akan menjadi masalah banyak jika Anda hanya menggunakan model untuk prediksi dengan nilai-x dalam rentang data pelatihan, tetapi akan gagal total jika x pergi di luar kisaran sempit rangkaian pelatihan atau Anda mencoba untuk mendapatkan wawasan sejati melampaui prediksi.

AIC dengan benar menunjukkan bahwa model dengan intersep lebih disukai. Kode R untuk ini adalah:

 Nsamp=100
x=seq(1,100,1)*.1+100 # x=101.1,101.2,....
y=rnorm(n=length(x))+100 # random noise +100 (best model is constant)

model_withint=lm(y~x)
print(summary(model_withint))
flush.console()
model_noint=lm(y~x+0) 
print(summary(model_noint))
print (AIC(model_withint))
print(sprintf ('without intercept  AIC=%f',AIC(model_noint)))
print(sprintf ('with intercept  AIC=%f',AIC(model_withint)))
print(sprintf ('constant model  AIC=%f',AIC(lm(y~1))))
plot(x,y,ylim=c(0,105),xlim=c(0,105))
lines( c(0,105),c(0,105)*model_noint$coefficients['x'],col=c('blue'))
lines( c(0,105),c(1,1)*(lm(y~1)$coefficients['(Intercept)']),col=c('red'))

Output AIC adalah

   "without intercept  AIC=513.549626"
    "with intercept  AIC=288.112573"
    "constant model  AIC=289.411682"

Perhatikan bahwa AIC masih mendapatkan model yang salah dalam kasus ini, karena model sebenarnya adalah model konstan; tetapi angka acak lainnya akan menghasilkan data yang AIC terendah untuk model konstan. Perhatikan bahwa jika Anda membuang kemiringan, Anda harus memasang kembali model tanpanya, jangan mencoba menggunakan intersep dari model dan mengabaikan kemiringan.

— Jonathan Harris
sumber