Apa rumus y ~ x + 0 dalam R sebenarnya menghitung?

Apa perbedaan statistik antara melakukan regresi linier dalam R dengan formulahimpunan y ~ x + 0bukan y ~ x? Bagaimana cara saya menafsirkan dua hasil yang berbeda itu?

multiple-regression generalized-linear-model intercept

— JimBoy
sumber

Jawaban:

Menambahkan +0(atau -1) ke formula model (misalnya, dalam lm()) di R menekan intersep. Ini umumnya dianggap hal buruk untuk dilakukan; Lihat:

Estimasi kemiringan dihitung secara berbeda tergantung pada apakah intersep diestimasi juga, yaitu:

\begin{aligned} (with intercept) & {\hat{β}}_{1} & = \frac{\sum x_{i} y_{i} - \frac{(\sum x_{i}) (\sum y_{i})}{N}}{\sum x_{i}^{2} - \frac{(\sum x_{i})^{2}}{N}} \\ (without intercept) & {\hat{β}}_{1} & = \frac{\sum x_{i} y_{i}}{\sum x_{i}^{2}} \end{aligned}

$\begin{align} \hat\beta_1 &= \frac{\sum x_iy_i - \frac{\big(\sum x_i\big)\big(\sum y_i\big)}{N}}{\sum x_i^2 - \frac{\big(\sum x_i\big)^2}{N}} \tag{with intercept} \\[15pt] \hat\beta_1 &= \frac{\sum x_iy_i}{\sum x_i^2} \tag{without intercept} \end{align}$

$0$

$R^2$

Berikut adalah rumus yang mendasari:

\begin{aligned} (with intercept) & R^{2} & = 1 - \frac{\sum (y_{i} - {\hat{y}}_{i})^{2}}{\sum (y_{i} - \bar{y})^{2}} \\ (without intercept) & R^{2} & = 1 - \frac{\sum (y_{i} - {\hat{y}}_{i})^{2}}{\sum y_{i}^{2}} \end{aligned}

$\begin{align} R^2 &= 1 - \frac{\sum (y_i - \hat y_i)^2}{\sum (y_i - \bar y)^2} \tag{with intercept} \\[15pt] R^2 &= 1 - \frac{\sum (y_i - \hat y_i)^2}{\sum y_i^2} \tag{without intercept} \end{align}$

— gung - Pasang kembali Monica
sumber

Terima kasih, gung! Jika saya menekan Intercept, multi-kuadrat saya membaik, tiba-tiba. Bisakah Anda membantu saya di sini?

— JimBoy

Tidak ada cara yang disepakati untuk menghitung r kuadrat tanpa intersep. R kuadrat tidak memiliki interpretasi yang biasa. Melakukan regresi tanpa intersep hampir selalu merupakan ide yang SANGAT buruk

— Repmat

@Repmat: lihat juga stats.stackexchange.com/questions/171240/...

@ JimBoy: lihat stats.stackexchange.com/questions/171240/...

Itu tergantung pada konteks (tentu saja), dalam lm(...)perintah di R itu akan menekan intersep. Artinya, Anda melakukan regresi melalui asalnya.

Perhatikan bahwa sebagian besar buku teks tentang masalah regresi, akan memberi tahu Anda bahwa pemaksaan intersep (ke nilai apa pun) adalah ide yang buruk.

Interpretasi x tidak berubah, tetapi nilainya (membandingkan dengan dan tanpa intersep) akan berubah, terkadang sangat signifikan.

— Repmat
sumber

Terima kasih, Repmat! Saya mendapatkan perkiraan yang sangat berbeda jika saya menekan intersep dibandingkan dengan ketika saya tidak melakukannya. Selain itu, semua uji-t menjadi sangat signifikan. Apakah Anda tahu mengapa ini terjadi?

— JimBoy

Intersep akan menyerap variabel tidak berarti 0 yang tidak terkandung dalam model. Dengan intersep hilang, varians harus pergi ke suatu tempat. Inilah sebabnya mengapa kebanyakan buku, sebagai aturan umum, menyatakan bahwa regresi tanpa intersep selalu salah. Artinya, OLS selalu bias dan konsisten dalam kasus ini (dengan beberapa pengecualian).

— Repmat