Pengaruh switching switching dan variabel penjelas dalam regresi linier sederhana

48

Katakanlah ada hubungan "benar" antara dan sedemikian rupa sehingga , di mana dan adalah konstanta dan adalah noise normal. Ketika saya secara acak menghasilkan data dari kode R: dan kemudian cocok dengan model seperti , saya jelas mendapatkan perkiraan yang cukup baik untuk dan . $y$ $x$ $y = ax + b + \epsilon$ $a$ $b$ $\epsilon$ x <- 1:100; y <- ax + b + rnorm(length(x))y ~ x $a$ $b$

Jika saya mengganti peran variabel seperti pada (x ~ y), bagaimanapun, dan kemudian menulis ulang hasil untuk menjadi fungsi , kemiringan yang dihasilkan selalu lebih curam (baik lebih negatif atau lebih positif) daripada yang diperkirakan oleh regresi. Saya mencoba memahami persis mengapa itu dan akan menghargainya jika ada yang bisa memberi saya intuisi tentang apa yang terjadi di sana. $y$ $x$ y ~ x

regression

— Greg Aponte
sumber

1

Itu tidak benar secara umum. Mungkin Anda hanya melihatnya di data Anda. Rekatkan kode ini: y = rnorm (10); x = rnorm (10); lm (y ~ x); lm (x ~ y); ke R beberapa kali dan Anda akan menemukan itu berjalan dua arah.

— Makro

Itu sedikit berbeda dari apa yang saya gambarkan. Dalam contoh Anda, y sama sekali bukan fungsi x, jadi sebenarnya tidak ada "kemiringan" ('a' dalam contoh saya).

— Greg Aponte

lm (y ~ x) cocok dengan model dengan kuadrat terkecil (setara dengan estimasi ML ketika kesalahan adalah normal). Ada kemiringan.

y = β_{0} + β_{1} x + ε

$y = \beta_{0} + \beta_{1}x + \varepsilon$

— Makro

2

Pertanyaan Anda ditanyakan dan dijawab (semacam) di stats.stackexchange.com/questions/13126 dan stats.stackexchange.com/questions/18434 . Namun, saya percaya belum ada yang memberikan kontribusi penjelasan yang sederhana dan jelas tentang hubungan antara (a) regresi vs , (b) regresi vs , (c) analisis korelasi dan , (d) regresi kesalahan-dalam-variabel dan , dan (e) pas distribusi normal bivariat ke . Ini akan menjadi tempat yang bagus untuk eksposisi seperti itu :-).

Y

$Y$

X

$X$

X

$X$

Y

$Y$

X

$X$

Y

$Y$

X

$X$

Y

$Y$

(X, Y)

$(X,Y)$

— whuber

2

Tentu saja Makro benar: karena x dan y memainkan peran yang setara dalam pertanyaan, kemiringan mana yang lebih ekstrem adalah masalah kesempatan. Namun, geometri menyarankan (secara tidak benar) bahwa ketika kita membalikkan x dan y dalam regresi, kita harus mendapatkan timbal balik dari kemiringan asli. Itu tidak pernah terjadi kecuali ketika x dan y secara linear bergantung. Pertanyaan ini dapat diartikan sebagai bertanya mengapa.

— whuber

23

Diberikan titik data , dalam pesawat, mari kita menggambar garis lurus . Jika kita memperkirakan sebagai nilai dari , maka kesalahannya adalah , kesalahan adalah , dan total kuadrat kesalahan . Kami bertanya $n$ $(x_i,y_i), i = 1,2,\ldots n$ $y = ax+b$ $ax_i+b$ $\hat{y}_i$ $y_i$ $(y_i-\hat{y}_i) = (y_i-ax_i-b)$ $(y_i-ax_i-b)^2$ $\sum_{i=1}^n (y_i-ax_i-b)^2$

Pilihan dan meminimalkan ? $a$ $b$ $S =\displaystyle\sum_{i=1}^n (y_i-ax_i-b)^2$

Karena adalah jarak vertikal dari garis lurus, kami meminta garis sedemikian sehingga jumlah kuadrat dari jarak vertikal titik-titik dari garis adalah sekecil mungkin. Sekarang adalah fungsi kuadratik dari dan dan mencapai nilai minimumnya ketika dan sedemikian rupa sehingga Dari persamaan kedua, kita mendapatkan dimana $(y_i-ax_i-b)$ $(x_i,y_i)$ $S$ $a$ $b$ $a$ $b$

\begin{aligned} \frac{\partial S}{\partial a} & = 2 \sum_{i = 1}^{n} (y_{i} - a x_{i} - b) (- x_{i}) & = 0 \\ \frac{\partial S}{\partial b} & = 2 \sum_{i = 1}^{n} (y_{i} - a x_{i} - b) (- 1) & = 0 \end{aligned}

$\begin{align*} \frac{\partial S}{\partial a} &= 2\sum_{i=1}^n (y_i-ax_i-b)(-x_i) &= 0\\ \frac{\partial S}{\partial b} &= 2\sum_{i=1}^n (y_i-ax_i-b)(-1) &= 0 \end{align*}$

b = \frac{1}{n} \sum_{i = 1}^{n} (y_{i} - a x_{i}) = μ_{y} - a μ_{x}

$b = \frac{1}{n}\sum_{i=1}^n (y_i - ax_i) = \mu_y - a\mu_x$

μ_{y} = \frac{1}{n} \sum_{i = 1}^{n} y_{i}, μ_{x} = \frac{1}{n} \sum_{i = 1}^{n} x_{i}

$\displaystyle \mu_y = \frac{1}{n}\sum_{i=1}^n y_i, ~ \mu_x = \frac{1}{n}\sum_{i=1}^n x_i$ adalah rata-rata aritmatika nilai masing-masing dan . Mengganti ke dalam persamaan pertama, kita mendapatkan Dengan demikian, garis yang meminimalkan dapat dinyatakan sebagai dan nilai minimum adalah

y_{i}

$y_i$

x_{i}

$x_i$

a = \frac{(\frac{1}{n} \sum_{i = 1}^{n} x_{i} y_{i}) - μ_{x} μ_{y}}{(\frac{1}{n} \sum_{i = 1}^{n} x_{i}^{2}) - μ_{x}^{2}} .

$a = \frac{\left(\frac{1}{n}\sum_{i=1}^n x_iy_i\right) -\mu_x\mu_y}{ \left( \frac{1}{n}\sum_{i=1}^n x_i^2\right) -\mu_x^2}.$

S

$S$

y = a x + b = μ_{y} + (\frac{(\frac{1}{n} \sum_{i = 1}^{n} x_{i} y_{i}) - μ_{x} μ_{y}}{(\frac{1}{n} \sum_{i = 1}^{n} x_{i}^{2}) - μ_{x}^{2}}) (x - μ_{x}),

$y = ax+b = \mu_y + \left(\frac{\left(\frac{1}{n}\sum_{i=1}^n x_iy_i\right) -\mu_x\mu_y}{ \left( \frac{1}{n}\sum_{i=1}^n x_i^2\right) -\mu_x^2}\right) (x - \mu_x),$

S

$S$

S_{min} = \frac{[(\frac{1}{n} \sum_{i = 1}^{n} y_{i}^{2}) - μ_{y}^{2}] [(\frac{1}{n} \sum_{i = 1}^{n} x_{i}^{2}) - μ_{x}^{2}] - {[(\frac{1}{n} \sum_{i = 1}^{n} x_{i} y_{i}) - μ_{x} μ_{y}]}^{2}}{(\frac{1}{n} \sum_{i = 1}^{n} x_{i}^{2}) - μ_{x}^{2}} .

$S_{\min} = \frac{\left[\left(\frac{1}{n}\sum_{i=1}^n y_i^2\right) -\mu_y^2\right] \left[\left(\frac{1}{n}\sum_{i=1}^n x_i^2\right) -\mu_x^2\right] - \left[\left(\frac{1}{n}\sum_{i=1}^n x_iy_i\right) -\mu_x\mu_y\right]^2}{\left(\frac{1}{n}\sum_{i=1}^n x_i^2\right) -\mu_x^2}.$

Jika kita menukar peran dan , buat garis , dan minta nilai dan yang meminimalkan yaitu, kita ingin garis sedemikian rupa sehingga jumlah kuadrat dari jarak horizontal dari titik-titik dari garis sekecil mungkin, maka kita dapatkan $x$ $y$ $x = \hat{a}y + \hat{b}$ $\hat{a}$ $\hat{b}$

T = \sum_{i = 1}^{n} (x_{i} - \hat{a} y_{i} - \hat{b})^{2},

$T = \sum_{i=1}^n (x_i - \hat{a}y_i - \hat{b})^2,$

x = \hat{a} y + \hat{b} = μ_{x} + (\frac{(\frac{1}{n} \sum_{i = 1}^{n} x_{i} y_{i}) - μ_{x} μ_{y}}{(\frac{1}{n} \sum_{i = 1}^{n} y_{i}^{2}) - μ_{y}^{2}}) (y - μ_{y})

$x = \hat{a}y+\hat{b} = \mu_x + \left(\frac{\left(\frac{1}{n}\sum_{i=1}^n x_iy_i\right) -\mu_x\mu_y}{ \left( \frac{1}{n}\sum_{i=1}^n y_i^2\right) -\mu_y^2}\right) (y - \mu_y)$ dan nilai minimum dari adalah

T

$T$

T_{min} = \frac{[(\frac{1}{n} \sum_{i = 1}^{n} y_{i}^{2}) - μ_{y}^{2}] [(\frac{1}{n} \sum_{i = 1}^{n} x_{i}^{2}) - μ_{x}^{2}] - {[(\frac{1}{n} \sum_{i = 1}^{n} x_{i} y_{i}) - μ_{x} μ_{y}]}^{2}}{(\frac{1}{n} \sum_{i = 1}^{n} y_{i}^{2}) - μ_{y}^{2}} .

$T_{\min} = \frac{\left[\left(\frac{1}{n}\sum_{i=1}^n y_i^2\right) -\mu_y^2\right] \left[\left(\frac{1}{n}\sum_{i=1}^n x_i^2\right) -\mu_x^2\right] - \left[\left(\frac{1}{n}\sum_{i=1}^n x_iy_i\right) -\mu_x\mu_y\right]^2}{\left(\frac{1}{n}\sum_{i=1}^n y_i^2\right) -\mu_y^2}.$

Perhatikan bahwa kedua garis melewati titik tetapi lerengnya adalah berbeda secara umum. Memang, seperti yang ditunjukkan @whuber dalam komentar, kemiringannya sama ketika semua poin terletak pada garis lurus yang sama. Untuk melihat ini, perhatikan bahwa $(\mu_x,\mu_y)$

a = \frac{(\frac{1}{n} \sum_{i = 1}^{n} x_{i} y_{i}) - μ_{x} μ_{y}}{(\frac{1}{n} \sum_{i = 1}^{n} x_{i}^{2}) - μ_{x}^{2}}, {\hat{a}}^{- 1} = \frac{(\frac{1}{n} \sum_{i = 1}^{n} y_{i}^{2}) - μ_{y}^{2}}{(\frac{1}{n} \sum_{i = 1}^{n} x_{i} y_{i}) - μ_{x} μ_{y}}

$a = \frac{\left(\frac{1}{n}\sum_{i=1}^n x_iy_i\right) -\mu_x\mu_y}{ \left( \frac{1}{n}\sum_{i=1}^n x_i^2\right) -\mu_x^2},~~ \hat{a}^{-1} = \frac{ \left( \frac{1}{n}\sum_{i=1}^n y_i^2\right) -\mu_y^2}{\left(\frac{1}{n}\sum_{i=1}^n x_iy_i\right) -\mu_x\mu_y}$

(x_{i}, y_{i})

$(x_i,y_i)$

{\hat{a}}^{- 1} - a = \frac{S_{min}}{(\frac{1}{n} \sum_{i = 1}^{n} x_{i} y_{i}) - μ_{x} μ_{y}} = 0 \Rightarrow S_{min} = 0 \Rightarrow y_{i} = a x_{i} + b, i = 1, 2, \dots, n .

$\hat{a}^{-1} - a = \frac{S_{\min}}{\left(\frac{1}{n}\sum_{i=1}^n x_iy_i\right) -\mu_x\mu_y} = 0 \Rightarrow S_{\min} = 0 \Rightarrow y_i=ax_i+b, i=1,2,\ldots, n.$

— Dilip Sarwate
sumber

Terima kasih! abs (korelasi) <1 menjelaskan mengapa kemiringan secara sistematis lebih curam dalam kasus terbalik.

— Greg Aponte

(+1) tetapi saya menambahkan jawaban hanya dengan ilustrasi apa yang baru saja Anda katakan, karena saya memiliki pikiran geometris :)

— Elvis

Balasan kelas (+1)

— Digio

39

Hanya untuk menggambarkan jawaban Dilip: pada gambar berikut,

titik hitam adalah titik data;
di sebelah kiri, garis hitam adalah garis regresi yang diperoleh y ~ x, yang meminimalkan kuadrat dari panjang segmen merah;
di sebelah kanan, garis hitam adalah garis regresi yang diperoleh x ~ y, yang meminimalkan kuadrat dari panjang segmen merah.

garis regresi

Edit (paling tidak regresi segi empat)

Jika tidak ada cara alami untuk memilih "respons" dan "kovariat", tetapi kedua variabel tersebut saling tergantung, Anda mungkin ingin melestarikan peran simetris untuk dan ; dalam hal ini Anda dapat menggunakan "regresi paling tidak persegi panjang." $y$ $x$

tulis , seperti biasa; $Y = aX + b + \epsilon$
menunjukkan dan estimasi bersyarat ke dan bersyarat ke ; $\hat y_i = a x_i + b$ $\hat x_i = {1\over a} (y_i - b)$ $Y_i$ $X = x_i$ $X_i$ $Y = y_i$
kecilkan, yang mengarah ke $\sum_i | x_i - \hat x_i | \cdot | y_i - \hat y_i|$ $\hat{y} = s i g n (c o v (x, y)) \frac{{\hat{σ}}_{y}}{{\hat{σ}}_{x}} (x - \bar{x}) + \bar{y} .$ $\hat y = \mathrm{sign}\left(\mathrm{cov}(x,y)\right){\hat\sigma_y \over \hat\sigma_x} (x-\overline x) + \overline y.$

Berikut ini adalah ilustrasi dengan titik data yang sama, untuk setiap titik, "persegi panjang" dihitung sebagai produk dari panjang dua segmen merah, dan jumlah persegi panjang diminimalkan. Saya tidak tahu banyak tentang properti regresi ini dan saya tidak menemukan banyak hal dengan google.

paling tidak persegi panjang

— Elvis
sumber

14

Beberapa catatan: ( 1 ) Kecuali saya salah, tampaknya "regresi paling tidak persegi panjang" setara dengan solusi yang diperoleh dari mengambil komponen utama pertama pada matriks setelah pemusatan dan melakukan rescaling untuk memiliki varian unit dan kemudian mensubstitusi kembali. (lanjutan)

X = (y, x)

$\mathbf X = (\mathbf y, \mathbf x)$

— kardinal

14

(lanjutan) ( 2 ) Dilihat dengan cara ini, mudah untuk melihat bahwa "regresi kuadrat terkecil " ini setara dengan bentuk kuadrat terkecil ortogonal (atau total) dan, dengan demikian, ( 3 ) Kasus khusus dari regresi Deming pada vektor terpusat, yang diperbesar ulang mengambil . Kuadrat terkecil orthogonal dapat dianggap sebagai "regresi paling tidak lingkaran".

δ = 1

$\delta = 1$

— kardinal

2

@ cardinal Komentar yang sangat menarik! (+1) Saya percaya sumbu utama (meminimalkan jarak tegak lurus antara garis reg. Dan semua titik, à la PCA) atau mengurangi regresi sumbu utama , atau regresi tipe II seperti yang dicontohkan dalam paket lmodel2 R oleh P Legendre, juga relevan di sini karena teknik-teknik tersebut digunakan ketika sulit untuk mengatakan apa peran (respon atau prediktor) yang memainkan setiap variabel atau ketika kita ingin menjelaskan kesalahan pengukuran.

— chl

1

@ chl: (+1) Ya, saya yakin Anda benar dan halaman Wikipedia tentang kuadrat total mencantumkan beberapa nama lain untuk prosedur yang sama, tidak semuanya saya kenal. Tampaknya kembali ke setidaknya R. Frisch, analisis pertemuan statistik dengan menggunakan sistem regresi lengkap , Universitet Økonomiske Instituut, 1934 di mana ia disebut regresi diagonal .

— kardinal

3

@ cardinal Saya seharusnya lebih berhati-hati ketika membaca entri Wikipedia ... Untuk referensi di masa mendatang, berikut adalah gambar yang diambil dari Desain dan Analisis Biostatistik Menggunakan R , oleh M. Logan (Wiley, 2010; Gambar 8.4, hal. 174) , yang merangkum pendekatan yang berbeda, sangat mirip dengan ilustrasi bagus Elvis.

— chl

13

Hanya catatan singkat tentang mengapa Anda melihat kemiringan lebih kecil untuk satu regresi. Kedua lereng bergantung pada tiga angka: standar deviasi dan ( dan ), dan korelasi antara dan ( ). Regresi dengan sebagai respons memiliki kemiringan dan regresi dengan sebagai respons memiliki kemiringan , karenanya rasio kemiringan pertama dengan kebalikan dari yang kedua sama dengan . $x$ $y$ $s_{x}$ $s_{y}$ $x$ $y$ $r$ $y$ $r\frac{s_{y}}{s_{x}}$ $x$ $r\frac{s_{x}}{s_{y}}$ $r^2\leq 1$

Jadi semakin besar proporsi varians yang dijelaskan, semakin dekat lereng yang diperoleh dari setiap kasus. Perhatikan bahwa proporsi varian yang dijelaskan adalah simetris dan sama dengan korelasi kuadrat dalam regresi linier sederhana.

— probabilityislogic
sumber

1

Cara sederhana untuk melihatnya adalah dengan mencatat bahwa, jika untuk model sebenarnya , Anda menjalankan dua regresi: $y=\alpha+\beta x+\epsilon$

$y=a_{y\sim x}+b_{y\sim x} x$
$x=a_{x\sim y}+b_{x\sim y} y$

Kemudian kita miliki, menggunakan : $b_{y\sim x}=\frac{cov(x,y)}{var(x)}=\frac{cov(x,y)}{var(y)}\frac{var(y)}{var(x)}$

b_{y \sim x} = b_{x \sim y} \frac{v a r (y)}{v a r (x)}

$b_{y\sim x}=b_{x\sim y}\frac{var(y)}{var(x)}$

Jadi, apakah Anda mendapatkan kemiringan yang lebih curam atau tidak, hanya tergantung pada rasio . Rasio ini sama dengan, berdasarkan pada asumsi model yang benar: $\frac{var(y)}{var(x)}$

\frac{v a r (y)}{v a r (x)} = \frac{β^{2} v a r (x) + v a r (ϵ)}{v a r (x)}

$\frac{var(y)}{var(x)}=\frac{\beta^2 var(x) + var(\epsilon)}{var(x)}$

Tautkan dengan jawaban lain

Anda dapat menghubungkan hasil ini dengan jawaban dari orang lain, yang mengatakan bahwa ketika , itu harus timbal balik. Memang, , dan juga, (tidak ada kesalahan estimasi), Oleh karena itu: $R^2=1$ $R^2=1\Rightarrow var(\epsilon) = 0$ $b_{y\sim x}=\beta$

R^{2} = 1 \Rightarrow b_{y \sim x} = b_{x \sim y} \frac{β^{2} v a r (x) + 0}{v a r (x)} = b_{x \sim y} β^{2}

$R^2=1\Rightarrow b_{y\sim x}=b_{x\sim y}\frac{\beta^2 var(x) + 0}{var(x)}=b_{x\sim y}\beta^2$

Jadi $b_{x\sim y}=1/\beta$

— Matifou
sumber

0

Ini menjadi menarik ketika ada juga noise pada input Anda (yang kami dapat berargumentasi selalu demikian, tidak ada perintah atau pengamatan yang sempurna).

Saya telah membangun beberapa simulasi untuk mengamati fenomena tersebut, berdasarkan pada hubungan linear sederhana , dengan noise Gaussian pada kedua x dan y. Saya menghasilkan pengamatan sebagai berikut (kode python): $x = y$

x = np.linspace(0, 1, n)
y = x

x_o = x + np.random.normal(0, 0.2, n)
y_o = y + np.random.normal(0, 0.2, n)

Lihat hasil yang berbeda (odr di sini adalah regresi jarak orthogonal , yaitu sama dengan regresi kuadrat terkecil):

Semua kode ada di sana:

https://gist.github.com/jclevesque/5273ad9077d9ea93994f6d96c20b0ddd

— levesque
sumber

0

Garis regresi tidak (selalu) sama dengan hubungan yang sebenarnya

Anda mungkin memiliki beberapa hubungan kausal yang 'benar' seperti

y = a + b x + ϵ

$y = a + bx + \epsilon$

tetapi cocok garis regresi y ~ xatau x ~ ytidak berarti sama dengan hubungan sebab akibat (bahkan ketika dalam prakteknya ekspresi untuk salah satu dari garis regresi dapat bertepatan dengan ungkapan untuk hubungan 'benar' sebab-akibat)

Hubungan yang lebih tepat antara lereng

Untuk dua regresi linear sederhana yang diaktifkan:

Y = a_{1} + b_{1} X X = a_{2} + b_{2} Y

$Y = a_1 + b_1 X\\X = a_2 + b_2 Y$

Anda dapat menghubungkan lereng sebagai berikut:

b_{1} = ρ^{2} \frac{1}{b_{2}} \leq \frac{1}{b_{2}}

$b_1 = \rho^2 \frac{1}{b_2} \leq \frac{1}{b_2}$

Jadi lereng tidak saling terbalik.

Intuisi

Alasannya adalah itu

Garis-garis regresi dan korelasi tidak harus sesuai satu-ke-satu dengan hubungan sebab akibat.
Garis regresi berhubungan lebih langsung dengan probabilitas bersyarat atau prediksi terbaik.

Anda dapat membayangkan bahwa probabilitas bersyarat berhubungan dengan kekuatan hubungan. Garis-garis regresi mencerminkan hal ini dan kemiringan garis-garisnya mungkin dangkal ketika kekuatan hubungan itu kecil atau keduanya curam ketika kekuatan hubungan itu kuat. Lereng tidak saling terbalik satu sama lain.

Contoh

Jika dua variabel dan saling berhubungan dengan beberapa hubungan linear (kausal) Maka Anda dapat membayangkan bahwa tidak baik untuk membalikkan sepenuhnya hubungan itu jika Anda ingin mengekspresikan berdasarkan nilai diberikan . $X$ $Y$

Y = a little bit of X + a lot of error

$Y = \text{a little bit of $X + $ a lot of error}$

X

$X$

Y

$Y$

Dari pada

X = a lot of Y + a little of error

$X = \text{a lot of $Y + $ a little of error}$

akan lebih baik juga digunakan

X = a little bit of Y + a lot of error

$X = \text{a little bit of $Y + $ a lot of error}$

Lihat contoh distribusi berikut dengan garis regresi masing-masing. Distribusi multivarian normal dengan dan $\Sigma_{11} \Sigma_{22}=1$ $\Sigma_{12} = \Sigma_{21} = \rho$

Nilai-nilai yang diharapkan bersyarat (apa yang akan Anda dapatkan dalam regresi linier) adalah

\begin{matrix} E (Y | X) & = & ρ X \\ E (X | Y) & = & ρ Y \end{matrix}

$\begin{array}{} E(Y|X) &=& \rho X \\ E(X|Y) &=& \rho Y \end{array}$

dan dalam hal ini dengan distribusi normal multivariat, maka distribusi marginal adalah $X,Y$

\begin{matrix} Y & \sim & N (ρ X, 1 - ρ^{2}) \\ X & \sim & N (ρ Y, 1 - ρ^{2}) \end{matrix}

$\begin{array}{} Y & \sim & N(\rho X,1-\rho^2) \\ X & \sim & N(\rho Y,1-\rho^2) \end{array}$

Jadi, Anda dapat melihat variabel Y sebagai bagian dan noise bagian dengan varian . Hal yang sama berlaku sebaliknya. $\rho X$ $1-\rho^2$

Semakin besar koefisien korelasi , semakin dekat dua baris akan. Tetapi semakin rendah korelasinya, semakin kuat hubungannya, semakin sedikit garis yang curam (ini berlaku untuk kedua jalur dan ) $\rho$ Y ~ XX ~ Y

— Sextus Empiricus
sumber

0

Jawaban singkatnya

Tujuan dari regresi linier sederhana adalah untuk menghasilkan prediksi terbaik dari yvariabel, mengingat nilai-nilai xvariabel. Ini adalah tujuan yang berbeda dari mencoba untuk menghasilkan prediksi terbaik dari xvariabel, mengingat nilai-nilai yvariabel.

Regresi linier sederhana y ~ xmemberi Anda model 'terbaik' untuk memprediksi yang ydiberikan x. Oleh karena itu, jika Anda cocok dengan model untuk x ~ ydan membalikkannya secara aljabar, model itu hanya bisa melakukan yang terbaik seperti halnya model itu y ~ x. Tetapi membalik model yang cocok untuk x ~ ybiasanya akan lebih buruk dalam memprediksi ydiberikan x, dibandingkan dengan model 'optimal' y ~ x, karena " x ~ ymodel terbalik " diciptakan untuk memenuhi tujuan yang berbeda.

Ilustrasi

Bayangkan Anda memiliki dataset berikut:

Saat Anda menjalankan regresi OLS y ~ x, Anda menemukan model berikut

y = 0.167 + 1.5*x

Ini mengoptimalkan prediksi ydengan membuat prediksi berikut, yang memiliki kesalahan terkait:

Prediksi regresi OLS optimal dalam arti bahwa jumlah nilai-nilai di kolom paling kanan (yaitu jumlah kuadrat) sekecil mungkin.

Saat Anda menjalankan regresi OLS x ~ y, Anda menghasilkan model yang berbeda:

x = -0.07 + 0.64*y

Ini mengoptimalkan prediksi x dengan membuat prediksi berikut, dengan kesalahan yang terkait.

Sekali lagi, ini optimal dalam arti bahwa jumlah nilai kolom paling kanan adalah sekecil mungkin (sama dengan 0.071).

Sekarang, bayangkan Anda mencoba membalikkan model pertama y = 0.167 + 1.5*x, menggunakan aljabar, memberi Anda model x = -0.11 + 0.67*x.

Ini akan memberi Anda prediksi berikut dan kesalahan terkait:

Jumlah nilai dalam kolom paling kanan adalah 0.074, yang lebih besar dari jumlah yang sesuai dari model yang Anda dapatkan dari kemunduran x pada y, yaitu x ~ ymodel. Dengan kata lain, " y ~ xmodel terbalik " melakukan pekerjaan yang lebih buruk dalam memprediksi x daripada model OLS x ~ y.

— bschneidr
sumber