Regresi berganda atau koefisien korelasi parsial? Dan hubungan keduanya

Saya bahkan tidak tahu apakah pertanyaan ini masuk akal, tetapi apa perbedaan antara regresi berganda dan korelasi parsial (terlepas dari perbedaan yang jelas antara korelasi dan regresi, yang bukan tujuan saya)?

Saya ingin mencari tahu yang berikut:
Saya memiliki dua variabel independen ( $x_1$ , $x_2$ ) dan satu variabel dependen ( $y$ ). Sekarang secara individual variabel independen tidak berkorelasi dengan variabel dependen. Tetapi untuk yang diberikan $x_1$ $y$ berkurang ketika $x_2$ berkurang. Jadi, apakah saya menganalisisnya melalui regresi berganda atau korelasi parsial ?

sunting untuk semoga meningkatkan pertanyaan saya: Saya mencoba memahami perbedaan antara regresi berganda dan korelasi parsial. Jadi, ketika $y$ menurun untuk diberikan $x_1$ ketika $x_2$ menurun, apakah itu karena efek gabungan dari $x_1$ dan $x_2$ pada $y$ (regresi berganda) atau apakah karena menghilangkan efek $x_1$ (korelasi parsial)?

multiple-regression regression-coefficients partial-correlation

— pengguna34927
sumber

Apa pertanyaan substantif yang Anda coba jawab?

— gung - Reinstate Monica

Lihat juga stats.stackexchange.com/q/50156/3277 pertanyaan yang sangat mirip .

— ttnphns

Koefisien regresi linier berganda dan korelasi parsial terkait langsung dan memiliki signifikansi yang sama (nilai-p). Parsial r hanyalah cara lain untuk membakukan koefisien, bersama dengan koefisien beta (koefisien regresi terstandarisasi) . Jadi, jika variabel dependen adalah dan independen adalah dan maka $^1$ $y$ $x_1$ $x_2$

Beta: β_{x_{1}} = \frac{r_{y x_{1}} - r_{y x_{2}} r_{x_{1} x_{2}}}{1 - r_{x_{1} x_{2}}^{2}}

$\text{Beta:} \quad \beta_{x_1} = \frac{r_{yx_1} - r_{yx_2}r_{x_1x_2} }{1-r_{x_1x_2}^2}$

Partial r: r_{y x_{1} . x_{2}} = \frac{r_{y x_{1}} - r_{y x_{2}} r_{x_{1} x_{2}}}{\sqrt{(1 - r_{y x_{2}}^{2}) (1 - r_{x_{1} x_{2}}^{2})}}

$\text{Partial r:} \quad r_{yx_1.x_2} = \frac{r_{yx_1} - r_{yx_2}r_{x_1x_2} }{\sqrt{ (1-r_{yx_2}^2)(1-r_{x_1x_2}^2) }}$

Anda melihat bahwa pembilang sama yang memberitahu bahwa kedua rumus mengukur efek unik yang sama dari . Saya akan mencoba menjelaskan bagaimana kedua formula itu identik secara struktural dan bagaimana keduanya tidak. $x_1$

Misalkan Anda memiliki z-standar (rata-rata 0, varian 1) ketiga variabel. Pembilang maka sama dengan kovarians antara dua jenis residual : (a) residual yang tersisa dalam memprediksi oleh [kedua variabel standar] dan (b) residual yang tersisa dalam memprediksi dengan [kedua variabel standar] . Selain itu, varian residu (a) adalah ; varians residu (b) adalah . $y$ $x_2$ $x_1$ $x_2$ $1-r_{yx_2}^2$ $1-r_{x_1x_2}^2$

Rumus untuk korelasi parsial kemudian muncul dengan jelas rumus polos Pearson , seperti yang dihitung dalam contoh ini antara residual (a) dan residual (b): Pearson , kita tahu, adalah kovarians dibagi dengan penyebut yang merupakan rata-rata geometri dari dua varian yang berbeda. $r$ $r$

Koefisien beta terstandarisasi secara struktural seperti Pearson , hanya saja penyebutnya adalah rerata geometris dari varian dengan diri sendiri . Varians residu (a) tidak dihitung; itu digantikan oleh penghitungan kedua varian residual (b). Beta dengan demikian adalah kovarians dari dua residual relatif varians dari salah satu dari mereka (khususnya, yang berkaitan dengan prediktor minat, ). Sementara korelasi parsial, sebagaimana telah diperhatikan, adalah bahwa kovarians yang sama relatif varian hibrida mereka . Kedua jenis koefisien ini merupakan cara untuk menstandarisasi pengaruh di lingkungan prediktor lain. $r$ $x_1$ $x_1$

Beberapa konsekuensi numerik dari perbedaan. Jika R-kuadrat dari regresi berganda oleh dan terjadi menjadi 1 maka kedua korelasi parsial dari prediktor dengan dependen juga akan menjadi 1 nilai absolut (tetapi beta umumnya tidak akan menjadi 1). Memang, seperti yang dikatakan sebelumnya, adalah korelasi antara residu dan residu . Jika apa tidak dalam adalah persis apa yang tidak dalam $y$ $x_1$ $x_2$ $r_{yx_1.x_2}$ y <- x2x1 <- x2 $x_2$ $y$ $x_2$ $x_1$ maka tidak ada apa-apa di dalam yang tidak maupun : cocok sepenuhnya. Berapapun jumlah porsi yang tidak dijelaskan (dengan ) yang tersisa di ( ), jika ditangkap secara relatif tinggi oleh bagian independen (oleh ), akan menjadi tinggi. $y$ $x_1$ $x_2$ $x_2$ $y$ $1-r_{yx_2}^2$ $x_1$ $1-r_{x_1x_2}^2$ $r_{yx_1.x_2}$ $\beta_{x_1}$ , di sisi lain, akan menjadi tinggi hanya asalkan bagian yang ditangkap yang tidak dijelaskan dari itu sendiri merupakan bagian substansial dari . $y$ $y$

Dari rumus di atas satu memperoleh (dan membentang dari regresi 2-prediktor untuk regresi dengan jumlah sewenang-wenang prediktor ) Rumus konversi antara beta dan sesuai parsial r: $x_1,x_2,x_3,...$

r_{y x_{1} . X} = β_{x_{1}} \sqrt{\frac{var (e_{x_{1} \leftarrow X})}{var (e_{y \leftarrow X})}},

$r_{yx_1.X} = \beta_{x_1} \sqrt{ \frac {\text{var} (e_{x_1 \leftarrow X})} {\text{var} (e_{y \leftarrow X})}},$

di mana adalah kumpulan semua prediktor kecuali arus ( ); adalah residu dari kemunduran oleh , dan adalah residu dari kemunduran oleh , variabel-variabel di kedua regresi ini memasukkannya terstandarisasi . $X$ $x_1$ $e_{y \leftarrow X}$ $y$ $X$ $e_{x_1 \leftarrow X}$ $x_1$ $X$

Catatan: jika kita perlu menghitung korelasi parsial dengan setiap prediktor kita biasanya tidak akan menggunakan rumus ini yang membutuhkan dua regresi tambahan. Sebaliknya, operasi sweep (sering digunakan secara bertahap dan semua algoritma regresi subset) akan dilakukan atau matriks korelasi anti-gambar akan dihitung. $y$ $x$

$^1$ adalah hubungan antarabakudankoefisienterstandarisasidalam regresi dengan intersep. $\beta_{x_1} = b_{x_1} \frac {\sigma_{x_1}}{\sigma_y}$ $b$ $\beta$

— ttnphns
sumber

Terima kasih. Tetapi bagaimana saya memutuskan yang mana yang harus saya ikuti, misalnya untuk tujuan yang dijelaskan dalam pertanyaan saya?

— user34927

Jelas, Anda bebas memilih: pembilangnya sama, sehingga mereka menyampaikan informasi yang sama . Adapun pertanyaan Anda (tidak sepenuhnya diklarifikasi), tampaknya tentang topik "dapat menyesal. Coef. Menjadi 0 ketika r bukan 0"; "dapat menyesal. coef. bukan 0 ketika r adalah 0". Ada banyak pertanyaan tentang itu di situs. Sebagai contoh, Anda dapat membaca stats.stackexchange.com/q/14234/3277 ; stats.stackexchange.com/q/44279/3277 .

— ttnphns

Saya mencoba mengklarifikasi pertanyaan saya ..

— user34927

Memperbaiki X1 ("diberikan x1") = menghapus (mengendalikan) efek X1. Tidak ada yang namanya "efek gabungan" dalam regresi berganda (kecuali jika Anda menambahkan interaksi X1 * X2). Efek dalam regresi multuple kompetitif. Efek regresi linier sebenarnya korelasi parsial.

— ttnphns

Tunggu sebentar, @ user34927.

to prove that the DV (Y) is significantly correlated with one of two IVs (X1) if the effect of the other IV (X2) is removed

Efeknya dihapus dari mana ? Jika Anda "menghapus" X2 dari Y dan X1 maka kor. antara Y dan X1 adalah korelasi parsial . Jika Anda "menghapus" X2 dari X1 hanya maka kor. antara Y dan X1 disebut korelasi bagian (atau setengah parsial). Apakah Anda benar-benar bertanya tentang itu ?

— ttnphns

$\beta_{x_1}$ $\sqrt{SSY/SSX_1}$

β_{x_{1}} = \frac{r_{y x_{1}} - r_{y x_{2}} r_{x_{1} x_{2}}}{1 - r_{x_{1} x_{2}}^{2}} \times \sqrt{\frac{S S Y}{S S X_{1}}},

$\beta_{x_1} = \frac{r_{yx_1} - r_{y x_2} ~r_{x_1 x_2}} {1-r^2_{x_1 x_2}} \times \sqrt{\frac{SSY}{SSX_1}},$ where

S S Y = \sum_{i} (y_{i} - \bar{y})^{2}

$SSY=\sum_i (y_i-\bar y)^2$ and

S S X_{1} = \sum_{i} (x_{1 i} - {\bar{x}}_{1})^{2}

$SSX_1 = \sum_i {(x_{1i} - \bar{x}_1)^2}$ .

— Brani
sumber

You are giving the formula of

b

$b$ . My answer was about

β

$\beta$ .

— ttnphns