Kuadrat terkecil yang digeneralisasi: dari koefisien regresi ke koefisien korelasi?

Untuk kuadrat terkecil dengan satu prediktor:

$y = \beta x + \epsilon$

Jika dan y distandarisasi sebelum pemasangan (yaitu ∼ N ( 0 , 1 ) ), maka:$x$$y$$\sim N(0,1)$

• sama dengan koefisien korelasi Pearson, r .$\beta$$r$
• sama dalam regresi yang direfleksikan: x = β y + $\beta$$x = \beta y + \epsilon$

Untuk generalised least square (GLS), apakah hal yang sama berlaku? Yaitu jika saya membakukan data saya, dapatkah saya memperoleh koefisien korelasi langsung dari koefisien regresi?

Dari bereksperimen dengan data, GLS yang dipantulkan mengarah ke berbagai koefisien dan juga saya tidak yakin bahwa saya percaya bahwa koefisien regresi sesuai dengan nilai yang diharapkan untuk korelasi. Saya tahu orang-orang mengutip koefisien korelasi GLS, jadi saya bertanya-tanya bagaimana mereka sampai pada mereka dan karenanya apa yang mereka maksud?$\beta$

Jawabannya adalah ya, koefisien regresi linier adalah korelasi prediktor dengan respons, tetapi hanya jika Anda menggunakan sistem koordinat yang benar .

Untuk melihat apa yang saya maksud, ingatlah bahwa jika dan y berpusat dan terstandarisasi, maka korelasi antara masing-masing x i dan y hanyalah produk titik x t i$x_1, x_2, \ldots, x_n$$y$$x_i$$y$$x_i^t y$ . Juga, solusi kuadrat terkecil untuk regresi linier adalah

$$\beta = (X^t X)^{-1} X^t y$$

Jika begitu terjadi bahwa (matriks identitas) kemudian$X^{t} X = I$

$$\beta = X^t y$$

dan kami memulihkan vektor korelasi. Seringkali menarik untuk menyusun kembali masalah regresi dalam hal prediktor yang memuaskan ˜ X t ˜ X = $\tilde{x}_i$$\tilde{X}^t \tilde{X} = I$ dengan menemukan kombinasi linier yang sesuai dari prediktor asli yang menjadikan hubungan ini benar (atau ekuivalen, perubahan koordinat linier); alat prediksi baru ini disebut komponen utama.

Jadi secara keseluruhan, jawaban untuk pertanyaan Anda adalah ya, tetapi hanya ketika prediktornya sendiri tidak berkorelasi . Kalau tidak, ekspresi

$$X^t X \beta = X^t y$$

menunjukkan bahwa beta harus dicampur bersama dengan korelasi antara prediktor itu sendiri untuk memulihkan korelasi prediktor-respons.

$x$

$$x_0^t x = \sum_i x_{i} = 0$$

$x_0$$X$$X^t X = I$