Apakah estimasi koefisien regresi tidak berkorelasi?

Pertimbangkan regresi sederhana (normalitas tidak diasumsikan): mana dengan mean dan standar deviasi . Apakah Estimasi Kuadrat Terkecil dari dan tidak berkorelasi?

Y_{i} = a + b X_{i} + e_{i},

$Y_i = a + b X_i + e_i,$

e_{i}

$e_i$

0

$0$

σ

$\sigma$

a

$a$

b

$b$

regression correlation estimation

— arnab
sumber

Bagaimana menurut anda? en.wikipedia.org/wiki/Ordinary_least_squares , bagian "Properti sampel terbatas". Pertanyaan ini dijawab berkali-kali di situs ini.

— mpiktas

Ini merupakan pertimbangan penting dalam merancang eksperimen, di mana dapat diinginkan untuk tidak memiliki (atau sangat sedikit) korelasi di antara perkiraan $\hat a$ dan dan $\hat b$ . Kurangnya korelasi dapat dicapai dengan mengendalikan nilai-nilai $X_i$ .

Untuk menganalisis efek pada estimasi, nilai-nilai (yang merupakan vektor baris dengan panjang ) dirakit secara vertikal menjadi matriks , matriks desain, memiliki baris sebanyak data, dan (jelas ) dua kolom. sesuai dirakit menjadi satu vektor panjang (kolom) . Dalam istilah-istilah ini, menulis untuk koefisien yang dirangkai, modelnya adalah $X_i$ $(1,X_i)$ $2$ $X$ $Y_i$ $y$ $\beta = (a,b)^\prime$

E (Y) = X \cdot β

$\mathbb{E}(Y) = X \cdot \beta$

The yang (biasanya) diasumsikan variabel acak independen yang varians adalah konstan untuk beberapa diketahui . Pengamatan tergantung diambil menjadi salah satu realisasi dari vektor-dihargai variabel acak . $Y_i$ $\sigma^2$ $\sigma \gt 0$ $y$ $Y$

Solusi OLS adalah

\hat{β} = {(X^{'} X)}^{- 1} X^{'} y,

$\hat\beta = \left(X^\prime X\right)^{-1} X^\prime y,$

dengan asumsi invers matriks ini ada. Dengan demikian, menggunakan properti dasar dari perkalian matriks dan kovarian,

Cov (\hat{β}) = Cov ({(X^{'} X)}^{- 1} X^{'} Y) = ({(X^{'} X)}^{- 1} X^{'} σ^{2} X {(X^{'} X)}^{- 1'}) = σ^{2} {(X^{'} X)}^{- 1} .

$\text{Cov}(\hat\beta) = \text{Cov}\left(\left(X^\prime X\right)^{-1} X^\prime Y\right) = \left(\left(X^\prime X\right)^{-1} X^\prime\sigma^2 X \left( X^\prime X \right)^{-1\prime} \right) = \sigma^2 \left(X^\prime X\right)^{-1}.$

Matriks hanya memiliki dua baris dan dua kolom, sesuai dengan parameter model . Korelasi dengan sebanding dengan elemen-elemen off-diagonal yang oleh Peraturan Cramer sebanding dengan dot produk dari dua kolom . Karena salah satu kolom adalah semua s, yang produk dengan kolom lainnya (terdiri dari ) adalah jumlah mereka, kami menemukan $\left(X^\prime X\right)^{-1}$ $(a,b)$ $\hat a$ $\hat b$ $(X^\prime X)^{-1},$ $X$ $1$ $X_i$

$\hat a$ dan tidak berkorelasi jika dan hanya jumlah (atau ekuivalen rata-rata) dari adalah nol. $\hat b$ $X_i$

Kondisi orthogonality ini sering dicapai dengan memasukkan kembali (dengan mengurangi rata-rata dari masing-masing). Meskipun ini tidak akan mengubah estimasi kemiringan , itu memang mengubah estimasi intersepsi . Apakah itu penting atau tidak tergantung pada aplikasi. $X_i$ $\hat b$ $\hat a$

Analisis ini berlaku untuk regresi berganda: matriks desain akan memiliki kolom untuk variabel independen (kolom tambahan terdiri dari s) dan akan menjadi vektor dengan panjang , tetapi jika tidak semuanya berjalan seperti sebelumnya. $p+1$ $p$ $1$ $\beta$ $p+1$

Dalam bahasa konvensional, dua kolom disebut orthogonal ketika produk titiknya nol. Ketika satu kolom (katakanlah kolom ) ortogonal ke semua kolom lainnya, itu adalah fakta aljabar yang mudah ditunjukkan bahwa semua entri off-diagonal di baris dan kolom dari adalah nol (yaitu, komponen dan untuk semua adalah nol). Karena itu, $X$ $X$ $i$ $i$ $i$ $(X^\prime X)^{-1}$ $ij$ $ji$ $j\ne i$

Dua perkiraan koefisien regresi berganda dan tidak berkorelasi kapan saja (atau keduanya) dari kolom yang sesuai dari matriks desain ortogonal dengan semua kolom lainnya. $\hat\beta_i$ $\hat\beta_j$

Banyak desain eksperimental standar terdiri dari memilih nilai-nilai variabel independen untuk membuat kolom saling orthogonal. Ini "memisahkan" estimasi yang dihasilkan dengan menjamin - sebelum ada data yang dikumpulkan! - bahwa estimasi tersebut tidak berkorelasi. (Ketika respons memiliki distribusi normal, ini berarti estimasi akan independen, yang sangat menyederhanakan interpretasinya.)

— whuber
sumber

Jawabannya mengatakan "[...] elemen off-diagonal, yang hanya merupakan produk titik dari dua kolom X." Namun ini berlaku untuk , bukan ?

X^{'} X

$X'X$

(X^{'} X)^{- 1}

$(X'X)^{-1}$

— Heisenberg

@ Heisenberg Itu poin bagus. Saya tidak jelas tentang ini. Tidak ada ambiguitas dalam kasus dua kolom, tapi saya perlu memikirkan bagaimana meningkatkan presentasi untuk kasus lebih banyak kolom.

— whuber

@ Heisenberg Saya berterima kasih atas pengamatan perseptif Anda: memungkinkan saya untuk memperbaiki kesalahan besar dalam diskusi kasus regresi berganda.

— whuber