Apakah ada cara untuk menggunakan matriks kovarian untuk mencari koefisien untuk regresi berganda?

Untuk regresi linier sederhana, koefisien regresi dapat dihitung langsung dari matriks varians-kovarians , oleh mana adalah indeks variabel dependen, dan adalah indeks variabel penjelas. $C$

\frac{C_{d, e}}{C_{e, e}}

$C_{d, e}\over C_{e,e}$

d

$d$

e

$e$

Jika seseorang hanya memiliki matriks kovarians, apakah mungkin untuk menghitung koefisien untuk model dengan beberapa variabel penjelas?

ETA: Untuk dua variabel penjelas, tampak bahwa dan analog dengan . Saya tidak segera melihat cara memperluas ini ke tiga atau lebih variabel.

β_{1} = \frac{C o v (y, x_{1}) v a r (x_{2}) - C o v (y, x_{2}) C o v (x_{1}, x_{2})}{v a r (x_{1}) v a r (x_{2}) - C o v (x_{1}, x_{2})^{2}}

$\beta_1 = \frac{Cov(y,x_1)var(x_2) - Cov(y,x_2)Cov(x_1,x_2)}{var(x_1)var(x_2) - Cov(x_1,x_2)^2}$

β_{2}

$\beta_2$

regression regression-coefficients covariance-matrix

— David
sumber

Vektor koefisien

\hat{β}

$\hat{\beta}$ adalah solusi untuk

X^{'} Y = (X^{'} X)^{- 1} β

$X'Y=(X'X)^{-1}\beta$ . Beberapa manipulasi aljabar mengungkapkan bahwa ini sebenarnya sama dengan rumus yang Anda berikan dalam kasus 2-koefisien. Ditata dengan baik di sini: stat.purdue.edu/~jennings/stat514/stat512notes/topic3.pdf . Tidak yakin apakah itu membantu sama sekali. Tapi saya berani menebak bahwa ini secara umum tidak mungkin didasarkan pada formula itu.

— shadowtalker

@ David Apakah Anda mencari cara untuk memperluas ini ke sejumlah variabel penjelas (lebih dari 2)? Saya butuh ekspresi.

— Jane Wayne

@JaneWayne Saya tidak yakin saya mengerti pertanyaan Anda: whuber memberikan solusi di bawah ini dalam bentuk matriks,

C^{- 1} (Cov (X_{i}, y))^{'}

$C^{-1}(\text{Cov}(X_i, y))^\prime$

— David

ya saya mempelajarinya dan dia benar.

— Jane Wayne

Ya, matriks kovarians dari semua variabel - penjelas dan respons - berisi informasi yang diperlukan untuk menemukan semua koefisien, asalkan istilah intersep (konstan) dimasukkan dalam model. (Meskipun kovarian tidak memberikan informasi tentang istilah konstan, ia dapat ditemukan dari sarana data.)

Analisis

Biarkan data untuk variabel penjelas diatur sebagai vektor kolom berdimensi dan variabel respon menjadi vektor kolom , dianggap sebagai realisasi dari variabel acak . Estimasi kuadrat terkecil biasa dari koefisien dalam model $n$ $x_1, x_2, \ldots, x_p$ $y$ $Y$ $\hat\beta$

E (Y) = α + X β

$\mathbb{E}(Y) = \alpha + X\beta$

diperoleh dengan merakit vektor kolom ke dalam array dan menyelesaikan sistem persamaan linear $p+1$ $X_0 = (1, 1, \ldots, 1)^\prime, X_1, \ldots, X_p$ $n \times p+1$ $X$

X^{'} X \hat{β} = X^{'} y .

$X^\prime X \hat\beta = X^\prime y.$

Ini setara dengan sistem

\frac{1}{n} X^{'} X \hat{β} = \frac{1}{n} X^{'} y .

$\frac{1}{n}X^\prime X \hat\beta = \frac{1}{n}X^\prime y.$

Eliminasi gaussian akan menyelesaikan sistem ini. Ini melanjutkan dengan berdampingan dengan matriks dan vektor ke dalam array dan mengurangi baris. $p+1\times p+1$ $\frac{1}{n}X^\prime X$ $p+1$ $\frac{1}{n}X^\prime y$ $p+1 \times p+2$ $A$

Langkah pertama akan memeriksa . Menemukan ini bukan nol, maka hasil untuk mengurangi kelipatan yang tepat dari baris pertama dari baris yang tersisa untuk nol keluar entri yang tersisa di kolom pertama. Multiples ini akan menjadi dan jumlahnya dikurangi dari entri akan sama dengan . Ini hanya rumus untuk kovarians dan . Selain itu, angka yang tersisa di posisi sama dengan $\frac{1}{n}(X^\prime X)_{11} = \frac{1}{n}X_0^\prime X_0 = 1$ $A$ $\frac{1}{n}X_0^\prime X_i = \overline X_i$ $A_{i+1,j+1} = X_i^\prime X_j$ $\overline X_i \overline X_j$ $X_i$ $X_j$ $i+1, p+2$ $\frac{1}{n}X_i^\prime y - \overline{X_i}\overline{y}$ , kovarian dengan . $X_i$ $y$

Dengan demikian, setelah langkah pertama eliminasi Gaussian sistem dikurangi menjadi pemecahan

C \hat{β} = (Cov (X_{i}, y))^{'}

$C\hat{\beta} = (\text{Cov}(X_i, y))^\prime$

dan jelas - karena semua koefisien adalah kovarian - solusi itu dapat ditemukan dari matriks kovarians dari semua variabel.

(Ketika tidak dapat dibalik, solusinya dapat ditulis . Rumus yang diberikan dalam pertanyaan adalah kasus khusus dari ini ketika dan Menulis formula seperti itu secara eksplisit akan menjadi lebih dan lebih kompleks dengan tumbuh. Selain itu, mereka lebih rendah untuk perhitungan numerik, yang paling baik dilakukan dengan memecahkan sistem persamaan daripada dengan membalikkan matriks ) $C$ $C^{-1}(\text{Cov}(X_i, y))^\prime$ $p=1$ $p=2$ $p$ $C$

Istilah konstan akan menjadi perbedaan antara rata-rata dan nilai rata-rata yang diprediksi dari taksiran, . $y$ $X\hat{\beta}$

Contoh

Sebagai ilustrasi, Rkode berikut membuat beberapa data, menghitung kovariansi mereka, dan memperoleh estimasi koefisien kuadrat terkecil hanya dari informasi itu. Ini membandingkannya dengan estimasi yang diperoleh dari estimator kuadrat-terkecil lm.

#
# 1. Generate some data.
#
n <- 10        # Data set size
p <- 2         # Number of regressors
set.seed(17)
z <- matrix(rnorm(n*(p+1)), nrow=n, dimnames=list(NULL, paste0("x", 1:(p+1))))
y <- z[, p+1]
x <- z[, -(p+1), drop=FALSE]; 
#
# 2. Find the OLS coefficients from the covariances only.
#
a <- cov(x)
b <- cov(x,y)
beta.hat <- solve(a, b)[, 1]  # Coefficients from the covariance matrix
#
# 2a. Find the intercept from the means and coefficients.
#
y.bar <- mean(y)
x.bar <- colMeans(x)
intercept <- y.bar - x.bar %*% beta.hat

Output menunjukkan kesepakatan antara dua metode:

(rbind(`From covariances` = c(`(Intercept)`=intercept, beta.hat),
       `From data via OLS` = coef(lm(y ~ x))))

                  (Intercept)        x1        x2
From covariances     0.946155 -0.424551 -1.006675
From data via OLS    0.946155 -0.424551 -1.006675

— whuber
sumber

Terima kasih, @whuber! Ini persis apa yang saya cari, dan otak saya yang sudah berhenti berkembang tidak dapat mencapai. Sebagai tambahan, motivasi untuk pertanyaan ini adalah bahwa karena berbagai alasan kita pada dasarnya tidak memiliki lengkap yang tersedia, tetapi miliki dari perhitungan sebelumnya.

X

$X$ cov(z)

— David

Jawaban seperti ini menaikkan palang Salib ini Divalidasi

— jpmuc

@whuber Dalam contoh Anda, Anda menghitung intersep dari ydan xdan beta.hat. Itu ydan xmerupakan bagian dari data asli. Apakah mungkin untuk mendapatkan intersep dari matriks kovarians dan cara sendiri? Bisakah Anda memberikan notasi?

— Jane Wayne

@Jane Hanya diberikan sarana , terapkan pada mereka: Saya telah mengubah kode untuk mencerminkan hal ini.

\bar{X}

$\bar X$

\hat{β}

$\hat \beta$

\bar{X} \hat{β} = \bar{X \hat{β}} .

$\overline X \hat\beta = \overline{X \hat\beta}.$

— whuber

+1 sangat membantu untuk kode

— Michael