Interpretasi matriks varians-kovarian

12

Asumsikan kita memiliki model linier Model1dan vcov(Model1)memberikan matriks berikut:

             (Intercept)    latitude  sea.distance   altitude
(Intercept)    28.898100 -23.6439000  -34.1523000  0.50790600
latitude      -23.643900  19.7032500   28.4602500 -0.42471450
sea.distance  -34.152300  28.4602500   42.4714500 -0.62612550
altitude        0.507906  -0.4247145   -0.6261255  0.00928242

Untuk contoh ini, apa yang sebenarnya ditampilkan oleh matriks ini? Asumsi apa yang dapat kita buat dengan aman untuk model kita dan itu adalah variabel independen?

— Murania
sumber

11

Matriks ini menampilkan estimasi varians dan kovarians antara koefisien regresi. Khususnya, untuk matriks desain Anda , dan perkiraan varians, , matriks yang ditampilkan adalah . $\mathbf{X}$ $\widehat{\sigma}^2$ $\widehat{\sigma}^2(\mathbf{X}'\mathbf{X})^{-1}$

Entri diagonal adalah varians dari koefisien regresi dan off-diagonal adalah kovarians antara koefisien regresi yang sesuai.

Sejauh asumsi berjalan, terapkan fungsi cov2cor () ke matriks varians-kovarians Anda. Fungsi ini akan mengubah matriks yang diberikan ke matriks korelasi. Anda akan mendapatkan estimasi korelasi antara koefisien regresi. Petunjuk: untuk matriks ini, masing-masing korelasi akan memiliki besaran yang besar.

Untuk mengatakan sesuatu tentang model khususnya, kita perlu estimasi titik koefisien regresi untuk mengatakan sesuatu lebih lanjut.

— Donnie
sumber

11

@ Donie telah memberikan jawaban yang bagus (+1). Biarkan saya menambahkan beberapa poin.

Mengalir diagonal utama dari matriks varians-kovarians adalah varian dari distribusi sampel dari estimasi parameter Anda (yaitu, 's). Dengan demikian, mengambil akar kuadrat dari nilai-nilai tersebut menghasilkan kesalahan standar yang dilaporkan dengan output statistik: $\hat\beta_j$

SEs   = sqrt(diag(vcov(Model1)))
SEs
# [1] 5.37569530 4.43883431 6.51701235 0.09634532

Ini digunakan untuk membentuk interval kepercayaan dan menguji hipotesis tentang beta Anda.

Elemen off-diagonal akan menjadi jika semua variabel ortogonal, tetapi nilai Anda jauh dari . Menggunakan fungsi, atau menstandarisasi kovarian oleh akar kuadrat dari varian variabel konstituen mengungkapkan bahwa semua variabel sangat berkorelasi ( ), sehingga Anda memiliki multikolinieritas substansial . Ini membuat kesalahan standar Anda jauh lebih besar daripada yang seharusnya. Demikian juga, itu berarti bahwa ada banyak informasi tentang distribusi sampling dari beta yang ditinggalkan dari tes hipotesis standar ( ), jadi Anda mungkin ingin menggunakan strategi pengujian sekuensial berdasarkan tipe I jumlah kuadrat . $0$ $0$ cov2cor() $|r| > .97$ $\hat\beta_j/SE(\hat\beta_j)$

— gung - Pasang kembali Monica
sumber