Kesalahan standar untuk koefisien regresi berganda?

Saya menyadari bahwa ini adalah pertanyaan yang sangat mendasar, tetapi saya tidak dapat menemukan jawaban di mana pun.

Saya menghitung koefisien regresi menggunakan persamaan normal atau dekomposisi QR. Bagaimana saya bisa menghitung kesalahan standar untuk setiap koefisien? Saya biasanya menganggap kesalahan standar dihitung sebagai:

$SE_\bar{x}\ = \frac{\sigma_{\bar x}}{\sqrt{n}}$

Apa itu untuk setiap koefisien? Apa cara paling efisien untuk menghitung ini dalam konteks OLS? $\sigma_{\bar x}$

standard-error regression-coefficients

— Belmont
sumber

Ketika melakukan estimasi kuadrat terkecil (dengan asumsi komponen acak normal), estimasi parameter regresi biasanya didistribusikan dengan rata-rata sama dengan parameter regresi sebenarnya dan matriks kovarian mana adalah varian residual dan adalah matriks desain. adalah transpos dan didefinisikan oleh model persamaan dengan parameter regresi dan adalah istilah kesalahan. Perkiraan standar deviasi dari parameter beta didapat dengan mengambil istilah yang sesuai di $\Sigma = s^2\cdot(X^TX)^{-1}$ $s^2$ $X^TX$ $X^T$ $X$ $X$ $Y=X\beta+\epsilon$ $\beta$ $\epsilon$ $(X^TX)^{-1}$ mengalikannya dengan estimasi sampel dari varian residual dan kemudian mengambil akar kuadrat. Ini bukan perhitungan yang sangat sederhana tetapi setiap paket perangkat lunak akan menghitungnya untuk Anda dan memberikannya dalam output.

Contoh

Pada halaman 134 Draper dan Smith (direferensikan dalam komentar saya), mereka memberikan data berikut untuk pas dengan kuadrat terkecil model mana . $Y = \beta_0 + \beta_1 X + \varepsilon$ $\varepsilon \sim N(0, \mathbb{I}\sigma^2)$

                      X                      Y                    XY
                      0                     -2                     0
                      2                      0                     0
                      2                      2                     4
                      5                      1                     5
                      5                      3                    15
                      9                      1                     9
                      9                      0                     0
                      9                      0                     0
                      9                      1                     9
                     10                     -1                   -10
                    ---                     --                   ---
Sum                  60                      5                    32
Sum of  Squares     482                     21                   528

Tampak seperti contoh di mana kemiringan harus mendekati 0.

X^{t} = (\begin{matrix} 1 & 1 & 1 & 1 & 1 & 1 & 1 & 1 & 1 & 1 \\ 0 & 2 & 2 & 5 & 5 & 9 & 9 & 9 & 9 & 10 \end{matrix}) .

$X^t = \pmatrix{ 1 &1 &1 &1 &1 &1 &1 &1 &1 &1 \\ 0 &2 &2 &5 &5 &9 &9 &9 &9 &10 }.$

Begitu

X^{t} X = (\begin{matrix} n & \sum X_{i} \\ \sum X_{i} & \sum X_{i}^{2} \end{matrix}) = (\begin{matrix} 10 & 60 \\ 60 & 482 \end{matrix})

$X^t X = \pmatrix{n &\sum X_i \\ \sum X_i &\sum X_i^2} = \pmatrix{10 &60 \\60 &482}$

dan

\begin{aligned} (X^{t} X)^{- 1} & = (\begin{matrix} \frac{\sum X_{i}^{2}}{n \sum (X_{i} - \bar{X})^{2}} & \frac{- \bar{X}}{\sum (X_{i} - \bar{X})^{2}} \\ \frac{- \bar{X}}{\sum (X_{i} - \bar{X})^{2}} & \frac{1}{\sum (X_{i} - \bar{X})^{2}} \end{matrix}) \\ = (\begin{matrix} \frac{482}{10 (122)} & - \frac{6}{122} \\ - \frac{6}{122} & \frac{1}{122} \end{matrix}) \\ = (\begin{matrix} 0.395 & - 0.049 \\ - 0.049 & 0.008 \end{matrix}) \end{aligned}

$\eqalign{ (X^t X)^{-1} &= \pmatrix{ \frac{\sum X_i^2}{n \sum (X_i - \bar{X})^2} &\frac{-\bar{X}}{\sum (X_i-\bar{X})^2} \\ \frac{-\bar{X}}{\sum (X_i-\bar{X})^2} &\frac{1}{\sum (X_i-\bar{X})^2} } \\ &= \pmatrix{\frac{482}{10(122)} &-\frac{6}{122} \\ -\frac{6}{122} &\frac{1}{122}} \\ &= \pmatrix{0.395 &-0.049 \\ -0.049 &0.008} }$

di mana . $\bar{X} = \sum X_i/n = 60/10 = 6$

Perkirakan untuk = (b0) = (Yb-b1 Xb) b1 Sxy / Sxx $β = (X^TX)^{-1} X^TY$

b1 = 1/61 = 0,0163 dan b0 = 0,5- 0,0163 (6) = 0,402

Dari atas Sb1 = Se (0,008) dan Sb0 = Se (0,395) di mana Se adalah estimasi standar deviasi untuk istilah kesalahan. Se = √2.3085. $(X^TX)^{-1}$

Maaf bahwa persamaan tidak membawa subscript dan superscripting ketika saya memotong dan menempelkannya. Tabel tidak bereproduksi dengan baik karena ruang diabaikan. String pertama dari 3 angka sesuai dengan nilai pertama XY dan XY dan sama untuk string followinf dari tiga. Setelah Jumlah, jumlah untuk XY dan XY masing-masing dan kemudian jumlah kotak untuk XY dan XY masing-masing. Matriks 2x2 juga kacau. Nilai setelah tanda kurung harus dalam tanda kurung di bawah angka di sebelah kiri.

— Michael R. Chernick
sumber

Tidak dimaksudkan sebagai plug untuk buku saya tetapi saya pergi melalui perhitungan solusi kuadrat terkecil dalam regresi linier sederhana (Y = aX + b) dan menghitung kesalahan standar untuk a dan b, pp.101-103, The Essentials of Biostatistics untuk Dokter, Perawat, dan Dokter, Wiley 2011. deskripsi yang lebih terperinci dapat ditemukan dalam Draper dan Smith Applied Regression Analysis Edisi 3, Wiley New York 1998 halaman 126-127. Dalam jawaban saya berikut ini saya akan mengambil contoh dari Draper dan Smith.

— Michael R. Chernick

Ketika saya mulai berinteraksi dengan situs ini, Michael, saya memiliki perasaan yang serupa. Dengan pengalaman, mereka telah berubah. Bermanfaat mengetahui beberapa dan begitu Anda melakukannya, hampir (hampir) cepat untuk mengetik seperti halnya mengetikkan apa pun dalam bahasa Inggris. Saya juga belajar, dengan mempelajari posting teladan (seperti banyak balasan oleh @chl, kardinal, dan pengguna reputasi tinggi lainnya per posting), bahwa memberikan referensi, ilustrasi yang jelas , dan persamaan yang dipikirkan dengan baik biasanya sangat dihargai dan baik diterima. Kualitas tinggi adalah satu hal yang membedakan situs ini dari kebanyakan orang lain.

T E X

$\TeX$

— whuber

Itu semua Bill yang bagus dan itu bagus karena begitu banyak orang berdedikasi untuk memberikan posting berkualitas tinggi itu. Saya dapat menggunakan Lateks untuk keperluan lain, seperti menerbitkan makalah. Tapi saya tidak punya waktu untuk melakukan semua upaya yang orang harapkan dari saya di situs ini. saya tidak akan menginvestasikan waktu hanya untuk menyediakan layanan di situs ini.

— Michael R. Chernick

Saya pikir pemutusannya ada di sini: "Ini hanyalah satu dari banyak hal tentang situs ini yang mengharuskan mereka memposting waktu dan tenaga ekstra " - @whuber dan saya sama-sama mengatakan bahwa, pada kenyataannya, tidak membutuhkan waktu tambahan jika Anda tahu cara melakukannya. Kami tidak mempelajari sehingga kami dapat memposting di situs ini - kami (setidaknya saya) belajar karena ini merupakan keterampilan penting yang harus dimiliki sebagai ahli statistik dan membuat posting lebih mudah dibaca di situs ini.

T E X

$\TeX$

T E X

$\TeX$

— Makro

Seperti banyak orang di sini, ya, saya bekerja sebagai ahli statistik, tetapi saya juga menemukan hal itu menyenangkan - situs ini adalah rekreasi bagi saya dan ini adalah bonus bagus yang bermanfaat bagi orang lain. Jika Anda menemukan menandai persamaan Anda dengan sebagai pekerjaan dan tidak berpikir itu layak dipelajari, maka jadilah itu, tetapi ketahuilah bahwa sebagian konten Anda akan diabaikan.

T E X

$\TeX$

— Makro