Cara menurunkan kesalahan standar koefisien regresi linier

20

Untuk model regresi linier univariat ini diberikan kumpulan data , estimasi koefisien adalah Inilah pertanyaan saya, sesuai dengan buku dan Wikipedia , kesalahan standar adalah Bagaimana dan mengapa?

y_{saya} = β_{0} + β_{1} x_{saya} + ϵ_{saya}

$y_i = \beta_0 + \beta_1x_i+\epsilon_i$

D = {(x_{1}, y_{1}), . . ., (x_{n}, y_{n})}

$D=\{(x_1,y_1),...,(x_n,y_n)\}$

{\hat{β}}_{1} = \frac{\sum_{saya} x_{saya} y_{saya} - n \bar{x} \bar{y}}{n {\bar{x}}^{2} - \sum_{saya} x_{saya}^{2}}

$\hat\beta_1=\frac{\sum_ix_iy_i-n\bar x\bar y}{n\bar x^2-\sum_ix_i^2}$

{\hat{β}}_{0} = \bar{y} - {\hat{β}}_{1} \bar{x}

$\hat\beta_0=\bar y - \hat\beta_1\bar x$

{\hat{β}}_{1}

$\hat\beta_1$

s_{{\hat{β}}_{1}} = \sqrt{\frac{\sum_{saya} {\hat{ϵ}}_{saya}^{2}}{(n - 2) \sum_{saya} (x_{saya} - \bar{x})^{2}}}

$s_{\hat\beta_1}=\sqrt{\frac{\sum_i\hat\epsilon_i^2}{(n-2)\sum_i(x_i-\bar x)^2}}$

standard-error inference

— alpukat
sumber

1

stats.stackexchange.com/questions/44838/…

— ocram

@ocram, terima kasih, tapi saya tidak cukup mampu menangani hal-hal matriks, saya akan coba.

— alpukat

1

@ocram, saya sudah mengerti bagaimana ini bisa terjadi. Tetapi masih ada pertanyaan: dalam posting saya, kesalahan standar memiliki

(n - 2)

$(n-2)$ , di mana menurut jawaban Anda, tidak, mengapa?

— alpukat

15

3 komentar di atas: Saya sudah mengerti bagaimana ini bisa terjadi. Tetapi masih ada pertanyaan: dalam posting saya, kesalahan standar memiliki (n − 2), di mana menurut jawaban Anda, tidak, mengapa?

Dalam posting saya , ditemukan bahwa

\hat{se} (\hat{b}) = \sqrt{\frac{n {\hat{σ}}^{2}}{n \sum x_{saya}^{2} - (\sum x_{saya})^{2}}} .

$\widehat{\text{se}}(\hat{b}) = \sqrt{\frac{n \hat{\sigma}^2}{n\sum x_i^2 - (\sum x_i)^2}}.$ Penyebutnya dapat ditulis sebagai

n \sum_{saya} (x_{saya} - \bar{x})^{2}

$n \sum_i (x_i - \bar{x})^2$ Jadi,

\hat{se} (\hat{b}) = \sqrt{\frac{{\hat{σ}}^{2}}{\sum_{saya} (x_{saya} - \bar{x})^{2}}}

$\widehat{\text{se}}(\hat{b}) = \sqrt{\frac{\hat{\sigma}^2}{\sum_i (x_i - \bar{x})^2}}$

Dengan

{\hat{σ}}^{2} = \frac{1}{n - 2} \sum_{saya} {\hat{ϵ}}_{saya}^{2}

$\hat{\sigma}^2 = \frac{1}{n-2} \sum_i \hat{\epsilon}_i^2$ yaitu Mean Square Error (MSE) pada tabel ANOVA, kami berakhir dengan ekspresi Anda untuk

\hat{se} (\hat{b})

$\widehat{\text{se}}(\hat{b})$ . Istilah

n - 2

$n-2$ bertanggung jawab atas hilangnya 2 derajat kebebasan dalam estimasi intersep dan lereng.

— okram
sumber

1

Saya pikir saya mendapatkan semua yang lain harapkan bagian terakhir. Bisakah Anda tunjukkan selangkah demi selangkah mengapa ? Saya juga tahu ini terkait dengan derajat kebebasan, tetapi saya tidak mendapatkan matematika.

{\hat{σ}}^{2} = \frac{1}{n - 2} \sum_{i} {\hat{ϵ}}_{i}^{2}

$\hat{\sigma}^2 = \frac{1}{n-2} \sum_i \hat{\epsilon}_i^2$

— Mappi

2

Cara lain untuk berpikir tentang n-2 df adalah karena kita menggunakan 2 cara untuk memperkirakan koefisien kemiringan (rata-rata Y dan X)

df dari Wikipedia: "... Secara umum, derajat kebebasan estimasi parameter sama dengan jumlah skor independen yang masuk ke dalam estimasi dikurangi jumlah parameter yang digunakan sebagai langkah perantara dalam estimasi parameter itu sendiri . "

— Eivind
sumber

2

Ini sebenarnya bukan derivasi, meskipun intuisi. Namun, untuk beberapa seluk-beluk terkait hal ini, lihat Bagaimana memahami tingkat kebebasan?

— Silverfish