Latar Belakang

Misalkan kita memiliki model Ordinary Least Squares di mana kita memiliki koefisien dalam model regresi kita, $k$

y = X β + ϵ

$\mathbf{y}=\mathbf{X}\mathbf{\beta} + \mathbf{\epsilon}$

di mana adalah vektor dari koefisien, adalah matriks desain yang didefinisikan oleh $\mathbf{\beta}$ $(k\times1)$ $\mathbf{X}$

X = (\begin{matrix} 1 & x_{11} & x_{12} & \dots & x_{1 (k - 1)} \\ 1 & x_{21} & \dots & ⋮ \\ ⋮ & ⋱ & ⋮ \\ 1 & x_{n 1} & \dots & \dots & x_{n (k - 1)} \end{matrix})

$\mathbf{X} = \begin{pmatrix} 1 & x_{11} & x_{12} & \dots & x_{1\;(k-1)} \\ 1 & x_{21} & \dots & & \vdots \\ \vdots & & \ddots & & \vdots \\ 1 & x_{n1} & \dots & \dots & x_{n\;(k-1)} \end{pmatrix}$ dan kesalahannya adalah IID normal,

ϵ \sim N (0, σ^{2} I) .

$\mathbf{\epsilon} \sim \mathcal{N}\left(\mathbf{0},\sigma^2 \mathbf{I}\right) \;.$

Kami meminimalkan jumlah kesalahan kuadrat dengan menetapkan taksiran kami untuk $\mathbf{\beta}$ menjadi

\hat{β} = (X^{T} X)^{- 1} X^{T} y .

$\mathbf{\hat{\beta}}= (\mathbf{X^T X})^{-1}\mathbf{X}^T \mathbf{y}\;.$

Estimator yang tidak bias dari $\sigma^2$ adalah

s^{2} = \frac{{‖ y - \hat{y} ‖}^{2}}{n - p}

$s^2 = \frac{\left\Vert \mathbf{y}-\mathbf{\hat{y}}\right\Vert ^2}{n-p}$ mana

\hat{y} \equiv X \hat{β}

$\mathbf{\hat{y}} \equiv \mathbf{X} \mathbf{\hat{\beta}}$ ( ref ).

Kovarians $\mathbf{\hat{\beta}}$ diberikan oleh

Cov (\hat{β}) = σ^{2} C

$\operatorname{Cov}\left(\mathbf{\hat{\beta}}\right) = \sigma^2 \mathbf{C}$ mana

C \equiv (X^{T} X)^{- 1}

$\mathbf{C}\equiv(\mathbf{X}^T\mathbf{X})^{-1}$ ( ref ).

Pertanyaan

Bagaimana saya bisa membuktikannya untuk , mana adalah distribusi t dengan derajat kebebasan , dan kesalahan standar diperkirakan oleh . $\hat\beta_i$

\frac{{\hat{β}}_{i} - β_{i}}{s_{{\hat{β}}_{i}}} \sim t_{n - k}

$\frac{\hat{\beta}_i - \beta_i} {s_{\hat{\beta}_i}} \sim t_{n-k}$

t_{n - k}

$t_{n-k}$

(n - k)

$(n-k)$

{\hat{β}}_{i}

$\hat{\beta}_i$

s_{{\hat{β}}_{i}} = s \sqrt{c_{i i}}

$s_{\hat{\beta}_i} = s\sqrt{c_{ii}}$

Usaha saya

Saya tahu bahwa untuk variabel acak yang diambil dari , Anda dapat menunjukkan bahwa dengan menulis ulang LHS sebagai dan menyadari bahwa numertor adalah distribusi normal standar, dan penyebutnya adalah akar kuadrat dari distribusi Chi-square dengan df = (n-1) dan dibagi dengan (n- 1) ( ref ). Dan karena itu mengikuti distribusi-t dengan df = (n-1) ( ref ). $n$ $x\sim\mathcal{N}\left(\mu, \sigma^2\right)$

\frac{\bar{x} - μ}{s / \sqrt{n}} \sim t_{n - 1}

$\frac{\bar{x}-\mu}{s/\sqrt{n}} \sim t_{n-1}$

\frac{(\frac{\bar{x} - μ}{σ / \sqrt{n}})}{\sqrt{s^{2} / σ^{2}}}

$\frac{ \left(\frac{\bar x - \mu}{\sigma/\sqrt{n}}\right) } {\sqrt{s^2/\sigma^2}}$

Saya tidak dapat memperpanjang bukti ini untuk pertanyaan saya ...

Ada ide? Saya mengetahui pertanyaan ini , tetapi mereka tidak secara eksplisit membuktikannya, mereka hanya memberikan aturan praktis, dengan mengatakan "setiap prediktor memberi Anda tingkat kebebasan".

— Garrett
sumber

Karena adalah kombinasi linear dari variabel Normal bersama, ia memiliki distribusi Normal. Oleh karena itu semua Anda perlu lakukan adalah (1) menetapkan bahwa ; (2) menunjukkan bahwa adalah penaksir yang tidak bias dari ; dan (3) menunjukkan derajat kebebasan dalam adalah . Yang terakhir telah terbukti di situs ini di beberapa tempat, seperti stats.stackexchange.com/a/16931 . Saya menduga Anda sudah tahu caranya (1) dan (2).

{\hat{β}}_{i}

$\hat\beta_i$

E ({\hat{β}}_{i}) = β_{i}

$\mathbb{E}(\hat\beta_i)=\beta_i$

s_{{\hat{β}}_{i}}^{2}

$s_{\hat\beta_i}^2$

Var ({\hat{β}}_{i})

$\text{Var}(\hat\beta_i)$

s_{{\hat{β}}_{i}}

$s_{\hat\beta_i}$

n - k

$n-k$

— whuber

Karena kita tahu bahwa dan dengan demikian kita tahu bahwa untuk setiap komponen dari , mana adalah elemen diagonal dari . Dengan demikian, kita tahu bahwa

\begin{aligned} \hat{β} & = (X^{T} X)^{- 1} X^{T} Y \\ = (X^{T} X)^{- 1} X^{T} (X β + ε) \\ = β + (X^{T} X)^{- 1} X^{T} ε \end{aligned}

$\begin{align*} \hat\beta &= (X^TX)^{-1}X^TY \\ &= (X^TX)^{-1}X^T(X\beta + \varepsilon) \\ &= \beta + (X^TX)^{-1}X^T\varepsilon \end{align*}$

\hat{β} - β \sim N (0, σ^{2} (X^{T} X)^{- 1})

$\hat\beta-\beta \sim \mathcal{N}(0,\sigma^2 (X^TX)^{-1})$

k

$k$

\hat{β}

$\hat\beta$

{\hat{β}}_{k} - β_{k} \sim N (0, σ^{2} S_{k k})

$\hat\beta_k -\beta_k \sim \mathcal{N}(0, \sigma^2 S_{kk})$

S_{k k}

$S_{kk}$

k^{th}

$k^\text{th}$

(X^{T} X)^{- 1}

$(X^TX)^{-1}$

z_{k} = \frac{{\hat{β}}_{k} - β_{k}}{\sqrt{σ^{2} S_{k k}}} \sim N (0, 1) .

$z_k = \frac{\hat\beta_k -\beta_k}{\sqrt{\sigma^2 S_{kk}}} \sim \mathcal{N}(0,1).$

Perhatikan pernyataan Teorema untuk Distribusi Bentuk Kuadrat Idempoten dalam Vektor Normal Standar (Teorema B.8 di Greene):

Jika dan adalah simetris dan idempoten, maka didistribusikan di mana adalah peringkat . $x\sim\mathcal{N}(0,I)$ $A$ $x^TAx$ $\chi^2_{\nu}$ $\nu$ $A$

Misalkan menunjukkan vektor residual regresi dan biarkan yang merupakan matriks pembuat residu (yaitu ) . Sangat mudah untuk memverifikasi bahwa simetris dan idempoten . $\hat\varepsilon$

M = I_{n} - X (X^{T} X)^{- 1} X^{T},

$M=I_n - X(X^TX)^{-1}X^T \text{,}$

M y = \hat{ε}

$My=\hat\varepsilon$ $M$

Mari menjadi estimator untuk .

s^{2} = \frac{{\hat{ε}}^{T} \hat{ε}}{n - p}

$s^2 = \frac{\hat\varepsilon^T \hat\varepsilon}{n-p}$

σ^{2}

$\sigma^2$

Kita kemudian perlu melakukan beberapa aljabar linier. Perhatikan tiga sifat aljabar linier ini:

Peringkat dari matriks idempoten adalah jejaknya.
$\operatorname{Tr}(A_1+A_2) = \operatorname{Tr}(A_1) + \operatorname{Tr}(A_2)$
$\operatorname{Tr}(A_1A_2) = \operatorname{Tr}(A_2A_1)$ jika adalah dan adalah ( properti ini sangat penting agar pekerjaan di bawah ini berfungsi ) $A_1$ $n_1 \times n_2$ $A_2$ $n_2 \times n_1$

Jadi

\begin{aligned} rank (M) = Tr (M) & = Tr (I_{n} - X (X^{T} X)^{- 1} X^{T}) \\ = Tr (I_{n}) - Tr (X (X^{T} X)^{- 1} X^{T})) \\ = Tr (I_{n}) - Tr ((X^{T} X)^{- 1} X^{T} X)) \\ = Tr (I_{n}) - Tr (I_{p}) \\ = n - p \end{aligned}

$\begin{align*} \operatorname{rank}(M) = \operatorname{Tr}(M) &= \operatorname{Tr}(I_n - X(X^TX)^{-1}X^T) \\ &= \operatorname{Tr}(I_n) - \operatorname{Tr}\left( X(X^TX)^{-1}X^T) \right) \\ &= \operatorname{Tr}(I_n) - \operatorname{Tr}\left( (X^TX)^{-1}X^TX) \right) \\ &= \operatorname{Tr}(I_n) - \operatorname{Tr}(I_p) \\ &=n-p \end{align*}$

Kemudian

\begin{aligned} V = \frac{(n - p) s^{2}}{σ^{2}} = \frac{{\hat{ε}}^{T} \hat{ε}}{σ^{2}} = {(\frac{ε}{σ})}^{T} M (\frac{ε}{σ}) . \end{aligned}

$\begin{align*} V = \frac{(n-p)s^2}{\sigma^2} = \frac{\hat\varepsilon^T\hat\varepsilon}{\sigma^2} = \left(\frac{\varepsilon}{\sigma}\right)^T M \left(\frac{\varepsilon}{\sigma}\right). \end{align*}$

Menerapkan Teorema untuk Distribusi Bentuk Kuadrat Idempoten dalam Vektor Normal Standar (dinyatakan di atas), kita tahu bahwa . $V \sim \chi^2_{n-p}$

Karena Anda berasumsi bahwa terdistribusi secara normal, maka tidak tergantung dari , dan karena adalah fungsi dari , maka juga independen dari . Dengan demikian, dan tidak tergantung satu sama lain. $\varepsilon$ $\hat\beta$ $\hat\varepsilon$ $s^2$ $\hat\varepsilon$ $s^2$ $\hat\beta$ $z_k$ $V$

Kemudian, adalah rasio dari distribusi Normal standar dengan akar kuadrat dari distribusi Chi-squared dengan derajat kebebasan yang sama (yaitu ), yang merupakan karakterisasi dari distribusi . Oleh karena itu, statistik memiliki distribusi dengan derajat kebebasan .

\begin{aligned} t_{k} = \frac{z_{k}}{\sqrt{V / (n - p)}} \end{aligned}

$\begin{align*} t_k = \frac{z_k}{\sqrt{V/(n-p)}} \end{align*}$

n - p

$n-p$

t

$t$ $t_k$ $t$ $n-p$

Kemudian dapat dimanipulasi secara aljabar menjadi bentuk yang lebih akrab.

\begin{aligned} t_{k} & = \frac{\frac{{\hat{β}}_{k} - β_{k}}{\sqrt{σ^{2} S_{k k}}}}{\sqrt{\frac{(n - p) s^{2}}{σ^{2}} / (n - p)}} \\ = \frac{\frac{{\hat{β}}_{k} - β_{k}}{\sqrt{S_{k k}}}}{\sqrt{s^{2}}} = \frac{{\hat{β}}_{k} - β_{k}}{\sqrt{s^{2} S_{k k}}} \\ = \frac{{\hat{β}}_{k} - β_{k}}{se ({\hat{β}}_{k})} \end{aligned}

$\begin{align*} t_k &= \frac{\frac{\hat\beta_k -\beta_k}{\sqrt{\sigma^2 S_{kk}}}}{\sqrt{\frac{(n-p)s^2}{\sigma^2}/(n-p)}} \\ &= \frac{\frac{\hat\beta_k -\beta_k}{\sqrt{S_{kk}}}}{\sqrt{s^2}} = \frac{\hat\beta_k -\beta_k}{\sqrt{s^2 S_{kk}}} \\ &= \frac{\hat\beta_k -\beta_k}{\operatorname{se}\left(\hat\beta_k \right)} \end{align*}$

— Penanda Biru
sumber

Juga pertanyaan sampingan: untuk itu Theorem for the Distribution of an Idempotent Quadratic Form in a Standard Normal Vector, bukankah kita juga membutuhkan agar simetris? Sayangnya, saya tidak memiliki Greene, jadi saya tidak bisa melihat buktinya walaupun saya melihat bahwa Wikipedia memiliki bentuk yang sama dengan Anda . Namun, contoh penghitung tampaknya menjadi matriks idempoten yang mengarah ke yang bukan Chi-Kuadrat karena dapat mengambil nilai negatif. ..

A

$A$

A = (\begin{matrix} 1 & 1 \\ 0 & 0 \end{matrix})

$A=\begin{pmatrix}1&1\\0&0\end{pmatrix}$

x_{1}^{2} + x_{1} x_{2}

$x_1^2+x_1 x_2$

— Garrett

A

$A$

M

$M$

A

$A$

A

$A$

(x_{1}, x_{2}) \to x_{1}^{2} + x_{1} x_{2}

$(x_1,x_2)\to x_1^2+x_1x_2$

A = (\begin{matrix} 1 & 1 / 2 \\ 1 / 2 & 0 \end{matrix})

$A=\begin{pmatrix}1&1/2\\1/2&0\end{pmatrix}$ idempoten.

— whuber

ϵ \sim N (0, σ^{2})

$\epsilon\sim N(0,\sigma^2)$

\hat{β}

$\hat{\beta}$

\hat{ϵ}

$\hat{\epsilon}$

\hat{β}

$\hat{\beta}$

\hat{ε}

$\hat{\varepsilon}$

\hat{β} = β + {(X^{⊤} X)}^{- 1} X^{⊤} ε

$\hat{\beta} = \beta + \left(X^{\top}X\right)^{-1}X^{\top}\varepsilon$

\hat{ε} = M ε

$\hat{\varepsilon} = M\varepsilon$

Cov (\hat{β}, \hat{ε}) = 0_{p \times n}

$\operatorname{Cov}\left(\hat{\beta}, \hat{\varepsilon}\right) = \mathbf{0}_{p\times n}$

Bukti bahwa koefisien dalam model OLS mengikuti distribusi-t dengan derajat kebebasan (nk)

Latar Belakang

Pertanyaan

Usaha saya