Distribusi kesalahan jumlah kuadrat untuk regresi linier?

Saya tahu bahwa distribusi varians sampel Dari fakta bahwa dapat diekspresikan dalam bentuk matriks, (di mana A: simetris), dan itu bisa lagi diekspresikan dalam: (di mana Q: ortonormal, D: matriks diagonal).

\sum \frac{(X_{i} - \bar{X})^{2}}{σ^{2}} \sim χ_{(n - 1)}^{2}

$\sum\frac{(X_i-\bar{X})^2}{\sigma^2}\sim \chi^2_{(n-1)}$

\sum \frac{(X_{i} - \bar{X})^{2}}{n - 1} \sim \frac{σ^{2}}{n - 1} χ_{(n - 1)}^{2}

$\sum\frac{(X_i-\bar{X})^2}{n-1}\sim \frac{\sigma^2}{n-1}\chi^2_{(n-1)}$

(X - \bar{X})^{2}

$(X-\bar{X})^2$

x A x^{'}

$xAx'$

x^{'} Q D Q^{'} x

$x'QDQ'x$

Bagaimana dengan , dengan asumsi ? $\sum(Y_i-\hat{\beta}_0-\hat{\beta}_1X_i)^2$ $(Y - \beta_0 - \beta_1X)\sim \mathcal{N}(0, \sigma^2)$

Saya pikir

\sum \frac{(Y_{i} - {\hat{β}}_{0} - {\hat{β}}_{1} X_{i})^{2}}{σ^{2}} \sim χ_{(n - 2)}^{2} .

$\sum\frac{(Y_i-\hat{\beta}_0-\hat{\beta}_1X_i)^2}{\sigma^2}\sim \chi^2_{(n-2)}.$

Tapi saya tidak tahu bagaimana membuktikan atau menunjukkannya.

Apakah didistribusikan persis seperti ? $\chi^2_{(n-2)}$

— KH Kim
sumber

Apakah ini pekerjaan rumah? Jika demikian, silakan gunakan tag Pekerjaan Rumah.

— MånsT

Tidak, tidak. Saya pikir itu benar karena bagaimanapun, jumlah kuadrat adalah kuadrat kombinasi linear dari Y yang diberikan konstanta X. Tetapi apakah itu? Bukti sederhana seperti ini akan sangat dihargai! math.stackexchange.com/questions/47009/…

— KH Kim

Deskripsi yang Anda berikan dalam pertanyaan dan komentar Anda agak kacau. Sudahkah Anda menuliskan apa matriks Anda

A

$A$ harus untuk varians sampel? Apakah itu membantu Anda melihat cara menggeneralisasi?

— kardinal

Dikoreksi untuk D. Saya pikir titik kritisnya adalah elemen diagonal D harus kira-kira seperti (1,1,1, ..., 1,0,0). Apakah ada cara untuk membuktikannya? atau Apakah ada cara untuk menunjukkan itu

χ^{2} (n) = χ^{2} (n - 2) + χ^{2} (1) + χ^{2} (1)

$\chi^2(n)=\chi^2(n-2)+\chi^2(1)+\chi^2(1)$ dimana sse /

σ^{2} \sim χ^{2} (n - 2)

$\sigma^2 \sim \chi^2(n-2)$ ,

\sum e_{i}^{2} / σ^{2} \sim χ^{2} (n)

$\sum{e_i^2}/\sigma^2 \sim \chi^2(n)$

— KH Kim

Kami dapat membuktikan ini untuk kasus yang lebih umum $p$ variabel dengan menggunakan "hat matrix" dan beberapa properti yang berguna. Hasil ini biasanya jauh lebih sulit untuk dinyatakan dalam istilah non-matriks karena penggunaan dekomposisi spektral.

Sekarang dalam versi matriks kuadrat terkecil, matriks topi adalah $H=X(X^TX)^{-1}X^T$ dimana $X$ telah $n$ baris dan $p+1$ kolom (kolom yang untuk $\beta_0$ ). Asumsikan peringkat kolom lengkap untuk kenyamanan - jika tidak Anda bisa mengganti $p+1$ oleh peringkat kolom $X$ berikut ini. Kita dapat menulis nilai yang dipasang sebagai $\hat{Y}_i=\sum_{j=1}^nH_{ij}Y_j$ atau dalam notasi matriks $\hat{Y}=HY$ . Dengan menggunakan ini, kita dapat menulis jumlah kuadrat sebagai:

\frac{\sum_{saya = 1} (Y - \hat{Y_{saya}})^{2}}{σ^{2}} = \frac{(Y - \hat{Y})^{T} (Y - \hat{Y})}{σ^{2}} = \frac{(Y - H Y)^{T} (Y - H Y)}{σ^{2}}

$\frac{\sum_{i=1}(Y-\hat{Y_i})^2}{\sigma^2}=\frac{(Y-\hat{Y})^T(Y-\hat{Y})}{\sigma^2}=\frac{(Y-HY)^T(Y-HY)}{\sigma^2}$

= \frac{Y^{T} ({saya}_{n} - H) Y}{σ^{2}}

$=\frac{Y^T(I_n-H)Y}{\sigma^2}$

Dimana $I_n$ adalah matriks identitas ketertiban $n$ . Langkah terakhir mengikuti dari fakta itu $H$ adalah matriks idepotent, sebagai

H^{2} = [X (X^{T} X)^{- 1} X^{T}] [X (X^{T} X)^{- 1} X^{T}] = X (X^{T} X)^{- 1} X^{T} = H = H H^{T} = H^{T} H

$H^2=[X(X^TX)^{-1}X^T][X(X^TX)^{-1}X^T]=X(X^TX)^{-1}X^T=H=HH^T=H^TH$

Sekarang properti rapi dari matriks idepotent adalah bahwa semua nilai eigennya harus sama dengan nol atau satu. Membiarkan $e$ menunjukkan vektor eigen yang dinormalisasi $H$ dengan nilai eigen $l$ , kita dapat membuktikan ini sebagai berikut:

H e = l e ⟹ H (H e) = H (l e)

$He=le\implies H(He)=H(le)$

L. H S = H^{2} e = H e = l e R H S = l H e = l^{2} e

$LHS=H^2e=He=le\;\;\; RHS=lHe=l^2e$

⟹ l e = l^{2} e ⟹ l = 0 atau 1

$\implies le=l^2e\implies l=0\text{ or }1$

(perhatikan itu $e$ tidak boleh nol karena harus memuaskan $e^Te=1$ ) Sekarang karena $H$ idepoten, $I_n-H$ juga, karena

(I_{n} - H) (I_{n} - H) = I - I H - H I + H^{2} = I_{n} - H

$(I_n-H)(I_n-H)=I-IH-HI+H^2=I_n-H$

Kami juga memiliki properti bahwa jumlah nilai eigen sama dengan jejak matriks, dan

t r (I_{n} - H) = t r (I_{n}) - t r (H) = n - t r (X (X^{T} X)^{- 1} X^{T}) = n - t r ((X^{T} X)^{- 1} X^{T} X)

$tr(I_n-H)=tr(I_n)-tr(H)=n-tr(X(X^TX)^{-1}X^T)=n-tr((X^TX)^{-1}X^TX)$

= n - t r (I_{p + 1}) = n - p - 1

$=n-tr(I_{p+1})=n-p-1$

Karenanya $I-H$ harus punya $n-p-1$ nilai eigen sama dengan $1$ dan $p+1$ nilai eigen sama dengan $0$ .

Sekarang kita dapat menggunakan dekomposisi spektral $I-H=ADA^T$ dimana $D=\begin{pmatrix}I_{n-p-1} & 0_{[n-p-1]\times[p+1]}\\0_{[p+1]\times [n-p-1]} & 0_{[p+1]\times [p+1]}\end{pmatrix}$ dan $A$ bersifat ortogonal (karena $I-H$ simetris). Properti selanjutnya yang bermanfaat adalah itu $HX=X$ . Ini membantu mempersempit $A$ matriks

H X = X ⟹ (I - H) X = 0 ⟹ A D A^{T} X = 0 ⟹ D A^{T} X = 0

$HX=X\implies(I-H)X=0\implies ADA^TX=0\implies DA^TX=0$

⟹ (A^{T} X)_{i j} = 0 i = 1, \dots, n - p - 1 j = 1, \dots, p + 1

$\implies (A^TX)_{ij}=0\;\;\;i=1,\dots,n-p-1\;\;\; j=1,\dots,p+1$

dan kami mendapatkan:

\frac{\sum_{i = 1} (Y - \hat{Y_{i}})^{2}}{σ^{2}} = \frac{Y^{T} A D A^{T} Y}{σ^{2}} = \frac{\sum_{i = 1}^{n - p - 1} (A^{T} Y)_{i}^{2}}{σ^{2}}

$\frac{\sum_{i=1}(Y-\hat{Y_i})^2}{\sigma^2}=\frac{Y^TADA^TY}{\sigma^2}=\frac{\sum_{i=1}^{n-p-1}(A^TY)_i^2}{\sigma^2}$

Sekarang, di bawah model yang kita miliki $Y\sim N(X\beta,\sigma^2I)$ dan menggunakan teori normal standar yang kita miliki $A^TY\sim N(A^TX\beta,\sigma^2A^TA)\sim N(A^TX\beta,\sigma^2I)$ menunjukkan bahwa komponen $A^TY$ independen. Sekarang menggunakan hasil yang bermanfaat, kami memilikinya $(A^TY)_i\sim N(0,\sigma^2)$ untuk $i=1,\dots,n-p-1$ . Distribusi chi-square dengan $n-p-1$ derajat kebebasan untuk jumlah kesalahan kuadrat segera menyusul.

— probabilityislogic
sumber

Wow, terima kasih banyak. Benar-benar luar biasa! Bentuk matriks benar-benar terbayar! Singkatnya, SSE /

σ^{2} = Y^{T} (I - H) Y

$\sigma^2 = Y^T(I-H)Y$ dan

I - H

$I-H$ idempoten. Matriks idempoten memiliki nilai eigen 0 atau 1. Jadi jumlah nilai eigen adalah jumlah nilai eigen 1. dan

t r (I_{n} - H) = t r (I_{n}) - t r (H) = t r (I_{n}) - t r (X (X^{T} X)^{-} 1 X^{T}) = t r (I_{n}) - t r ((X^{T} X)^{-} 1 X^{T} X)

$tr(I_n-H)= tr(I_n)-tr(H)=tr(I_n)-tr(X(X^T X)^-1 X^T)=tr(I_n)-tr((X^T X)^-1 X^T X)$ sejak

t r (A B) = t r (B A)

$tr(AB)=tr(BA)$ , dan

t r (I_{n} - H)

$tr(I_n-H)$ menjadi n-p + 1. dan jumlah nilai eigen dari sebuah matriks adalah jumlah jejak dari matriks! dan

I - H

$I-H$ dapat dinyatakan sebagai

A D A^{T}

$ADA^T$ . Jadi yang pertama

Y^{T} (I - H) Y

$Y^T(I-H)Y$ menjadi

Y^{T} A D A^{T} Y

$Y^TADA^TY$ dengan D dengan hanya np-1 diagonal 1's.

— KH Kim

Jawaban bagus !! Hanya untuk menyajikan pendekatan lain, kita dapat memilih untuk mendefinisikan variabel normal multivariat yang ditransformasikan

v := A^{'} Y

$v := A'Y$ dan masih akan mengikuti distribusi yang sama

N (0, σ^{2} I)

$\mathcal{N}\left(0, \sigma^{2}I\right)$ jika kita menggunakan properti affine. Kemudian fraksi terakhir

\frac{Y^{'} A D A^{'} Y}{σ^{2}} = \frac{v^{'} D v}{σ^{2}} = \frac{v^{'} [\begin{matrix} I & 0 \\ 0 & 0 \end{matrix}] v}{σ^{2}} = \sum_{i = 1}^{tr D} {(\frac{v_{i}}{σ})}^{2}

$\frac{Y'ADA'Y}{\sigma^{2}} = \frac{v'Dv}{\sigma^{2}} = \frac{v'\begin{bmatrix} I & 0\\0 & 0\end{bmatrix}v}{\sigma^{2}}= \sum_{i=1}^{\operatorname{tr}D} \left(\frac{v_{i}}{\sigma}\right)^{2}$ .

— Daeyoung Lim