Mengapa RSS didistribusikan chi square kali np?

Saya ingin memahami mengapa, di bawah model OLS, RSS (jumlah sisa kuadrat) didistribusikan ( menjadi jumlah parameter dalam model, jumlah pengamatan).

χ^{2} \cdot (n - p)

$\chi^2\cdot (n-p)$

p

$p$

n

$n$

Saya minta maaf karena mengajukan pertanyaan mendasar seperti itu, tetapi sepertinya saya tidak dapat menemukan jawabannya secara online (atau dalam buku teks saya yang lebih berorientasi pada aplikasi).

regression distributions least-squares

— Tal Galili
sumber

Perhatikan bahwa jawaban menunjukkan pernyataan tidak tepat: distribusi RSS adalah

σ^{2}

$\sigma^2$ (bukan

n - p

$n-p$ ) kali distribusi

χ^{2} (n - p)

$\chi^2(n-p)$ mana

σ^{2}

$\sigma^2$ adalah varian sebenarnya dari kesalahan.

— whuber

Jawaban:

Saya mempertimbangkan model linier berikut: ${y} = X \beta + \epsilon$ .

Vektor residu diperkirakan oleh

\hat{ϵ} = y - X \hat{β} = (I - X (X^{'} X)^{- 1} X^{'}) y = Q y = Q (X β + ϵ) = Q ϵ

$\hat{\epsilon} = y - X \hat{\beta} = (I - X (X'X)^{-1} X') y = Q y = Q (X \beta + \epsilon) = Q \epsilon$

di mana $Q = I - X (X'X)^{-1} X'$ .

Amati bahwa (jejaknya invarian di bawah permutasi siklik) dan bahwa . Nilai eigen dari adalah dan (beberapa perincian di bawah). Oleh karena itu, ada matriks kesatuan sedemikian sehingga ( matriks dapat didiagonalisasi oleh matriks kesatuan jika dan hanya jika mereka normal. ) $\textrm{tr}(Q) = n - p$ $Q'=Q=Q^2$ $Q$ $0$ $1$ $V$

V^{'} Q V = Δ = diag (\underset{n - p times}{\underset{⏟}{1, \dots, 1}}, \underset{p times}{\underset{⏟}{0, \dots, 0}})

$V'QV = \Delta = \textrm{diag}(\underbrace{1, \ldots, 1}_{n-p \textrm{ times}}, \underbrace{0, \ldots, 0}_{p \textrm{ times}})$

Sekarang, mari . $K = V' \hat{\epsilon}$

Karena , kami memiliki dan karenanya . Demikian $\hat{\epsilon} \sim N(0, \sigma^2 Q)$ $K \sim N(0, \sigma^2 \Delta)$ $K_{n-p+1}=\ldots=K_n=0$

\frac{‖ K ‖^{2}}{σ^{2}} = \frac{‖ K^{⋆} ‖^{2}}{σ^{2}} \sim χ_{n - p}^{2}

$\frac{\|K\|^2}{\sigma^2} = \frac{\|K^{\star}\|^2}{\sigma^2} \sim \chi^2_{n-p}$

dengan . $K^{\star} = (K_1, \ldots, K_{n-p})'$

Lebih lanjut, karena adalah matriks kesatuan, kita juga punya $V$

‖ \hat{ϵ} ‖^{2} = ‖ K ‖^{2} = ‖ K^{⋆} ‖^{2}

$\|\hat{\epsilon}\|^2 = \|K\|^2=\|K^{\star}\|^2$

Demikian

\frac{RSS}{σ^{2}} \sim χ_{n - p}^{2}

$\frac{\textrm{RSS}}{\sigma^2} \sim \chi^2_{n-p}$

Akhirnya, amati bahwa hasil ini menyiratkan bahwa

E (\frac{RSS}{n - p}) = σ^{2}

$E\left(\frac{\textrm{RSS}}{n-p}\right) = \sigma^2$

Sejak , yang polinomial minimal dari membagi polinomial . Jadi, nilai eigen adalah antara dan . Karena juga merupakan jumlah dari nilai eigen yang dikalikan dengan multiplisitasnya, kita tentu memiliki bahwa adalah nilai eigen dengan multiplisitas dan nol adalah nilai eigen dengan multiplisitas . $Q^2 - Q =0$ $Q$ $z^2 - z$ $Q$ $0$ $1$ $\textrm{tr}(Q) = n-p$ $1$ $n-p$ $p$

— okram
sumber

(+1) Jawaban yang bagus. Orang dapat membatasi perhatian pada ortogonal, bukan kesatuan, karena nyata dan simetris. Juga, apa itu ? Saya tidak melihatnya didefinisikan. Dengan sedikit menyangkal argumen, kita juga dapat menghindari penggunaan normal yang merosot, dalam kasus yang menyebabkan beberapa kekhawatiran bagi mereka yang tidak terbiasa dengannya.

V

$V$

Q

$Q$

S C R

$\mathrm{SCR}$

— kardinal

@Kardinal. Poin bagus. SCR ('Somme des Carrés Résiduels' dalam bahasa Perancis) seharusnya RSS.

— ocram

Terima kasih atas jawaban terinci Ocram! Beberapa langkah mengharuskan saya untuk melihat lebih banyak, tetapi saya memiliki garis besar untuk dipikirkan sekarang - terima kasih!

— Tal Galili

@ Glen_b: Oh, saya mengedit beberapa hari yang lalu untuk mengubah SCR ke SRR. Saya tidak ingat bahwa SCR disebutkan dalam komentar saya. Maaf bila membingungkan.

— ocram

@ Glen_b: Seharusnya berarti RSS: -S Diedit lagi. Thx

— ocram

IMHO, notasi matrikial menyulitkan banyak hal. Bahasa ruang vektor murni lebih bersih. Model dapat ditulis mana memiliki distribusi normal standar pada dan diasumsikan milik subruang vektor . $Y=X\beta+\epsilon$ $\boxed{Y=\mu + \sigma G}$ $G$ $\mathbb{R}^n$ $\mu$ $W \subset \mathbb{R}^n$

Sekarang bahasa geometri dasar mulai berperan. Estimator kuadrat-terkecil dari tidak lain adalah : proyeksi ortogonal dari dapat diamati pada ruang mana diasumsikan dimiliki. Vektor residual adalah : proyeksi pada orthogonal pelengkap dari di . Dimensi adalah . $\hat\mu$ $\mu$ $P_WY$ $Y$ $W$ $\mu$ $P^\perp_WY$ $W^\perp$ $W$ $\mathbb{R^n}$ $W^\perp$ $\dim(W^\perp)=n-\dim(W)$

Akhirnya, dan memiliki distribusi normal standar pada , maka norma kuadratnya memiliki yang distribusi dengan derajat kebebasan.

P_{W}^{⊥} Y = P_{W}^{⊥} (μ + σ G) = 0 + σ P_{W}^{⊥} G,

$P^\perp_WY = P^\perp_W(\mu + \sigma G) = 0 + \sigma P^\perp_WG,$

P_{W}^{⊥} G

$P^\perp_WG$

W^{⊥}

$W^\perp$

χ^{2}

$\chi^2$

\dim (W^{⊥})

$\dim(W^\perp)$

Demonstrasi ini hanya menggunakan satu teorema, sebenarnya definisi-teorema:

Definisi dan teorema . Vektor acak di memiliki distribusi normal standar pada ruang vektor jika ia mengambil nilainya dalam dan koordinatnya dalam satu ( dalam semua) basis ortonormal dari independen satu dimensi distribusi normal standar $\mathbb{R}^n$ $U \subset \mathbb{R}^n$ $U$ $\iff$ $U$

(dari definisi-teorema ini, teorema Cochran sangat jelas sehingga tidak layak untuk menyatakannya)

— Stéphane Laurent
sumber