Mengapa jejak

Dalam model ${y} = X \beta + \epsilon$ , kita dapat memperkirakan $\beta$ menggunakan persamaan normal ：

$$\hat{\beta} = (X'X)^{-1}X'y,$$ dan kita bisa mendapatkan y =X β . $$\hat{y} = X \hat{\beta}.$$

Vektor residu diperkirakan oleh

$$\hat{\epsilon} = y - X \hat{\beta} = (I - X (X'X)^{-1} X') y = Q y = Q (X \beta + \epsilon) = Q \epsilon,$$

di mana

$$Q = I - X (X'X)^{-1} X'.$$

Pertanyaan saya adalah bagaimana cara mendapatkan kesimpulan dari

$$\textrm{tr}(Q) = n - p.$$

Kesimpulannya hanya menghitung dimensi ruang vektor. Namun, itu umumnya tidak benar.

Sifat yang paling dasar perkalian matriks menunjukkan bahwa transformasi linear diwakili oleh matriks memenuhi$\mathbb{H}=X(X^\prime X)^{-}X^\prime$

$$\mathbb{H}^2 = \left(X(X^\prime X)^{-}X^\prime\right)^2=X(X^\prime X)^{-}(X^\prime X)(X^\prime X)^{-}X^\prime=\mathbb{H},$$

memamerkannya sebagai operator proyeksi . Karena itu pelengkapnya

$$\mathbb{Q} = 1 - \mathbb{H}$$

(seperti yang diberikan dalam pertanyaan) juga merupakan operator proyeksi. Jejak adalah peringkatnya h (lihat di bawah), di mana jejak Q sama dengan n - h .$\mathbb{H}$$h$$\mathbb{Q}$$n-h$

Dari rumusnya, jelaslah bahwa adalah matriks yang terkait dengan komposisi dua transformasi linier J = ( X ′ X ) - X ′ dan X itu sendiri. Pertama ( J ) mengubah n -vector y ke p -vector β . Kedua ( X ) adalah transformasi dari R p ke R n diberikan oleh y = X $\mathbb{H}$

$$\mathbb{J}=(X^\prime X)^{-}X^\prime$$ $X$$\mathbb{J}$$n$$y$$p$$\hat\beta$$X$$\mathbb{R}^p$$\mathbb{R}^n$$\hat y = X\hat \beta$. Peringkatnya tidak dapat melebihi yang lebih kecil dari dua dimensi itu, yang dalam pengaturan kuadrat terkecil selalu (tetapi bisa kurang dari p , setiap kali J tidak dari peringkat penuh). Akibatnya pangkat komposisi H = X J tidak dapat melebihi pangkat X . Maka kesimpulan yang benar adalah$p$$p$$\mathbb{J}$$\mathbb{H}=X\mathbb{J}$$X$

jika dan hanya jika J adalah peringkat penuh; dan secara umum n ≥ tr ( Q ) ≥ n - p . Dalam kasus sebelumnya model dikatakan "dapat diidentifikasi" (untuk koefisien β ).$\text{tr} (\mathbb{Q}) = n-p$$\mathbb{J}$$n \ge \text{tr} (\mathbb{Q}) \ge n-p$$\beta$

akan memiliki peringkat penuh jika dan hanya jika X ′ X tidak dapat dibalik.$\mathbb{J}$$X^\prime X$

---

Interpretasi geometris

mewakili proyeksi ortogonal dari n- vektor y (mewakili "respon" atau "variabel dependen") ke ruang yang dibentangkan oleh kolom X (mewakili "variabel independen" atau "kovariat"). Perbedaan Q = 1 - H menunjukkan cara menguraikan setiap n- vektor y menjadi jumlah vektor y = H ( y ) + Q ( y ) , di mana yang pertama dapat "diprediksi" dari X dan yang kedua tegak lurus terhadapnya . Saat$\mathbb{H}$$n$$y$$X$$\mathbb{Q}=1-\mathbb{H}$$n$$y$

$$y = \mathbb{H}(y) + \mathbb{Q}(y),$$ $X$$p$ kolom menghasilkan p- dimensi ruang (yaitu, tidak collinear), pangkat $X$$p$$\mathbb{H}$ adalah dan pangkat Q adalah n - p , yang mencerminkan dimensi tambahan variasi n - p dalam respons yang tidak terwakili dalam variabel independen. Jejak memberikan rumus aljabar untuk dimensi ini.$p$$\mathbb{Q}$$n-p$$n-p$

---

Latar Belakang Aljabar Linier

Sebuah operator proyeksi pada ruang vektor (seperti R n ) adalah transformasi linear P : V → V (yaitu, endomorfisma dari $V$$\mathbb{R}^n$$\mathbb{P}:V\to V$$V$ ) sehingga . Ini menjadikan pelengkapnya Q = 1 - P sebagai operator proyeksi juga, karena$\mathbb{P}^2=\mathbb{P}$$\mathbb{Q}=1-\mathbb{P}$

$$\mathbb{Q}^2 = \left(1 - \mathbb{P}\right)^2 = 1 - 2\mathbb{P} + \mathbb{P}^2 = 1-2\mathbb{P}+\mathbb{P} = \mathbb{Q}.$$

Semua proyeksi memperbaiki setiap elemen gambar mereka, untuk setiap kali kita dapat menulis v = P ( w ) untuk beberapa w ∈ V , di mana w = P ( v ) = P 2 ( v ) = P ( P ( v ) ) = P ( w ) $v\in \text{Im}(\mathbb{P})$$v = \mathbb{P}(w)$$w\in V$

$$w = \mathbb{P}(v) = \mathbb{P}^2(v) = \mathbb{P}(\mathbb{P}(v)) = \mathbb{P}(w).$$

Terkait dengan endomorfisma dari V adalah dua subruang: nya kernel ker ( $\mathbb{P}$$V$ dangambarnya Im ( P ) = { v ∈

$$\text{ker}(\mathbb{P}) = \{v\in v\,|\, \mathbb{P}(v)=0\}$$ Setiap vektor v ∈ V dapat ditulis dalam bentuk v = w + u di mana w ∈ Im ( P ) dan u ∈ Ker ( P ) . Karena itu kita dapat membangun basis E ∪ F untuk V yang E ⊂ Ker ( P ) dan F ⊂ $$\text{Im}(\mathbb{P}) = \{v\in v\,|\, \exists_{w\in V} \mathbb{P}(w)=v\}.$$ $v\in V$ $$v = w+u$$ $w\in \text{Im}(\mathbb{P})$$u\in \text{Ker}(\mathbb{P})$$E \cup F$$V$$E \subset \text{Ker}(\mathbb{P})$ . Ketika V adalah dimensi-terbatas, maka matriks P pada basis ini akan berada dalam bentuk blok-diagonal, dengan satu blok (sesuai dengan aksi P pada E ) semua nol dan yang lainnya (sesuai dengan aksi P pada F ) samadenganmatriks f oleh f , di mana dimensi F adalah f . Jejak P adalah jumlah dari nilai-nilai pada diagonal dan karenanya harus sama dengan f × 1 = f . Angka ini adalahpangkatdari$F \subset \text{Im}(\mathbb{P})$$V$$\mathbb{P}$$\mathbb{P}$$E$$\mathbb{P}$$F$$f$$f$$F$$f$$\mathbb{P}$$f\times 1 = f$$\mathbb{P}$

Jejak sama dengan jejak 1 (sama dengan n , dimensi V ) dikurangi jejak$1-\mathbb{P}$$1$$n$$V$$\mathbb{P}$

Hasil-hasil ini dapat dirangkum dengan pernyataan bahwa jejak proyeksi sama dengan peringkatnya.

@Dougal has already given an answer, but here is another one, a bit simpler.

First, let's use the fact that $\newcommand{\tr}{\mathrm{tr}}\tr(A - B) = \tr(A) - \tr(B)$. So, we get:

$$\tr(Q) = \tr(I) - \tr(X(X'X)^{-1}X').$$ Now $I$ is an $n \times n$ identity matrix, so $\tr(I) = n$. Now let's use the fact that $\tr(AB) = \tr(BA)$, that is, the trace is invariant under cyclic permutations. So, we have: $$\tr(Q) = n - \tr((X'X)^{-1}(X'X)).$$ When we multiply $(X'X)^{-1}$ with $(X'X)$, we get a $p \times p$ identity matrix, whose trace is $p$. So, we get: $$\tr(Q) = n - p.$$

$\newcommand\R{\mathbb R}$Assume that $n \le p$ and that $X$ is full-rank.

Consider the compact singular value decomposition $X = U \Sigma V^T$, where $\Sigma \in \R^{p \times p}$ is diagonal and $U \in \R^{n \times p}, V \in \R^{p \times p}$ have $U^T U = V^T V = V V^T = I_p$ (but note $U U^T$ is rank at most $p$ so it cannot be $I_n$). Then

$$\begin{align} X (X^T X)^{-1} X^T &= U \Sigma V^T (V \Sigma U^T U \Sigma V^T)^{-1} V \Sigma U^T \\&= U \Sigma V^T (V \Sigma^2 V^T)^{-1} V \Sigma U^T \\&= U \Sigma V^T V \Sigma^{-2} V^T V \Sigma U^T \\&= U U^T .\end{align}$$

Now, there exists a matrix $U_2 \in \R^{n \times n-p}$ such that $U_n = \begin{bmatrix}U & U_2\end{bmatrix}$ is unitary. We can write

$$\begin{align} I - X (X^T X)^{-1} X^T &= U_n U_n^T - U U^T \\&= U_n \left( I_n - \begin{bmatrix}I_p & 0 \\ 0 & 0\end{bmatrix} \right) U_n^T \\&= U_n \begin{bmatrix}0 & 0 \\ 0 & I_{n-p}\end{bmatrix} U_n^T .\end{align}$$ This form shows that $Q$ is positive semidefinite, and since it is a valid svd and the singular values are the square of the eigenvalues for a square symmetric matrix, also tells us that $Q$ has eigenvalues 1 (of multiplicity $n-p$) and 0 (of multiplicity $p$). Thus the trace of $Q$ is $n-p$.