Memahami uji-t untuk regresi linier

Saya mencoba mencari cara untuk melakukan beberapa pengujian hipotesis pada regresi linier (hipotesis nol menjadi tidak ada korelasi). Setiap panduan dan halaman tentang subjek yang saya temui tampaknya menggunakan uji-t. Tapi saya tidak mengerti apa arti uji-t untuk regresi linier sebenarnya. Uji-t, kecuali saya memiliki pemahaman yang salah atau model mental, digunakan untuk membandingkan dua populasi. Tetapi regressor dan regressand bukan sampel dari populasi yang sama, dan bahkan mungkin bukan dari unit yang sama, jadi tidak masuk akal untuk membandingkannya.

Jadi, ketika menggunakan uji-t pada regresi linier, apa yang sebenarnya kita lakukan?

Anda mungkin berpikir tentang dua sampel uji $t$ karena itu sering merupakan tempat pertama distribusi $t$ muncul. Tapi sebenarnya semua uji $t$ berarti bahwa distribusi referensi untuk statistik uji adalah distribusi $t$ . Jika $Z \sim \mathcal N(0,1)$ dan $S^2 \sim \chi^2_d$ dengan $Z$ dan $S^2$ independen, maka

$$\frac{Z}{\sqrt{S^2 / d}} \sim t_d$$ menurut definisi. Saya menulis ini untuk menekankan bahwadistribusi$t$hanya nama yang diberikan kepada distribusi rasio ini karena muncul banyak, dan segala bentuk ini akan memilikidistribusi$t$. Untuk uji dua sampel, rasio ini muncul karena di bawah nol perbedaan dalam mean adalah Gaussian nol-rata dan estimasi varians untuk Gaussi independen adalah independen$\chi^2$(independensi dapat ditunjukkan melaluiteorema Basu yang menggunakan fakta bahwa estimasi varians standar dalam sampel Gaussian adalah tambahan untuk rata-rata populasi, sedangkan rata-rata sampel lengkap dan cukup untuk jumlah yang sama).

Dengan regresi linier pada dasarnya kita mendapatkan hal yang sama. Dalam bentuk . Misalkan S 2 j = ( X T X ) - 1 j j dan menganggap prediktor X adalah non-acak. Jika kita tahu σ 2 kita akan memiliki β j - $\hat \beta \sim \mathcal N(\beta, \sigma^2 (X^T X)^{-1})$$S^2_j = (X^T X)^{-1}_{jj}$$X$$\sigma^2$ bawah nolH0:βj=0sehingga kita benar-benar memiliki tes Z. Tapi setelah kami memperkirakanσ2kita berakhir denganχ2variabel acak yang, di bawah asumsi normalitas kami, ternyata menjadi independen dari kami statistik β jdan kemudian kita mendapatkantdistribusi.

$$\frac{\hat \beta_j - 0}{\sigma S_j} \sim \mathcal N(0, 1)$$ $H_0 : \beta_j = 0$$\sigma^2$$\chi^2$$\hat \beta_j$$t$

---

Inilah detailnya: asumsikan . Membiarkan H = X ( X T X ) - 1 X T menjadi matriks topi yang kita miliki ‖ e ‖ 2 = ‖ ( I - H ) y ‖ 2 = y T ( I - H ) y . H adalah idempoten sehingga kami memiliki hasil yang sangat bagus $y \sim \mathcal N(X\beta, \sigma^2 I)$$H = X(X^TX)^{-1}X^T$

$$\|e\|^2 = \|(I-H)y\|^2 = y^T(I-H)y.$$ $H$ dengan parameter non-sentralitas δ = β T X T ( I - H ) X β = β T ( X T X - X T X ) β = 0 , jadi sebenarnya ini adalah pusat χ 2 dengan n - $$y^T(I-H)y / \sigma^2 \sim \mathcal \chi_{n-p}^2(\delta)$$ $\delta = \beta^TX^T(I-H)X\beta = \beta^T(X^TX - X^T X)\beta = 0$$\chi^2$$n-p$derajat kebebasan (ini adalah kasus khusus teorema Cochran ). Saya menggunakan untuk menunjukkan jumlah kolom X , jadi jika satu kolom X memberikan intersep maka kita akan memiliki p - 1 prediktor non-intersep. Beberapa penulis menggunakan p untuk menjadi jumlah prediktor yang tidak mencegat jadi terkadang Anda mungkin melihat sesuatu seperti n - p - 1 dalam derajat kebebasan di sana, tetapi semuanya adalah hal yang sama.$p$$X$$X$$p-1$$p$$n-p-1$

Hasil ini adalah bahwa , sehingga σ 2 : = $E(e^Te / \sigma^2) = n-p$bekerja dengan baik sebagai pendugaσ2.$\hat \sigma^2 := \frac{1}{n-p} e^T e$$\sigma^2$

Ini berarti bahwa β j adalah rasio dari Gaussian standar ke chi kuadrat dibagi dengan derajat kebebasannya. Untuk menyelesaikan ini, kita perlu menunjukkan independensi dan kita dapat menggunakan hasil berikut:

$$\frac{\hat \beta_j}{\hat \sigma S_j}= \frac{\hat \beta_j}{S_j\sqrt{e^Te / (n-p)}} = \frac{\hat \beta_j}{\sigma S_j\sqrt{\frac{e^Te}{\sigma^2(n-p)}}}$$

$Z \sim \mathcal N_k(\mu, \Sigma)$$A$$B$$\mathbb R^{l\times k}$$\mathbb R^{m\times k}$$AZ$$BZ$$A\Sigma B^T = 0$

We have $\hat \beta = (X^TX)^{-1}X^T y$ and $e = (I-H)y$ where $y \sim \mathcal N(X\beta, \sigma^2 I)$. This means

$$(X^TX)^{-1}X^T \cdot \sigma^2 I \cdot (I-H)^T = \sigma^2 \left((X^TX)^{-1}X^T - (X^TX)^{-1}X^TX(X^TX)^{-1}X^T\right) = 0$$ so $\hat \beta \perp e$, and therefore $\hat \beta \perp e^T e$.

The upshot is we now know

$$\frac{\hat \beta_j}{\hat \sigma S_j} \sim t_{n-p}$$ as desired (under all of the above assumptions).

---

Here's the proof of that result. Let $C = {A \choose B}$ be the $(l+m)\times k$ matrix formed by stacking $A$ on top of $B$. Then

$$CZ = {AZ \choose BZ} \sim \mathcal N \left({A\mu \choose B\mu}, C\Sigma C^T \right)$$ where $$C\Sigma C^T = {A \choose B} \Sigma \left(\begin{array}{cc} A^T & B^T \end{array}\right) = \left(\begin{array}{cc}A\Sigma A^T & A\Sigma B^T \\ B\Sigma A^T & B\Sigma B^T\end{array}\right).$$ $CZ$ is a multivariate Gaussian and it is a well-known result that two components of a multivariate Gaussian are independent if and only if they are uncorrelated, so the condition $A\Sigma B^T = 0$ turns out to be exactly equivalent to the components $AZ$ and $BZ$ in $CZ$ being uncorrelated.

$\square$

@Chaconne's answer is great. But here is a much shorter nonmathematical version!

Since the goal is to compute a P value, you first need to define a null hypothesis. Almost always, that is that the slope is actually horizontal so the numerical value for the slope (beta) is 0.0.

The slope fit from your data is not 0.0. Is that discrepancy due to random chance or due to the null hypothesis being wrong? You can't ever answer that for sure, but a P value is one way to sort-of-kind-of get at an answer.

The regression program reports a standard error of the slope. Compute the t ratio as the slope divided by its standard error. Actually, it is (slope minus null hypothesis slope) divided by the standard error, but the null hypothesis slope is nearly always zero.

Now you have a t ratio. The number of degrees of freedom (df) equals the number of data points minus the number of parameters fit by the regression (two for linear regression).

With those values (t and df) you can determine the P value with an online calculator or table.

It is essentially a one-sample t-test, comparing an observed computed value (the slope) with a hypothetical value (the null hypothesis).