Perbedaan antara uji-t dan ANOVA dalam regresi linier

Saya bertanya-tanya apa perbedaan antara uji-t dan ANOVA dalam regresi linier?

Apakah uji-t untuk menguji apakah salah satu lereng dan intersep memiliki nilai nol, sedangkan ANOVA untuk menguji apakah semua lereng memiliki nilai nol? Apakah ini satu-satunya perbedaan di antara mereka?
Dalam regresi linier sederhana yaitu di mana hanya ada satu variabel prediktor, hanya ada satu kemiringan untuk memperkirakan. Jadi apakah t-test dan ANOVA setara, dan jika ya, bagaimana, mengingat bahwa mereka menggunakan statistik yang berbeda (uji-t menggunakan statistik-t dan ANOVA menggunakan statistik-F)?

regression anova t-test

— Tim
sumber

Ad 1) Dalam regresi linier, saya biasanya memahami ANOVA sebagai ukuran goodness of fit model, yaitu untuk memutuskan apakah model (garis regresi) menjelaskan bagian substansial dari total variabilitas. Pertanyaannya, apakah itu setara dengan semua lereng menjadi nol, benar-benar sangat menarik. Iklan 2) sepertinya saya mendapatkan nilai p yang hampir sama untuk uji-t dan regresi ANOVA dalam kasus ini. Teorema yang sangat menarik!

— Penasaran

Jawaban:

Model linear umum memungkinkan kita menulis model ANOVA sebagai model regresi. Mari kita asumsikan kita memiliki dua kelompok dengan masing-masing dua pengamatan, yaitu, empat pengamatan dalam vektor . Kemudian model orisinil, overparametrized adalah , di mana adalah matriks prediktor, yaitu variabel indikator kode-dummy: $y$ $E(y) = X^{\star} \beta^{\star}$ $X^{\star}$

(\begin{matrix} μ_{1} \\ μ_{1} \\ μ_{2} \\ μ_{2} \end{matrix}) = (\begin{array}{ccc} 1 & 1 & 0 \\ 1 & 1 & 0 \\ 1 & 0 & 1 \\ 1 & 0 & 1 \end{array}) (\begin{matrix} β_{0}^{⋆} \\ β_{1}^{⋆} \\ β_{2}^{⋆} \end{matrix})

$\left(\begin{array}{c}\mu_{1} \\ \mu_{1} \\ \mu_{2} \\ \mu_{2}\end{array}\right) = \left(\begin{array}{ccc}1 & 1 & 0 \\ 1 & 1 & 0 \\ 1 & 0 & 1 \\ 1 & 0 & 1\end{array}\right) \left(\begin{array}{c}\beta_{0}^{\star} \\ \beta_{1}^{\star} \\ \beta_{2}^{\star}\end{array}\right)$

Parameter tidak dapat diidentifikasi sebagai karena memiliki peringkat 2 ( tidak dapat dibalik). Untuk mengubahnya, kami memperkenalkan batasan (kontras pengobatan), yang memberi kami model baru : $((X^{\star})' X^{\star})^{-1} (X^{\star})' E(y)$ $X^{\star}$ $(X^{\star})'X^{\star}$ $\beta_{1}^{\star} = 0$ $E(y) = X \beta$

(\begin{matrix} μ_{1} \\ μ_{1} \\ μ_{2} \\ μ_{2} \end{matrix}) = (\begin{array}{cc} 1 & 0 \\ 1 & 0 \\ 1 & 1 \\ 1 & 1 \end{array}) (\begin{matrix} β_{0} \\ β_{2} \end{matrix})

$\left(\begin{array}{c}\mu_{1} \\ \mu_{1} \\ \mu_{2} \\ \mu_{2}\end{array}\right) = \left(\begin{array}{cc}1 & 0 \\ 1 & 0 \\ 1 & 1 \\ 1 & 1\end{array}\right) \left(\begin{array}{c}\beta_{0} \\ \beta_{2}\end{array}\right)$

Jadi , yaitu, mengambil arti dari nilai yang diharapkan dari kategori referensi kami (grup 1). , yaitu, mengambil arti perbedaan untuk kategori referensi. Karena dengan dua kelompok, hanya ada satu parameter yang terkait dengan efek kelompok, hipotesis nol ANOVA (semua parameter efek kelompok adalah 0) sama dengan bobot regresi, hipotesis nol (parameter kemiringan adalah 0). $\mu_{1} = \beta_{0}$ $\beta_{0}$ $\mu_{2} = \beta_{0} + \beta_{2}$ $\beta_{2}$ $\mu_{2} - \mu_{1}$

Uji - dalam model linier umum menguji kombinasi linear dari parameter terhadap nilai hipotesis bawah hipotesis nol. Memilih , dengan demikian kita dapat menguji hipotesis bahwa (tes biasa untuk parameter slope), yaitu di sini, . Estimatornya adalah , di mana adalah Estimasi OLS untuk parameter. Statistik uji umum untuk adalah: $t$ $\psi = \sum c_{j} \beta_{j}$ $\psi_{0}$ $c = (0, 1)'$ $\beta_{2} = 0$ $\mu_{2} - \mu_{1} = 0$ $\hat{\psi} = \sum c_{j} \hat{\beta}_{j}$ $\hat{\beta} = (X'X)^{-1} X' y$ $\psi$

t = \frac{\hat{ψ} - ψ_{0}}{\hat{σ} \sqrt{c^{'} (X^{'} X)^{- 1} c}}

$t = \frac{\hat{\psi} - \psi_{0}}{\hat{\sigma} \sqrt{c' (X'X)^{-1} c}}$

$\hat{\sigma}^{2} = \|e\|^{2} / (n-\mathrm{Rank}(X))$ adalah estimator yang tidak bias untuk varian kesalahan, di mana adalah jumlah dari residu kuadrat. Dalam kasus dua grup , , dan estimatornya adalah dan . Dengan menjadi 1 dalam kasus kami, statistik pengujian menjadi: $\|e\|^{2}$ $\mathrm{Rank}(X) = 2$ $(X'X)^{-1} X' = \left(\begin{smallmatrix}.5 & .5 & 0 & 0 \\-.5 & -.5 & .5 & .5\end{smallmatrix}\right)$ $\hat{\beta}_{0} = 0.5 y_{1} + 0.5 y_{2} = M_{1}$ $\hat{\beta}_{2} = -0.5 y_{1} - 0.5 y_{2} + 0.5 y_{3} + 0.5 y_{4} = M_{2} - M_{1}$ $c' (X'X)^{-1} c$

t = \frac{M_{2} - M_{1} - 0}{\hat{σ}} = \frac{M_{2} - M_{1}}{\sqrt{‖ e ‖^{2} / (n - 2)}}

$t = \frac{M_{2} - M_{1} - 0}{\hat{\sigma}} = \frac{M_{2} - M_{1}}{\sqrt{\|e\|^{2} / (n-2)}}$

$t$ yaitu -distributed dengan df (disini ). Saat Anda kuadrat , Anda mendapatkan , statistik uji dari ANOVA -test untuk dua kelompok ( untuk antara, untuk dalam kelompok) yang mengikuti - distribusi dengan 1 dan df. $t$ $n - \mathrm{Rank}(X)$ $n-2$ $t$ $\frac{(M_{2} - M_{1})^{2} / 1}{\|e\|^{2} / (n-2)} = \frac{SS_{b} / df_{b}}{SS_{w} / df_{w}} = F$ $F$ $b$ $w$ $F$ $n - \mathrm{Rank}(X)$

Dengan lebih dari dua kelompok, hipotesis ANOVA (semua secara bersamaan 0, dengan ) mengacu pada lebih dari satu parameter dan tidak dapat dinyatakan sebagai kombinasi linear , sehingga pengujian tidak setara. . $\beta_{j}$ $1 \leq j$ $\psi$

— caracal
sumber

Dalam 1, ANOVA biasanya akan menguji variabel faktor dan apakah atau tidak antara varians kelompok adalah signifikan. Anda akan melihat dengan jelas perbedaannya jika perangkat lunak Anda memungkinkan variabel indikator dalam suatu regresi: untuk setiap dummy Anda akan mendapatkan nilai p yang mengatakan apakah nilai kelompok ini berbeda secara signifikan dari 0, dan sebagai konsekuensinya sangat berbeda dari kelompok referensi atau nilai referensi yang berlaku . Biasanya, Anda tidak akan melihat sampai sejauh mana indikator itu penting sampai Anda melakukan tes ANOVA.

Uji F adalah uji t kuadrat. Oleh karena itu, pada 2, itu sama.

— Tenaga kerja
sumber

Terima kasih! (1) Apa yang dimaksud dengan variabel indikator di sini? (2) Secara umum, uji-t setara dengan ANOVA hanya ketika hanya ada dua kelompok. Tetapi dalam regresi linier sederhana mungkin ada lebih dari dua kelompok, di mana jumlah kelompok adalah jumlah nilai variabel prediktor dalam set data.

— Tim

(1) Indikator atau variabel kategori atau faktor ... semuanya sama. (2) Memang, tetapi Anda mungkin ingin tahu seberapa baik skor boneka / kategori dari ANOVA.

— Buruh

Terima kasih! (2) Jadi dalam regresi linier sederhana, bagaimana uji-t setara dengan ANOVA, mengingat bahwa ada lebih dari dua kelompok? Apa artinya "seberapa baik skor boneka / kategori dari ANOVA", dan mengapa saya ingin mengetahuinya?

— Tim

Dalam regresi OLS, R² (varians yang dijelaskan) akan sama dengan eta² atau MSS / TSS dari ANOVA tidak peduli berapa banyak grup yang Anda tetapkan. Berikutnya, Anda mungkin ingin mengetahui kontribusi dari set boneka (misalnya variabel indikator) untuk mengatakan apakah set itu sendiri relevan dan sejauh mana, yang berbeda dari signifikansi perbedaan antara satu kategori tunggal dengan kategori referensi .

— Buruh