R: Anova dan Regresi Linier

Saya baru dalam bidang statistik dan saya mencoba memahami perbedaan antara ANOVA dan regresi linier. Saya menggunakan R untuk mengeksplorasi ini. Saya membaca berbagai artikel tentang mengapa ANOVA dan regresi berbeda tetapi masih sama dan bagaimana dapat divisualisasikan dll. Saya pikir saya cantik di sana tetapi satu bit masih hilang.

Saya mengerti bahwa ANOVA membandingkan varians dalam kelompok dengan varians antara kelompok untuk menentukan apakah ada atau tidak perbedaan antara salah satu kelompok yang diuji. ( https://controls.engin.umich.edu/wiki/index.php/Factor_analysis_and_ANOVA )

Untuk regresi linier, saya menemukan posting di forum ini yang mengatakan bahwa hal yang sama dapat diuji ketika kami menguji apakah b (kemiringan) = 0. ( Mengapa ANOVA diajarkan / digunakan seolah-olah itu adalah metodologi penelitian yang berbeda dibandingkan dengan regresi linier? )

Untuk lebih dari dua grup saya menemukan situs web yang menyatakan:

Hipotesis nol adalah:$\text{H}_0: µ_1 = µ_2 = µ_3$

Model regresi linier adalah:$y = b_0 + b_1X_1 + b_2X_2 + e$

Output dari regresi linier, bagaimanapun, adalah intersep untuk satu kelompok dan perbedaan untuk intersep ini untuk dua kelompok lainnya. ( http://www.real-statistics.com/multiple-regress/anova-using-regress/ )

Bagi saya, ini terlihat bahwa sebenarnya intersep dibandingkan dan bukan lereng?

Contoh lain di mana mereka membandingkan penyadapan daripada lereng dapat ditemukan di sini: ( http://www.theanalysisfactor.com/why-anova-and-linear-regress-are-the-same-analysis/ )

Saya sekarang berjuang untuk memahami apa yang sebenarnya dibandingkan dalam regresi linier? lereng, penyadapan atau keduanya?

ini terlihat bahwa sebenarnya intersep dibandingkan dan bukan lereng?

Kebingungan Anda di sana berkaitan dengan fakta bahwa Anda harus sangat berhati-hati untuk menjelaskan tentang penyadapan dan kemiringan yang Anda maksud (penyadapan apa? Kemiringan apa?).

Peran koefisien dummy 0-1 dalam regresi dapat dianggap sebagai kemiringan dan sebagai perbedaan intersepsi.

Mari sederhanakan hal-hal sejauh mungkin, dengan mempertimbangkan kasus dua sampel.

Kita masih dapat melakukan ANOVA satu arah dengan dua sampel tetapi ternyata pada dasarnya sama dengan uji dua sampel dua sisi (kasus varians yang sama).

Berikut diagram situasi populasi:

$\delta = \mu_2-\mu_1$

$y = \mu_1 + \delta x + e$

$x=0$$y$$\mu_1 + \delta \times 0 = \mu_1$$x=1$$y$$\mu_1 + \delta \times 1 = \mu_1 + \mu_2 - \mu_1 = \mu_2$

$\delta$

Untuk membantu konkret, berikut adalah dua contoh:

Group1:  9.5  9.8 11.8
Group2: 11.0 13.4 12.5 13.9

Bagaimana penampilan mereka?

Seperti apa bentuk uji perbedaan?

Sebagai uji-t:

    Two Sample t-test

data:  values by group
t = -5.0375, df = 5, p-value = 0.003976
alternative hypothesis: true difference in means is not equal to 0
95 percent confidence interval:
 -4.530882 -1.469118
sample estimates:
mean in group g1 mean in group g2 
             9.9             12.9 

Sebagai regresi:

Coefficients:
            Estimate Std. Error t value Pr(>|t|)    
(Intercept)   9.9000     0.4502  21.991 3.61e-06 ***
groupg2       3.0000     0.5955   5.037  0.00398 ** 
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

Residual standard error: 0.7797 on 5 degrees of freedom
Multiple R-squared:  0.8354,    Adjusted R-squared:  0.8025 
F-statistic: 25.38 on 1 and 5 DF,  p-value: 0.003976

Kita dapat melihat dalam regresi bahwa istilah intersep adalah rata-rata dari kelompok 1, dan koefisien groupg2 (koefisien 'kemiringan') adalah perbedaan dalam rata-rata kelompok. Sementara itu nilai p untuk regresi sama dengan nilai p untuk uji-t (0,003976)