ANOVA vs regresi linier berganda? Mengapa ANOVA begitu umum digunakan dalam studi eksperimental?

ANOVA vs regresi linier berganda?

Saya mengerti bahwa kedua metode ini tampaknya menggunakan model statistik yang sama. Namun dalam keadaan apa saya harus menggunakan metode apa?

Apa kelebihan dan kekurangan metode ini jika dibandingkan?

Mengapa ANOVA begitu umum digunakan dalam studi eksperimental dan saya hampir tidak pernah menemukan studi regresi?

Akan menarik untuk menghargai bahwa divergensi ada pada jenis variabel , dan lebih khusus pada jenis variabel penjelas . Dalam ANOVA yang khas kami memiliki variabel kategori dengan kelompok yang berbeda , dan kami berusaha untuk menentukan apakah pengukuran variabel kontinu berbeda antara kelompok. Di sisi lain, OLS cenderung dianggap terutama sebagai upaya menilai hubungan antara regresi berkelanjutan atau variabel respon dan satu atau beberapa regresi atau variabel penjelas . Dalam hal ini regresi dapat dilihat sebagai teknik yang berbeda, meminjamkan dirinya untuk memprediksi nilai berdasarkan garis regresi.

Namun , perbedaan ini tidak tahan perpanjangan ANOVA ke sisa analisis sup alfabet varians (ANCOVA, MANOVA, MANCOVA); atau dimasukkannya variabel kode-dummy dalam regresi OLS. Saya tidak jelas tentang tengara sejarah tertentu, tetapi seolah-olah kedua teknik telah tumbuh adaptasi paralel untuk menangani model yang semakin kompleks.

Sebagai contoh, kita dapat melihat bahwa perbedaan antara ANCOVA versus OLS dengan variabel dummy (atau kategori) (dalam kedua kasus dengan interaksi) paling banyak bersifat kosmetik. Maafkan keberangkatan saya dari batas-batas dalam judul pertanyaan Anda, mengenai regresi linier berganda.

Dalam kedua kasus tersebut, model pada dasarnya identik dengan titik di R yang lmfungsinya digunakan untuk melakukan ANCOVA . Namun, itu dapat disajikan sebagai berbeda sehubungan dengan dimasukkannya intersep yang sesuai dengan tingkat pertama (atau kelompok) dari faktor (atau kategori) variabel dalam model regresi.

Dalam model yang seimbang ( kelompok berukuran sama , ) dan hanya satu kovariat (untuk menyederhanakan presentasi matriks), matriks model dalam ANCOVA dapat ditemui sebagai beberapa variasi dari:$i$$n_{1,2,\cdots\, i}$

$$X=\begin{bmatrix} 1_{n_1} & 0 & 0 & x_{n_1} & 0 & 0\\ 0 & 1_{n_2} & 0 & 0 & x_{n_2} & 0\\ 0 & 0 & 1_{n_3} & 0 & 0 & x_{n_3} \end{bmatrix}$$

untuk kelompok variabel faktor, dinyatakan sebagai matriks blok.$3$

Ini sesuai dengan model linier:

$$y = \alpha_i + \beta_1\, x_{n_1}+ \beta_2\,x_{n_2} \,+ \beta_3\,x_{n_3}\,+ \epsilon_i$$ dengan setara dengan berbagai sarana kelompok dalam ANOVA model, sedangkan berbeda adalah kemiringan kovariat untuk masing-masing kelompok.$\alpha_i$$\beta$

Penyajian model yang sama di bidang regresi, dan khususnya dalam R, mempertimbangkan intersep keseluruhan, sesuai dengan salah satu kelompok, dan matriks model dapat disajikan sebagai:

$$X=\begin{bmatrix} \color{red}\vdots & 0 & 0 &\color{red}\vdots & 0 &0 & 0\\ \color{red}{J_{3n,1}} & 1_{n_2} & 0 & \color{red}{x} & 0 & x_{n_2} & 0\\ \color{red}\vdots& 0 & 1_{n_3} & \color{red}\vdots & 0 & 0 & x_{n_3} \end{bmatrix}$$

dari persamaan OLS:

$$y =\color{red}{\beta_0} + \mu_i +\beta_1\, x_{n_1}+ \beta_2\,x_{n_2} \,+ \beta_3\,x_{n_3}\,+ \epsilon_i$$ .

Dalam model ini, intersep keseluruhan dimodifikasi pada setiap level grup oleh , dan grup-grup tersebut juga memiliki kemiringan berbeda.μ $\beta_0$$\mu_i$

Seperti yang dapat Anda lihat dari matriks model, presentasi memungkiri identitas sebenarnya antara regresi dan analisis varians.

Aku seperti untuk jenis memverifikasi ini dengan beberapa baris kode dan data yang favorit saya set mtcarsdi R . Saya menggunakan lmuntuk ANCOVA menurut kertas Ben Bolker tersedia di sini .

mtcars$cyl <- as.factor(mtcars$cyl)         # Cylinders variable into factor w 3 levels
D <- mtcars  # The data set will be called D.
D <- D[order(D$cyl, decreasing = FALSE),]   # Ordering obs. for block matrices.

model.matrix(lm(mpg ~ wt * cyl, D))         # This is the model matrix for ANCOVA

Sebagai bagian dari pertanyaan tentang metode apa yang digunakan (regresi dengan R!) Anda mungkin menemukan komentar online lucu yang saya temui ketika menulis posting ini.

Regresi ANOVA dan OLS secara matematis identik dalam kasus-kasus di mana prediktor Anda termasuk kategori (dalam hal kesimpulan yang Anda gambar dari statistik uji). Dengan kata lain, ANOVA adalah kasus regresi khusus. Tidak ada yang dapat dikatakan ANOVA kepada Anda bahwa regresi tidak dapat diturunkan dengan sendirinya. Namun sebaliknya, itu tidak benar. ANOVA tidak dapat digunakan untuk analisis dengan variabel kontinu. Dengan demikian, ANOVA dapat diklasifikasikan sebagai teknik yang lebih terbatas. Regresi, bagaimanapun, tidak selalu berguna bagi analis yang kurang canggih. Sebagai contoh, sebagian besar skrip ANOVA secara otomatis menghasilkan istilah interaksi, sedangkan dengan regresi Anda harus secara manual menghitung sendiri istilah-istilah itu menggunakan perangkat lunak. Meluasnya penggunaan ANOVA sebagian merupakan peninggalan analisis statistik sebelum penggunaan perangkat lunak statistik yang lebih kuat, dan, menurut pendapat saya, teknik yang lebih mudah untuk diajarkan kepada siswa yang tidak berpengalaman yang tujuannya adalah pemahaman tingkat permukaan yang relatif yang akan memungkinkan mereka untuk menganalisis data dengan paket statistik dasar. Cobalah suatu saat ... Periksa t statistik yang regresi dasar meludahkan, kuadratkan, dan kemudian bandingkan dengan rasio F dari ANOVA pada data yang sama. Identik!

Manfaat utama dari regresi ANOVA r, menurut pendapat saya, adalah dalam output. Jika Anda tertarik pada signifikansi statistik dari variabel kategori (faktor) sebagai blok, maka ANOVA menyediakan tes ini untuk Anda. Dengan regresi, variabel kategori diwakili oleh 2 atau lebih variabel dummy, tergantung pada jumlah kategori, dan karenanya Anda memiliki 2 atau lebih tes statistik, masing-masing membandingkan rata-rata untuk kategori tertentu terhadap rata-rata kategori nol (atau rata-rata keseluruhan, tergantung pada metode pengkodean dummy). Tak satu pun dari ini mungkin menarik. Dengan demikian, Anda harus melakukan analisis pasca estimasi (pada dasarnya, ANOVA) untuk mendapatkan tes keseluruhan dari faktor yang Anda minati.

Keuntungan utama regresi linier adalah kuat terhadap pelanggaran homogenitas varians ketika ukuran sampel antar kelompok tidak sama. Yang lain adalah ia memfasilitasi dimasukkannya beberapa kovariat (meskipun ini juga dapat dengan mudah dicapai melalui ANCOVA ketika Anda tertarik untuk memasukkan hanya satu kovariat). Regresi meluas selama tahun tujuh puluhan dalam munculnya kemajuan daya komputasi. Anda juga dapat menemukan regresi lebih nyaman jika Anda tertarik untuk menguji perbedaan antara level tertentu dari variabel kategori ketika ada lebih dari dua level yang hadir (selama Anda mengatur variabel dummy dalam regresi sehingga salah satu dari dua level ini mewakili grup referensi).