Tes statistik umum sebagai model linier

(PEMBARUAN: Saya mempelajari lebih dalam tentang ini dan memposting hasilnya di sini )

Daftar tes statistik bernama sangat besar. Banyak tes umum mengandalkan inferensi dari model linier sederhana, misalnya uji satu sampel hanya y = β + ε yang diuji terhadap model nol y = μ + ε yaitu β = μ di mana μ adalah beberapa nol nilai - biasanya μ = 0.

Saya menemukan ini menjadi sedikit lebih instruktif untuk tujuan pengajaran daripada model pembelajaran hafalan bernama, kapan harus menggunakannya, dan asumsi mereka seolah-olah mereka tidak ada hubungannya dengan satu sama lain. Pendekatan yang dipromosikan tidak mempromosikan pemahaman. Namun, saya tidak dapat menemukan sumber yang bagus untuk mengumpulkan ini. Saya lebih tertarik pada kesetaraan antara model yang mendasarinya daripada metode inferensi dari mereka. Meskipun, sejauh yang saya bisa lihat, uji rasio kemungkinan pada semua model linier ini menghasilkan hasil yang sama dengan inferensi "klasik".

Berikut adalah persamaan yang telah saya pelajari sejauh ini, dengan mengabaikan istilah kesalahan dan dengan asumsi bahwa semua hipotesis nol adalah tidak adanya efek: $\varepsilon \sim \mathcal N(0, \sigma^2)$

Uji satu sampel: . $y = \beta_0 \qquad \mathcal{H}_0: \beta_0 = 0$

Uji-berpasangan-sampel: $y_2-y_1 = \beta_0 \qquad \mathcal{H}_0: \beta_0 = 0$

Ini identik dengan uji-satu sampel pada perbedaan berpasangan.

Uji-t dua sampel: $y = \beta_1 * x_i + \beta_0 \qquad \mathcal{H}_0: \beta_1 = 0$

di mana x adalah indikator (0 atau 1).

Korelasi Pearson: $y = \beta_1 * x + \beta_0 \qquad \mathcal{H}_0: \beta_1 = 0$

Perhatikan kemiripan dengan uji-t dua sampel yang hanya regresi pada sumbu x biner.

Korelasi Spearman: $rank(y) = \beta_1 * rank(x) + \beta_0 \qquad \mathcal{H}_0: \beta_1 = 0$

Ini identik dengan korelasi Pearson pada pangkat-bertransformasi x dan y.

ANOVA satu arah: $y = \beta_1*x_1 + \beta_2*x_2 + \beta_3*x_3 +... \qquad \mathcal{H}_0: \beta_1, \beta_2, \beta_3, ... = \beta$

di mana adalah indikator yang memilih relevan (satu adalah 1; yang lain adalah 0). Model ini mungkin bisa ditulis dalam bentuk matriks sebagai sebagai . $x_i$ $\beta$ $x$ $Y = \beta * X$

ANOVA dua arah: $y = \beta_1 * X_1 + \beta_2 * X_2 + \beta_3 * X_1 * X_2 \qquad \mathcal{H}_0: \beta_3 = 0$

untuk dua faktor dua tingkat. Di sini adalah vektor beta di mana seseorang dipilih oleh vektor indikator . The ditampilkan di sini adalah efek interaksi. $\beta_i$ $X_i$ $\mathcal{H}_0$

Bisakah kita menambahkan lebih banyak "tes bernama" ke daftar model linier ini? Misalnya, regresi multivariat, tes "non-parametrik" lainnya, tes binomial, atau RM-ANOVA?

PEMBARUAN: pertanyaan telah diajukan dan dijawab tentang ANOVA dan uji-t sebagai model linier di SO. Lihat pertanyaan ini dan tandai pertanyaan terkait .

— Jonas Lindeløv
sumber

Saya pikir perbandingan ini tepat tetapi pada beberapa titik ada juga perbedaan yang halus. Misalnya, ambil ANOVA satu arah: di mana regresi linier akan memberi Anda koefisien dan dalam kebanyakan paket perangkat lunak, signifikansi per koefisien dengan uji Wald (yang mungkin tidak sesuai), ANOVA akan memberikan nilai-p tunggal yang menunjukkan apakah ada salah satu koefisien secara signifikan berbeda dari nol. Uji Likelihood Ratio antara model nol dan model regresi yang menarik mungkin lebih sebanding. Karena itu, saya tidak akan sepenuhnya menyamakan tes / model ini.

— IWS

Poin bagus; Saya memperbarui pertanyaan, dengan mengatakan bahwa "Saya lebih tertarik pada kesetaraan antara model-model yang mendasarinya daripada metode inferensi dari mereka." Tes rasio kemungkinan pada ANOVA satu arah dan istilah interaksi menghasilkan nilai-p yang identik dengan analisis "klasik" sejauh pengujian saya berjalan.

— Jonas Lindeløv

Cukup adil, tetapi disamping kesimpulan, perlu dicatat bahwa model regresi juga memberikan fleksibilitas tambahan ketika menangani non-linearitas (walaupun transformasi mungkin juga diuji dengan 'tes bernama' ini, splines adalah masalah yang berbeda) atau menangani heteroskedastisitas, bahkan tidak menyebutkan keluarga model umum yang juga menangani variabel dependen tidak kontinu. Meskipun demikian, saya dapat melihat menjelaskan tes yang disebut sebagai variasi restriktif dari model regresi untuk tujuan pengajaran dapat memiliki manfaat, sehingga +1

— IWS

Apakah korelasi peringkat Spearman benar-benar model linier?

— Martin Dietz

@ MartinDietz: Ya, setelah mengubah peringkat x dan y, itu linear. Kode R:x = rnorm(100); y = rnorm(100); summary(lm(rank(x) ~ rank(y))); cor.test(x, y, method='spearman')

— Jonas Lindeløv

Bukan daftar lengkap tetapi jika Anda memasukkan model linier umum , cakupan masalah ini menjadi jauh lebih besar.

Contohnya:

E [logit (hal) | t] = β_{0} + β_{1} t H_{0} : β_{1} = 0

$E[\mbox{logit} (p) | t] = \beta_0 + \beta_1 t \qquad \mathcal{H}_0: \beta_1 = 0$

$p \times k$

E [\log (μ)] = β_{0} + β_{saya .} + β_{. j} + γ_{saya j} saya, j > 1 H_{0} : γ_{saya j} = 0, saya, j > 1

$E[\log (\mu)] = \beta_0 + \beta_{i.} + \beta_{.j} + \gamma_{ij} \quad i,j > 1 \qquad\mathcal{H}_0: \gamma_{ij} = 0, \quad i,j > 1$

Juga uji-t untuk varian yang tidak sama didekati dengan baik dengan menggunakan estimasi kesalahan kuat Huber White.

— AdamO
sumber