Bagaimana cara menguji apakah kemiringan dalam model linier sama dengan nilai tetap?

9

Misalkan kita memiliki model regresi linier sederhana dan ingin menguji hipotesis nol terhadap alternatif umum. $Z = aX + bY$ $H_0: a=b=\frac{1}{2}$

Saya pikir seseorang dapat menggunakan estimasi dan dan selanjutnya menerapkan uji- untuk mendapatkan interval kepercayaan sekitar . Apakah ini ok? $\hat{a}$ $SE(\hat{a})$ $Z$ $\frac{1}{2}$

Pertanyaan lain sangat terkait dengan yang ini. Misalkan kita memiliki sampel dan kami menghitung statistik $\{(x_1,y_1,z_1),\ldots ,(x_n,y_n,z_n) \}$ $\chi^2$

\sum_{i = 1}^{n} \frac{(z_{i} - \frac{x_{i} + y_{i}}{2})^{2}}{\frac{x_{i} + y_{i}}{2}} .

$\begin{equation} \sum_{i=1}^n \frac{(z_i-\frac{x_i+y_i}{2})^2}{\frac{x_i+y_i}{2}}. \end{equation}$ Dapatkah statistik ini digunakan untuk menguji hipotesis nol yang sama?

hypothesis-testing regression

— Lan
sumber

8

Dalam regresi linier, asumsinya adalah dan bukan variabel acak. Karena itu, modelnya $X$ $Y$

Z = a X + b Y + ϵ

$Z = a X + b Y + \epsilon$

secara aljabar sama dengan

Z - \frac{1}{2} X - \frac{1}{2} Y = (a - \frac{1}{2}) X + (b - \frac{1}{2}) Y + ϵ = α X + β Y + ϵ .

$Z - \frac{1}{2} X - \frac{1}{2} Y = (a - \frac{1}{2})X + (b - \frac{1}{2})Y + \epsilon = \alpha X + \beta Y + \epsilon.$

Di sini, dan . Istilah kesalahan tidak terpengaruh. Sesuai model ini, perkirakan koefisien masing-masing sebagai dan , dan uji hipotesis dengan cara biasa. $\alpha = a - \frac{1}{2}$ $\beta =b - \frac{1}{2}$ $\epsilon$ $\hat{\alpha}$ $\hat{\beta}$ $\alpha = \beta = 0$

Statistik yang ditulis di akhir pertanyaan bukanlah statistik chi-kuadrat, meskipun memiliki kesamaan formal dengan satu. Statistik chi-kuadrat melibatkan jumlah , bukan nilai data, dan harus memiliki nilai yang diharapkan dalam penyebutnya, bukan kovariat. Dimungkinkan untuk satu atau lebih dari penyebut menjadi nol (atau mendekati itu), menunjukkan bahwa ada sesuatu yang salah dengan formulasi ini. Jika itu tidak meyakinkan, pertimbangkan bahwa satuan pengukuran , , dan bisa berupa apa saja (seperti drams, parsec, dan pecks), sehingga kombinasi linier seperti secara umum tidak ada artinya. Itu tidak menguji apa pun. $\frac{x_i+y_i}{2}$ $Z$ $X$ $Y$ $z_i - (x_i+y_i)/2$

— whuber
sumber

1

Terima kasih atas jawaban anda. Itu sangat berguna. Sebenarnya, saya tidak terlalu tepat dalam perumusan bagian kedua dari pertanyaan. Bayangkan, bahwa xs dan ys adalah angka positif, diukur dalam satuan yang sama. Zs (hasil yang diamati) entah bagaimana mengukur "interaksi" dalam arti bahwa jika tidak ada interaksi seharusnya zs (x + y) / 2 (hasil yang diharapkan). Jadi dari sudut pandang saya itu sama dengan menggunakan regresi dengan hipotesis nol a = b = 1/2 atau untuk membandingkan goodness of fit menggunakan statistik chi ^ 2 Pearson. Apakah ini masuk akal? Terima kasih!

— Lan

1

@Lan, saya pikir jawaban Wolfgang menggambarkan dengan baik bagaimana membuat tes yang Anda usulkan. Ini adalah contoh dari apa yang dimaksud dengan menguji hipotesis "dengan cara biasa."

— whuber

9

Anda dapat menguji hipotesis ini dengan uji model penuh versus pengurangan. Inilah cara Anda melakukan ini. Pertama, model dan dapatkan residu dari model itu. Selaraskan residu dan jumlahkan. Ini adalah jumlah kesalahan kuadrat untuk model lengkap. Sebut ini . Berikutnya, menghitung di mana . Ini adalah residu Anda di bawah hipotesis nol. Susun dan jumlahkan mereka. Ini adalah jumlah kesalahan kuadrat untuk model yang dikurangi. Mari kita sebut ini . $Z = aX + bY$ $SSE_f$ $Z - \hat{Z}$ $\hat{Z} = 1/2*X + 1/2*Y$ $SSE_r$

Sekarang hitung:

F = , $((SSE_r - SSE_f)/2) / (SSE_f / (n-2))$

di mana adalah ukuran sampel. Di bawah , statistik F ini mengikuti distribusi-F dengan dan derajat kebebasan. $n$ $H_0$ $2$ $n-2$

Berikut ini contoh menggunakan R:

x <- rnorm(n)
y <- rnorm(n)
z <- 1/2*x + 1/2*y + rnorm(n) ### note I am simulating under H0 here

res <- lm(z ~ x + y - 1)
summary(res)
SSE.f <- sum(resid(res)^2)

zhat  <- 1/2*x + 1/2*y
SSE.r <- sum((z-zhat)^2)

F <- ((SSE.r - SSE.f) / 2) / (SSE.f / (n-2))
pf(F, 2, n-2, lower.tail=FALSE) ### this is the p-value

Tolak nol jika nilai-p di bawah .05 (jika memang .05). $\alpha$

Saya menganggap Anda benar-benar bermaksud agar model Anda tidak mengandung intersep. Dengan kata lain, saya berasumsi Anda benar-benar bekerja dengan model dan bukan . $Z = aX + bY$ $Z = c + aX + bY$

— Wolfgang
sumber