Bagaimana saya bisa menguji jika dua estimasi parameter dalam model yang sama berbeda secara signifikan?

Saya punya modelnya

y = x^{a} \times z^{b} + e

$y=x^a \times z^b + e$

di mana adalah variabel dependen, dan adalah variabel penjelas, dan adalah parameter dan adalah istilah kesalahan. Saya memiliki estimasi parameter dan dan matriks kovarian dari estimasi ini. Bagaimana saya menguji apakah dan berbeda secara signifikan? $y$ $x$ $z$ $a$ $b$ $e$ $a$ $b$ $a$ $b$

statistical-significance nonlinear-regression

— K. Roelofs
sumber

Menilai hipotesis bahwa dan berbeda sama dengan menguji hipotesis nol $a$ $b$ $a - b = 0$ (terhadap alternatif yang ). $a-b\ne 0$

Analisis berikut ini menganggap wajar bagi Anda untuk memperkirakan sebagai Ia juga menerima formulasi model Anda (yang seringkali masuk akal), yang - karena kesalahannya bersifat aditif (dan bahkan bisa menghasilkan nilai observasi negatif ) - tidak mengizinkan kami untuk membuat garis itu dengan mengambil logaritma dari kedua belah pihak. $a-b$

U = \hat{a} - \hat{b} .

$U = \hat a - \hat b.$

y

$y$

Varians dari dapat diekspresikan dalam bentuk matriks kovarians dari sebagai $U$ $(c_{ij})$ $(\hat a, \hat b)$

Var (U) = Var (\hat{a} - \hat{b}) = Var (\hat{a}) + Var (\hat{b}) - 2 Cov (\hat{a}, \hat{b}) = c_{11} + c_{22} - 2 c_{12}^{2} .

$\operatorname{Var}(U) = \operatorname{Var}(\hat a - \hat b) = \operatorname{Var}(\hat a) + \operatorname{Var}(\hat b) - 2 \operatorname{Cov}(\hat a, \hat b) = c_{11} + c_{22} - 2c_{12}^2.$

Ketika adalah diperkirakan dengan kuadrat, satu biasanya menggunakan "uji t;" yaitu, distribusi diperkirakan oleh distribusi t Student dengan derajat kebebasan (di mana adalah jumlah data dan menghitung jumlah koefisien) ). Apapun, biasanya merupakan dasar dari setiap tes. Anda dapat melakukan tes Z (ketika besar atau ketika pas dengan Kemungkinan Maksimum) atau bootstrapnya, misalnya. $(\hat a, \hat b)$

t = U / \sqrt{V a r (U)}

$t = U / \sqrt{\operatorname{Var(U)}}$

n - 2

$n-2$

n

$n$

2

$2$

t

$t$

n

$n$

Untuk lebih spesifik, nilai p dari uji t diberikan oleh

p = 2 t_{n - 2} (- | t |)

$p = 2t_{n-2}(-|t|)$

di mana adalah fungsi distribusi Student t (kumulatif). Ini adalah satu ungkapan untuk "area ekor:" kesempatan bahwa variabel t Student (dari derajat kebebasan) sama dengan atau melebihi ukuran statistik uji, $t_{n-2}$ $n-2$ $|t|.$

Secara umum, untuk angka dan Anda dapat menggunakan pendekatan yang persis sama untuk menguji hipotesis apa pun $c_1,$ $c_2,$ $\mu$

H_{0} : c_{1} a + c_{2} b = μ

$H_0: c_1 a + c_2 b = \mu$

terhadap alternatif dua sisi. (Ini mencakup kasus "kontras" khusus tetapi luas .) Gunakan matriks varians-kovarians yang diperkirakan untuk memperkirakan varians dari dan membentuk statistik $(c_{ij})$ $U = c_1 a + c_2 b$

t = (c_{1} \hat{a} + c_{2} \hat{b} - μ) / \sqrt{Var (U)} .

$t = (c_1 \hat a + c_2 \hat b - \mu) / \sqrt{\operatorname{Var}(U)}.$

Di atas adalah case dan $(c_1,c_2) = (1,-1)$ $\mu=0.$

Untuk memeriksa apakah saran ini benar, saya menjalankan Rkode berikut untuk membuat data sesuai dengan model ini (dengan kesalahan yang terdistribusi secara normal e), cocok dengan mereka, dan menghitung nilai berkali-kali. Ceknya adalah bahwa plot probabilitas (berdasarkan distribusi t Student yang diasumsikan) erat mengikuti diagonal. Berikut adalah plot dalam simulasi ukuran mana (dataset yang sangat kecil, dipilih karena distribusi jauh dari Normal) dan $t$ $t$ $500$ $n=5$ $t$ $a=b=-1/2.$

Dalam contoh ini, setidaknya, prosedur ini bekerja dengan baik. Pertimbangkan untuk menjalankan kembali simulasi menggunakan parameter (standar deviasi kesalahan), dan yang mencerminkan situasi Anda. $a,$ $b,$ $\sigma$ $n$

Ini kodenya.

#
# Specify the true parameters.
#
set.seed(17)
a <- -1/2
b <- -1/2
sigma <- 0.25 # Variance of the errors
n <- 5        # Sample size
n.sim <- 500  # Simulation size
#
# Specify the hypothesis.
#
H.0 <- c(1, -1) # Coefficients of `a` and `b`.
mu <- 0 
#
# Provide x and z values in terms of their logarithms.
#
log.x <- log(rexp(n))
log.z <- log(rexp(n))
#
# Compute y without error.
#
y.0 <- exp(a * log.x + b * log.z)
#
# Conduct a simulation to estimate the sampling distribution of the t statistic.
#
sim <- replicate(n.sim, {
  #
  # Add the errors.
  #
  e <- rnorm(n, 0, sigma)
  df <- data.frame(log.x=log.x, log.z=log.z, y.0, y=y.0 + e)
  #
  # Guess the solution.
  #
  fit.ols <- lm(log(y) ~ log.x + log.z - 1, subset(df, y > 0))
  start <- coefficients(fit.ols) # Initial values of (a.hat, b.hat)
  #
  # Polish it using nonlinear least squares.
  #
  fit <- nls(y ~ exp(a * log.x + b * log.z), df, list(a=start[1], b=start[2]))
  #
  # Test a hypothesis.
  #
  cc <- vcov(fit)
  s <- sqrt((H.0 %*% cc %*% H.0))
  (crossprod(H.0, coef(fit)) - mu) / s
})
#
# Display the simulation results.
#
summary(lm(sort(sim) ~ 0 + ppoints(length(sim))))
qqplot(qt(ppoints(length(sim)), df=n-2), sim, 
       pch=21, bg="#00000010", col="#00000040",
       xlab="Student t reference value", 
       ylab="Test statistic")
abline(0:1, col="Red", lwd=2)

— whuber
sumber

Ini luar biasa. Jawabannya dengan teori, dengan langkah-langkah yang harus diikuti untuk mengulangi untuk tes lain, dengan pendekatan numerik untuk kejelasan, dan dengan kode. Ini adalah standar emas.

— SecretAgentMan

Saya menemukan " The hipotesis bahwa a dan b adalah berbeda" ambigu dalam kalimat pembuka, karena tidak jelas apakah itu adalah nol atau hipotesis alternatif. Pertanyaan OP memperjelas mereka mencari bukti perbedaan, dan klausa kedua kalimat Anda berbicara tentang itu. Secara pedagogis saya pikir ini membantu orang yang lebih baru untuk pengujian hipotesis menjadi sangat eksplisit. (Tapi +1 untuk jawaban Anda secara keseluruhan :)

— Alexis

@Alexis terima kasih - Saya mengerti apa yang Anda katakan. Karena saya memiliki orang-orang seperti itu dalam pikiran, saya akan mengklarifikasi.

— Whuber