Apakah uji t dan ANOVA satu arah keduanya merupakan tes Wald?

11

uji-t untuk menguji apakah rata-rata sampel yang berdistribusi normal sama dengan konstanta dikatakan sebagai uji Wald, dengan memperkirakan standar deviasi sampel dengan informasi nelayan dari distribusi normal pada mean sampel. Tetapi statistik uji dalam uji t memiliki distribusi t siswa, sedangkan uji statistik dalam uji Wald secara asimtotik memiliki distribusi chi-square. Saya ingin tahu bagaimana menjelaskannya?

Dalam ANOVA satu arah, statistik uji didefinisikan sebagai rasio antara varians antara kelas dan varians dalam kelas. Saya bertanya-tanya apakah itu juga tes Wald? Tetapi statistik uji dalam ANOVA satu arah memiliki distribusi F, dan statistik uji dalam uji Wald secara asimtotik memiliki distribusi chi-square. Saya ingin tahu bagaimana menjelaskannya?

Terima kasih dan salam!

hypothesis-testing anova

— Tim
sumber

17

Pertimbangkan pengaturan berikut. Kami memiliki vektor parameter dimensi yang menentukan model sepenuhnya dan penduga kemungkinan maksimum . Informasi Fisher di dilambangkan . Apa yang biasanya disebut sebagai statistik Wald adalah $p$ $\theta$ $\hat{\theta}$ $\theta$ $I(\theta)$

(\hat{θ} - θ)^{T} saya (\hat{θ}) (\hat{θ} - θ)

$(\hat{\theta} - \theta)^T I(\hat{\theta}) (\hat{\theta} - \theta)$

di mana adalah informasi Fisher yang dievaluasi dalam penduga kemungkinan-maksimum. Di bawah kondisi keteraturan, statistik Wald mengikuti tanpa a dengan -degree of freedom ketika adalah parameter sebenarnya. Statistik Wald dapat digunakan untuk menguji hipotesis sederhana pada seluruh vektor parameter. $I(\hat{\theta})$ $\chi^2$ $p$ $\theta$ $H_0 : \theta = \theta_0$

Dengan informasi Fisher terbalik statistik uji Wald dari hipotesis adalah Distribusi asimtotik adalah sebuah -Distribusi dengan 1 derajat kebebasan. $\Sigma(\theta) = I(\theta)^{-1}$ $H_0 : \theta_1 = \theta_{0,1}$

\frac{({\hat{θ}}_{1} - θ_{0, 1})^{2}}{Σ (\hat{θ})_{saya saya}} .

$\frac{(\hat{\theta}_1 - \theta_{0,1})^2}{\Sigma(\hat{\theta})_{ii}}.$

χ^{2}

$\chi^2$

Untuk model normal di mana adalah vektor dari mean dan parameter varians, statistik uji Wald menguji jika adalah dengan ukuran sampel. Di sini adalah penaksir kemungkinan maksimum dari (di mana Anda membaginya dengan ). The -test statistik yaitu di mana adalah estimator berisi varians (di mana Anda bagi dengan ) . Statistik uji Wald hampir tetapi tidak persis sama dengan kuadrat dari $\theta = (\mu, \sigma^2)$ $\mu = \mu_0$

\frac{n (\hat{μ} - μ_{0})^{2}}{{\hat{σ}}^{2}}

$\frac{n(\hat{\mu} - \mu_0)^2}{\hat{\sigma}^2}$

n

$n$

{\hat{σ}}^{2}

$\hat{\sigma}^2$

σ^{2}

$\sigma^2$

n

$n$

t

$t$

\frac{\sqrt{n} (\hat{μ} - μ_{0})}{s}

$\frac{\sqrt{n}(\hat{\mu} - \mu_0)}{s}$

s^{2}

$s^2$

n - 1

$n-1$

t

$t$ Statistik -test, tetapi mereka asimtotik setara ketika . Statistik uji kuadrat memiliki distribusi , yang menyatu dengan dengan 1 derajat kebebasan untuk .

n \to \infty

$n \to \infty$

t

$t$

F (1, n - 1)

$F(1, n-1)$

χ^{2}

$\chi^2$

n \to \infty

$n \to \infty$

Cerita yang sama berlaku tentang -test dalam ANOVA satu arah. $F$

— NRH
sumber

Terima kasih! Saya baru saja menemukan bahwa statistik uji t dibangun langsung pada statistik uji rasio kemungkinan, bukan pada statistik uji Wald. Apakah ANOVA satu arah secara langsung dibangun berdasarkan uji rasio kemungkinan?

— Tim

3

@ Tim, yang -tests digunakan dalam ANOVA setara dengan tes rasio kemungkinan berdasarkan distribusi kesalahan normal.

F

$F$

— NRH

Terima kasih! Di bawah model statistik normal, beberapa juga mengatakan bahwa distribusi sedikit modifikasi dari statistik uji Wald memiliki distribusi F di bawah nol. Benarkah itu? Saya memposting pertanyaan di sini

— Tim

13

@NRH memberikan jawaban teoretis yang bagus, berikut ini salah satu yang bermaksud lebih sederhana, lebih intuitif.

Ada tes Wald formal (dijelaskan dalam jawaban oleh NRH), tetapi kami juga merujuk pada tes yang melihat perbedaan antara parameter yang diestimasi dan nilai yang dihipotesiskan relatif terhadap variasi yang diestimasikan pada parameter yang diestimasi sebagai tes gaya Wald. Jadi uji-t seperti yang biasa kita gunakan adalah tes Gaya Wald walaupun itu sedikit berbeda dari uji Wald yang sebenarnya (perbedaan vs $n$ $n-1$ di dalam akar kuadrat). Kita bahkan dapat merancang tes gaya Wald berdasarkan median yang diperkirakan dikurangi median yang dihipotesiskan dibagi dengan fungsi IQR, tetapi saya tidak tahu distribusi apa yang akan mengikuti, akan lebih baik menggunakan bootstrap, permutasi, atau disimulasikan distribusi untuk tes ini daripada tergantung pada asimtotik chi-square. Uji-F untuk ANOVA cocok dengan pola umum juga, pembilang dapat dianggap sebagai mengukur perbedaan rata-rata dari rata-rata keseluruhan dan penyebut adalah ukuran variasi.

Juga perhatikan bahwa jika Anda kuadratkan variabel acak yang mengikuti distribusi maka akan mengikuti distribusi F dengan 1 df untuk pembilang dan penyebut df akan berasal dari distribusi t. Juga perhatikan bahwa distribusi F dengan denominator infinite df adalah distribusi chi-square. Jadi itu berarti bahwa t-statistik (kuadrat) dan statistik F adalah asimtotik chi-kuadrat seperti statistik Wald. Kami hanya menggunakan distribusi yang lebih tepat dalam praktik.

— Greg Snow
sumber