Likelihood Ratio vs Wald test

Dari apa yang saya baca, antara lain di situs statistik UCLA, kelompok konsultasi tes rasio kemungkinan dan tes wald cukup mirip dalam menguji apakah dua model glm menunjukkan perbedaan yang signifikan dalam kesesuaian untuk dataset (permisi jika kata-kata saya mungkin agak off). Intinya saya dapat membandingkan dua model dan menguji apakah model kedua menunjukkan kecocokan yang lebih baik secara signifikan daripada yang pertama, atau tidak ada perbedaan di antara kedua model tersebut.

Jadi tes LR dan Wald harus menunjukkan nilai-p kasar yang sama untuk model regresi yang sama. Setidaknya kesimpulan yang sama harus keluar.

Sekarang saya melakukan kedua tes untuk model yang sama dalam R dan mendapatkan hasil yang sangat berbeda. Berikut adalah hasil dari R untuk satu model:

> lrtest(glm(data$y~1),glm(data$y~data$site_name,family="poisson"))
Likelihood ratio test

Model 1: data$y ~ 1
    Model 2: data$y ~ data$site_name
      #Df  LogLik Df  Chisq Pr(>Chisq)    
    1   2 -89.808                         
    2   9 -31.625  7 116.37  < 2.2e-16 ***
    ---
    Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1
    > lrtest(glm(data$y~1,family="poisson"),glm(data$y~data$site_name,family="poisson"))
Likelihood ratio test

Model 1: data$y ~ 1
    Model 2: data$y ~ data$site_name
      #Df  LogLik Df  Chisq Pr(>Chisq)    
    1   1 -54.959                         
    2   9 -31.625  8 46.667  1.774e-07 ***
    ---
    Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1
    > waldtest(glm(data$y~data$site_name,family="poisson"))
Wald test

Model 1: data$y ~ data$site_name
Model 2: data$y ~ 1
      Res.Df Df      F Pr(>F)
    1     45                 
    2     53 -8 0.7398 0.6562
    > waldtest(glm(data$y~1,family="poisson"),glm(data$y~data$site_name,family="poisson"))
Wald test

Model 1: data$y ~ 1
    Model 2: data$y ~ data$site_name
  Res.Df Df      F Pr(>F)
1     53                 
2     45  8 0.7398 0.6562

Tentang data, data $ y berisi data jumlah dan data $ site_name adalah faktor dengan 9 level. Ada 54 nilai dalam data $ y, dengan 6 nilai per level data $ site_name.

Berikut adalah distribusi frekuensi:

> table(data$y)

 0  2  4  5  7 
50  1  1  1  1 
> table(data$y,data$site_name)

    Andulay Antulang Basak Dauin Poblacion District 1 Guinsuan Kookoo's Nest Lutoban Pier Lutoban South Malatapay Pier
  0       6        6     6                          4        6             6            6             5              5
  2       0        0     0                          0        0             0            0             1              0
  4       0        0     0                          1        0             0            0             0              0
  5       0        0     0                          0        0             0            0             0              1
  7       0        0     0                          1        0             0            0             0              0

Sekarang data ini tidak sesuai dengan distribusi poisson dengan sangat baik karena dispersi nol yang sangat besar. Tetapi dengan model lain, di mana data $ y> 0 cocok dengan model poisson dengan baik, dan saat menggunakan model poisson inflated nol, saya masih mendapatkan hasil tes wald dan lrtest yang sangat berbeda. Di sana tes wald menunjukkan nilai p 0,03 sedangkan lrtest memiliki nilai p 0,0003. Masih perbedaan faktor 100, meskipun kesimpulannya mungkin sama.

Jadi apa yang saya pahami salah di sini dengan rasio kemungkinan vs waldtest?

Penting untuk dicatat bahwa meskipun uji rasio kemungkinan dan uji Wald digunakan oleh para peneliti untuk mencapai tujuan empiris yang sama, mereka menguji hipotesis yang berbeda . Tes rasio kemungkinan mengevaluasi apakah data kemungkinan berasal dari model yang lebih kompleks, vs model yang lebih sederhana. Dengan kata lain, apakah penambahan efek tertentu memungkinkan model memperhitungkan informasi lebih lanjut. Tes Wald, sebaliknya, mengevaluasi apakah kemungkinan efek yang diperkirakan bisa nol. Ini memang perbedaan yang bernuansa, tetapi perbedaan konseptual yang penting tetap.

Agresti (2007) membandingkan pengujian rasio kemungkinan, pengujian Wald, dan metode ketiga yang disebut "skor tes" (dia sulit menguraikan tes ini lebih lanjut). Dari bukunya (hlm. 13):

Ketika ukuran sampel kecil hingga sedang, tes Wald adalah yang paling tidak dapat diandalkan dari ketiga tes. Kita seharusnya tidak mempercayainya untuk n kecil seperti dalam contoh ini ( n = 10). Inferensi rasio-kemungkinan dan inferensi berbasis skor-tes lebih baik dalam hal probabilitas kesalahan aktual yang mendekati tingkat nominal yang cocok. Perbedaan yang mencolok dalam nilai-nilai dari ketiga statistik menunjukkan bahwa distribusi estimator ML mungkin jauh dari normal. Dalam hal itu, metode sampel kecil lebih tepat daripada metode sampel besar.

Melihat data dan output Anda, tampaknya Anda memang memiliki sampel yang relatif kecil, dan karena itu mungkin ingin menempatkan stok yang lebih besar dalam hasil tes rasio kemungkinan vs hasil tes Wald.

Referensi

Agresti, A. (2007). Pengantar analisis data kategorikal (edisi ke-2) . Hoboken, NJ: John Wiley & Sons.

Kedua tes tersebut setara secara asimptotik. Tentu saja, kinerja mereka (ukuran dan kekuatan) dalam sampel terbatas dapat berbeda. Yang terbaik yang dapat Anda lakukan untuk memahami perbedaannya adalah menjalankan studi Monte Carlo untuk pengaturan yang mirip dengan Anda.

Pertama, saya agak tidak setuju dengan jawaban jsakaluk bahwa kedua tes menguji hal-hal yang berbeda - keduanya menguji apakah koefisien dalam model yang lebih besar adalah nol. Mereka hanya menguji hipotesis ini dengan membuat perkiraan yang berbeda (lihat artikel terkait di bawah).

Mengenai perbedaan antara hasil mereka, seperti kata jsakaluk, ini kemungkinan karena ukuran sampel yang kecil / bahwa kemungkinan log jauh dari kuadrat. Saya menulis posting blog pada tahun 2014 yang membahas hal ini untuk model binomial sederhana, yang dapat membantu lebih lanjut: http://thestatsgeek.com/2014/02/08/wald-vs-likelihood-ratio-test/