Mengapa tes rasio kemungkinan didistribusikan chi-kuadrat?

Mengapa statistik uji uji rasio kemungkinan didistribusikan chi-kuadrat?

$2(\ln \text{ L}_{\rm alt\ model} - \ln \text{ L}_{\rm null\ model} ) \sim \chi^{2}_{df_{\rm alt}-df_{\rm null}}$

Seperti yang disebutkan oleh @Nick, ini adalah konsekuensi dari teorema Wilks . Tetapi perhatikan bahwa statistik uji secara asimptotik -distribusi, bukan χ $\chi^2$$\chi^2$ .

Saya sangat terkesan dengan teorema ini karena ia memegang konteks yang sangat luas. Mempertimbangkan model statistik dengan kemungkinan di mana y adalah pengamatan vektor n pengamatan direplikasi independen dari distribusi dengan parameter θ milik submanifold B 1 dari R d dengan dimensi dim ( B 1 ) = s . Biarkan B 0 ⊂ B 1 menjadi submanifold dengan dimensi redup ( B $l(\theta \mid y)$$y$$n$$\theta$$B_1$$\mathbb{R}^d$$\dim(B_1)=s$$B_0 \subset B_1$ . Bayangkan Anda tertarik menguji H $\dim(B_0)=m$ .$H_0\colon\{\theta \in B_0\}$

The rasio kemungkinan adalah Tentukanpenyimpangand(y)=2log(lr(y)). Kemudianteorema Wilksmengatakan bahwa, di bawah asumsi keteraturan yang biasa,d(y)secara asimptotikχ2terdistribusi denganderajat kebebasans-mketikaH0berlaku.

Itu terbukti dalam makalah asli Wilk yang disebutkan oleh @Nick. Saya pikir makalah ini tidak mudah dibaca. Wilks menerbitkan sebuah buku kemudian, mungkin dengan presentasi teorinya yang paling mudah. Bukti heuristik singkat diberikan dalam buku Williams yang sangat bagus .

Saya komentar kedua Nick Sabbe yang keras, dan jawaban singkat saya adalah, Tidak . Maksudku, itu hanya dalam model linier normal. Untuk keadaan apa pun lainnya, distribusi yang tepat bukanlah . Dalam banyak situasi, Anda dapat berharap bahwa kondisi teorema Wilks terpenuhi, dan kemudian asymptotically statistik uji rasio log-likelihood menyatu dalam distribusi ke χ 2 . Keterbatasan dan pelanggaran kondisi teorema Wilks terlalu banyak untuk diabaikan.$\chi^2$$\chi^2$

1. Teorema ini mengasumsikan Data iid berharap masalah dengan data tergantung, seperti seri waktu atau sampel survei probabilitas yang tidak sama (untuk yang likelihood yang buruk didefinisikan, sih, yang "biasa" χ 2 tes, seperti tes kemerdekaan pada tabel kontingensi, mulai berperilaku sebagai penjumlahan ∑ k a k v k , v k ∼ iid χ 2 1 ( Rao & Scott ). Untuk data iid, a k = 1 , dan jumlahnya menjadi χ 2. Tetapi untuk data non-independen, ini bukan lagi kasusnya.$\Rightarrow$$\chi^2$$\sum_k a_k v_k, v_k \sim \mbox{i.i.d.} \chi^2_1$$a_k=1$$\chi^2$
2. Teorema ini mengasumsikan parameter sebenarnya berada di bagian dalam ruang parameter. Jika Anda memiliki ruang Euclidean untuk dikerjakan, itu bukan masalah. Namun, dalam beberapa masalah, batasan alami mungkin muncul, seperti varians 0 atau korelasi antara -1 dan 1. Jika parameter sebenarnya adalah salah satu batas, maka distribusi asimptotik adalah campuran χ 2 dengan derajat kebebasan yang berbeda, dalam arti bahwa cdf dari ujian adalah jumlah dari cdf tersebut ( Andrews 2001 , ditambah dua atau tiga makalahnya dari periode yang sama, dengan sejarah akan kembali ke Chernoff 1954 ).$\ge$$\chi^2$
3. Teorema ini mengasumsikan bahwa semua turunan yang relevan adalah nol. Ini dapat ditentang dengan beberapa masalah dan / atau parameterisasi nonlinier, dan / atau situasi ketika parameter tidak diidentifikasi di bawah nol. Misalkan Anda memiliki model campuran Gaussian, dan nol Anda adalah satu komponen vs. alternatif dua komponen berbeda f N ( μ 1 , σ 2 1 ) + ( 1 - f ) N ( μ 2 , σ 2 2$N(\mu_0,\sigma^2_0)$$f N(\mu_1,\sigma_1^2) + (1-f) N(\mu_2,\sigma_2^2)$dengan fraksi pencampuran . Nol tampaknya bersarang dalam alternatif, tetapi ini dapat dinyatakan dalam berbagai cara: karena f = 0 (dalam hal ini parameter μ 1 , σ 2 1 tidak diidentifikasi), f = 1 (dalam hal ini μ 2 , σ 2 2 tidak teridentifikasi), atau μ 1 = μ 2 , σ 1 = σ 2 (dalam hal ini $f$$f=0$$\mu_1,\sigma_1^2$$f=1$$\mu_2, \sigma_2^2$$\mu_1=\mu_2, \sigma_1=\sigma_2$$f$ is not identified). Here, you can't even say how many degrees of freedom your test should have, as you have different number of restrictions depending on how you parameterize the nesting. See the work of Jiahua Chen on this, e.g. CJS 2001.
4. $\chi^2$$\sum_k a_k v_k, v_k \sim \mbox{i.i.d.} \chi^2_1$, the same story as with non-independent data in my point 1, but they've also demonstrated how the $a_k$s depend on the structure of the model and the fourth moments of the distribution.
5. For finite samples, in a large class of situations likelihood ratio is Bartlett-correctible: while ${\rm Prob}[d(y) \le x]=F(x;\chi^2_d)[1+O(n^{-1})]$ for a sample of size $n$, and $F(x;\chi^2_d)$ being the distribution function of the $\chi^2_d$ distribution, for the regular likelihood problems you can find a constant $b$ such that ${\rm Prob}[d(y)/(1+b/n) \le x]=F(x;\chi^2_d)[1+O(n^{-2})]$, i.e., to a higher order of accuracy. So the $\chi^2$ approximation for finite samples can be improved (and arguably should be improved if you know how). The constant $b$ depends on the structure of the model, and sometimes on the auxiliary parameters, but if it can be consistently estimated, that works, too, in improving the order of coverage.

For a review of these and similar esoteric issues in likelihood inference, see Smith 1989.