Dampak batas bin berbasis data pada uji kelayakan chi-square?

Mengesampingkan masalah yang jelas dari rendahnya daya chi-square dalam keadaan seperti ini, bayangkan melakukan uji kebaikan chi-square untuk beberapa kepadatan dengan parameter yang tidak ditentukan, dengan mengelompokkan data.

Untuk konkret, katakanlah distribusi eksponensial dengan rata-rata tidak diketahui dan ukuran sampel katakanlah 100.

Untuk mendapatkan jumlah yang wajar dari pengamatan yang diharapkan per bin, beberapa akun perlu diambil dari data (misalnya jika kita memilih untuk meletakkan 6 sampah di bawah rata-rata dan 4 di atasnya, itu masih akan menggunakan batas-batas bin berbasis data) .

Tetapi penggunaan tempat sampah ini berdasarkan pada melihat data mungkin akan mempengaruhi distribusi statistik uji di bawah nol.

Saya telah melihat banyak diskusi tentang fakta bahwa - jika parameter diperkirakan dengan kemungkinan maksimum dari data binned - Anda kehilangan 1 df per parameter yang diperkirakan (masalah yang berasal dari Fisher vs Karl Pearson) - tapi saya tidak ingat membaca apa pun tentang menemukan batas-batas bin sendiri berdasarkan data. (Jika Anda memperkirakannya dari data yang tidak dimasukkan, maka dengan bin distribusi statistik uji terletak di antara a dan .) $k$ $\chi^2_{k}$ $\chi^2_{k-p}$

Apakah pilihan tempat sampah berbasis data ini secara substantif berdampak pada tingkat signifikansi atau kekuatan? Apakah ada beberapa pendekatan yang lebih penting daripada yang lain? Jika ada banyak efek, apakah itu sesuatu yang hilang dalam sampel besar?

Jika memang memiliki dampak substantif, ini akan membuat penggunaan uji chi-kuadrat ketika parameter tidak diketahui hampir tidak berguna dalam banyak kasus (meskipun masih diadvokasi dalam beberapa teks), kecuali Anda memiliki Estimasi -priori dari parameter.

Diskusi masalah atau petunjuk untuk referensi (sebaiknya dengan menyebutkan kesimpulan mereka) akan bermanfaat.

Edit, selain pertanyaan utama:

Terjadi pada saya bahwa ada solusi potensial untuk kasus spesifik eksponensial * (dan seragam datang untuk memikirkannya), tetapi saya masih tertarik pada masalah yang lebih umum tentang dampak memilih batas bin.

* Sebagai contoh, untuk eksponensial, seseorang mungkin menggunakan pengamatan terkecil (katakanlah sama dengan ) untuk mendapatkan ide yang sangat kasar tentang di mana harus menempatkan sampah (karena pengamatan terkecil adalah eksponensial dengan rata-rata ), dan kemudian uji perbedaan tersisa ( ) untuk eksponensial. Tentu saja itu mungkin menghasilkan estimasi sangat buruk , dan karenanya pilihan bin yang buruk, meskipun saya kira orang mungkin menggunakan argumen secara rekursif untuk mengambil dua atau tiga pengamatan terendah dari mana untuk memilih nampan yang masuk akal dan kemudian menguji perbedaan dari pengamatan yang tersisa di atas yang terbesar dari statistik pesanan terkecil untuk eksponensialitas) $m$ $\mu/n$ $n-1$ $x_i - m$ $\mu$

chi-squared goodness-of-fit binning

— Glen_b -Reinstate Monica
sumber

Pertanyaan menarik. Saya tidak tahu jawabannya, tetapi gagasan bahwa beberapa derajat kebebasan harus hilang masuk akal. Jika Anda belum melihatnya, jawaban oleh @whuber ini harusnya membangkitkan semangat: bagaimana cara memahami derajat kebebasan . Bagi saya, beberapa studi simulasi memungkinkan Anda untuk mendapatkan pijakan di sini, setidaknya untuk beberapa kasus tertentu.

— gung - Reinstate Monica

Tidak yakin seberapa membantu ini, tetapi ada masalah serupa di bidang estimasi yang kuat. Secara khusus, metode estimasi kuat (misalnya rata-rata terpangkas) sering memerlukan input parameter (misalnya parameter yang menentukan berapa banyak yang harus dipotong). Parameter ini dapat dipilih dengan metode berbasis data (mis. Lihat seberapa gemuk ekornya sebelum memilih parameter pemangkasan). Tetapi pra-pemilihan parameter pemangkasan tidak mempengaruhi distribusi mean dipangkas, versus, katakanlah, aturan parameter tetap. Cara yang biasa digunakan dalam literatur adalah melalui bootstrap.

— Colin T Bowers

@ColinTBowers - berpotensi agak membantu, terima kasih. Tidak memikirkan kemungkinan bootstrap.

— Glen_b -Reinstate Monica

Mungkin menarik untuk memecah masalah menjadi kasus yang paling sederhana. Bayangkan sesuatu seperti hanya 5 pengamatan dari distribusi favorit Anda, dan letakkan satu pembagi dalam data untuk membentuk hanya dua tempat sampah.

— zkurtz

Jawaban:

Hasil dasar pengujian good-of-fit chi-square dapat dipahami secara hierarkis .

Level 0 . Chi-square uji statistik klasik Pearson untuk menguji sampel multinomial terhadap vektor probabilitas tetap adalah $p$ mana menunjukkan jumlah hasil dalamsel ke- dari sampel ukuran . Ini dapat bermanfaat dilihat sebagai norma kuadrat dari vektor mana

X^{2} (hal) = \sum_{saya = 1}^{k} \frac{(X_{saya}^{(n)} - n {hal}_{saya})^{2}}{n {hal}_{saya}} \overset{d}{\to} χ_{k - 1}^{2},

$X^2(p) = \sum_{i=1}^k \frac{(X^{(n)}_i - n p_i)^2}{n p_i} \stackrel{d}{\to} \chi_{k-1}^2 \>,$

X_{i}^{(n)}

$X_i^{(n)}$

i

$i$

n

$n$

Y_{n} = (Y_{1}^{(n)}, \dots, Y_{k}^{(n)})

$\mathbf Y_n = (Y_1^{(n)},\ldots,Y_k^{(n)})$

yang, dengan teorema limit pusat multivariat menyatu dalam distribusi sebagai

Y_{i}^{(n)} = (X_{i}^{(n)} - n p_{i}) / \sqrt{n p_{i}}

$Y_i^{(n)} = (X_i^{(n)} - n p_i)/\sqrt{n p_i}$

Dari sini kita melihat bahwa

sejak

Y_{n} \overset{d}{\to} N (0, saya - \sqrt{hal} {\sqrt{hal}}^{T}) .

$\mathbf Y_n \stackrel{d}{\to} \mathcal N(0, \mathbf I - \sqrt{p}\sqrt{p}^T) \>.$

X^{2} = ‖ Y_{n} ‖^{2} \to χ_{k - 1}^{2}

$X^2 = \|\mathbf Y_n\|^2 \to \chi^2_{k-1}$

adalah idempoten peringkat

I - \sqrt{p} {\sqrt{p}}^{T}

$\mathbf I - \sqrt{p}\sqrt{p}^T$

k - 1

$k-1$

$p$ $m$ $p_i$

X_{1}^{2} = \sum_{saya = 1}^{k} \frac{(X_{saya}^{(n)} - n {\hat{hal}}_{saya})^{2}}{n {\hat{hal}}_{saya}} \overset{d}{\to} χ_{k - m - 1}^{2},

$X^2_1 = \sum_{i=1}^k \frac{(X^{(n)}_i - n \hat{p}_i)^2}{n \hat{p}_i} \stackrel{d}{\to} \chi_{k-m - 1}^2 \>,$

$\lambda$ $k$

$m$ $m = 1$

X_{2}^{2} = \sum_{saya = 1}^{k} \frac{(X_{saya}^{(n)} - n {\hat{hal}}_{saya})^{2}}{n {\hat{hal}}_{saya}} \overset{d}{\to} χ_{k - m - 1}^{2},

$X^2_2 = \sum_{i=1}^k \frac{(X^{(n)}_i - n \hat{p}_i)^2}{n \hat{p}_i} \stackrel{d}{\to} \chi_{k-m - 1}^2 \>,$

{\hat{p}}_{i}

$\hat{p}_i$

$Z_1,\ldots,Z_n \sim F_\lambda$ $\lambda$ $\chi_{k-m-1}^2$ $\chi_{k-1}^2$

$\mathbf Y_n$ $\mathcal N(0, \mathbf I - \sqrt{p_\lambda}\sqrt{p_\lambda}^T - \mathbf A(\lambda))$

$\lambda$ $\mathbf A(\lambda)$

$\mathbf Y_n$ $\mathbf B(\hat{\lambda})$

Y_{n}^{T} B^{T} B Y_{n} \overset{d}{\to} χ_{k - 1}^{2},

$\mathbf Y_n^T \mathbf B^T \mathbf B \mathbf Y_n \stackrel{d}{\to} \chi_{k-1}^2 \>,$

k

$k$

Contohnya adalah statistik Rao-Robson-Nikulin dan statistik Dzhaparidze-Nikulin .

$k$ $1/k$ $\hat{I}_j = \hat \mu + \hat\sigma I_{0,j}$ $I_{0,j} = [F^{-1}((j-1)/k), F^{-1}(j/k))$

Referensi

A W. van der Vaart (1998), Asymptotic Statistics , Cambridge University Press. Bab 17 : Tes Chi-Square .
$\chi^2$
FC Drost (1989), General-of-fit tes chi-square umum untuk model skala lokasi ketika jumlah kelas cenderung tak terbatas , Ann. Stat , vol. 17, tidak. 3, 1285–1300.
MS Nikulin, MS (1973), uji Chi-square untuk distribusi kontinu dengan parameter pergeseran dan skala , Teori Probabilitas dan Penerapannya , vol. 19, tidak. 3, 559–568.
KO Dzaparidze dan MS Nikulin (1973), Tentang modifikasi statistik standar Pearson , Teori Probabilitas dan Penerapannya , vol. 19, tidak. 4, 851–853.
KC Rao dan DS Robson (1974), statistik chi-square untuk uji kelaikan pada keluarga eksponensial , Comm. Statist. , vol 3., no. 12, 1139–1153.
N. Balakrishnan, V. Voinov dan MS Nikulin (2013), Chi-Squared Goodness of Fit Tes Dengan Aplikasi , Academic Press.

— kardinal
sumber

Saya telah menemukan setidaknya sebagian jawaban untuk pertanyaan saya, di bawah ini. (Saya masih ingin memberi seseorang bonus itu, jadi informasi lebih lanjut dihargai.)

$\chi^2_{k-p-1}$ $p$ $\chi^2_1$ $k$ $p$ $\chi^2_{k-p}$ $\chi^2_{k}$ $p$

Referensi

Moore DS (1971), Statistik Chi-Square dengan Batas Sel Acak , Ann. Matematika Stat. , Vol 42, No 1, 147–156.

$\chi^2$

— Glen_b -Reinstate Monica
sumber