Mengapa pengujian chi-square menggunakan jumlah yang diharapkan sebagai varians?

Dalam pengujian , apa dasar untuk menggunakan akar kuadrat dari jumlah yang diharapkan sebagai standar deviasi (yaitu jumlah yang diharapkan sebagai variasi) dari masing-masing distribusi normal? Satu-satunya hal yang bisa saya temukan membahas ini sama sekali adalah http://www.physics.csbsju.edu/stats/chi-square.html , dan itu hanya menyebutkan distribusi Poisson. $\chi^2$

Sebagai ilustrasi sederhana dari kebingungan saya, bagaimana jika kami menguji apakah dua proses berbeda secara signifikan, satu yang menghasilkan 500 As dan 500 Bs dengan varian yang sangat kecil, dan yang lain yang menghasilkan 550 As dan 450 Bs dengan varian yang sangat kecil (jarang menghasilkan 551 As dan 449 Bs)? Bukankah varians di sini jelas bukan hanya nilai yang diharapkan?

(Saya bukan ahli statistik, jadi benar-benar mencari jawaban yang dapat diakses oleh non-spesialis.)

hypothesis-testing chi-squared

— Yang
sumber

Ini mungkin ada hubungannya dengan fakta bahwa varians dari variabel acak adalah dan juga dengan fakta bahwa statistik harus dikalikan dengan 2 untuk memiliki distribusi yang benar (seperti pada uji rasio kemungkinan). Mungkin seseorang mengetahui hal ini secara lebih formal.

χ_{k}^{2}

$\chi^{2}_{k}$

2 k

$2k$

— Makro

Jawaban:

Bentuk umum untuk banyak statistik uji adalah

$\frac{observed - expected}{standard error}$

Dalam kasus variabel normal, kesalahan standar didasarkan pada varians populasi yang diketahui (z-stats) atau estimasi dari sampel (t-stats). Dengan binomial kesalahan standar didasarkan pada proporsi (proporsi yang dihipotesiskan untuk tes).

Dalam tabel kontingensi, hitungan dalam setiap sel dapat dianggap berasal dari distribusi Poisson dengan rata-rata sama dengan nilai yang diharapkan (di bawah nol). Varian untuk distribusi Poisson sama dengan rata-rata, jadi kami juga menggunakan nilai yang diharapkan untuk perhitungan kesalahan standar. Saya telah melihat statistik yang menggunakan yang diamati, tetapi memiliki lebih sedikit pembenaran teoretis dan tidak menyatu juga dengan distribusi $\chi^2$ .

— Greg Snow
sumber

Saya terjebak pada koneksi dengan Poisson / memahami mengapa setiap sel dapat dianggap berasal dari Poisson. Saya tahu rata-rata / varians dari Poissons, dan saya tahu mereka mewakili jumlah peristiwa yang diberi nilai. Saya juga tahu distribusi chi-square mewakili jumlah kuadrat dari standar (varian 1) normal. Saya hanya mencoba untuk membungkus kepala saya di sekitar pembenaran menggunakan kembali nilai yang diharapkan sebagai asumsi "penyebaran" dari masing-masing normal. Apakah ini hanya untuk membuat semuanya sesuai dengan distribusi chi-square / "standar" pada normals?

— Yang

Ada beberapa masalah, distribusi Poisson umum untuk dihitung ketika semuanya cukup independen. Alih-alih berpikir tentang tabel sebagai memiliki total tetap dan Anda mendistribusikan nilai-nilai di antara sel-sel tabel, pikirkan hanya satu sel tabel dan Anda sedang menunggu jumlah waktu tetap untuk melihat berapa banyak respons jatuh ke dalam sel itu , ini cocok dengan ide umum Poisson. Untuk cara besar Anda dapat memperkirakan Poisson dengan distribusi normal, sehingga statistik uji masuk akal sebagai perkiraan normal ke Poisson, lalu konversikan ke

χ^{2}

$\chi^2$ .

— Greg Snow

(+1) Misalkan jumlah sel

X_{i}, \dots, X_{k}

$X_i,\ldots,X_k$ adalah variabel acak Poisson independen dengan rata-rata

n π_{i}

$n\pi_i$ . Maka, tentu saja,

\sum_{i = 1}^{k} \frac{(X_{i} - n π_{i})^{2}}{n π_{i}} \to χ_{k}^{2}

$\sum_{i=1}^k \frac{(X_i - n\pi_i)^2}{n \pi_i} \to \chi_k^2$ dalam distribusi. Tapi, masalah dengan ini adalah bahwa

n

$n$ adalahparameterdan bukan jumlah sebenarnya yang diamati. Jumlah total yang diamati adalah

N = \sum_{i = 1}^{k} X_{i} \sim P o i (n)

$N = \sum_{i=1}^k X_i \sim \mathrm{Poi}(n)$ . Meskipun

N / n \to 1

$N/n \to 1$ hampir pasti oleh SLLN, masih banyak pekerjaan yang harus dilakukan untuk mengubah heuristik menjadi sesuatu yang bisa diterapkan.

— kardinal

— Yang

@Yang: Kedengarannya seperti data Anda --- yang belum Anda uraikan --- tidak sesuai dengan model yang mendasari penggunaan statistik chi-squared. Model standar adalah salah satu dari pengambilan sampel multinomial . Sebenarnya, pengambilan sampel Poisson (tanpa syarat) pun tercakup, dan itulah yang diandaikan jawaban Greg. Saya membuat (mungkin tumpul) referensi ini di komentar saya sebelumnya.

— kardinal

Mari kita menangani kasus paling sederhana untuk mencoba memberikan intuisi yang paling. Misalkan menjadi sampel iid dari distribusi diskrit dengan hasil . Biarkan menjadi probabilitas dari setiap hasil tertentu. Kami tertarik pada (asymptotic) distribusi statistik chi-squared $X_1, X_2, \ldots, X_n$ $k$ $\pi_1,\ldots,\pi_k$ Di sini adalah jumlah hitungan yang diharapkan darihasil ke- .

X^{2} = \sum_{i = 1}^{k} \frac{(S_{i} - n π_{i})^{2}}{n π_{i}} .

$X^2 = \sum_{i=1}^k \frac{(S_i - n \pi_i)^2}{n\pi_i} \> .$

n π_{i}

$n \pi_i$

i

$i$

Heuristik sugestif

Tentukan , sehingga mana. $U_i = (S_i - n\pi_i) / \sqrt{n \pi_i}$ $X^2 = \sum_i U_i^2 = \newcommand{\U}{\mathbf{U}}\|\U\|^2_2$ $\U = (U_1,\ldots,U_k)$

Karena adalah $S_i$ , maka olehCentral Limit Theorem, $\mathrm{Bin}(n,\pi_i)$ Maka, kami juga memiliki itu,

T_{i} = \frac{U_{i}}{\sqrt{1 - π_{i}}} = \frac{S_{i} - n π_{i}}{\sqrt{n π_{i} (1 - π_{i})}} \overset{d}{\to} N (0, 1),

$\newcommand{\convd}{\xrightarrow{d}}\newcommand{\N}{\mathcal{N}} T_i = \frac{U_i}{\sqrt{1-\pi_i}} = \frac{S_i - n \pi_i}{\sqrt{ n\pi_i(1-\pi_i)}} \convd \N(0, 1) \>,$

U_{i} \overset{d}{\to} N (0, 1 - π_{i})

$U_i \convd \N(0, 1-\pi_i)$

Sekarang, jika para adalah (asimtotik) independen (yang mereka tidak), maka kita bisa berpendapat bahwa adalah asimtotik didistribusikan. Tapi, perhatikan bahwa adalah fungsi deterministik dan sehingga variabel tidak mungkin independen. $T_i$ $\sum_i T_i^2$ $\chi_k^2$ $T_k$ $(T_1,\ldots,T_{k-1})$ $T_i$

Karena itu, kita harus memperhitungkan kovarians di antara mereka. Ternyata bahwa "benar" cara untuk melakukan ini adalah dengan menggunakan sebaliknya, dan kovarians antara komponen juga mengubah distribusi asymptotic dari apa yang kita sangka adalah untuk apa, pada kenyataannya, a . $U_i$ $\U$ $\chi_{k}^2$ $\chi_{k-1}^2$

Beberapa detail tentang ini mengikuti.

Perawatan yang lebih ketat

Hal ini tidak sulit untuk memeriksa bahwa, pada kenyataannya, untuk. $\newcommand{\Cov}{\mathrm{Cov}}\Cov(U_i, U_j) = - \sqrt{\pi_i \pi_j}$ $i \neq j$

Jadi, kovarian adalah $\U$ dimana

A = I - \sqrt{π} {\sqrt{π}}^{T},

$\newcommand{\sqpi}{\sqrt{\boldsymbol{\pi}}} \newcommand{\A}{\mathbf{A}} \A = \mathbf{I} - \sqpi \sqpi^T \>,$

. Perhatikan bahwa

adalah simetrik dan idempoten, yaitu,

. Jadi, khususnya, jika

memiliki komponen standar normal iid, maka

. (NBDistribusi normal multivariat dalam kasus inimerosot.)

\sqrt{π} = (\sqrt{π_{1}}, \dots, \sqrt{π_{k}})

$\sqpi = (\sqrt{\pi_1}, \ldots, \sqrt{\pi_k})$

A

$\A$

A = A^{2} = A^{T}

$\A = \A^2 = \A^T$

Z = (Z_{1}, \dots, Z_{k})

$\newcommand{\Z}{\mathbf{Z}}\Z = (Z_1, \ldots, Z_k)$

A Z \sim N (0, A)

$\A \Z \sim \N(0, \A)$

Sekarang, oleh Teorema Batas Pusat Multivariat , vektor $\U$ $0$ $\A$

$\U$ $\A \Z$ $X^2 = \U^T \U$ $\Z^T \A^T \A \Z = \Z^T \A \Z$

$\A$ $\mathrm{rank}(\A)$ $\A$ $\A = \mathbf{Q D Q}^T$ $\mathbf{Q}$ $\mathbf{D}$ $\mathrm{rank}(\A)$

$\Z^T \A \Z$ must be $\chi^2_{k-1}$ distributed since $\A$ has rank $k-1$ in our case.

Other connections

The chi-square statistic is also closely related to likelihood ratio statistics. Indeed, it is a Rao score statistic and can be viewed as a Taylor-series approximation of the likelihood ratio statistic.

References

This is my own development based on experience, but obviously influenced by classical texts. Good places to look to learn more are

G. A. F. Seber and A. J. Lee (2003), Linear Regression Analysis, 2nd ed., Wiley.
E. Lehmann and J. Romano (2005), Testing Statistical Hypotheses, 3rd ed., Springer. Section 14.3 in particular.
D. R. Cox and D. V. Hinkley (1979), Theoretical Statistics, Chapman and Hall.

— cardinal
sumber

(+1) I think it is hard to find this proof in standard categorical data analysis texts like Agresti, A. (2002). Categorical Data Analysis. John-Wiley.

— suncoolsu

Thanks for the comment. I know there is some treatment of the chi-squared statistic in Agresti, but don't recall how far he takes it. He may just appeal to the asymptotic equivalence with the likelihood ratio statistic.

— cardinal

I don't know if you'll find the proof above in any text. I haven't seen the use of the full (degenerate) covariance matrix and its properties elsewhere. The usual treatment looks at the (nondegenerate) distribution of the first

k - 1

$k-1$ coordinates and then uses the inverse covariance matrix (which has a nice form, but one which is not immediately obvious) and some (somewhat) tedious algebra to establish the result.

— cardinal

Your answer begins by defining a set of

X

$X$ 's but then defines the statistic in terms of

S

$S$ 's. Can you include something in the answer that indicates how the variables you define at the start and the variables in the statistic are related?

— Glen_b -Reinstate Monica