Independensi mean sampel dan varians sampel dalam distribusi binomial

Biarkan . Kita tahu bahwa dan . Apakah ini menyiratkan bahwa mean sampel dan varians sampel saling bergantung ? Atau apakah itu hanya berarti bahwa varians populasi dapat ditulis sebagai fungsi dari mean populasi ? $X\sim\mathrm{Binomial}(n,p)$ $\mathrm{E}[X]=np$ $\mathrm{Var}[X]=np(1-p)$ $\bar x$ $s^2$

distributions binomial independence

— pengguna6874652
sumber

Jawaban:

$\bar x$ dan adalah variabel acak. Kita bisa mengerjakan distribusi bersama mereka. Mari kita coba kasus nontrivial yang paling sederhana, yaitu sampel ukuran dari distribusi Binomial . Hanya ada empat kemungkinan untuk sampel itu, yang dengan ini ditabulasikan bersama dengan probabilitasnya (dihitung dari independensi dua elemen sampel): $s^2$ $2$ $(1,p)$

First value | Second value | Mean | Variance | Probability
          0 |            0 |    0 |        0 | (1-p)^2
          0 |            1 |  1/2 |      1/2 | (1-p)p
          1 |            0 |  1/2 |      1/2 | p(1-p)
          1 |            1 |    1 |        0 | p^2

Mean secara sempurna memprediksi varians dalam contoh ini. Jadi, asalkan semua probabilitas bukan nol (yaitu, bukan atau ), mean sampel dan varians sampel tidak independen. $p$ $0$ $1$

Pertanyaan yang menarik adalah apakah, jika dalam keluarga distribusi mean menentukan varians, mean sampel dan varians sampel dapat independen. Jawabannya adalah ya: ambil keluarga mana pun dari distribusi Normal yang variansnya bergantung pada rata-rata seperti set semua distribusi Normal . Tidak peduli yang distribusi ini mengatur sampel, varians mean dan sampel sampel akan independen, karena itulah kasus untuk setiap distribusi normal. $(\mu, \mu^2)$

Analisis ini menunjukkan bahwa pertanyaan tentang struktur keluarga distribusi (yang menyangkut , , , dan sebagainya) tidak berpengaruh pada pertanyaan independensi statistik sampel dari elemen keluarga tertentu. $n$ $p$ $\mu$

— whuber
sumber

Tapi mungkin itu karena distribusi normal adalah kasus "khusus"? Maksud saya, diketahui bahwa, untuk distribusi normal apa pun, benar bahwa rata-rata sampel tidak tergantung pada varian sampel. Tetapi apa yang terjadi jika kita berurusan dengan distribusi yang bukan distribusi normal?

— user6874652

Biasanya mean sampel dan varians sampel tidak independen. Tidak ada bedanya keluarga distribusi mana yang mungkin menjadi bagian dari distribusi.

— whuber

@whuber: Kecuali itu dengan

N (μ, σ^{2})

$N(\mu, \sigma^2)$ mean sampel dan varians sampel independen.

— Michael Hardy

@Michael, terima kasih. Saya sudah mencatat itu di tubuh jawabannya.

— whuber

@whuber: terima kasih atas analisisnya. Bisakah Anda juga mengungkapkan Rkode ini? Terimakasih banyak.

— Maximilian

Properti yang, untuk sampel iid, mean sampel dan varians sampel independen, adalah karakterisasi dari distribusi normal: untuk tidak ada distribusi lain yang dimiliki oleh properti tersebut.

Lihat Patel, JK, & Read, CB (1982). Buku pegangan dari distribusi normal , hal. 81 dalam edisi 1 1982, dalam bab "Karakterisasi" (mungkin telah mengubah halaman dalam edisi 2 1996).

Jadi untuk distribusi lain, mean sampel dan varians sampel bergantung secara statistik.

Hasil umum mengenai mean sampel dan varians sampel dari sampel iid dari distribusi apa pun yang memiliki momen hingga 3d, adalah sebagai berikut (menggunakan estimator yang tidak bias untuk varians):

Cov (\bar{X}, s^{2}) = E (\bar{X} s^{2}) - E (x) Var (x) = \frac{1}{n} E [X - E (x)]^{3}

$\operatorname{Cov} (\bar X, s^2) = E(\bar X s^2) - E(x)\operatorname{Var}(x) = \frac 1n E[X-E(x)]^3$

Dengan kata lain, kovarians antara mean sampel dan varians sampel sama dengan momen pusat ketiga, dibagi dengan $n$ . Konsekuensi:

1) Ketika ukuran sampel meningkat, keduanya cenderung menjadi tidak berkorelasi.

2) Untuk setiap distribusi yang memiliki momen pusat ketiga sama dengan nol, mereka tidak berkorelasi (meskipun mereka tetap bergantung, untuk semua distribusi kecuali normal). Ini tentu saja mencakup semua distribusi simetris tentang rata-rata mereka, tetapi juga distribusi lain yang tidak simetris tentang rata-rata mereka tetapi masih, memiliki momen pusat ketiga sama dengan nol , lihat utas ini .

— Alecos Papadopoulos
sumber

(+1) Hyperlinknya sudah mati untuk saya.

— COOLSerdash

@COOLSerdash Ini bekerja untuk saya. Ini tautan ke halaman Amazon, mungkin itu diblokir untuk Anda?

— Graipher

@COOLSerdash Terima kasih. Seperti disebutkan, hyperlink tampaknya valid. Cukup cari "Buku Pegangan Distribusi Patel Biasa".

— Alecos Papadopoulos

(+1) Saya curiga ini mungkin masalahnya tetapi belum pernah melihat pernyataan formal tentang fakta ini. Apakah ada distribusi tidak normal yang berarti sampel dan varians sampel tidak berkorelasi?

— John Coleman

@AlecosPapadopoulos Ya, tentu saja. Jika demikian maka itu akan menjadi contoh menarik ketika tidak berkorelasi tidak berarti independen. Saya belum mengerjakan semua detail, tetapi U(0,1)tampaknya berhasil.

— John Coleman

Kasus ekstrem adalah $\operatorname{Bernoulli}(p) = \operatorname{Binomial}(1,p).$ Pertimbangkan sampel ukuran (modal) $N:$

\begin{aligned} N s^{2} = \sum_{k = 1}^{N} (x_{k} - \bar{x})^{2} = & (\sum_{k} x_{k}^{2}) - (2 \bar{x} \sum_{saya} x_{k}) + (N {\bar{x}}^{2}) \\ = & (\sum_{k} x_{k}) - 2 \bar{x} \sum_{k} x_{k} + (n {\bar{x}}^{2}) \\ sejak x_{k} = 0 atau 1 jadi x_{k}^{2} = x_{k} \\ = & N \bar{x} - 2 N {\bar{x}}^{2} + N {\bar{x}}^{2} \\ = & N \bar{x} (1 - \bar{x}), \\ begitu s^{2} = & \bar{x} (1 - \bar{x}) . \end{aligned}

$\begin{align} Ns^2 = \sum_{k=1}^N (x_k - \overline x)^2 = {} & \left( \sum_k x_k^2 \right) - \left( 2\overline x \sum_i x_k \right) + \left( N\overline x^2 \right) \\[10pt] = {} & \left( \sum_k x_k \right) - 2\overline x \sum_k x_k + \left( n\overline x^2 \right) \\ & \text{since $x_k = 0$ or $1$, so $x_k^2=x_k$} \\[12pt] = {} & N\overline x - 2N\overline x^2 + N \overline x^2 \\[10pt] = {} & N \overline x(1-\overline x), \\[10pt] \text{so } s^2 = {} & \overline x(1-\overline x). \end{align}$ Jadi kapan (huruf kecil)

n

$n$ adalah

1,

$1,$ maka mean sampel menentukan varians sampel, sehingga mereka jauh dari independen. Tetapi varians sampel tidak sepenuhnya sepenuhnya menentukan mean sampel, karena ada dua nilai

\bar{x}

$\overline x$ yang menghasilkan nilai yang sama

\bar{x} (1 - \bar{x}) .

$\overline x(1-\overline x).$

Ketika keduanya $np$ dan $n(1-p)$ besar, maka saya berharap mean sampel dan varians sampel akan hampir independen karena distribusi hampir normal.

— Michael Hardy
sumber