Mengapa standar deviasi sampel merupakan penaksir bias ?

Menurut artikel Wikipedia tentang estimasi bias dari standar deviasi sampel SD

s = \sqrt{\frac{1}{n - 1} \sum_{i = 1}^{n} (x_{i} - \bar{x})^{2}}

$s = \sqrt{\frac{1}{n-1} \sum_{i=1}^n (x_i - \overline{x})^2}$

adalah penaksir yang bias dari SD populasi. Ini menyatakan bahwa . $E(\sqrt{s^2}) \neq \sqrt{E(s^2)}$

NB. Variabel acak independen dan setiap $x_{i} \sim N(\mu,\sigma^{2})$

Pertanyaan saya ada dua:

Apa bukti dari bias itu?
Bagaimana seseorang menghitung ekspektasi deviasi standar sampel

Pengetahuan saya tentang matematika / statistik hanya menengah.

estimation standard-deviation

— Dav Weps
sumber

Anda akan menemukan kedua pertanyaan dijawab dalam artikel Wikipedia tentang distribusi Chi .

— whuber

@ NRH menjawab pertanyaan ini memberikan bukti yang bagus dan sederhana tentang bias dari standar deviasi sampel. Di sini saya akan secara eksplisit menghitung ekspektasi deviasi standar sampel (pertanyaan kedua poster asli) dari sampel yang terdistribusi normal, pada titik mana biasnya jelas.

Varians sampel yang tidak bias dari serangkaian poin adalah $x_1, ..., x_n$

s^{2} = \frac{1}{n - 1} \sum_{i = 1}^{n} (x_{i} - \bar{x})^{2}

$s^{2} = \frac{1}{n-1} \sum_{i=1}^{n} (x_i - \overline{x})^2$

Jika didistribusikan secara normal, itu adalah fakta bahwa $x_i$

\frac{(n - 1) s^{2}}{σ^{2}} \sim χ_{n - 1}^{2}

$\frac{(n-1)s^2}{\sigma^2} \sim \chi^{2}_{n-1}$

di mana adalah varian sebenarnya. The distribusi memiliki kepadatan probabilitas $\sigma^2$ $\chi^2_{k}$

p (x) = \frac{(1 / 2)^{k / 2}}{Γ (k / 2)} x^{k / 2 - 1} e^{- x / 2}

$p(x) = \frac{(1/2)^{k/2}}{\Gamma(k/2)} x^{k/2 - 1}e^{-x/2}$

menggunakan ini kita dapat memperoleh nilai yang diharapkan dari ; $s$

\begin{aligned} E (s) & = \sqrt{\frac{σ^{2}}{n - 1}} E (\sqrt{\frac{s^{2} (n - 1)}{σ^{2}}}) \\ = \sqrt{\frac{σ^{2}}{n - 1}} \int_{0}^{\infty} \sqrt{x} \frac{(1 / 2)^{(n - 1) / 2}}{Γ ((n - 1) / 2)} x^{((n - 1) / 2) - 1} e^{- x / 2} d x \end{aligned}

$\begin{align} E(s) &= \sqrt{\frac{\sigma^2}{n-1}} E \left( \sqrt{\frac{s^2(n-1)}{\sigma^2}} \right) \\ &= \sqrt{\frac{\sigma^2}{n-1}} \int_{0}^{\infty} \sqrt{x} \frac{(1/2)^{(n-1)/2}}{\Gamma((n-1)/2)} x^{((n-1)/2) - 1}e^{-x/2} \ dx \end{align}$

yang mengikuti dari definisi nilai yang diharapkan dan fakta bahwa adalah akar kuadrat dari variabel terdistribusi . Kuncinya sekarang adalah mengatur ulang istilah sehingga integrand menjadi kepadatan : $\sqrt{\frac{s^2(n-1)}{\sigma^2}}$ $\chi^2$ $\chi^2$

\begin{aligned} E (s) & = \sqrt{\frac{σ^{2}}{n - 1}} \int_{0}^{\infty} \frac{(1 / 2)^{(n - 1) / 2}}{Γ (\frac{n - 1}{2})} x^{(n / 2) - 1} e^{- x / 2} d x \\ = \sqrt{\frac{σ^{2}}{n - 1}} \cdot \frac{Γ (n / 2)}{Γ (\frac{n - 1}{2})} \int_{0}^{\infty} \frac{(1 / 2)^{(n - 1) / 2}}{Γ (n / 2)} x^{(n / 2) - 1} e^{- x / 2} d x \\ = \sqrt{\frac{σ^{2}}{n - 1}} \cdot \frac{Γ (n / 2)}{Γ (\frac{n - 1}{2})} \cdot \frac{(1 / 2)^{(n - 1) / 2}}{(1 / 2)^{n / 2}} \underset{χ_{n}^{2} d e n s i t y}{\underset{⏟}{\int_{0}^{\infty} \frac{(1 / 2)^{n / 2}}{Γ (n / 2)} x^{(n / 2) - 1} e^{- x / 2} d x}} \end{aligned}

$\begin{align} E(s) &= \sqrt{\frac{\sigma^2}{n-1}} \int_{0}^{\infty} \frac{(1/2)^{(n-1)/2}}{\Gamma(\frac{n-1}{2})} x^{(n/2) - 1}e^{-x/2} \ dx \\ &= \sqrt{\frac{\sigma^2}{n-1}} \cdot \frac{ \Gamma(n/2) }{ \Gamma( \frac{n-1}{2} ) } \int_{0}^{\infty} \frac{(1/2)^{(n-1)/2}}{\Gamma(n/2)} x^{(n/2) - 1}e^{-x/2} \ dx \\ &= \sqrt{\frac{\sigma^2}{n-1}} \cdot \frac{ \Gamma(n/2) }{ \Gamma( \frac{n-1}{2} ) } \cdot \frac{ (1/2)^{(n-1)/2} }{ (1/2)^{n/2} } \underbrace{ \int_{0}^{\infty} \frac{(1/2)^{n/2}}{\Gamma(n/2)} x^{(n/2) - 1}e^{-x/2} \ dx}_{\chi^2_n \ {\rm density} } \end{align}$

sekarang kita tahu integrand baris terakhir sama dengan 1, karena itu adalah kepadatan . Konstanta penyederhanaan sedikit memberi $\chi^2_{n}$

E (s) = σ \cdot \sqrt{\frac{2}{n - 1}} \cdot \frac{Γ (n / 2)}{Γ (\frac{n - 1}{2})}

$E(s) = \sigma \cdot \sqrt{ \frac{2}{n-1} } \cdot \frac{ \Gamma(n/2) }{ \Gamma( \frac{n-1}{2} ) }$

Oleh karena itu bias adalah $s$

σ - E (s) = σ (1 - \sqrt{\frac{2}{n - 1}} \cdot \frac{Γ (n / 2)}{Γ (\frac{n - 1}{2})}) \sim \frac{σ}{4 n}

$\sigma - E(s) = \sigma \bigg(1 - \sqrt{ \frac{2}{n-1} } \cdot \frac{ \Gamma(n/2) }{ \Gamma( \frac{n-1}{2} ) } \bigg) \sim \frac{\sigma}{4 n} \>$ as .

n \to \infty

$n \to \infty$

Tidak sulit untuk melihat bahwa bias ini bukan 0 untuk setiap terbatas , sehingga membuktikan standar deviasi sampel bias. Di bawah biasnya adalah plot sebagai fungsi dari untuk berwarna merah bersama dengan berwarna biru: $n$ $n$ $\sigma=1$ $1/4n$

masukkan deskripsi gambar di sini

— Makro
sumber

(+1) Jawaban yang bagus. Saya harap Anda tidak keberatan, saya mengutak-atik beberapa hal yang sangat kecil dan menambahkan hasil asimptotik mengenai bias. Saya kira Anda bisa menempatkan superimpose kurva ke plot Anda, tetapi mungkin tidak perlu. Tepuk tangan. :)

(4 n)^{- 1}

$(4n)^{-1}$

— kardinal

Anda benar-benar bersusah payah untuk melakukan Makro ini. Ketika saya pertama kali melihat posting sekitar satu menit yang lalu saya berpikir untuk menunjukkan bias menggunakan aturan Jensen tetapi seseorang sudah melakukannya.

— Michael Chernick

tentu saja ini adalah cara round-a-bout untuk menunjukkan bahwa deviasi standar bias - saya terutama menjawab pertanyaan kedua poster asli: "Bagaimana seseorang menghitung ekspektasi deviasi standar?".

— Makro

Hal lain yang mungkin layak disebutkan adalah bahwa perhitungan ini memungkinkan seseorang untuk membacakan segera apa yang estimator UMVU dari deviasi standar dalam kasus Gaussian: Satu hanya mengalikan dengan timbal balik dari faktor skala yang muncul dalam bukti. Ini digeneralisasikan ke penaksir UMVU dari cukup mudah.

s

$s$

σ^{k}

$\sigma^k$

— kardinal

Maaf, Makro. Pendekatan integral dasar yang sama yang Anda gunakan akan bekerja, Anda hanya akan berakhir dengan faktor penskalaan , dengan argumen gamma yang Anda dapatkan sebagai fungsi . Itulah yang saya maksudkan, tetapi hasilnya agak terlalu singkat. :)

s^{k}

$s^k$

k

$k$

— kardinal

Anda tidak perlu normal. Yang Anda butuhkan adalah adalah penaksir tidak bias dari varian . Kemudian gunakan bahwa fungsi akar kuadrat benar - benar cekung sedemikian rupa sehingga (dengan bentuk ketimpangan Jensen yang kuat ) kecuali distribusi merosot di .

s^{2} = \frac{1}{n - 1} \sum_{i = 1}^{n} (x_{i} - \bar{x})^{2}

$s^2 = \frac{1}{n-1} \sum_{i=1}^n(x_i - \bar{x})^2$

σ^{2}

$\sigma^2$

E (\sqrt{s^{2}}) < \sqrt{E (s^{2})} = σ

$E(\sqrt{s^2}) < \sqrt{E(s^2)} = \sigma$

s^{2}

$s^2$

σ^{2}

$\sigma^2$

— NRH
sumber

Melengkapi jawaban NRH, jika seseorang mengajarkan ini kepada sekelompok siswa yang belum mempelajari ketidaksetaraan Jensen, satu cara untuk pergi adalah dengan mendefinisikan standar deviasi sampel. anggaplah bahwa adalah non degenerasi (oleh karena itu, ), dan perhatikan persamaan

S_{n} = \sqrt{\sum_{i = 1}^{n} \frac{(X_{i} - {\bar{X}}_{n})^{2}}{n - 1}},

$S_n = \sqrt{\sum_{i=1}^n\frac{(X_i-\bar{X}_n)^2}{n-1}} ,$

S_{n}

$S_n$

V a r [S_{n}] \neq 0

$\mathrm{Var}[S_n]\ne0$

0 < V a r [S_{n}] = E [S_{n}^{2}] - E^{2} [S_{n}] \Leftrightarrow E^{2} [S_{n}] < E [S_{n}^{2}] \Leftrightarrow E [S_{n}] < \sqrt{E [S_{n}^{2}]} = σ .

$0 < \mathrm{Var}[S_n] = \mathrm{E}[S_n^2] - \mathrm{E}^2[S_n] \;\;\Leftrightarrow\;\; \mathrm{E}^2[S_n] < \mathrm{E}[S_n^2] \;\;\Leftrightarrow\;\; \mathrm{E}[S_n] < \sqrt{\mathrm{E}[S_n^2]} =\sigma.$

— Zen
sumber