Bagaimana saya bisa menemukan standar deviasi dari standar deviasi sampel dari distribusi normal?

Maafkan saya jika saya melewatkan sesuatu yang agak jelas.

Saya seorang ahli fisika dengan apa yang pada dasarnya adalah distribusi (histogram) yang berpusat tentang nilai rata-rata yang mendekati distribusi Normal. Nilai penting bagi saya adalah standar deviasi dari variabel acak Gaussian ini. Bagaimana saya mencoba mencari kesalahan pada standar deviasi sampel? Saya merasa ada hubungannya dengan kesalahan pada setiap bin di histogram asli.

— Berjemur
sumber

Sebuah petunjuk disediakan di stats.stackexchange.com/questions/26924 . Secara umum, kesalahan pengambilan sampel varian dapat dihitung dalam hal empat momen pertama dari distribusi dan oleh karena itu kesalahan pengambilan sampel SD setidaknya dapat diperkirakan dari momen-momen tersebut.

— whuber

Jawaban:

Sepertinya Anda meminta perhitungan standar deviasi dari sampel standar deviasi. Artinya, Anda meminta , di mana ${\rm SD}(s) = \sqrt{ {\rm var}(s) }$

s = \sqrt{\frac{1}{n - 1} \sum_{i = 1}^{n} (X_{i} - \bar{X})},

$s = \sqrt{ \frac{1}{n-1} \sum_{i=1}^{n} (X_i - \overline{X}) },$

dan adalah mean sampel. $X_1, ..., X_n \sim N(\mu, \sigma^2)$ $\overline{X}$

Pertama, kita tahu dari sifat dasar varian itu

v a r (s) = E (s^{2}) - E (s)^{2}

${\rm var}(s) = E(s^2) - E(s)^2$

Karena varians sampel tidak bias, kita tahu . Dalam Mengapa standar deviasi sampel penaksir bias ? , dihitung, dari mana kita dapat menyimpulkan $E(s^2) = \sigma^2$ $\sigma$ $E(s)$

E (s)^{2} = \frac{2 σ^{2}}{n - 1} \cdot {(\frac{Γ (n / 2)}{Γ (\frac{n - 1}{2})})}^{2}

$E(s)^2 = \frac{2 \sigma^2 }{n-1} \cdot \left( \frac{ \Gamma(n/2) }{ \Gamma( \frac{n-1}{2} ) } \right)^2$

karena itu

S D (s) = \sqrt{E (s^{2}) - E (s)^{2}} = σ \sqrt{1 - \frac{2}{n - 1} \cdot {(\frac{Γ (n / 2)}{Γ (\frac{n - 1}{2})})}^{2}}

${\rm SD}(s) = \sqrt{ E(s^2) - E(s)^2 } = \sigma \sqrt{ 1 - \frac{2}{n-1} \cdot \left( \frac{ \Gamma(n/2) }{ \Gamma( \frac{n-1}{2} ) } \right)^2 }$

— Makro
sumber

Poin bagus. Saya mendapat estimasi varian s ^ 2. Mengambil akar kuadrat memberikan perkiraan standar deviasi s ^ 2. Tetapi Anda menjawab pertanyaan aktual yaitu untuk mendapatkan standar deviasi dari s. Saya akan berasumsi bahwa untuk alasan praktis Anda juga akan mengganti σ dengan s untuk mendapatkan perkiraan menggunakan rumus.

— Michael R. Chernick

Ya, itu benar, Anda dapat mengganti

dengan

dan perkiraan ini berkinerja baik bahkan untuk ukuran sampel sederhana - Saya melakukan beberapa pengujian dengan

σ

$\sigma$

s

$s$

n = 20

$n=20$

— Makro

Kuantitas memiliki distribusi chi-square dengan derajat kebebasan ketika sampel independen dan didistribusikan dengan distribusi normal yang sama. Kuantitas ini dapat digunakan untuk mendapatkan interval kepercayaan untuk varian normal dan standar deviasi. Jika Anda memiliki nilai mentah dan bukan hanya nilai pusat sampah, Anda dapat menghitung . $X=(n-1) s^2/\sigma^2$ $n-1$ $s^2$

Diketahui bahwa jika memiliki distribusi chi-square dengan derajat kebebasan variansnya adalah . Mengetahui hal ini dan fakta bahwa kita dapatkan bahwa memiliki varian sama dengan $X$ $n-1$ $2(n-1)$ $\mathrm{Var}(cX) = c^2 \mathrm{Var}(X)$ $s^2$ Meskipun tidak diketahui, Anda dapat memperkirakannya dengan dan Anda memiliki gambaran kasar tentang apa varian itu.

\frac{2 (n - 1) σ^{4}}{(n - 1)^{2}} = \frac{2 σ^{4}}{n - 1} .

$\frac{2(n-1)\sigma^4}{(n-1)^2} =\frac{2\sigma^4}{n-1} \>.$

σ^{4}

$\sigma^4$

s^{4}

$s^4$

s^{2}

$s^2$

— Michael R. Chernick
sumber

Saya akan memposting ini di awal, tetapi masalahnya seperti yang saya lihat di sini adalah bahwa

tidak diketahui. Mengingat fakta itu, saya tidak tahu apakah valid untuk mendekati

jika kita bahkan tidak tahu ukuran sampel. Saya ingat bahwa orang dapat menunjukkan bahwa momen keempat dapat memiliki masalah serius dengan pencilan.

σ^{2}

$\sigma^2$

s^{4} \approx σ^{4}

$s^4\approx \sigma^4$

— Néstor

adalah estimator yang konsisten dari

(asalkan

ada), benar @Nesp? Saya pikir ini biasanya apa yang dimaksud ketika orang mengatakan "perkiraan" atau "ide kasar".

s^{4}

$s^4$

σ^{4}

$\sigma^4$

σ^{4}

$\sigma^4$

— Makro

Mungkin kurang tidur, tapi, bukankah itu seperti alasan melingkar?

— Néstor

Kami mengasumsikan sejak awal bahwa data berasal dari distribusi normal sehingga tidak ada masalah outlier. Maksud saya kasar seperti yang disarankan Macro. Saya setuju bahwa ukuran sampel mempengaruhi seberapa dekat s ^ 4 dengan σ ^ 4. Tetapi kekhawatiran tentang outlier adalah offbase Nesp. Jika Anda menurunkan saya untuk itu saya pikir itu sangat tidak adil. Apa yang saya sajikan adalah cara standar untuk memperkirakan standar deviasi untuk s ^ 2 ketika data secara normal didistribusi.

— Michael R. Chernick

@Nesp, Michael telah memberikan penaksir yang konsisten tentang varians dari standar deviasi sampel dari sampel terdistribusi normal - untuk sampel besar itu akan melakukan dengan baik - mensimulasikan dan mencari tahu. Saya tidak yakin mengapa Anda berpikir ini adalah alasan yang melingkar.

— Makro

$\sigma$

$x=(x_1,...,x_n)$ $(\mu,\sigma)$

L (μ, σ) \propto \frac{1}{σ^{n}} \exp (- \frac{1}{2 σ^{2}} \sum_{j = 1}^{n} (x_{j} - μ)^{2})

${\mathcal L}(\mu,\sigma) \propto \dfrac{1}{\sigma^n}\exp\left(-\dfrac{1}{2\sigma^2}\sum_{j=1}^n(x_j-\mu)^2\right)$

$(\hat\mu,\hat\sigma)=(\bar x,s)$ $s=\sqrt{\dfrac{1}{n}\sum_{j=1}^n(x_j-\bar x)^2}$ $\sigma$

R_{p} (σ) = \frac{sup_{μ} L (μ, σ)}{L (\hat{μ}, \hat{σ})} = {(\frac{\hat{σ}}{σ})}^{n} \exp [\frac{n}{2} (1 - {(\frac{\hat{σ}}{σ})}^{2})]

$R_p(\sigma)=\dfrac{\sup_{\mu}{\mathcal L}(\mu,\sigma)}{{\mathcal L}(\hat\mu,\hat\sigma)} = \left(\dfrac{\hat\sigma}{\sigma}\right)^n\exp\left[\dfrac{n}{2}\left(1-\left(\dfrac{\hat\sigma}{\sigma}\right)^2\right)\right]$

$R_p:{\mathbb R}_+\rightarrow (0,1]$ $0.147$ $0.95$ $R$

data = rnorm(30)
n = length(data)
sg = sqrt(mean((data-mean(data))^2))
# Profile likelihood
rp = function(sigma) return( (sg/sigma)^n*exp(0.5*n*(1-(sg/sigma)^2))  )
vec = rvec = seq(0.5,1.5,0.01)
for(i in 1:length(rvec)) rvec[i] = rp(vec[i])
plot(vec,rvec,type="l")
rpc = function(sigma) return(rp(sigma)-0.147)
# Approximate 95% confidence interval
c(uniroot(rpc,c(0.7,0.8))$root,uniroot(rpc,c(1.1,1.3))$root)

$\sigma$ $I=(L,U)$ $\sigma^2$ $I^{\prime}=(L^2,U^2)$

Saya pikir dia benar-benar hanya menginginkan standar deviasi s.

— Michael R. Chernick