Perkiraan kesalahan interval kepercayaan untuk mean ketika

Misalkan menjadi keluarga variabel acak iid yang mengambil nilai dalam [ 0 , 1 ] , memiliki mean μ dan varians σ 2 . Interval kepercayaan sederhana untuk rata-rata, menggunakan σ kapan pun diketahui, diberikan oleh P ( | ˉ X - μ | > ε ) ≤ σ $\{X_i\}_{i=1}^n$$[0,1]$$\mu$$\sigma^2$$\sigma$

$$P( | \bar X - \mu| > \varepsilon) \le \frac{\sigma^2}{n\varepsilon^2} \le\frac{1}{n \varepsilon^2} \qquad (1).$$

Juga, karena terdistribusi secara asimptotik sebagai variabel acak normal standar, distribusi normal kadang-kadang digunakan untuk "membangun" perkiraan interval kepercayaan.$\frac{\bar X- \mu}{\sigma/\sqrt{n}}$

---

Dalam ujian statistik pilihan ganda, saya harus menggunakan perkiraan ini alih-alih setiap kali n ≥ 30 . Saya selalu merasa sangat tidak nyaman dengan ini (lebih dari yang dapat Anda bayangkan), karena kesalahan perkiraan tidak dihitung.$(1)$$n \geq 30$

---

• Mengapa menggunakan perkiraan normal daripada ?$(1)$

• Saya tidak ingin, sekali lagi, menerapkan aturan secara membabi buta . Apakah ada referensi bagus yang dapat mendukung saya dalam penolakan untuk melakukannya dan memberikan alternatif yang sesuai? ( ( 1 ) adalah contoh dari apa yang saya anggap sebagai alternatif yang sesuai.)$n \geq 30$$(1)$

Di sini, sementara dan E [ | X | 3 ] tidak diketahui, mereka mudah dibatasi.$\sigma$$E[ |X|^3]$

Harap perhatikan bahwa pertanyaan saya adalah permintaan referensi terutama tentang interval kepercayaan dan oleh karena itu berbeda dari perbedaan dari pertanyaan yang disarankan sebagai duplikat parsial di sini dan di sini . Tidak dijawab di sana.

Mengapa menggunakan perkiraan normal?

Sesederhana itu mengatakan bahwa selalu lebih baik menggunakan lebih banyak informasi daripada kurang. Persamaan (1) menggunakan teorema Chebyshev . Catatan, bagaimana ia tidak menggunakan informasi apa pun tentang bentuk distribusi Anda, yaitu berfungsi untuk distribusi apa pun dengan varian yang diberikan. Oleh karena itu, jika Anda menggunakan beberapa informasi tentang bentuk distribusi Anda, Anda harus mendapatkan perkiraan yang lebih baik. Jika Anda tahu bahwa distribusi Anda adalah Gaussian, maka dengan menggunakan pengetahuan ini Anda mendapatkan perkiraan yang lebih baik.

Karena, Anda sudah menerapkan teorema batas pusat, mengapa tidak menggunakan perkiraan Gaussian dari batas? Mereka akan menjadi lebih baik, sebenarnya, lebih ketat (atau lebih tajam) karena perkiraan ini didasarkan pada pengetahuan tentang bentuk yang merupakan informasi tambahan.

Aturan praktis 30 adalah mitos, yang mendapat manfaat dari bias konfirmasi . Itu terus disalin dari satu buku ke buku lainnya. Suatu kali saya menemukan referensi yang menyarankan aturan ini di sebuah makalah pada 1950-an. Seingat saya, itu bukan bukti kuat. Itu semacam studi empiris. Pada dasarnya, satu-satunya alasan penggunaannya adalah karena ini berfungsi. Anda tidak melihatnya sering dilanggar.

UPDATE Cari kertas oleh Zachary R. Smith dan Craig S. Wells " Central Limit Theorem and Sample Size ". Mereka menyajikan studi empiris dari konvergensi ke CLT untuk berbagai jenis distribusi. Keajaiban nomor 30 tidak berfungsi dalam banyak kasus, tentu saja.

Masalah dengan menggunakan ketidaksetaraan Chebyshev untuk mendapatkan interval untuk nilai sebenarnya, adalah bahwa hal itu hanya memberi Anda batas bawah untuk probabilitas, yang kadang-kadang juga sepele, atau, agar tidak sepele, mungkin memberikan sangat luas interval kepercayaan. Kita punya

$$P( | \bar X - \mu| > \varepsilon) = 1 - P(\bar X-\varepsilon \leq \mu \leq \bar X+\varepsilon)$$

$$\implies P(\bar X-\varepsilon \leq \mu \leq \bar X+\varepsilon) \geq 1- \frac{1}{n \varepsilon^2}$$

Kita melihat bahwa, tergantung juga pada ukuran sampel, jika kita mengurangi "terlalu banyak" kita akan mendapatkan jawaban sepele "probabilitas lebih besar dari nol".$\varepsilon$

Selain itu, apa yang kita dapatkan dari pendekatan ini adalah kesimpulan dari bentuk "" probabilitas jatuh [ ˉ X ± ε ] adalah sama atau lebih besar dari ..."$\mu$$[\bar X \pm \varepsilon]$

Tapi mari kita asumsikan bahwa kita baik sedang dengan ini, dan masing menunjukkan probabilitas minimum yang kita nyaman. Jadi kami mau$p_{min}$

$$1- \frac{1}{n \varepsilon^2} = p_{min} \implies \varepsilon = \sqrt {\frac {1}{(1-p_{min})n}}$$

Dengan ukuran sampel yang kecil dan probabilitas minimum yang diinginkan tinggi, ini dapat memberikan interval kepercayaan lebar yang tidak memuaskan. Misalnya untuk$p_{min} =0.9$ and $n=100$ we will get $\varepsilon \approx .316$, which, for example for the variable treated by the OP that is bounded in $[0,1]$ appears to be too big to be useful.

But the approach is valid, and distribution-free, and so there may be instances where it can be useful.

One may want to check also the Vysochanskij–Petunin inequality mentioned in another answer, which holds for continuous unimodal distributions and refines Chebyshev's inequality.

The short answer is that it can go pretty badly, but only if one or both tails of the sampling distribution is really fat.

This R code generate a million sets of 30 gamma-distributed variables and take their mean; it can be used to get a sense of what the sampling distribution of the mean looks like. If the normal approximation works as intended, the results should be approximately normal with mean 1 and variance 1/(30 * shape).

f = function(shape){replicate(1E6, mean(rgamma(30, shape, shape)))}

When shape is 1.0, the gamma distribution becomes an exponential distribution, which is pretty non-normal. Nevertheless, the non-Gaussian parts mostly average out and so Gaussian approximation isn't so bad:

There's clearly some bias, and it would be good to avoid that when possible. But honestly, that level of bias probably won't be the biggest problem facing a typical study.

That said, things can get much worse. With f(0.01), the histogram looks like this:

Log-transforming the 30 sampled data points before averaging helps a lot, though:

In general, distributions with long tails (on one or both sides of the distribution) will require the most samples before the Gaussian approximation starts to become reliable. There are even pathological cases where there will literally never be enough data for the Gaussian approximation to work, but you'll probably have more serious problems in that case (because the sampling distribution doesn't have a well-defined mean or variance to begin with).

Problem with the Chebyshev confidence interval

As mentioned by Carlo, we have $\sigma^2 \le \frac{1}{4}$. This follows from $\text{Var}(X) \le \mu(1-\mu)$. Therefore a confidence interval for $\mu$ is given by

$$P(|\bar{X}-\mu| \geq \varepsilon) \le \frac{1}{4n\varepsilon^2}.$$ The problem is that the inequality is, in a certain sense, quite loose when $n$ gets large. An improvement is given by Hoeffding's bound and shown below. However, we can also demonstrate how bad it can get using the Berry-Esseen theorem, pointed out by Yves. Let $X_i$ have a variance $\tfrac{1}{4}$, the worst possible case. The theorem implies that $P(|\bar X - \mu| \geq \tfrac{\varepsilon}{2\sqrt{n}}) \le 2\, \text{SF}(\varepsilon) + \tfrac{8}{\sqrt{n}},$ where $\text{SF}$ is the survival function of the standard normal distribution. In particular, with $\varepsilon = 16$, we get $\text{SF}(16) \approx e^{-58}$ (according to Scipy), so that essentially $$P(|\bar X - \mu| \geq \tfrac{8}{\sqrt{n}}) \le \tfrac{8}{\sqrt{n}} + 0, \qquad (*)$$ whereas the Chebyshev inequality implies $$P(|\bar X - \mu| \geq \tfrac{8}{\sqrt{n}}) \le \tfrac{1}{256}.$$ Note that I did not try to optimize the bound given in $(*)$, the result here is only of conceptual interest.

---

Comparing the lengths of the confidence intervals

Consider the $(1-\alpha)$-level confidence interval lengths $\ell_Z(\alpha, n)$ and $\ell_C(\alpha, n)$ obtained using the normal approximation ($\sigma = \tfrac{1}{2}$) and the Chebyshev inequality, repectively. It turns out that $\ell_C(\alpha, n)$ is a constant times bigger than $\ell_Z(\alpha, n)$, independently of $n$. Precisely, for all $n$,

$$\ell_C(\alpha, n) = \kappa(\alpha) \ell_Z(\alpha, n), \quad \kappa(\alpha) = \left(\text{ISF}\left(\tfrac{\alpha}{2}\right) \sqrt{\alpha}\right)^{-1},$$ where $\text{ISF}$ is the inverse survival function of the standard normal distribution. I plot below the multiplicative constant.

$\hskip 1in$

In particular, the $95\%$ level confidence interval obtained using the Chebyshev inequality is about $2.3$ times bigger than the same level confidence interval obtained using the normal approximation.

---

Using Hoeffding's bound

Hoeffding's bound gives

$$P(|\bar X - \mu| \geq \varepsilon) \leq 2e^{-2n \varepsilon^2}.$$ Thus an $(1-\alpha)$-level confidence interval for $\mu$ is $$(\bar X - \varepsilon, \bar X + \varepsilon), \quad \varepsilon = \sqrt{\frac{-\ln \tfrac{\alpha}{2}}{2n}},$$ of length $\ell_H (\alpha, n) = 2\varepsilon$. I plot below the lengths of the different confidence intervals (Chebyshev inequality: $\ell_C$; normal approximation ($\sigma = 1/2$): $\ell_Z$; Hoeffding's inequality: $\ell_H$) for $\alpha = 0.05$.

$\hskip 0.5in$

let's start with the number 30: it's, as anyone will say, a rule of thumb. but how can we find a number that fits better to our data? It's actually mostly a matter of skewness: even the strangest distribution will fast converge to normal if they are simmetric and continuous, skewed data will be much slower. I remember learning that a binomial distribution can be properly approximated to normal when its variance is greater than 9; for this example it's to be considered that discrete distribution also have the problem that they need great numbers to simulate continuity, but think to this: a simmetric binomial distribution will reach that variance with n = 36, if p = 0.1 instead, n must go up to 100 (variabile trasformation, however, would help a lot)!

If you only want to use variance instead, dropping gaussian approximation, consider Vysochanskij–Petunin inequality over Chebichev's, it needs the assumption of unimodal distribution of the mean, but this is a very safe one with any sample size, I'd say, greater than 2.