Penjelasan intuitif untuk membagi dengan

Saya ditanya hari ini di kelas mengapa Anda membagi jumlah kesalahan kuadrat dengan $n-1$ bukan dengan $n$ , saat menghitung standar deviasi.

Saya bilang saya tidak akan menjawabnya di kelas (karena saya tidak ingin masuk ke estimator yang tidak bias), tetapi kemudian saya bertanya-tanya - apakah ada penjelasan intuitif untuk ini ?!

Deviasi standar yang dihitung dengan pembagi adalah deviasi standar yang dihitung dari sampel sebagai perkiraan standar deviasi populasi dari mana sampel diambil. Karena nilai-nilai yang diamati jatuh, rata-rata, lebih dekat ke mean sampel daripada rata-rata populasi, standar deviasi yang dihitung dengan menggunakan penyimpangan dari rata-rata sampel meremehkan standar deviasi yang diinginkan dari populasi. Menggunakan n - 1 bukannya n sebagai pembagi mengoreksi untuk itu dengan membuat hasilnya sedikit lebih besar.$n-1$$n-1$$n$

Perhatikan bahwa koreksi memiliki efek proporsional yang lebih besar ketika kecil daripada ketika besar, yang adalah apa yang kita inginkan karena ketika n lebih besar rata-rata sampel cenderung menjadi penduga yang baik dari rata-rata populasi.$n$

Ketika sampel adalah seluruh populasi kita menggunakan standar deviasi dengan sebagai pembagi karena mean sampel adalah rata - rata populasi.$n$

(Saya mencatat secara garis besar bahwa tidak ada yang dimulai dengan "momen kedua yang dipusatkan di sekitar makna yang pasti dan pasti" akan memenuhi permintaan si penanya untuk penjelasan yang intuitif.)

Yang umum adalah bahwa definisi varians (distribusi) adalah momen kedua yang dipusatkan di sekitar rata-rata yang diketahui dan pasti , sedangkan estimator menggunakan estimasi rata-rata. Hilangnya derajat kebebasan ini (diberikan nilai rata-rata, Anda dapat menyusun kembali dataset dengan pengetahuan hanya dari nilai data) membutuhkan penggunaan n - 1 daripada n untuk "menyesuaikan" hasilnya.$n-1$$n-1$$n$

Penjelasan seperti itu konsisten dengan varians yang diperkirakan dalam analisis ANOVA dan komponen varians. Ini benar-benar hanya kasus khusus.

Kebutuhan untuk membuat beberapa penyesuaian yang mengembang varians dapat, saya pikir, dibuat jelas secara intuitif dengan argumen yang valid yang tidak hanya melambaikan tangan secara ex post facto . (Saya ingat bahwa Siswa mungkin telah membuat argumen seperti itu dalam makalahnya pada tahun 1908 pada uji-t.) Mengapa penyesuaian varians harus tepat merupakan faktor lebih sulit untuk dibenarkan, terutama ketika Anda mempertimbangkan bahwa SD yang disesuaikan tidak$n/(n-1)$penaksir yang tidak bias. (Ini hanyalah akar kuadrat dari penaksir yang tidak bias dari varian. Menjadi tidak bias biasanya tidak bertahan dari transformasi nonlinier.) Jadi, pada kenyataannya, penyesuaian yang benar terhadap SD untuk menghilangkan biasnya bukan merupakan faktor sama sekali!$\sqrt{n/(n-1)}$

Beberapa buku teks pengantar bahkan tidak repot memperkenalkan sd yang disesuaikan: mereka mengajarkan satu rumus (dibagi dengan ). Saya pertama kali bereaksi negatif terhadap hal itu ketika mengajar dari buku seperti itu tetapi tumbuh untuk menghargai kebijaksanaan: untuk fokus pada konsep dan aplikasi, penulis menghapus semua kebaikan matematika yang tidak penting. Ternyata tidak ada yang terluka dan tidak ada yang disesatkan.$n$

Menurut definisi, varians dihitung dengan mengambil jumlah perbedaan kuadrat dari rata-rata dan membaginya dengan ukuran. Kami memiliki formula umum

manaμadalah rata-rata danNadalah ukuran populasi.$\sigma^2= \frac{\sum_{i}^{N}(X_i-\mu)^2}{N}$$\mu$$N$

Menurut definisi ini, varians dari sampel (mis. Sampel ) juga harus dihitung dengan cara ini.$t$

dimana ¯ X adalah mean dannadalah ukuran sampel kecil ini.$\sigma^2_t= \frac{\sum_{i}^{n}(X_i-\overline{X})^2}{n}$$\overline{X}$$n$

Namun, dengan varians sampel , yang kami maksudkan adalah penduga varians populasi σ 2 . Bagaimana kita dapat memperkirakan σ 2 hanya dengan menggunakan nilai-nilai dari sampel?$S^2$$\sigma^2$$\sigma^2$

Menurut rumus di atas, variabel acak menyimpang dari sampel rata ¯ X dengan varians $X$$\overline{X}$ . Sampel mean ¯ X juga menyimpang dariμdengan variansσ$\sigma^2_t$$\overline{X}$$\mu$ karena mean sampel mendapat nilai yang berbeda dari sampel ke sampel dan itu adalah variabel acak dengan meanμdan variansσ$\frac{\sigma^2}{n}$$\mu$ . (Seseorang dapat membuktikan dengan mudah.)$\frac{\sigma^2}{n}$

Oleh karena itu, kira-kira, harus menyimpang dari μ dengan varians yang melibatkan dua varians sehingga menjumlahkan keduanya dan dapatkan σ 2 = σ 2 t + σ $X$$\mu$ . Dengan menyelesaikan ini, kita mendapatkanσ2=σ 2 t ×$\sigma^2=\sigma^2_t+\frac{\sigma^2}{n}$ . Menggantiσ 2 t memberikan estimator kami untuk varians populasi:$\sigma^2=\sigma^2_t \times\frac{n}{n-1}$$\sigma^2_t$

.$S^2= \frac{\sum_{i}^{n}(X_i-\overline{X})^2}{n-1}$

Seseorang juga dapat membuktikan bahwa benar.$E[S^2]=\sigma^2$

Ini adalah intuisi total, tetapi jawaban yang paling sederhana adalah koreksi yang dilakukan untuk membuat deviasi standar sampel satu elemen tidak terdefinisi daripada 0.

Anda dapat memperoleh pemahaman yang lebih dalam tentang istilah melalui geometri saja, bukan hanya mengapa itu bukan n tetapi mengapa ia mengambil persis bentuk ini, tetapi Anda mungkin perlu terlebih dahulu membangun intuisi Anda dengan mengatasi geometri n- dimensi. Dari sana, bagaimanapun, ini adalah langkah kecil menuju pemahaman yang lebih dalam tentang derajat kebebasan dalam model linier (yaitu model df & residual df). Saya pikir ada sedikit keraguan bahwa Fisher berpikir seperti ini. Inilah buku yang membangunnya secara bertahap:$n-1$$n$$n$

Saville DJ, Wood GR. Metode statistik: pendekatan geometris . Edisi ke-3. New York: Springer-Verlag; 1991. 560 halaman. 9780387975177

(Ya, 560 halaman. Saya memang mengatakan secara bertahap.)

Penaksir varians populasi bias ketika diterapkan pada sampel populasi. Untuk menyesuaikan bias yang perlu dibagi dengan n-1, bukan n. Kita dapat menunjukkan secara matematis bahwa penaksir varians sampel tidak bias ketika kita membaginya dengan n-1 alih-alih n. Bukti resmi disediakan di sini:

https://economictheoryblog.com/2012/06/28/latexlatexs2/

Awalnya itu adalah kebenaran matematika yang menyebabkan rumus, saya kira. Namun, jika seseorang ingin menambahkan intuisi ke formula, saran yang telah disebutkan itu tampak masuk akal.

Pertama, pengamatan sampel rata-rata lebih dekat dengan rata-rata sampel daripada rata-rata populasi. Penaksir varians menggunakan mean sampel dan sebagai akibatnya meremehkan varians sebenarnya dari populasi. Membagi dengan n-1 bukannya n mengoreksi bias itu.

Lebih jauh lagi, membaginya dengan n-1 membuat varians sampel satu elemen tidak terdefinisi daripada nol.

Mengapa membagi dengan daripada n ? Karena itu adalah kebiasaan, dan menghasilkan estimasi varian yang tidak bias. Namun, ini menghasilkan estimasi bias (rendah) dari standar deviasi, seperti yang dapat dilihat dengan menerapkan ketidaksetaraan Jensen pada fungsi cekung, akar kuadrat.$n-1$$n$

Jadi, apa hebatnya memiliki estimator yang tidak bias? Itu tidak selalu meminimalkan kesalahan kuadrat rata-rata. MLE untuk distribusi Normal adalah untuk membagi dengan daripada n - 1 . Ajari siswa Anda untuk berpikir, daripada memuntahkan dan tanpa berpikir menerapkan gagasan kuno dari seabad yang lalu.$n$$n-1$

Sudah diketahui (atau dengan mudah dibuktikan) bahwa kuadrat memiliki ekstrem pada z = - $\alpha z^2 + 2\beta z + \gamma$ . Ini menunjukkan bahwa, untuk setiapbilangan nnyata yangdiberikanx1,x2,...,xn, kuantitas G(a)= n ∑ i=1(xi-a)2=( n ∑ i = 1 x 2 i )-2a( n ∑ i = 1 xi)$z = -\frac{\beta}{\alpha}$$n$$x_1, x_2, \ldots, x_n$ memiliki nilai minimum ketika a =

$$G(a) = \sum_{i=1}^n (x_i-a)^2 = \left(\sum_{i=1}^n x_i^2\right) -2a\left(\sum_{i=1}^n x_i\right) + na^2,$$ $\displaystyle a = \frac 1n \sum_{i=1}^n x_i =\bar{x}$ .

Sekarang, anggaplah bahwa adalah sampel berukuran n dari distribusi dengan tidak diketahui rata-rata μ dan tidak diketahui varians σ 2 . Kami dapat memperkirakan μ sebagai $x_i$$n$$\mu$$\sigma^2$$\mu$ yang cukup mudah untuk dihitung, tetapi upaya untuk memperkirakanσ2 sebagai$\frac 1n \sum_{i=1}^n x_i = \bar{x}$$\sigma^2$menemui masalah yang tidak kita ketahuiμ. Kita bisa, tentu saja, mudah menghitung G( ˉ x )dan kami tahu bahwaG(μ)≥G( ˉ x ), tapi berapa banyak yang lebih besar adalahG(μ)? Jawabannya adalah bahwa G(μ$\frac 1n \sum_{i=1}^n (x_i-\mu)^2 = n^{-1}G(\mu)$$\mu$$G(\bar{x})$$G(\mu) \geq G(\bar{x})$$G(\mu)$$G(\mu)$lebih besar dari dengan faktor sekitar $G(\bar{x})$ , yaitu, G ( μ ) ≈ $\frac{n}{n-1}$danperkiraann-1G(μ)=

$$G(\mu) \approx \frac{n}{n-1}G(\bar{x})\tag{1}$$ untuk varian distribusi dapat diperkirakan oleh $\displaystyle n^{-1}G(\mu)= \frac 1n\sum_{i=1}^n(x_i-\mu)^2$$\displaystyle \frac{1}{n-1}G(\bar{x}) = \frac{1}{n-1}\sum_{i=1}^n (x_i-\bar{x})^2.$

Jadi, apa penjelasan intuitif dari ? Yah, kita punya G ( μ $(1)$ karena∑ n i = 1 (xi- ˉ x )=n ˉ x -n ˉ x =0. Sekarang, n ( ˉ x - μ )

$$\begin{align} G(\mu) &= \sum_{i=1}^n (x_i-\mu)^2\\ &= \sum_{i=1}^n (x_i-\bar{x} + \bar{x}-\mu)^2\\ &= \sum_{i=1}^n \left((x_i-\bar{x})^2 + (\bar{x}-\mu)^2 + 2(x_i-\bar{x})(\bar{x}-\mu)\right)\\ &= G(\bar{x}) + n(\bar{x}-\mu)^2 + (\bar{x}-\mu)\sum_{i=1}^n(x_i-\bar{x})\\ &= G(\bar{x}) + n(\bar{x}-\mu)^2 \tag{2} \end{align}$$ $\sum_{i=1}^n (x_i-\bar{x}) = n\bar{x}-n\bar{x} = 0$ Kecuali ketika kita memiliki sampel luar biasa di mana semuaxilebih besar dariμ(atau mereka semua lebih kecil dari μ), jumlah puncak(xi-μ)(xj-μ)dalam jumlah ganda di sisi kanan(3 $$\begin{align} n(\bar{x}-\mu)^2 &= n\frac{1}{n^2}\left(\sum_{i=1}^n(x_i-\mu)\right)^2\\ &= \frac 1n \sum_{i=1}^n(x_i-\mu)^2 + \frac 2n \sum_{i=1}^n\sum_{j=i+1}^n(x_i-\mu)(x_j-\mu)\\ &= \frac 1n G(\mu) + \frac 2n \sum_{i=1}^n\sum_{j=i+1}^n(x_i-\mu)(x_j-\mu)\tag{3} \end{align}$$ $x_i$$\mu$$\mu$$(x_i-\mu)(x_j-\mu)$$(3)$mengambil nilai-nilai positif dan negatif dan dengan demikian banyak pembatalan terjadi. Jadi, jumlah ganda dapat diharapkan memiliki nilai absolut yang kecil , dan kami mengabaikannya dibandingkan dengan angka istilah di sisi kanan(3). Dengan demikian,(2) menjadi G(μ)≈G( ˉ x )+$\frac 1nG(\mu)$$(3)$$(2)$ sebagaimana diklaim dalam(1). $$G(\mu) \approx G(\bar{x}) + \frac 1nG(\mu) \Longrightarrow G(\mu) \approx \frac{n}{n-1}G(\bar{x})$$ $(1)$

$(x_i-x_j)^2/2$

$$s^2 = \frac{2}{n(n-1)}\sum_{i< j}\frac{(x_i-x_j)^2}{2} = \frac{1}{n-1}\sum_{i=1}^n(x_i-\bar{x})^2 .$$

$X$$Y$

$$V(X) = E\left(\frac{(X-Y)^2}{2}\right) = E((X-E(X))^2) .$$

Untuk beralih dari definisi variabel acak varian ke definisi variabel sampel adalah masalah memperkirakan ekspektasi dengan rata-rata yang dapat dibenarkan oleh prinsip filosofis khas: Sampel adalah representasi tipikal distribusi. (Catatan, ini terkait dengan, tetapi tidak sama dengan estimasi berdasarkan momen.)

$N=1$$x$$\overline{m}=x$$1$

$$V=\frac{\sum_N (x_n - \overline{m} )^2}{N}$$

$$\overline{V}=\frac{(x-\overline{m})^2}{1} = 0\,.$$

$y$$x\neq y$$N-1=0$

$0$$d+1$$d$$d+1$

Atas saran whuber , jawaban ini telah disalin dari pertanyaan serupa lainnya .

Koreksi Bessel diadopsi untuk mengoreksi bias dalam menggunakan varians sampel sebagai penaksir varians yang sebenarnya. Bias dalam statistik yang tidak dikoreksi terjadi karena rata-rata sampel lebih dekat ke tengah pengamatan daripada rata-rata yang sebenarnya, sehingga penyimpangan kuadrat di sekitar rata-rata sampel secara sistematis meremehkan penyimpangan kuadrat di sekitar rata-rata sebenarnya.

$S_*^2$$n$

$$\begin{equation} \begin{aligned} S_*^2 &= \frac{1}{n} \sum_{i=1}^n (X_i - \bar{X})^2 \\[8pt] &= \frac{1}{n} \sum_{i=1}^n (X_i^2 - 2 \bar{X} X_i + \bar{X}^2) \\[8pt] &= \frac{1}{n} \Bigg( \sum_{i=1}^n X_i^2 - 2 \bar{X} \sum_{i=1}^n X_i + n \bar{X}^2 \Bigg) \\[8pt] &= \frac{1}{n} \Bigg( \sum_{i=1}^n X_i^2 - 2 n \bar{X}^2 + n \bar{X}^2 \Bigg) \\[8pt] &= \frac{1}{n} \Bigg( \sum_{i=1}^n X_i^2 - n \bar{X}^2 \Bigg) \\[8pt] &= \frac{1}{n} \sum_{i=1}^n X_i^2 - \bar{X}^2. \end{aligned} \end{equation}$$

Mengambil harapan hasil:

$$\begin{equation} \begin{aligned} \mathbb{E}(S_*^2) &= \frac{1}{n} \sum_{i=1}^n \mathbb{E}(X_i^2) - \mathbb{E} (\bar{X}^2) \\[8pt] &= \frac{1}{n} \sum_{i=1}^n (\mu^2 + \sigma^2) - (\mu^2 + \frac{\sigma^2}{n}) \\[8pt] &= (\mu^2 + \sigma^2) - (\mu^2 + \frac{\sigma^2}{n}) \\[8pt] &= \sigma^2 - \frac{\sigma^2}{n} \\[8pt] &= \frac{n-1}{n} \cdot \sigma^2 \\[8pt] \end{aligned} \end{equation}$$

Jadi Anda dapat melihat bahwa statistik varians sampel yang tidak dikoreksi meremehkan varians yang sebenarnya $\sigma^2$. Koreksi Bessel menggantikan penyebut dengan$n-1$yang menghasilkan estimator yang tidak bias. Dalam analisis regresi ini diperluas ke kasus yang lebih umum di mana estimasi rata-rata adalah fungsi linier dari beberapa prediktor, dan dalam kasus yang terakhir ini, penyebut dikurangi lebih lanjut, untuk jumlah derajat kebebasan yang lebih rendah.

Umumnya menggunakan "n" dalam penyebut memberikan nilai lebih kecil dari varians populasi yang ingin kami perkirakan. Ini terutama terjadi jika sampel kecil diambil. Dalam bahasa statistik, kami mengatakan bahwa varians sampel memberikan perkiraan "bias" dari varians populasi dan perlu dibuat "tidak bias".

Jika Anda mencari penjelasan intuitif, Anda harus membiarkan siswa Anda melihat alasannya sendiri dengan mengambil sampel! Lihat ini, itu menjawab pertanyaan Anda.

https://www.youtube.com/watch?v=xslIhnquFoE

Mean sampel didefinisikan sebagai $\bar{X} = \frac{1}{n}\sum_{i=1}^{n} X_i$, yang cukup intuitif. Tetapi varians sampelnya adalah$S^2 = \frac{1}{n-1}\sum_{i=1}^{n} (X_i - \bar{X})^2$. Di mana itu$n - 1$ berasal dari ?

Untuk menjawab pertanyaan ini, kita harus kembali ke definisi penaksir yang tidak bias. Estimator yang tidak bias adalah ekspektasi yang cenderung ke ekspektasi yang sebenarnya. Rata-rata sampel adalah penaksir tidak bias. Untuk melihat alasannya:

$$E[\bar{X}] = \frac{1}{n}\sum_{i=1}^{n} E[X_i] = \frac{n}{n} \mu = \mu$$

Mari kita lihat ekspektasi varians sampel,

$$S^2 = \frac{1}{n-1} \sum_{i=1}^{n} (X_i^2) - n\bar{X}^2$$

$$E[S^2] = \frac{1}{n-1} \left( n E[(X_i^2)] - nE[\bar{X}^2] \right).$$

Perhatikan itu $\bar{X}$ adalah variabel acak dan bukan konstanta, jadi harapannya $E[\bar{X}^2]$memainkan peran. Ini adalah alasan di balik$n-1$.

$$E[S^2] = \frac{1}{n-1} \left( n (\mu^2 + \sigma^2) - n(\mu^2 + Var(\bar{X})) \right).$$ $$Var(\bar{X}) = Var(\frac{1}{n}\sum_{i=1}^{n} X_i) = \sum_{i=1}^{n} \frac{1}{n^2} Var(X_i) = \frac{\sigma^2}{n}$$

$$E[S^2] = \frac{1}{n-1} \left( n (\mu^2 + \sigma^2) - n(\mu^2 + \sigma^2/n) \right). = \frac{(n-1)\sigma^2}{n-1} = \sigma^2 \\ $$

Seperti yang Anda lihat, jika kita memiliki penyebutnya sebagai $n$ dari pada $n-1$, kami akan mendapatkan estimasi yang bias untuk varians! Tetapi dengan$n-1$ penduga $S^2$ adalah estimator yang tidak bias.

Saya pikir ada baiknya menunjukkan koneksi ke estimasi Bayesian. Misalkan Anda menganggap data Anda Gaussian, dan Anda mengukur rata-rata$\mu$ dan varians $\sigma^2$ dari sampel $n$poin. Anda ingin menarik kesimpulan tentang populasi. Pendekatan Bayesian akan mengevaluasi distribusi prediksi posterior atas sampel, yang merupakan distribusi T Student umum (asal-usul uji-T). Distribusi ini memiliki arti$\mu$, dan varians

$$\sigma^2 \left(\frac{n+1}{n-1}\right),$$

yang bahkan lebih besar dari koreksi tipikal. (Memiliki$2n$ derajat kebebasan.)

Distribusi T Student yang digeneralisasi memiliki tiga parameter dan menggunakan ketiga statistik Anda. Jika Anda memutuskan untuk membuang beberapa informasi, Anda dapat memperkirakan lebih lanjut data Anda menggunakan distribusi normal dua parameter seperti yang dijelaskan dalam pertanyaan Anda.

Dari sudut pandang Bayesian, Anda dapat membayangkan bahwa ketidakpastian dalam hiperparameter model (distribusi di atas rata-rata dan varians) menyebabkan varians prediksi posterior lebih besar daripada varians populasi.

Ya ampun, ini semakin rumit! Saya pikir jawaban sederhananya adalah ... jika Anda memiliki semua titik data, Anda dapat menggunakan "n" tetapi jika Anda memiliki "sampel" maka, dengan asumsi itu adalah sampel acak, Anda memiliki lebih banyak titik sampel dari dalam standar deviasi daripada dari luar (definisi standar deviasi). Anda hanya tidak memiliki cukup data di luar untuk memastikan Anda mendapatkan semua poin data yang Anda butuhkan secara acak. N-1 membantu memperluas menuju standar deviasi "nyata".