Bagaimana memahami bahwa MLE of Variance bias dalam distribusi Gaussian?

Ilustrasi PRML tentang bagaimana bias muncul dalam menggunakan kemungkinan maksimum untuk menentukan varian dari Gaussian

Saya membaca PRML dan saya tidak mengerti gambarnya. Bisakah Anda memberikan beberapa petunjuk untuk memahami gambar dan mengapa MLE varians dalam distribusi Gaussian bias?

rumus 1.55: rumus 1.56

μ_{M L E} = \frac{1}{N} \sum_{n = 1}^{N} x_{n}

$\mu_{MLE}=\frac{1}{N} \sum_{n=1}^N x_n$

σ_{M L E}^{2} = \frac{1}{N} \sum_{n = 1}^{N} (x_{n} - μ_{M L E})^{2}

$\sigma_{MLE}^2=\frac{1}{N}\sum_{n=1}^{N}(x_n-\mu_{MLE})^2$

machine-learning self-study maximum-likelihood

— ningyuwhut
sumber

Silakan tambahkan tag belajar sendiri.

— StatsStudent

mengapa untuk setiap grafik, hanya satu titik data biru yang terlihat oleh saya? btw, ketika saya mencoba untuk mengedit limpahan dua subskrip dalam posting ini, sistem membutuhkan "setidaknya 6 karakter" ... memalukan.

— Zhanxiong

Apa yang benar-benar ingin Anda pahami, gambaran atau mengapa estimasi varian MLE bias? Yang pertama sangat membingungkan tetapi saya bisa menjelaskan yang terakhir.

— TrynnaDoStat

ya, saya menemukan dalam versi baru setiap grafik memiliki dua data biru, pdf saya sudah tua

— ningyuwhut

@TrynnaDoStat maaf untuk pertanyaan saya tidak jelas. apa yang ingin saya ketahui adalah mengapa estimasi varian MLE bias. dan bagaimana ini diungkapkan dalam grafik ini

— ningyuwhut

Intuisi

Biasnya "berasal dari" (sama sekali bukan istilah teknis) fakta bahwa bias untuk . Pertanyaan alami adalah, "baik, apa intuisi mengapa bias untuk "? Intuisi adalah bahwa dalam mean sampel non-kuadrat, kadang-kadang kita kehilangan nilai sebenarnya dengan menaksir berlebihan dan kadang-kadang dengan taksiran lebih rendah. Tetapi, tanpa kuadratkan, kecenderungan untuk menaksir terlalu tinggi dan kurang menaksir akan membatalkan satu sama lain. Namun, ketika kami menyamakan kecenderungan untuk di bawah perkiraan (kehilangan nilai sebenarnya dari $E[\bar{x}^2]$ $\mu^2$ $E[\bar{x}^2]$ $\mu^2$ $\mu$ $\bar{x}$ $\mu$ dengan angka negatif) juga akan kuadrat dan dengan demikian menjadi positif. Dengan demikian, tidak lagi dibatalkan dan ada sedikit kecenderungan untuk memperkirakan terlalu tinggi.

Jika intuisi di balik mengapa bias untuk masih belum jelas, cobalah untuk memahami intuisi di balik ketidaksetaraan Jensen (penjelasan intuitif yang baik di sini ) dan menerapkannya pada . $x^2$ $\mu^2$ $E[x^2]$

Mari kita buktikan bahwa MLE varians untuk sampel iid bias. Kemudian kami akan secara analitis memverifikasi intuisi kami.

Bukti

Biarkan . $\hat{\sigma}^2 = \frac{1}{N}\sum_{n = 1}^N (x_n - \bar{x})^2$

Kami ingin menunjukkan . $E[\hat{\sigma}^2] \neq \sigma^2$

E [{\hat{σ}}^{2}] = E [\frac{1}{N} \sum_{n = 1}^{N} (x_{n} - \bar{x})^{2}] = \frac{1}{N} E [\sum_{n = 1}^{N} (x_{n}^{2} - 2 x_{n} \bar{x} + {\bar{x}}^{2})] = \frac{1}{N} E [\sum_{n = 1}^{N} x_{n}^{2} - \sum_{n = 1}^{N} 2 x_{n} \bar{x} + \sum_{n = 1}^{N} {\bar{x}}^{2}]

$E[\hat{\sigma}^2] = E[\frac{1}{N}\sum_{n = 1}^N (x_n - \bar{x})^2] = \frac{1}{N}E[\sum_{n = 1}^N (x_n^2 - 2x_n\bar{x} + \bar{x}^2)] = \frac{1}{N}E[\sum_{n = 1}^N x_n^2 - \sum_{n = 1}^N 2x_n\bar{x} + \sum_{n = 1}^N \bar{x}^2]$

Menggunakan fakta bahwa dan , $\sum_{n = 1}^N x_n = N\bar{x}$ $\sum_{n = 1}^N \bar{x}^2 = N\bar{x}^2$

\frac{1}{N} E [\sum_{n = 1}^{N} x_{n}^{2} - \sum_{n = 1}^{N} 2 x_{n} \bar{x} + \sum_{n = 1}^{N} {\bar{x}}^{2}] = \frac{1}{N} E [\sum_{n = 1}^{N} x_{n}^{2} - 2 N {\bar{x}}^{2} + N {\bar{x}}^{2}] = \frac{1}{N} E [\sum_{n = 1}^{N} x_{n}^{2} - N {\bar{x}}^{2}] = \frac{1}{N} E [\sum_{n = 1}^{N} x_{n}^{2}] - E [{\bar{x}}^{2}] = \frac{1}{N} \sum_{n = 1}^{N} E [x_{n}^{2}] - E [{\bar{x}}^{2}] = E [x_{n}^{2}] - E [{\bar{x}}^{2}]

$\frac{1}{N}E[\sum_{n = 1}^N x_n^2 - \sum_{n = 1}^N 2x_n\bar{x} + \sum_{n = 1}^N \bar{x}^2] = \frac{1}{N}E[\sum_{n = 1}^N x_n^2 - 2N\bar{x}^2 + N\bar{x}^2]=\frac{1}{N}E[\sum_{n = 1}^N x_n^2 - N\bar{x}^2] = \frac{1}{N}E[\sum_{n = 1}^N x_n^2] - E[\bar{x}^2] = \frac{1}{N}\sum_{n = 1}^N E[x_n^2] - E[\bar{x}^2] \\= E[x_n^2] - E[\bar{x}^2]$

Dengan langkah terakhir mengikuti sejak karena sama di karena berasal dari distribusi yang sama. $E[x_n^2]$ $n$

Sekarang, ingat definisi varian yang mengatakan . Dari sini, kita mendapatkan yang berikut ini $\sigma^2_x = E[x^2] - E[x]^2$

E [x_{n}^{2}] - E [{\bar{x}}^{2}] = σ_{x}^{2} + E [x_{n}]^{2} - σ_{\bar{x}}^{2} - E [x_{n}]^{2} = σ_{x}^{2} - σ_{\bar{x}}^{2} = σ_{x}^{2} - V a r (\bar{x}) = σ_{x}^{2} - V a r (\frac{1}{N} \sum_{n = 1}^{N} x_{n}) = σ_{x}^{2} - (\frac{1}{N})^{2} V a r (\sum_{n = 1}^{N} x_{n})

$E[x_n^2] - E[\bar{x}^2] = \sigma^2_x + E[x_n]^2 - \sigma^2_\bar{x} - E[x_n]^2 = \sigma^2_x - \sigma^2_\bar{x} = \sigma^2_x - Var(\bar{x}) = \sigma^2_x - Var(\frac{1}{N}\sum_{n = 1}^Nx_n) = \sigma^2_x - \bigg(\frac{1}{N}\bigg)^2Var(\sum_{n = 1}^Nx_n)$

Perhatikan bahwa kami telah dengan tepat menguadratkan konstanta ketika mengeluarkannya dari . Berikan perhatian khusus untuk itu! $\frac{1}{N}$ $Var()$

σ_{x}^{2} - (\frac{1}{N})^{2} V a r (\sum_{n = 1}^{N} x_{n}) = σ_{x}^{2} - (\frac{1}{N})^{2} N σ_{x}^{2} = σ_{x}^{2} - \frac{1}{N} σ_{x}^{2} = \frac{N - 1}{N} σ_{x}^{2}

$\sigma^2_x - \bigg(\frac{1}{N}\bigg)^2Var(\sum_{n = 1}^Nx_n) = \sigma^2_x - \bigg(\frac{1}{N}\bigg)^2N \sigma^2_x = \sigma^2_x - \frac{1}{N}\sigma^2_x = \frac{N-1}{N}\sigma^2_x$

yang tentu saja tidak sama dengan . $\sigma_x^2$

Verifikasi Secara Analitik Intuisi kita

Kita dapat memverifikasi intuisi dengan mengasumsikan kita tahu nilai dan menghubungkannya dengan bukti di atas. Karena kita sekarang tahu , kita tidak perlu lagi memperkirakan dan karenanya kita tidak pernah memperkirakannya dengan . Mari kita lihat bahwa ini "menghapus" bias di . $\mu$ $\mu$ $\mu^2$ $E[\bar{x}^2]$ $\hat{\sigma}^2$

Biarkan . $\hat{\sigma}_\mu^2 = \frac{1}{N}\sum_{n = 1}^N (x_n - \mu)^2$

Dari bukti di atas, mari kita ambil dari mengganti dengan nilai sebenarnya . $E[x_n^2] - E[\bar{x}^2]$ $\bar{x}$ $\mu$

E [x_{n}^{2}] - E [μ^{2}] = E [x_{n}^{2}] - μ^{2} = σ_{x}^{2} + E [x_{n}]^{2} - μ^{2} = σ_{x}^{2}

$E[x_n^2] - E[\mu^2] = E[x_n^2] - \mu^2 = \sigma^2_x + E[x_n]^2 - \mu^2= \sigma^2_x$

yang tidak bias!

— TrynnaDoStat
sumber

+1 Mungkin perlu dicatat bahwa demonstrasi Anda tidak mengharuskan memiliki distribusi Gaussian. (Namun, untuk distribusi lain varians sampel mungkin bukan MLE untuk parameter varians.)

X

$X$

— whuber

Terima kasih atas penjelasan anda Saya perlu waktu untuk memahaminya. Selain itu, saya menemukan beberapa kesalahan dalam persamaan. Bisakah Anda memverifikasinya? Terima kasih!

— ningyuwhut

@ whuber - Tidak yakin mengapa Anda mengatakan "..demonstration tidak mengharuskan memiliki distribusi Gaussian.". Kami tidak akan berbicara tentang solusi varian ML untuk setiap distribusi, katakanlah distribusi binomial. Jadi secara implisit kami mengasumsikan distribusi X memiliki varian sebagai salah satu parameter.

X

$X$

— KGhatak