Koreksi bias dalam varian tertimbang

Untuk varians tak tertimbang terdapat varians sampel yang dikoreksi bias, ketika rerata diperkirakan dari data yang sama:

Var (X) : = \frac{1}{n} \sum_{saya} (x_{saya} - μ)^{2}

$\text{Var}(X):=\frac{1}{n}\sum_i(x_i - \mu)^2$

Var (X) : = \frac{1}{n - 1} \sum_{saya} (x_{saya} - E [X])^{2}

$\text{Var}(X):=\frac{1}{n-1}\sum_i(x_i - E[X])^2$

Saya sedang mencari mean dan varian tertimbang, dan bertanya-tanya apa koreksi bias yang tepat untuk varian tertimbang. Menggunakan:

berarti (X) : = \frac{1}{\sum_{saya} ω_{saya}} \sum_{saya} ω_{saya} x_{saya}

$\text{mean}(X):=\frac{1}{\sum_i \omega_i}\sum_i \omega_i x_i$

Varians "naif", tidak terkoreksi yang saya gunakan adalah ini:

Var (X) : = \frac{1}{\sum_{saya} ω_{saya}} \sum_{saya} ω_{saya} (x_{saya} - berarti (X))^{2}

$\text{Var}(X):=\frac{1}{\sum_i \omega_i}\sum_i\omega_i(x_i - \text{mean}(X))^2$

Jadi saya bertanya-tanya apakah cara yang benar untuk mengoreksi bias

Var (X) : = \frac{1}{\sum_{saya} ω_{saya} - 1} \sum_{saya} ω_{saya} (x_{saya} - berarti (X))^{2}

$\text{Var}(X):=\frac{1}{\sum_i \omega_i - 1}\sum_i\omega_i(x_i - \text{mean}(X))^2$

atau B)

Var (X) := \frac{n}{n - 1} \frac{1}{\sum_{i} ω_{i}} \sum_{i} ω_{i} (x_{i} - mean (X))^{2}

$\text{Var}(X):=\frac{n}{n-1}\frac{1}{\sum_i \omega_i}\sum_i\omega_i(x_i - \text{mean}(X))^2$

atau C)

Var (X) : = \frac{\sum_{saya} ω_{saya}}{(\sum_{saya} ω_{saya})^{2} - \sum_{saya} ω_{saya}^{2}} \sum_{saya} ω_{saya} (x_{saya} - berarti (X))^{2}

$\text{Var}(X):=\frac{\sum_i \omega_i}{(\sum_i \omega_i)^2-\sum_i \omega_i^ 2}\sum_i\omega_i(x_i - \text{mean}(X))^2$

A) tidak masuk akal bagi saya ketika bobotnya kecil. Nilai normalisasi bisa 0 atau bahkan negatif. Tetapi bagaimana dengan B) ( adalah jumlah pengamatan) - apakah ini pendekatan yang benar? Apakah Anda memiliki beberapa referensi yang menunjukkan ini? Saya percaya "Memperbarui estimasi rata-rata dan varians: metode yang ditingkatkan", DHD Barat, 1979 menggunakan ini. Yang ketiga, C) adalah interpretasi saya atas jawaban untuk pertanyaan ini: /mathpro/22203/unprice-estimate-of-the-variance-of-an-unnormalised-weighted-mean $n$

Untuk C) Saya baru menyadari bahwa penyebutnya sangat mirip dengan . Apakah ada hubungan umum di sini? Saya pikir itu tidak sepenuhnya selaras; dan jelas ada koneksi yang kami coba hitung varians ... $\text{Var}(\Omega)$

Mereka bertiga tampaknya "selamat" dari pemeriksaan kewarasan pengaturan semua . Jadi yang mana yang harus saya gunakan, di bawah bangunan mana? '' Pembaruan: '' whuber menyarankan untuk melakukan pengecekan kewarasan dengan dan semua yang tersisa tiny. Ini sepertinya mengesampingkan A dan B. $\omega_i=1$ $\omega_1=\omega_2=.5$ $\omega_i=\epsilon$

— Anony-Mousse
sumber

Ketika Anda mempertimbangkan kasus-kasus di mana dua bobot terbesar sama dan semua sisanya menjadi semakin kecil, baik (A) dan (B) turun dari pertengkaran (karena mereka tidak setuju dengan hasil yang diketahui untuk ). (C) tampaknya merupakan perkiraan; Saya menduga faktor yang benar adalah fungsi bobot yang jauh lebih rumit.

n = 2

$n=2$

— whuber

@whuber ThePawn di bawah ini menunjukkan bahwa itu adalah C. Apakah Anda memiliki masalah yang lebih detail?

— Anony-Mousse

Solusi (A) berfungsi, saya telah mengimplementasikannya di masa lalu dan dapat mengkonfirmasi dari tes empiris bahwa itu memberikan hasil yang benar. Namun, Anda hanya harus menggunakan nilai integer untuk bobot dan> 0.

— gaborous

Terima kasih! Ini banyak membantu saya untuk berada di jalur yang benar ketika bobotnya untuk rata-rata bergerak yang eksponensial! Ternyata cara naif untuk menghitung varians sebenarnya melebih-lebihkannya dengan faktor konstan 2, di samping koreksi kecil (1-1 / n) yang muncul secara analog dengan perhitungan rata-rata bergerak sederhana. Itu kasus khusus yang sangat gila!

— Saolof

Jawaban:

Saya mempelajari matematika dan berakhir dengan varian C:

V Sebuah r (X) = \frac{(\sum_{saya} ω_{saya})^{2}}{(\sum_{saya} ω_{saya})^{2} - \sum_{saya} ω_{saya}^{2}} \bar{V}

$Var(X) = \frac{(\sum_i \omega_i)^2}{(\sum_i \omega_i)^2 - \sum_i \omega_i^2}\overline V$

\bar{V}

$\overline V$

ω_{i}

$\omega_i$

$\lambda_i = \frac{\omega_i}{\sum_i \omega_i}$

\bar{V} = \sum_{saya} λ_{saya} (x_{saya} - \sum_{j} λ_{j} x_{j})^{2}

$\overline V = \sum_i \lambda_i (x_i - \sum_j \lambda_j x_j)^2$

(x_{saya} - \sum_{j} λ_{j} x_{j})^{2} = x_{saya}^{2} + \sum_{j, k} λ_{j} λ_{k} x_{j} x_{k} - 2 \sum_{j} λ_{j} x_{saya} x_{j}

$(x_i - \sum_j \lambda_j x_j)^2 = x_i^2 + \sum_{j, k} \lambda_j \lambda_k x_j x_k - 2 \sum_j \lambda_j x_i x_j$

$E[x_i x_j] = Var(X)1_{i = j} + E[X]^2$ $E[X]$

E [\bar{V}] = V Sebuah r (X) \sum_{saya} λ_{saya} (1 + \sum_{j} λ_{j}^{2} - 2 λ_{saya})

$E[\overline V] = Var(X) \sum_i \lambda_i (1 + \sum_j \lambda_j^2- 2 \lambda_i )$

E [\bar{V}] = V Sebuah r (X) (1 - \sum_{j} λ_{j}^{2})

$E[\overline V] = Var(X) (1 - \sum_j \lambda_j^2)$

λ_{i}

$\lambda_i$

ω_{i}

$\omega_i$

— ThePawn
sumber

Itu varian C di atas, bukan?

— Anony-Mousse

Oups, ya, itu varian C.

— ThePawn

Saya telah memeriksa solusi ini secara empiris dan TIDAK BEKERJA ... Satu-satunya yang melakukannya adalah solusi (A) yang telah saya implementasikan sendiri sebelumnya, tetapi hanya berfungsi dengan bobot menjadi bilangan bulat dan> = 0

— gaborous

Persamaan ini salah menurut Wikipedia, Matlab, R, dan lainnya yang menerapkan persamaan ini. Pembilang di sini adalah kuadrat, tetapi harus TIDAK, itu harus seperti (C) yang diusulkan oleh OP. Lihat en.wikipedia.org/wiki/…

— gaborous

@rajatkhanduja Saya tidak berbicara tentang buktinya tetapi persamaan turunan akhir (yang teratas dalam jawaban ini). Tapi memang itu benar, pembilang hanya dikuadratkan karena kita mengalikan dengan V, sehingga pembilang akhirnya tidak dikuak. Bagaimanapun, penaksir ini tetap bias seperti yang saya jelaskan dalam jawaban saya di bawah karena bergantung pada bobot "reliabilitas".

— Gaborous

Baik A dan C benar, tetapi yang mana yang akan Anda gunakan tergantung pada jenis bobot yang Anda gunakan:

A membutuhkan Anda untuk menggunakan "-type" bobot (bilangan bulat menghitung jumlah kejadian untuk setiap pengamatan), dan tidak bias .
C membutuhkan Anda untuk menggunakan "-type" bobot (baik bobot dinormalisasi atau varian untuk setiap pengamatan), dan bias . Itu tidak bisa tidak bias.

Alasan mengapa C selalu bias adalah karena jika Anda tidak menggunakan "-type" bobot, Anda kehilangan kemampuan untuk menghitung jumlah total pengamatan (ukuran sampel), dan dengan demikian Anda tidak dapat menggunakan faktor koreksi.

Untuk info lebih lanjut, periksa artikel Wikipedia yang baru-baru ini diperbarui: http://en.wikipedia.org/wiki/Berat_aritmatika_mean#Berat_sampel_varians

— gaborous
sumber