Bias penaksir momen dari distribusi lognormal

Saya melakukan beberapa percobaan numerik yang terdiri dari pengambilan sampel distribusi lognormal $X\sim\mathcal{LN}(\mu, \sigma)$ , dan mencoba memperkirakan momen dengan dua metode: $\mathbb{E}[X^n]$

Melihat rata-rata sampel $X^n$
Memperkirakan dan dengan menggunakan mean sampel untuk , dan kemudian menggunakan fakta bahwa untuk distribusi lognormal, kita memiliki . $\mu$ $\sigma^2$ $\log(X), \log^2(X)$ $\mathbb{E}[X^n]=\exp(n \mu + (n \sigma)^2/2)$

Pertanyaannya adalah :

Saya menemukan secara eksperimental bahwa metode kedua berkinerja jauh lebih baik daripada yang pertama, ketika saya menjaga jumlah sampel tetap, dan meningkatkan oleh beberapa faktor T. Apakah ada penjelasan sederhana untuk fakta ini? $\mu, \sigma^2$

Saya melampirkan gambar di mana sumbu x adalah T, sedangkan sumbu y adalah nilai membandingkan nilai sebenarnya dari (garis oranye), ke nilai yang diestimasi. metode 1 - titik biru, metode 2 - titik hijau. sumbu y dalam skala log $\mathbb{E}[X^2]$ $\mathbb{E}[X^2] = \exp(2 \mu + 2 \sigma^2)$

$Nilai true dan estimasi untuk $ \ mathbb {E} [X ^ 2] $. Titik biru adalah rata-rata sampel untuk $ \ mathbb {E} [X ^ 2] $ (metode 1), sedangkan titik hijau adalah nilai yang diestimasi menggunakan metode 2. Garis oranye dihitung dari $ \ mu $, $ \ yang dikenal sigma $ dengan persamaan yang sama seperti pada metode 2. sumbu y adalah dalam skala log$

EDIT:

Di bawah ini adalah kode Mathematica minimal untuk menghasilkan hasil untuk satu T, dengan output:

   ClearAll[n,numIterations,sigma,mu,totalTime,data,rmomentFromMuSigma,rmomentSample,rmomentSample]
(* Define variables *)
n=2; numIterations = 10^4; sigma = 0.5; mu=0.1; totalTime = 200;
(* Create log normal data*)
data=RandomVariate[LogNormalDistribution[mu*totalTime,sigma*Sqrt[totalTime]],numIterations];

(* the moment by theory:*)
rmomentTheory = Exp[(n*mu+(n*sigma)^2/2)*totalTime];

(*Calculate directly: *)
rmomentSample = Mean[data^n];

(*Calculate through estimated mu and sigma *)
muNumerical = Mean[Log[data]]; (*numerical \[Mu] (gaussian mean) *)
sigmaSqrNumerical = Mean[Log[data]^2]-(muNumerical)^2; (* numerical gaussian variance *)
rmomentFromMuSigma = Exp[ muNumerical*n + (n ^2sigmaSqrNumerical)/2];

(*output*)
Log@{rmomentTheory, rmomentSample,rmomentFromMuSigma}

Keluaran:

(*Log of {analytic, sample mean of r^2, using mu and sigma} *)
{140., 91.8953, 137.519}

di atas, hasil kedua adalah rerata sampel $r^2$ , yang di bawah dua hasil lainnya

— pengguna29918
sumber

Estimator yang tidak bias tidak menyiratkan bahwa titik-titik biru harus mendekati nilai yang diharapkan (kurva oranye). Estimator dapat tidak memihak jika memiliki probabilitas tinggi terlalu rendah dan probabilitas kecil (mungkin sangat kecil) terlalu tinggi. Itulah yang terjadi ketika T meningkat dan varians menjadi sangat besar (lihat jawaban saya).

— Matthew Gunn

Untuk cara mendapatkan estimator yang tidak bias, silakan lihat stats.stackexchange.com/questions/105717 . UMVUE dari mean dan varians diberikan dalam jawaban dan komentar di dalamnya.

— whuber

Jawaban:

Sejak itu ada sesuatu yang membingungkan

metode pertama memberikan penduga yang tidak bias dari , yaitu $\mathbb{E}[X^2]$ memilikisebagai artinya. Karenanya titik-titik biru harus berada di sekitar nilai yang diharapkan (kurva oranye); $\frac{1}{N} \sum_{i = 1}^{N} X_{i}^{2}$ $\frac{1}{N}\sum_{i=1}^N X_i^2$ $\mathbb{E}[X^2]$
metode kedua menyediakan estimator bias dari , yaitu ketika dan adalah estimator berisi dari dan $\mathbb{E}[X^2]$ $E [\exp (n \hat{μ} + n^{2} {\hat{σ}}^{2} / 2)] > \exp (n μ + (n σ)^{2} / 2)$ $\mathbb{E}[\exp(n \hat\mu + n^2 \hat{\sigma}^2/2)]>\exp(n \mu + (n \sigma)^2/2)$ $\hat\mu$ $\hat\sigma²$ $\mu$ $\sigma²$ masing-masing, dan dengan demikian aneh bahwa titik-titik hijau selaras dengan kurva oranye.

tetapi mereka disebabkan oleh masalah dan bukan karena perhitungan numerik: Saya mengulangi percobaan dalam R dan mendapatkan gambar berikut dengan kode warna yang sama dan urutan yang sama dari dan , yang mewakili masing-masing penduga yang dibagi dengan harapan sebenarnya: $\mu_T$ $\sigma_T$

Berikut adalah kode R yang sesuai:

moy1=moy2=rep(0,200)
mus=0.14*(1:200)
sigs=sqrt(0.13*(1:200))
tru=exp(2*mus+2*sigs^2)
for (t in 1:200){
x=rnorm(1e5)
moy1[t]=mean(exp(2*sigs[t]*x+2*mus[t]))
moy2[t]=exp(2*mean(sigs[t]*x+mus[t])+2*var(sigs[t]*x+mus[t]))}

plot(moy1/tru,col="blue",ylab="relative mean",xlab="T",cex=.4,pch=19)
abline(h=1,col="orange")
lines((moy2/tru),col="green",cex=.4,pch=19)

Oleh karena itu memang ada keruntuhan momen empiris kedua sebagai dan meningkat yang saya akan atribut untuk peningkatan besar dalam varian dari momen empiris kedua tersebut sebagai dan meningkat. $\mu$ $\sigma$ $\mu$ $\sigma$

$\mathbb{E}[X^2]$ $X^2$ $X^2$ $e^{2\mu}$ $X^2$ $\exp\{2\mu+2\sigma\epsilon\}$ $\epsilon\sim\mathcal{N}(0,1)$ $\sigma$ $\sigma\epsilon$ $\sigma^2$ $X$ $\mathcal{LN}(\mu,\sigma)$
$\begin{aligned} P (X^{2} > E [X^{2}]) & = P (\log {X^{2}} > 2 μ + 2 σ^{2}) \\ = P (μ + σ ϵ > μ + σ^{2}) \\ = P (ϵ > σ) \\ = 1 - Φ (σ) \end{aligned}$ $\begin{align*}\mathbb{P}(X^2>\mathbb{E}[X^2])&=\mathbb{P}(\log\{X^2\}>2\mu+2\sigma^2)\\&=\mathbb{P}(\mu+\sigma\epsilon>\mu+\sigma^2)\\&=\mathbb{P}(\epsilon>\sigma)\\ &=1-\Phi(\sigma)\end{align*}$

— Xi'an
sumber

Saya juga bingung. Saya menambahkan kode minimal dengan hasil (Mathematica)

— user29918

Baik. Terima kasih! Menempatkan beberapa angka, saya melihat sekarang bahwa ukuran sampel saya yang sedikit benar-benar tidak cocok untuk tugas itu!

— user29918

σ

$\sigma$

P (X^{2} > E [X^{2}]) = 1 - Φ (σ)

$P(X^2 > \mathbb{E}[X^2]) = 1 - \Phi(\sigma)$

σ

$\sigma$

σ

$\sigma$

σ

$\sigma$

Saya pikir saya akan memunculkan beberapa buah ara yang menunjukkan bahwa plot user29918 dan Xi'an konsisten. Gambar 1 memplot apa yang user29918 lakukan, dan Gambar 2 (berdasarkan data yang sama), melakukan apa yang Xi'an lakukan untuk plotnya. Hasil yang sama, presentasi berbeda.

$\frac{1}{n} \sum_i x_i^2$

Komentar Lebih Lanjut:

Penaksir yang tidak bias tidak berarti penaksir diharapkan akan menutup! Titik-titik biru tidak harus mendekati harapan. Misalnya. sebuah pengamatan tunggal yang dipilih secara acak memberikan perkiraan rata-rata populasi, tetapi estimator itu tidak akan diharapkan menjadi dekat.
Masalahnya muncul karena varians menjadi benar-benar astronomi. Sebagai varians pergi batshit, estimasi untuk metode pertama sedang didorong menjadi hanya beberapa pengamatan. Anda juga mulai memiliki probabilitas kecil, sangat kecil dari Gila, GILA-GILA, GILA-GILA besar ...
$P(X^2 > E[X^2]) = 1 - \Phi(\sigma)$ $\sigma$ $X^2 > E[X^2]$

— Matthew Gunn
sumber