Mengapa rata-rata aritmatika lebih kecil dari rata-rata distribusi dalam distribusi log-normal?

Jadi, saya memiliki proses menghasilkan random log-terdistribusi normal variabel acak $X$ . Berikut adalah fungsi kepadatan probabilitas yang sesuai:

Saya ingin memperkirakan distribusi beberapa saat dari distribusi asli itu, katakanlah momen pertama: rata-rata aritmatika. Untuk melakukannya, saya menggambar 100 variabel acak 10.000 kali sehingga saya bisa menghitung 10.000 perkiraan rata-rata aritmatika.

Ada dua cara berbeda untuk memperkirakan itu artinya (setidaknya, itulah yang saya mengerti: saya bisa salah):

dengan secara sederhana menghitung aritmatika berarti cara yang biasa: $\bar{X} = \sum_{i = 1}^{N} \frac{X_{i}}{N} .$ $\bar{X} = \sum_{i=1}^N \frac{X_i}{N}.$
atau dengan estimasi pertama dan dari distribusi normal yang mendasari: $\sigma$ $\mu$ dan kemudian mean sebagai $μ = \sum_{i = 1}^{N} \frac{\log (X_{i})}{N} σ^{2} = \sum_{i = 1}^{N} \frac{{(\log (X_{i}) - μ)}^{2}}{N}$ $\mu = \sum_{i=1}^N \frac{\log (X_i)}{N} \quad \sigma^2 = \sum_{i=1}^N \frac{\left(\log (X_i) - \mu\right)^2}{N}$ $\bar{X} = \exp (μ + \frac{1}{2} σ^{2}) .$ $\bar{X} = \exp(\mu + \frac{1}{2}\sigma^2).$

Masalahnya adalah distribusi yang sesuai dengan masing-masing perkiraan ini secara sistematis berbeda:

Rata-rata "polos" (direpresentasikan sebagai garis putus-putus merah) umumnya memberikan nilai yang lebih rendah daripada yang diperoleh dari bentuk eksponensial (garis dataran hijau). Meskipun kedua cara dihitung pada dataset yang sama persis. Harap dicatat bahwa perbedaan ini sistematis.

Mengapa distribusi ini tidak sama?

— JohnW
sumber

apa parameter sejati Anda untuk

dan

μ

$\mu$

σ

$\sigma$

— Christoph Hanck

dan

, tetapi harap dicatat bahwa saya tertarik untuk memperkirakan parameter-parameter ini, maka dari itu pendekatan Monte-Carlo bukannya menghitung hal dari angka-angka mentah ini.

μ = 3

$\mu = 3$

σ = 1.5

$\sigma = 1.5$

— JohnW

tentu, ini untuk mereplikasi hasil Anda.

— Christoph Hanck

Menariknya, fenomena ini tidak ada hubungannya dengan lognormalitas. Bilangan positif yang diberikan

dengan logaritma

, hal ini juga diketahui mereka aritmatika mean (AM)

tidak pernah kurang dari geometrik mean (GM) mereka

. Di arah lain, AM tidak pernah lebih besar dari GM dikalikan dengan

mana

x_{i}

$x_i$

y_{i}

$y_i$

\sum x_{i} / n

$\sum x_i/n$

\exp (\sum y_{i} / n)

$\exp(\sum y_i/n)$

\exp (s_{y}^{2} / 2)

$\exp(s_y^2/2)$

s_{y}^{2}

$s_y^2$ adalah varian dari

y_{i}

$y_i$ . Dengan demikian, kurva merah putus-putus harus terletak di sebelah kiri kurva hijau solid untuksetiap distribusi orang tua (menggambarkan angka acak positif).

— whuber

Jika banyak dari rata-rata datang dari probabilitas kecil dari jumlah besar, rata-rata sampel aritmatik yang terbatas dapat meremehkan rata-rata populasi dengan probabilitas tinggi. (Dengan harapan itu tidak bias, tetapi ada kemungkinan besar dari perkiraan kecil dan kecil dari perkiraan lebih besar.) Pertanyaan ini mungkin juga berhubungan dengan yang ini: stats.stackexchange.com/questions/214733/…

— Matthew Gunn

Dua penduga yang Anda bandingkan adalah metode penduga momen (1.) dan MLE (2.), lihat di sini . Keduanya konsisten (jadi untuk besar , mereka dalam arti tertentu mungkin dekat dengan nilai sebenarnya $N$ ). $\exp[\mu+1/2\sigma^2]$

Untuk estimator MM, ini adalah konsekuensi langsung dari Hukum bilangan besar, yang mengatakan bahwa . Untuk MLE, para pemetaan terus menerus teorema menyiratkan bahwa sebagai dan $\bar X\to_pE(X_i)$

\exp [\hat{μ} + 1 / 2 {\hat{σ}}^{2}] \to_{p} \exp [μ + 1 / 2 σ^{2}],

$\exp[\hat\mu+1/2\hat\sigma^2]\to_p\exp[\mu+1/2\sigma^2],$

\hat{μ} \to_{p} μ

$\hat\mu\to_p\mu$

{\hat{σ}}^{2} \to_{p} σ^{2}

$\hat\sigma^2\to_p\sigma^2$

Namun, MLE tidak bias.

Bahkan, ketimpangan Jensen mengatakan kepada kita bahwa, untuk kecil, MLE diharapkan menjadi bias ke atas (lihat juga simulasi di bawah dan adalah (dalam kasus terakhir, hampir, tapi dengan diabaikan Bias untuk , karena estimator yang tidak bias membagi dengan ) dikenal sebagai estimator yang tidak bias dari parameter distribusi normal dan (saya menggunakan topi untuk menunjukkan estimator). $N$ $\hat\mu$ $\hat\sigma^2$ $N=100$ $N-1$ $\mu$ $\sigma^2$

Oleh karena itu, . Karena eksponensial adalah fungsi cembung, ini menyiratkan bahwa $E(\hat\mu+1/2\hat\sigma^2)\approx\mu+1/2\sigma^2$

E [\exp (\hat{μ} + 1 / 2 {\hat{σ}}^{2})] > \exp [E (\hat{μ} + 1 / 2 {\hat{σ}}^{2})] \approx \exp [μ + 1 / 2 σ^{2}]

$E[\exp(\hat\mu+1/2\hat\sigma^2)]>\exp[E(\hat\mu+1/2\hat\sigma^2)]\approx \exp[\mu+1/2\sigma^2]$

Coba tambah $N=100$

$N=1000$

Dibuat dengan:

N <- 1000
reps <- 10000

mu <- 3
sigma <- 1.5
mm <- mle <- rep(NA,reps)

for (i in 1:reps){
  X <- rlnorm(N, meanlog = mu, sdlog = sigma)
  mm[i] <- mean(X)

  normmean <- mean(log(X))
  normvar <- (N-1)/N*var(log(X))
  mle[i] <- exp(normmean+normvar/2)
}
plot(density(mm),col="green",lwd=2)
truemean <- exp(mu+1/2*sigma^2)
abline(v=truemean,lty=2)
lines(density(mle),col="red",lwd=2,lty=2)

> truemean
[1] 61.86781

> mean(mm)
[1] 61.97504

> mean(mle)
[1] 61.98256

$\exp(\mu+\sigma^2/2)$

V_{t} = (σ^{2} + σ^{4} / 2) \cdot \exp {2 (μ + \frac{1}{2} σ^{2})},

$V_t = (\sigma^2 + \sigma^4/2)\cdot \exp\left\{2(\mu + \frac 12\sigma^2)\right\},$

\exp {2 (μ + \frac{1}{2} σ^{2})} (\exp {σ^{2}} - 1)

$\exp\left\{2(\mu + \frac 12\sigma^2)\right\}(\exp\{\sigma^2\}-1)$

\exp {σ^{2}} > 1 + σ^{2} + σ^{4} / 2,

$\exp\{\sigma^2\}>1+\sigma^2 + \sigma^4/2,$ sebagai

\exp (x) = \sum_{i = 0}^{\infty} x^{i} / i!

$\exp(x)=\sum_{i=0}^\infty x^i/i!$ dan

σ^{2} > 0

$\sigma^2>0$ .

Untuk melihat bahwa MLE memang bias untuk kecil $N$ , Saya ulangi simulasi untuk N <- c(50,100,200,500,1000,2000,3000,5000)dan 50.000 replikasi dan mendapatkan bias simulasi sebagai berikut:

Kami melihat bahwa MLE memang berat sebelah untuk yang kecil $N$ . Saya sedikit terkejut tentang perilaku yang agak tidak menentu dari bias estimator MM sebagai fungsi $N$ . Bias simulasi untuk kecil $N=50$ untuk MM kemungkinan disebabkan oleh pencilan yang mempengaruhi penduga MM yang tidak dicatat lebih besar dari MLE. Dalam satu menjalankan simulasi, perkiraan terbesar ternyata

> tail(sort(mm))
[1] 336.7619 356.6176 369.3869 385.8879 413.1249 784.6867
> tail(sort(mle))
[1] 187.7215 205.1379 216.0167 222.8078 229.6142 259.8727

— Christoph Hanck
sumber

Ah baiklah. Benar-benar tidak terpikir oleh saya bahwa satu metode bisa lebih efisien daripada yang lain mengingat data yang sama. Jadi saya bisa mengatakan bahwa solusi MLE menyatu lebih cepat

N

$N$ daripada metode lain jika saya mengerti dengan benar. Terima kasih!

— JohnW

Saya mengedit sedikit tentang bias. Untuk

N = 100

$N=100$ bias memang negatif untuk estimator MM, tetapi itu tidak tampak seperti hasil umum, lihat plot bias sebagai fungsi dari

N

$N$ .

— Christoph Hanck

Yah, saya terkejut juga bahwa ada perbedaan besar antara kedua metode, namun contoh ini sangat sempurna untuk menunjukkan mengapa "hanya rata-rata barang" bisa mengerikan!

— JohnW

@ JohnW, saya menambahkan sedikit penjelasan analitis mengapa MLE memiliki varian yang lebih kecil.

— Christoph Hanck

Perbedaan ini berasal dari fakta bahwa bias adalah masalah sampel yang terbatas, yaitu, ia menghilang sebagai

N

$N$ berbunyi hingga tak terbatas. Varians asimptotik (seperti namanya) perbandingan hanya menunjukkan apa yang terjadi dalam batas, sebagai

N \to \infty

$N\to\infty$ .

— Christoph Hanck