Nilai yang diharapkan dari variabel acak Gaussian ditransformasikan dengan fungsi logistik

Baik fungsi logistik dan standar deviasi biasanya dilambangkan $\sigma$ . Saya akan menggunakan $\sigma(x) = 1/(1+\exp(-x))$ dan $s$ untuk standar deviasi.

Saya memiliki neuron logistik dengan input acak yang berarti $\mu$ dan standar deviasi $s$ saya tahu. Saya berharap perbedaan dari rata-rata dapat didekati dengan baik oleh beberapa noise Gaussian. Jadi, dengan sedikit penyalahgunaan notasi, anggap itu menghasilkan $\sigma(\mu + N(0,s^2))=\sigma(N(\mu,s^2))$ . Berapa nilai yang diharapkan dari $\sigma(N(\mu,s^2))$ ?Standar deviasi $s$ mungkin besar atau kecil dibandingkan dengan $\mu$ atau $1$ . Perkiraan bentuk tertutup yang baik untuk nilai yang diharapkan akan hampir sama baiknya dengan solusi bentuk tertutup.

Saya tidak berpikir ada solusi bentuk tertutup. Hal ini dapat dilihat sebagai konvolusi, dan fungsi karakteristik untuk kepadatan logistik diketahui ( $\pi t ~\text{csch} ~\pi t$ ), tapi aku tidak yakin berapa banyak yang membantu. The kalkulator simbolis terbalik tidak mampu mengenali kepadatan di $0$ dari konvolusi kepadatan distribusi logistik dan distribusi normal standar, yang menunjukkan tapi tidak membuktikan bahwa tidak ada yang tidak terpisahkan SD sederhana. Bukti yang lebih mendalam: Dalam beberapa makalah tentang menambahkan noise input Gaussian ke jaringan saraf dengan neuron logistik, makalah juga tidak memberikan ekspresi bentuk tertutup.

Pertanyaan ini muncul dalam mencoba memahami kesalahan dalam pendekatan bidang rata-rata di mesin Boltzman.

Berikut ini adalah apa yang akhirnya saya gunakan:

$\sigma(N(\mu,s^2)) = \sigma(\mu + X)$$X \sim N(0,s^2)$

$\sigma(\mu + X) = \sigma(\mu) + X \sigma'(\mu) + \frac{X^2}{2} \sigma''(\mu)+ ... + \frac{X^n}{n!}\sigma^{(n)}(\mu) + ...$

$\begin{eqnarray} E[\sigma(\mu + X)] & =& E[\sigma(\mu)] + E[X \sigma'(\mu)] + E[\frac{X^2}{2} \sigma''(\mu)] + ... \newline & = & \sigma(\mu) + 0 + \frac{s^2}{2}\sigma''(\mu) + 0 + \frac{3s^4}{24}\sigma^{(4)}(\mu)+ ... + \frac{s^{2k}}{2^k k!}\sigma^{(2k)}(\mu) ... \end{eqnarray}$

Ada masalah konvergensi. Fungsi logistik memiliki kutub di mana , jadi pada , odd. Divergensi bukan hal yang sama dengan awalan yang tidak berguna, tetapi aproksimasi seri ini mungkin tidak dapat diandalkan ketika signifikan.$\exp(-x) = -1$$x = k \pi i$$k$$P(|X| \gt \sqrt{\mu^2 + \pi^2})$

Karena , kita dapat menulis turunan dari sebagai polinomial dalam . Misalnya, dan . Koefisien terkait dengan OEIS A028246 .$\sigma'(x) = \sigma(x) (1-\sigma(x))$$\sigma(x)$$\sigma(x)$$\sigma'' = \sigma-3\sigma^2+2\sigma^3$$\sigma''' = \sigma - 7\sigma^2 + 12 \sigma^3 - 6\sigma^4$

Apa yang Anda miliki di sini adalah variabel acak yang mengikuti distribusi logit-normal (atau logistik-normal) (lihat wikipedia ), yaitu, . Saat-saat distribusi logit-normal tidak memiliki solusi analitis.$\mbox{logit}[x] \sim N(\mu, s^2)$

Tapi tentu saja orang bisa mendapatkannya melalui integrasi numerik. Jika Anda menggunakan R, ada paket logitnorm yang memiliki semua yang Anda butuhkan. Sebuah contoh:

install.packages("logitnorm")
library(logitnorm)
momentsLogitnorm(mu=1, sigma=2)

Ini menghasilkan:

> momentsLogitnorm(mu=1, sigma=2)
      mean        var 
0.64772644 0.08767866

Jadi, bahkan ada fungsi kenyamanan yang secara langsung akan memberi Anda arti dan varians.