Apa fungsi kepadatan probabilitas entropi maksimum untuk variabel kontinu positif dari mean rata-rata dan simpangan baku?

13

Berapakah distribusi entropi maksimum untuk variabel kontinu positif, mengingat momen pertama dan kedua?

Sebagai contoh, distribusi Gaussian adalah distribusi entropi maksimum untuk variabel yang tidak terikat, mengingat mean dan standar deviasinya, dan distribusi Gamma adalah distribusi entropi maksimum untuk variabel positif, dengan nilai rata-rata dan nilai rata-rata logaritma-nya.

— becko
sumber

13

Orang bisa menggunakan teorema Boltzmann yang ada di artikel Wikipedia yang Anda tunjukkan .

Perhatikan bahwa menentukan mean dan varians setara dengan menentukan dua momen mentah pertama - masing-masing menentukan yang lain (itu sebenarnya tidak perlu untuk memohon ini, karena kita dapat menerapkan teorema langsung ke mean dan varians, hanya sedikit lebih sederhana dengan cara ini ).

Teorema kemudian menetapkan bahwa kepadatan harus dalam bentuk:

f (x) = c \exp (λ_{1} x + λ_{2} x^{2}) for all x \geq 0

$f(x)=c \exp\left(\lambda_1 x + \lambda_2 x^2 \right)\quad \mbox{ for all } x \geq 0$

Integrabilitas atas garis nyata positif akan membatasi menjadi , dan saya pikir menempatkan beberapa batasan pada hubungan antara s (yang mungkin akan terpenuhi secara otomatis ketika mulai dari mean dan varians yang ditentukan daripada momen mentah). $\lambda_2$ $\leq 0$ $\lambda$

Yang mengejutkan saya (karena saya tidak akan mengharapkannya ketika saya memulai jawaban ini), ini tampaknya meninggalkan kami dengan distribusi normal terpotong.

Ketika itu terjadi, saya tidak berpikir saya telah menggunakan teorema ini sebelumnya, jadi kritik atau saran yang bermanfaat pada apa pun yang saya belum pertimbangkan atau tinggalkan akan disambut.

— Glen_b -Reinstate Monica
sumber

+1 Terima kasih. Sepertinya baik-baik saja. Ketika saya membaca artikel Wikipedia, saya sepertinya melewatkan fakta bahwa teorema Boltzmann berlaku untuk semua interval tertutup. Saya berasumsi itu hanya berlaku untuk variabel dari

ke

.

- \infty

$-\infty$

\infty

$\infty$

— becko

Untuk beberapa alasan ukuran dasar yang seragam dan distribusi normal terpotong yang dihasilkan tidak sepenuhnya meyakinkan saya: Seperti yang ditekankan Fred Schoen, untuk menemukan entropi (relatif) maksimum dalam kasus kontinu, kita memerlukan ukuran dasar atau distribusi probabilitas referensi. Karena variabel kontinu

dalam pertanyaan adalah positif, itu bisa menjadi variabel skala, dan ukuran dasar proporsional dengan

kemudian merekomendasikan dirinya sendiri karena berbagai alasan (misalnya invarian kelompok; lihat buku Jaynes atau buku Jeffreys).

x

$x$

1 / x

$1/x$

— pglpm

Dengan ukuran dasar ini, distribusi yang dihasilkan sebanding dengan

tetapi sayangnya itu tidak dapat dinormalisasi (masih dapat digunakan sebagai sebelumnya yang tidak tepat, meskipun). Mengingat positifnya variabel yang dipertanyakan, mungkin perlu dipertimbangkan apakah momen-momen logaritma-nya mungkin lebih masuk akal sebagai pembawa informasi dan batasan-batasan entropi maksimum. Mereka akan mengarah ke distribusi entropi maksimum seperti gamma.

\frac{1}{x} \exp (- α x - β x^{2})

$\frac{1}{x}\exp(-\alpha x- \beta x^2)$

— pglpm

7

Saya ingin membuat jawaban @ Glen_b lebih eksplisit, berikut ini adalah jawaban tambahan hanya karena tidak cocok sebagai komentar.

f (x) \propto N (x | - 1 / 2 λ_{1} / λ_{2}, - 1 / (2 λ_{2}))

$f(x) \propto \mathcal{N}(x | -1/2 \lambda_1/\lambda_2, -1/(2\lambda_2))$

λ_{1}

$\lambda_1$

λ_{2}

$\lambda_2$

a_{1}, a_{2}

$a_1, a_2$

a_{1} = μ, a_{2} = μ^{2} + σ^{2}

$a_1=\mu, a_2=\mu^2 + \sigma^2$

λ_{1} = μ / σ^{2}, λ_{2} = - 0.5 σ^{2}

$\lambda_1=\mu/\sigma^2, \lambda_2=-0.5 \sigma^2$

N (x | μ, σ^{2})

$\mathcal{N}(x|\mu, \sigma^2)$

$x>x_{min}$ $\lambda_{1,2}$ $1/c$ $\mu$ $\sigma^2$ $x_{min}=0$ $x_{min} \to -\infty$

Jika Anda memiliki nilai konkret untuk $a_1, a_2$ , Anda masih bisa menyelesaikannya $\lambda_{1,2}$ secara numerik dan masukkan solusi ke dalam persamaan umum dan Anda selesai! Nilai-nilai $\lambda_{1,2}$ dari kasing yang tidak terikat dapat menjadi titik awal yang baik untuk pemecah angka.

Pertanyaan ini adalah duplikat dari /math/598608/what-is-the-maximum-entropy-distribution-for-a-continuous-random-variable-on-0

— Fred Schoen
sumber