Apakah distribusi entropi maksimum konsisten dengan distribusi marjinal yang diberikan distribusi produk dari marjinal?

Umumnya ada banyak distribusi gabungan konsisten dengan set distribusi marginal yang diketahui .$P(X_1 = x_1, X_2 = x_2, ..., X_n = x_n)$$f_i(x_i) = P(X_i = x_i)$

Dari distribusi gabungan ini, apakah produk dibentuk dengan mengambil produk dari marginal yang dengan entropi tertinggi?$\prod_i f_i(x_i)$

Saya yakin ini benar, tetapi saya sangat ingin melihat bukti.

Saya paling tertarik pada kasus di mana semua variabel diskrit, tetapi juga tertarik pada komentar tentang entropi relatif terhadap ukuran produk dalam kasus kontinu.

Salah satu caranya adalah dengan menggunakan properti divergensi Kullback-Leibler .

Biarkan menjadi keluarga distribusi dengan margin yang diberikan, dan biarkan menjadi distribusi produk (dan jelas ).$\mathfrak{P}$$Q$$Q \in \mathfrak{P}$

Sekarang, untuk setiap , entropi silang adalah:$P \in \mathfrak{P}$

$H(P,Q) = E_P [\log q(X)] = E_P \left[ \log \prod_i q_i(X) \right] = \sum_i E_P [\log q_i(X)] = \sum_i H(P_i,Q_i)$

yaitu, jumlah entropi silang dari margin. Karena semua margin telah diperbaiki, istilah ini harus diperbaiki

Sekarang kita dapat menulis divergensi KL sebagai:

$D_{KL}(P \| Q) = H(P,Q) - H(P)$

dan karenanya:

$\operatorname*{arg\,min}_{P \in \mathfrak{P}} \ D_{KL}(P \| Q) = \operatorname*{arg\,max}_{P \in \mathfrak{P}} \ H(P)$

yaitu, distribusi yang memaksimalkan entropi adalah distribusi yang meminimalkan divergensi KL dengan , yang oleh properti KL divergensi , kita tahu adalah itu sendiri.$P$$Q$$Q$