Saya mencari terikat pada entropi dari jumlah dari dua variabel acak diskrit independen X dan Y . Tentu, H ( X + Y ) ≤ H ( X ) + H ( Y ) ( * ) Namun, diterapkan dengan jumlah dari n independen Bernoulli variabel acak Z 1 , ... , Z n , ini memberikan H ( Z 1 +
Singkatnya, batas dilampaui oleh sedikit dalam situasi ini. Dari membaca dengan teliti posting blog ini , saya mengumpulkan segala macam batasan pada H ( X + Y ) adalah mungkin; apakah ada batasan yang memberikan asimptotik yang tepat (atau, paling tidak, asimptotik yang lebih masuk akal) ketika diterapkan berulang kali pada jumlah variabel acak Bernoulli?