Teori informasi dan optimasi cembung

Saya mengambil kursus tingkat pascasarjana dalam teori informasi dan saya selalu dikejutkan oleh berapa banyak optimasi cembung yang ada dalam subjek ini. Namun, buktinya tampaknya menghindar dari menggunakan mesin penuh teori relaksasi, dualitas, dll. Ini bisa dimengerti karena Anda tidak ingin memerlukan semester penuh optimasi cembung untuk mengajarkan hal-hal ini. Tetapi sebagai seseorang yang cukup berpengalaman dalam optimasi, saya merasa seperti kehilangan banyak keanggunan dan intuisi ketika tautan ini tidak dieksplorasi lebih lanjut. Saya sering melihat bukti yang akan jauh lebih pendek jika Anda menggunakan analisis cembung juga.

Apakah ada buku yang lebih banyak membahas teori informasi dari perspektif ini? Kami kebanyakan menggunakan catatan kuliah dari Stefan Moser, Y. Polyanskiy dan Y. Wu, serta Teori Informasi Jaringan oleh El Gamal.

reference-request it.information-theory convex-optimization

— luegofuego
sumber

Bisakah Anda memberikan contoh "keanggunan dan intuisi" dalam konteks lain?

— kodlu

Nah, sebagai salah satu dari banyak contoh, kami berbicara tentang sifat sadel dari kapasitas saluran. Saya percaya itu disebut formulasi minmax KL divergence atau sesuatu. Itu tercakup cukup baik dalam catatan Polyanskiy yang saya sebutkan di atas. Yang mengejutkan saya adalah bahwa hal itu tampaknya merupakan pernyataan kembali dari relaksasi / dualitas Lagrangian dalam konteks yang berbeda.

— luegofuego

Contoh yang sedikit lebih duniawi mungkin ketika kita diminta untuk membuktikan kecemburuan fungsi distorsi laju, yang merupakan bukti satu baris jika Anda mengingat beberapa properti infinites di atas set cembung dll.

— luegofuego

Buku-buku di bawah ini mungkin lebih sesuai dengan keinginan Anda, tetapi secara umum, teks / catatan kuliah ditulis untuk penggunaan (terutama) mahasiswa pascasarjana dalam bidang teknik dan tidak dapat mengasumsikan pengetahuan mendalam tentang analisis cembung.

Csizsar, I., dan Korner, J., Teori Informasi: Teorema Coding untuk Sistem Memoryless Diskrit, 2nd Ed, Cambridge.
Berger, T., Teori Tingkat Distorsi, cukup tua mungkin akhir 70-an atau awal 80-an, tidak ingat penerbit mungkin Wiley.
Yeung, RW, Kursus Pertama dalam Teori Informasi, Springer.

Artikel penelitian tentang teori Shannon dan bidang terkait di, katakanlah, Transaksi IEEE tentang Teori Informasi, mungkin lebih sesuai dengan tagihan, meskipun tidak selalu.

Teks lama yang mungkin juga menarik adalah

Wolfowitz, J., Coding Theorems of Theory Information, Springer, 1960-an.

— Kodlu
sumber

hanya komentar, itu tergantung pada apa yang akan dianggap sebagai "dalam", misalnya saya menganggap teori informasi lebih dalam daripada analisis cembung (misalnya karena memiliki lebih banyak aplikasi ke berbagai bidang) dan saya lebih suka mengurangi analisis cembung menjadi teori informasi sebagai gantinya sebaliknya. Hal ini dapat dilakukan jika seseorang ingin (katakanlah bagaimana ahli teori-kategori ingin mereduksi semuanya menjadi kategorisasi alih-alih aljabar :)).

— Nikos M.

@ Nikos M., tentu saja, dan saya bersimpati. Sebagai contoh, beberapa masalah teori informasi menimbulkan daerah kapasitas non-cembung, misalnya, OFDMA.

— Kodlu