Apakah ada generalisasi teori informasi untuk informasi yang secara polinomi dapat diketahui?

9

Saya minta maaf, ini sedikit pertanyaan "lunak".

Teori informasi tidak memiliki konsep kompleksitas komputasi. Sebagai contoh, sebuah instance dari SAT, atau sebuah instance dari SAT ditambah sedikit yang menunjukkan kepuasan membawa jumlah informasi yang sama.

Apakah ada cara untuk memformalkan konsep "yang secara politis dapat diketahui"?

Kerangka kerja seperti itu dapat mendefinisikan misalnya gagasan perbedaan polinomial-KL antara variabel acak X relatif Y karena jumlah bit yang diperlukan untuk menghitung X dalam waktu polinomial yang diberikan Y.

Demikian juga, entropi dari variabel acak X dapat didefinisikan sebagai jumlah bit yang diperlukan untuk mengkodekan X dengan cara yang dapat diterjemahkan dalam waktu polinomial.

Apakah generalisasi semacam itu telah dipelajari? Bisakah itu dibuat konsisten?

cc.complexity-theory it.information-theory polynomial-time

— Arthur B
sumber

1

Sudahkah Anda mencoba menanyakan ini pada Cryptography SE crypto.stackexchange.com ?

— Zsbán Ambrus

2

Mungkin saja orang-orang kripto mungkin punya jawaban, tapi pertanyaannya tepat pada topik di sini, dan saya menduga itu mungkin memiliki peluang yang lebih baik untuk mendapatkan jawaban yang baik di sini. Hanya catatan singkat: jangan mengirim ulang pertanyaan yang sama di Crypto.SE; posting silang di beberapa situs SE dilarang oleh aturan situs.

— DW

9

Iya. Kompleksitas Kolmogorov yang terikat waktu setidaknya merupakan salah satu "generalisasi" semacam itu (walaupun sebenarnya ini bukan generalisasi, tetapi konsep terkait). Perbaiki mesin Turing yang universal . The -waktu-dibatasi kompleksitas Kolmogorov dari string yang diberikan string (relatif terhadap ), dinotasikan (subskrip sering ditekan) didefinisikan sebagai terpendek tali ( "program" untuk ) sehingga $U$ $t(n)$ $x$ $y$ $U$ $K^t_U(x | y)$ $U$ $p$ $U$ dan sehingga perhitungan paling banyak memakan waktu . Jika Anda menganggap ini sebagai definisi Anda tentang "informasi kondisional", maka Anda juga dapat mendefinisikan semua konsep biasa dari teori informasi. $U(p,y)=x$ $U(p,y)$ $t(|x|)$

Namun, dalam pengaturan yang dibatasi waktu ini, tidak semua teorema teori informasi yang umum diketahui berlaku. Sebagai contoh, simetri informasi diketahui berlaku untuk kompleksitas Kolmogorov biasa (tidak ada batas waktu), tetapi tidak diketahui tahan untuk batas waktu. Lihat, misalnya, Bab 6 dari tesis Troy Lee .

Jika Anda khawatir bahwa ini berlaku untuk string daripada distribusi, saya sarankan membaca makalah berikut, yang mengatakan bahwa sebenarnya kompleksitas string Kolmogorov dan entropi Shannon distribusi sangat erat kaitannya:

Grunwald dan Vitanyi. Informasi Shannon dan Kompleksitas Kolmogorov
Hammer, Romashchenko, Shen, Vereshchagin. Ketidaksetaraan untuk Shannon Entropy dan Kolmogorov Complexity .

(Di sisi lain, ada beberapa properti yang diketahui tidak dibagi antara keduanya, lihat Muchnik & Vereshchagin, Shannon Entropy vs Kolmogorov Complexity .)

— Joshua Grochow
sumber

Perhatian utama saya adalah bahwa waktunya tergantung pada Mesin Turing. Karena mesin Turing dapat mengemulasi satu sama lain dengan paling cepat polinomial mempercepat atau mempercepat, menghukum kerumitan dengan log (log (t)) akan membuatnya setara dengan konstanta aditif. Namun, kompleksitas Levin menggunakan log (t), saya tidak yakin mengapa.

— Arthur B

1

t (n)

$t(n)$

\log \log t

$\log \log t$

2

Salah satu masalah adalah bahwa banyak teorema yang kita gunakan dalam teori informasi, tidak berlaku di dunia komputasi. Oleh karena itu, bahkan jika kita meresmikan analog komputasi entropi, teori yang dihasilkan mungkin tidak terlihat seperti teori informasi lagi.

$f$ $H(f(X)) \le H(X)$ $H(f(X)) \le H(X)$

— DW
sumber

Saya mengerti, saya hanya ingin tahu berapa banyak yang bisa diselamatkan atau ditambal. Dalam hal ini, Anda dapat menambahkan batasan bahwa f adalah polinomi yang tidak dapat dibalik, tetapi itu terasa ad-hoc

— Arthur B

Saya merasa seed berisi lebih banyak informasi daripada string psuedo-random yang dihasilkan karena kita dapat menghitung string yang dihasilkan dari seed.

— Kaveh

@ Kaveh, jika Anda berbicara dalam pengertian teori-informasi: jika generator pseudorandom tidak dapat dibalik (mungkin bukan dalam waktu polinomial, tetapi pada prinsipnya), maka input dan outputnya memiliki jumlah informasi yang sama, informasi-secara teoritis; jika tidak, jika subyektif pseudorandom subjektif tidak dapat dibalik, maka Anda benar.

— DW

0

Saya tidak mengetahui model komputasi informasi-theroetic, tetapi ada aplikasi yang jelas dari teori informasi untuk kompleksitas komputasi.

$n \log n$

Secara lebih umum, hasil teoritik informasi dapat berfungsi sebagai batas bawah pada kompleksitas komputasi. Sebagai contoh, hasil "teori-informasi" Yao pada kompleksitas komunikasi {1} menyiratkan batas bawah komputasi pada menentukan apakah dua set sama. Aplikasi kompleksitas komunikasi yang lebih canggih memberikan tradeoff waktu-ruang untuk mesin Turing {2}.

{1} Yao, Andrew Chi-Chih. "Beberapa pertanyaan rumit terkait dengan komputasi distributif (laporan awal)." Prosiding simposium ACM tahunan kesebelas tentang Teori komputasi. ACM, 1979.

{2} Eyal Kushilevitz: Kompleksitas Komunikasi. Kemajuan dalam Komputer 44: 331-360 (1997).

— Ari Trachtenberg
sumber