Nilai yang diharapkan dari kompleksitas Kolmogorov dalam sampel acak

Kompleksitas string Kolmogorov tidak dapat dihitung. Namun, dalam bagian acak ukuran dari string biner dengan panjang , berapa banyak yang diharapkan memiliki kompleksitas kurang dari beberapa bilangan bulat kurang dari (sebagai fungsi dari , dan )? $M$ $n$ $n_{0}$ $n$ $M$ $n$ $n_{0}$

cc.complexity-theory kolmogorov-complexity

— vs.
sumber

Apakah Anda menggunakan kompleksitas "standar" Kolmogorov di sini, atau kompleksitas awalan?

— Aubrey da Cunha

Sebenarnya saya hanya memikirkan kompleksitas Kolmogorov. Saya menduga terikat oleh domotorp yang disebutkan ketika kita mempertimbangkan semesta dari semua string. Saya tidak jelas apakah ada hasil 'konsisten' untuk subset acak ukuran dapat diproduksi. Namun apakah kompleksitas awalan akan membawa kita ke sudut pandang yang berbeda?

2^{n_{o}}

$2^{n_{o}}$

M

$M$

— vs

Itu pasti tidak akan mengubah urutan besarnya, pada kenyataannya saya pikir sekarang jawaban saya adalah terikat untuk kedua versi.

— domotorp

Untuk setiap dan setiap , probabilitas bahwa string bit acak memiliki kompleksitas Kolmogorov lebih besar dari (dengan ) . Jadi dalam distribusi acak string , Anda harus mengharapkan string dengan ... secara intuitif, ada probabilitas yang sangat tinggi untuk memilih string dengan kompleksitas Kolmogorov yang tinggi.

n

$n$

c

$c$

n

$n$

x

$x$

K (x) \geq n - c

$K(x) \geq n-c$

1 - \frac{1}{2^{c}}

$1 - \frac{1}{2^c}$

c = n - n_{0}

$c = n-n_0$

M

$M$

\frac{M}{2^{(} n - n_{0})}

$\frac{M}{2^(n-n_0)}$

K (x) < n_{0}

$K(x) \lt n_0$

— Marzio De Biasi

Jawaban:

Kompleksitas Kolmogorov hanya ditentukan hingga beberapa tetapan aditif, sehingga tidak mungkin untuk memberikan jawaban yang tepat. Batas yang saya jelaskan di sini bahkan lebih lemah.

Tentu saja angka yang diharapkan dapat dihitung dengan mudah setelah kita tahu berapa banyak string memiliki kompleksitas kurang dari , jadi izinkan saya menjawab ini. Biasanya pernyataan pertama tentang kompleksitas Kolmogorov bahwa angka ini paling banyak - karena hanya ada banyak string dengan panjang yang lebih kecil. Di sisi lain, jika program Anda mengatakan "panjang , ambil angka th", maka Anda mendapatkan string kompleksitas kurang dari , di mana adalah versi awalan-bebas dari kompleksitas Kolmogorov dari (jadi paling banyak $2^n$ $n_0$ $2^{n_0}-1$ $n$ $x$ $2^{n_0-K(n)-C}$ $n_0$ $K(n)$ $n$ $\log n+\log^* n + O(1)$ ). Secara lebih rinci, string pertama berisi deskripsi dari mesin Turing yang mengambil input , di mana p adalah deskripsi dari program bebas awalan yang menghasilkan , menghasilkan jumlah panjang ke- , yaitu bit , dan kemudian ini diikuti oleh . $px$ $n$ $x$ $n$ $O(1)$ $px$

Mungkin dimungkinkan untuk meningkatkan batasan ini, tetapi saya ragu Anda bisa mendapatkan jawaban yang tepat.

— domotorp
sumber

Bisakah Anda menjelaskan sedikit tentang frasa 'jika program Anda mengatakan "panjang n, ambil angka x"?

— vs

Anda benar, seharusnya bebas awalan di sana, saya memperbaikinya.

— domotorp

Jawaban yang tepat dapat diberikan. Jumlah string panjang dengan kompleksitas (polos) paling banyak adalah , hingga faktor konstan. Karenanya setiap proses yang secara acak memilih suatu himpunan bagian akan memiliki, dengan probabilitas yang masuk akal, fraksi string kompleksitas kurang dari . Untuk menunjukkan klaim kami, cukup untuk menunjukkan bahwa jumlah string dengan kompleksitas $n$ $n_0$ $2^{n_0 - K(n_0|n)}$ $2^{-K(n_0|n) + O(1)}$ $n_0$ sama dengan juga diberikan oleh . Kita dapat menunjukkan hasil yang diperlukan dengan menentukan penjumlahan dari nilai ini di atas dari 1 hingga . Untuk menunjukkan ini, kami menggunakan hasil aditivitas untuk kompleksitas polos (karena B. Bauwens dan A. Shen. Teorema aditivitas untuk kompleksitas Kolmogorov polos . Teori Sistem Komputasi, 52 (2): 297-302, Feb 2013), $k$ $2^{k - K(k|n)}$ $k$ $n_0$ Di sini menunjukkan kompleksitas Kolmogorov yang bebas awalan. Memilih , kita amati bahwa untuk setiapstring bit dari kompleksitas kita memiliki

C (Sebuah, b) = K (Sebuah | C (Sebuah, b)) + C (b | Sebuah, C (Sebuah, b)) + HAI (1) .

$C(a,b) = K(a|C(a,b)) + C(b|a,C(a,b)) + O(1).$

K (\cdot)

$K(\cdot)$

a = n

$a = n$

n

$n$

b

$b$

k

$k$

Karenanya, untuk masing-masing

kita memiliki

. Biarkan

k = C (b) = C (n, b) + HAI (1) = K (n | k) + C (b | n, k) + HAI (1) .

$k = C(b) = C(n,b) + O(1) = K(n|k) + C(b|n,k) + O(1).$

b

$b$

C (b | n, k) = k - K (n | k) + O (1)

$C(b|n,k) = k - K(n|k)+O(1)$

. Sekarang kita dapat mengamati bahwa ada paling banyakstring

, dan masing-masing leksikografis pertama

string dengan panjang

memenuhi

. Jadi

dari mereka memenuhi

k^{'} = k - K (n | k)

$k' = k - K(n|k)$

O (2^{k^{'}})

$O(2^{k'})$

b

$b$

2^{k^{'}}

$2^{k'}$

n

$n$

C (b | n, k) \leq k^{'} + O (1)

$C(b|n,k) \le k' + O(1)$

Ω (2^{k^{'}})

$\Omega(2^{k'})$

C (b | n, k) = k^{'} + O (1)

$C(b|n,k) = k' + O(1)$

— Bruno Bauwens
sumber