Saya tidak tahu apakah Anda akan mempertimbangkan hal-hal berikut yang tidak sepele, tetapi ini dia.
Pertama, agar jelas agar kita tidak membingungkan -DNF dengan k -term DNF (yang sering saya lakukan), rumus c -DNF atas variabel x 1 , … , x n adalah dalam bentuk ∨ k i = 1 ( ℓ i , 1 ∧ ℓ i , 2 . . . ℓ i , c ) di mana ∀ 1 ≤ i ≤ k dan 1 ≤ j ≤ cckcx1, ... , xn∨ksaya = 1( ℓsaya , 1∧ ℓsaya , 2. . .ℓsaya , c)∀ 1 ≤ i ≤ k1 ≤ j ≤ c, .ℓsaya , j∈ { x1, ... ,xn, x¯1, ... ,x¯n}
Pertama-tama kita dapat bertanya berapa banyak istilah berbeda yang bisa ada dalam -DNF. Setiap istilah akan memiliki c dari n variabel, masing-masing baik dinegasikan atau tidak - untuk 2 c ( nccn istilah yang mungkin berbeda. Dalam contoh 2-DNF, setiap istilah akan muncul atau tidak, membuat untuk| H| =22c ( n2c( nc) kemungkinan "target", di manaHadalah ruang hipotesis.| H | = 22c( nc)H
Bayangkan sebuah algoritma yang mengambil sampel dan kemudian mencoba semua | H | hipotesis sampai menemukan satu yang memprediksi dengan sempurna pada sampel. Teorema Razor Occam mengatakan bahwa Anda hanya perlu mengambil sekitar m = O ( 1m| H |sampel untuk algoritma ini untuk menemukan target dengan kesalahan≤ϵdengan probabilitas≥1-δ.m = O ( 1ϵ| ( H | + 1δ)≤ ϵ≥ 1 - δ
Dalam kasus kami, untuk , lg | H | = O ( n 2 ) , yang berarti Anda akan membutuhkan sekitar n 2 sampel untuk melakukan pembelajaran (yang tepat).c = 2lg| H | =O( n2)n2
Tetapi keseluruhan permainan dalam pembelajaran tidak benar-benar kompleksitas sampel (meskipun itu bagian dari permainan, terutama dalam pembelajaran atribut-efisien), tetapi dalam mencoba merancang algoritma polinomial-waktu. Jika Anda tidak peduli dengan efisiensi, maka adalah jawaban paling sederhana untuk kompleksitas sampel PAC.n2
UPDATE (diberi pertanyaan yang diubah) :
Karena Anda secara eksplisit menyatakan bahwa Anda hanya peduli pada kompleksitas sampel, saya mempresentasikan Algoritma Occam, yang mungkin merupakan argumen paling sederhana. Namun, jawaban saya agak malu-malu. -DNF sebenarnya bisa dipelajari dalam waktu polinomial! Ini adalah hasil dari makalah asli Valiant, " A Theory of the Learnable ." Sebenarnya c -DNF dapat dipelajari untuk c = O ( 1 ) .2cc=O(1)
Argumennya sebagai berikut. Anda dapat melihat -DNF sebagai disjungsi dari ≈ n c
"meta-variabel" dan mencoba mempelajari disjungsi dengan menghilangkan meta-variabel yang tidak konsisten dengan contoh-contoh. Solusi semacam itu dapat dengan mudah diterjemahkan kembali ke solusi "tepat", dan membutuhkan waktu O ( n c ) . Sebagai catatan tambahan, masih terbuka apakah ada algoritma waktu polinomial untuk c = ω ( 1 ) .c≈ncO(nc)c=ω(1)
Seperti apakah kompleksitas sampel juga merupakan batas bawah, jawabannya cukup banyak ya. Makalah ini oleh Ehrenfeucht et al. menunjukkan bahwa Occam terikat hampir ketat.n2