Pertanyaan pembelajaran paritas

Mari kita mendefinisikan kelas fungsi lebih dari satu set bit. Perbaiki dua distribusi yang "cukup" berbeda satu sama lain (jika Anda suka, jarak variasional mereka setidaknya , atau yang serupa). $n$ $p, q$ $\epsilon$

Sekarang setiap fungsi dalam kelas ini didefinisikan oleh kumpulan indeks , dan dievaluasi sebagai berikut: Jika paritas bit yang dipilih adalah 0, kembalikan sampel acak dari , jika tidak kembalikan sampel acak dari . $f$ $k$ $S$ $p$ $q$

Masalah : Misalkan saya diberi akses oracle ke beberapa dari kelas ini, dan sementara saya tahu (atau ukuran jarak lain), saya tidak tahu dan . $f$ $\epsilon$ $p$ $q$

Apakah ada batasan jumlah panggilan yang harus saya lakukan untuk PAC-pelajari ? Agaknya jawaban saya adalah dan . $f$ $n, k$ $\epsilon$

Catatan : Saya tidak menentukan domain output. Sekali lagi, saya fleksibel, tetapi untuk sekarang katakanlah dan didefinisikan di atas domain terbatas . Secara umum, saya juga akan tertarik pada kasus ketika mereka didefinisikan lebih dari (misalnya, jika mereka Gaussians) $p$ $q$ $[1..M]$ ${\mathbb R}$

lg.learning

— Suresh Venkat
sumber

Saya tidak yakin saya mengerti modelnya. Apa yang Anda tentukan dalam panggilan oracle? Apakah contoh selalu diambil dari distribusi yang ditentukan oleh target?

— Lev Reyzin

Dalam panggilan oracle, Anda memanggil f () dan mengembalikan nilai.

— Suresh Venkat

Jadi tergantung pada fungsi target

, apakah

atau

selalu digunakan untuk menghasilkan contoh? (Saya berasumsi Anda sedang belajar beberapa kelas

)

f \in F

$f \in F$

p

$p$

q

$q$

F

$F$

— Lev Reyzin

Ya itu benar. masalahnya adalah mempelajari yang mana (atau mempelajari bit paritas yang digunakan)

— Suresh Venkat

Saya tidak yakin bagaimana Anda mengadaptasi model PAC ke model ini. Tetapi tampaknya itu cukup untuk dapat membedakan

dari

dengan probabilitas

dan kemudian Anda bisa mendapatkan nilai

untuk

bebas linear

dan menggunakan eliminasi gaussian untuk menemukan

(karena

linear). membedakan dua gaussi yang terpisah akan mudah misalnya.

p

$p$

q

$q$

1 - 1 / (2 k)

$1 - 1/(2k)$

f (x)

$f(x)$

k

$k$

x

$x$

f

$f$

f

$f$

— Sasho Nikolov

Diskusi dalam komentar di bawah ini menunjukkan bahwa saya telah salah memahami pertanyaan. Jawaban saya adalah didasarkan pada Oracle tidak mengambil input dan kembali di mana atau , tergantung pada . Ini rupanya bukan yang diminta. $(x, f(x))$ $x \sim p$ $x \sim q$ $f \in F$

Karena distribusi target ditetapkan untuk setiap target , batas atas sampel PAC berlaku (ini mengikuti fakta bahwa distribusi target untuk batas ini bahkan dapat sepenuhnya bergantung pada ). Karenanya, $f^* \in F$ $f^*$ contoh harus cukup untuk menemukan hipotesis kesalahanwp. Catatan - setelah melihat contoh-contoh ini, seseorang perlu menemukan hipotesis yang konsisten dari, dan ini mungkin tidak dapat ditelusuri.

m \leq \tilde{O} (\frac{1}{ϵ} (V C (F) + \log (1 / δ)))

$m \le \tilde{O}\left(\frac{1}{\epsilon}\left(\mathrm{VC}(F) + \log(1/\delta) \right) \right)$

\leq ϵ

$\le \epsilon$

\geq 1 - δ

$\ge 1-\delta$

F

$F$

Di sisi lain, seseorang dapat memperoleh batas bawah yang hampir cocok bahkan untuk kasus , distribusi seragam, di mana masih diperlukan contoh (ini dapat ditingkatkan sedikit) . $p=q=U$ $m \ge \Omega(\mathrm{VC}(F))$

Jarak variasional antara dan , serta dapat memainkan peran dalam celah kecil antara batas-batas ini, tapi saya ragu. $p$ $q$ $k$

— Lev Reyzin
sumber

Pengaturan khas pembelajaran PAC memiliki oracle

yang mengambil sampel

dari distribusi

, dan mengembalikan

. Ini bukan pengaturan yang dijelaskan dalam pertanyaan Suresh atau posting blog yang menginspirasinya: bit.ly/YtwdST . Dalam kedua hal ini, oracle adalah fungsi

, dan pelajar bebas untuk menyerahkan elemen apa pun dari set instance (bitstrings of length

(f, D)

$(f,D)$

x

$x$

D

$D$

(x, f (x))

$(x, f(x))$

f

$f$

n

$n$ ). Im, apakah jawaban Anda menganggap oracle dari tipe pertama, atau tipe kedua? Jika tipe kedua, apakah kita masih berbicara tentang pembelajaran PAC?

— Keki Burjorjee

Saya melihat. Dalam PAC, yang "oracle" biasanya dianggap sebagai sebuah tombol yang kembali

di mana

. Oracle yang Anda jelaskan disebut "kueri keanggotaan" untuk

. Jawaban saya hanya berlaku untuk yang pertama. Jika Anda hanya bertanya tentang keanggotaan, bagaimana Anda mengetahui informasi tentang

atau

menggunakan kerangka kerja Suresh? Katakanlah

untuk kesederhanaan.

(x, f (x))

$(x, f(x))$

x \sim D

$x \sim D$

f

$f$

p

$p$

q

$q$

p = q

$p=q$

— Lev Reyzin

Terima kasih atas klarifikasi itu. Jadi, dalam kasus yang dijelaskan Suresh, oracle "permintaan keanggotaan" berfungsi sebagai berikut (saya kira Anda telah menempatkan entitas ini dalam tanda kutip karena oracle dapat mengembalikan nilai nyata, bukan hanya boolean yang menjadi-anggota / tidak-a- jawaban anggota): jika paritas atribut efektif adalah 1, maka hasil yang dikembalikan diambil dari distribusi

. Kalau tidak, hasilnya diambil dari distribusi

. Ada kerutan tambahan. Sang oracle mengingat semua jawaban sebelumnya, dan mengembalikannya jika ditanya dengan input yang sama. Dengan kata lain, itu deterministik.

p

$p$

q

$q$

— Keki Burjorjee

Saya tidak mengerti. Jika oracle hanyalah sebuah fungsi

dan Anda menanyakannya dengan memberinya

, bukankah hanya mengembalikan

? Bagaimana

atau

masuk untuk bermain jika pelajar menghasilkan

sendiri? Saya pikir saya telah gagal memahami poin dasar ini selama ini ...

f

$f$

x

$x$

f (x)

$f(x)$

p

$p$

q

$q$

x

$x$

— Lev Reyzin

Untuk

dan

, pseudocode oracle untuk masalah dengan "kerutan" diberikan di bagian bawah komentar reddit ini: bit.ly/XvVMC4 ( ). Saya tidak dapat memasukkan kode karena SE tidak mengizinkan baris baru dalam komentar. Untuk mendapatkan versi "non-wrinkly" dari masalah, cukup hapus barisnya .

p = N (+ 0.25, 1)

$p=\mathcal N(+0.25, 1)$

q = N (- 0.25, 1)

$q = \mathcal N(-0.25, 1)$ def fitness() ...random_number_generator.set_seed(x)

— Keki Burjorjee