Algoritma model kueri statistik?

Saya mengajukan pertanyaan ini dalam lintas yang divalidasi T&J tetapi tampaknya itu terkait dengan CS lebih dari Statistik.

Bisakah Anda memberi saya contoh algoritma pembelajaran mesin yang belajar dari sifat statistik dataset bukan pengamatan individu itu sendiri yaitu menggunakan model permintaan statistik ?

Hampir setiap algoritma yang bekerja dalam model PAC (dengan pengecualian algoritma pembelajaran paritas) dapat dibuat untuk bekerja dalam model SQ. Lihat misalnya makalah ini dari Blum et al. di mana beberapa algoritma populer diterjemahkan ke dalam padanan SQ mereka ( Privasi Praktis: kerangka kerja SuLQ ). Makalah ini pada prinsipnya berkaitan dengan "privasi", tetapi Anda dapat mengabaikannya - itu sebenarnya hanya mengimplementasikan algoritma dengan kueri SQ.

Pembelajaran agnostik, di sisi lain, jauh lebih sulit dalam model SQ: mengesampingkan masalah komputasi (meskipun ini penting), kompleksitas sampel yang diperlukan untuk pembelajaran agnostik kira-kira sama dengan yang diperlukan untuk pembelajaran yang tepat, jika Anda benar-benar memiliki akses ke titik data. Di sisi lain, pembelajaran agnostik menjadi jauh lebih sulit dalam model SQ - Anda biasanya perlu membuat banyak pertanyaan secara superpolynomially, bahkan untuk kelas sesederhana pemisahan monoton. Lihat makalah ini oleh Feldman ( Karakterisasi lengkap pembelajaran kueri statistik dengan aplikasi untuk evolvabilitas ) atau makalah baru-baru ini oleh Gupta et al. ( Secara pribadi melepaskan Konjungsi dan Penghalang Kueri Statistik )

Model SQ dibuat untuk menganalisis pembelajaran toleransi kebisingan - yaitu suatu algoritma yang bekerja dengan membuat pertanyaan statistik akan bekerja di bawah kebisingan klasifikasi. Seperti kata Aaron, sebagian besar algoritma PAC yang kami miliki ternyata memiliki padanan dalam model SQ. Satu-satunya pengecualian adalah eliminasi Gaussian, yang digunakan dalam pembelajaran paritas (orang bahkan dapat menggunakan aplikasi pintar ituuntuk belajar log (n) loglog (n) ukuran paritas dalam model noise klasifikasi). Kita juga tahu bahwa paritas tidak dapat dipelajari dengan pertanyaan statistik, dan ternyata kelas yang paling menarik seperti pohon keputusan dapat mensimulasikan fungsi paritas. Jadi, dalam pencarian kami untuk mendapatkan algoritma pembelajaran PAC untuk banyak kelas yang menarik (seperti pohon keputusan, DNF, dll.), Kami tahu kami membutuhkan algoritme pembelajaran baru yang pada dasarnya tidak bekerja dalam model kueri statistik.

Saya ingin sedikit memperjelas tanggapan Harun. Hampir setiap algoritma agnostik (sekali lagi, kecuali untuk apa pun yang menggunakan eliminasi Gaussian) dapat dibuat untuk bekerja dalam model SQ. Secara alami, pembelajaran agnostik lebih sulit daripada pembelajaran non-agnostik, tetapi ini adalah pertanyaan independen.