Apa arti teori belajar PAC?


15

Saya baru dalam pembelajaran mesin. Saya belajar kursus dalam pembelajaran mesin (Stanford University) dan saya tidak mengerti apa yang dimaksud dengan teori ini dan apa kegunaannya. Saya bertanya-tanya apakah seseorang dapat merinci teori ini untuk saya.

Teori ini didasarkan pada persamaan ini. masukkan deskripsi gambar di sini


2
PAC adalah singkatan dari Mungkin Sekitar Benar.
Marc Claesen

@MarcClaesen, dapatkah saya menjelaskannya seperti ini: "Ini berarti bahwa pendekatan pembelajaran mesin menawarkan solusi probabilitas untuk masalah yang diberikan dan solusi ini cenderung kurang lebih benar"
BetterEnglish

Jawaban:


16

Teori belajar kira-kira benar (PAC) membantu menganalisis apakah dan dalam kondisi apa seorang pelajar mungkin akan menghasilkan sebuah klasifikasi yang kira-kira benar. (Anda akan melihat beberapa sumber menggunakan A sebagai pengganti L. )LAL

Pertama, mari kita tentukan "perkiraan." Hipotesis kira - kira benar jika kesalahannya atas distribusi input dibatasi oleh beberapa ϵ , 0 ϵ 1hHYaitu,errorD(h)<ϵ, di manaDadalah distribusi melalui input.ϵ,0ϵ12.errorD(h)<ϵD

Selanjutnya, "mungkin." Jika akan menampilkan penggolong seperti itu dengan probabilitas 1 - δ , dengan 0 δ 1L1δ , kami menyebut pengelompokan itumungkinkira-kira benar.0δ12

Mengetahui bahwa konsep target PAC-dapat dipelajari memungkinkan Anda untuk mengikat ukuran sampel yang diperlukan untuk mempelajari pengelompokan yang kira-kira benar, yang ditunjukkan dalam rumus yang telah Anda buat:

m1ϵ(ln|H|+ln1δ)

Untuk mendapatkan intuisi tentang ini, catat efek pada ketika Anda mengubah variabel di sisi kanan. Saat kesalahan yang diizinkan berkurang , ukuran sampel yang diperlukan bertambah. Demikian juga, tumbuh dengan probabilitas pelajar mendekati benar, dan dengan ukuran ruang hipotesis H . (Secara longgar, ruang hipotesis adalah sekumpulan classifier yang dipertimbangkan oleh algoritma Anda.) Lebih jelasnya, ketika Anda mempertimbangkan classifier yang lebih mungkin, atau menginginkan kesalahan yang lebih rendah atau probabilitas kebenaran yang lebih tinggi, Anda memerlukan lebih banyak data untuk membedakannya.mH

Untuk lebih lanjut, ini dan video terkait lainnya mungkin bermanfaat, seperti pendahuluan yang panjang ini atau salah satu dari banyak teks pembelajaran mesin, kata Mitchell , misalnya.


Ini adalah jenis jawaban yang saya cari sejak lama; keduanya sederhana namun terdengar. Meskipun banyak sumber akan memberikan jawaban yang luas, itu tidak begitu disukai untuk referensi cepat.
Ébe Isaac

3


(xsaya,ysaya) dan seseorang ingin menemukan hipotesis atau model yang akan, diberikan input xsaya kembali ysayaatau sesuatu yang sangat dekat. Lebih penting lagi diberikan data barux~ model akan menghitung atau memprediksi yang sesuai y~.
Benar-benar orang tidak tertarik pada seberapa akurat hipotesis pada data yang diberikan (pelatihan) kecuali bahwa sulit untuk percaya bahwa model yang dibuat menggunakan beberapa data tidak akan secara akurat mencerminkan kumpulan data itu, tetapi akan akurat di masa mendatang. set data. Dua peringatan penting adalah bahwa seseorang tidak dapat memprediksi data baru dengan akurasi 100% dan ada juga kemungkinan bahwa contoh data yang dilihatnya kehilangan sesuatu yang penting. Contoh mainan adalah bahwa jika saya memberi Anda 'data' 1,2,3,4 orang akan 'memperkirakan' bahwa 5 akan menjadi angka berikutnya. Jika Anda menguji ini dengan bertanya kepada orang berapa nomor berikutnya dalam urutan, kebanyakan orang akan mengatakan 5. Seseorang bisakatakan 1.000.000. Jika Anda diberi urutan 1,2,3, ... 999.999 orang akan lebih yakin bahwa angka berikutnya adalah 1.000.000. Namun angka berikutnya bisa 999.999,5, atau bahkan 5. Intinya adalah bahwa semakin banyak data yang dilihat, semakin yakin seseorang dapat menghasilkan model yang akurat, tetapi orang tidak pernah bisa benar-benar yakin.

Definisi mungkin kira-kira benar memberikan versi matematika yang tepat dari ide ini. Data yang diberikanxsaya,1sayam dengan output ysaya dan kelas model fθyang merupakan hipotesis, seseorang dapat mengajukan 2 pertanyaan. Bisakah kita menggunakan data untuk menemukan hipotesis tertentufΘ that is likely to be really accurate in predicting new values ? Further how likely is it that the model is as accurate as we expect it to be ? That is can we train a model that is highly likely to be very accurate. As in Sean Easter's answer, we say a class of hypotheses (class of models) is PAC if we can do an 'epsilon, delta' argument. That is we can say with probability p>1δ that our model fΘ is accurate to within ϵ . How much data one must see to satisfy a specific pair (δ,ϵ) depends on the actual (δ,ϵ) and how complex the given class of hypothesis are.

More precisely, a class of hypotheses H or models fθ is PAC if for any pair (ϵ,δ) with 0<ϵ,δ,<.5 ada model spesifik fΘ sedemikian rupa sehingga ada data baru x~,y~, model ini akan memuaskan Err(fΘ(x~),y~)<ϵ dengan probabilitas hal>1-δ jika model itu dipilih (dilatih) dengan setidaknya m=m(δ,ϵ,H)contoh pelatihan. Berikut Err adalah fungsi kerugian yang dipilih yang biasanya(fΘ(x~)-y~)2.

Diagram yang Anda berikan memberikan rumus tentang seberapa banyak data yang perlu dilatih untuk kelas hipotesis tertentu untuk memuaskan pasangan tertentu (δ,ϵ). I could be wrong, but I believe that this definition was given by Valiant in a paper called "A Theory of the Learnable" and was in part responsible for Valiant winning the Turing prize.

Dengan menggunakan situs kami, Anda mengakui telah membaca dan memahami Kebijakan Cookie dan Kebijakan Privasi kami.
Licensed under cc by-sa 3.0 with attribution required.