Kesulitan "belajar" contoh langka

Apakah ada hasil yang menunjukkan bahwa model (katakanlah SVM, Neural-Net, kNN, dll) akan mengalami kesulitan dalam mempelajari kejadian "langka" / fenomena ekor?

machine-learning lg.learning pac-learning

— Daniel
sumber

Saya pikir Anda menerima jawaban terlalu cepat - itu adalah jawaban yang baik, tetapi mungkin ada lebih banyak kemungkinan di luar sana.

— usul

@ Usul, terima kasih atas komentarnya. Apakah Anda punya saran lebih lanjut? Akan senang mendengar pemikiran tambahan.

— Daniel

Dalam model pembelajaran PAC klasik (yaitu klasifikasi), instance langka tidak menjadi masalah. Ini karena titik ujian pelajar diasumsikan berasal dari distribusi yang sama dengan data pelatihan. Dengan demikian, jika suatu wilayah ruang sangat jarang sehingga kurang terwakili dalam sampel pelatihan, probabilitasnya muncul selama fase uji rendah.

Anda akan memerlukan model pembelajaran yang berbeda, yang secara eksplisit melihat kesalahan tipe-I dan tipe-II, atau mungkin beberapa skor presisi-recall gabungan. Di sini lagi, saya tidak berpikir ada hasil yang menunjukkan bahwa kelas algoritma tertentu sangat tidak cocok untuk tugas ini, tetapi saya bisa saja salah.

Yang paling dekat yang bisa saya pikirkan adalah kepekaan terhadap outlier --- AdaBoost diketahui memiliki properti ini, misalnya.

— Aryeh
sumber