Pembelajaran mendalam vs. Pohon keputusan dan metode peningkatan

18

Saya mencari makalah atau teks yang membandingkan dan mendiskusikan (baik secara empiris atau teoritis):

Algoritma Boosting dan Decision tree seperti Random Forests atau AdaBoost , dan GentleBoost diterapkan pada pohon keputusan.

dengan

Metode pembelajaran yang dalam seperti Mesin Boltzmann Terbatas , Memori Temporal Hirarki , Jaringan Neural Konvolusional , dll.

Lebih khusus lagi, apakah ada yang tahu teks yang membahas atau membandingkan dua blok metode ML ini dalam hal kecepatan, ketepatan atau konvergensi? Juga, saya mencari teks yang menjelaskan atau merangkum perbedaan (misalnya pro dan kontra) antara model atau metode di blok kedua.

Setiap petunjuk atau jawaban yang membahas perbandingan semacam itu secara langsung akan sangat dihargai.

— Amelio Vazquez-Reina
sumber

1

Bisakah Anda lebih spesifik tentang jenis data yang Anda lihat? Ini sebagian akan menentukan jenis algoritma apa yang paling cepat akan konvergen.

Saya juga tidak yakin bagaimana membandingkan metode seperti meningkatkan dan DL, karena meningkatkan sebenarnya hanyalah kumpulan metode. Algoritma apa lagi yang Anda gunakan dengan boosting?

Secara umum, teknik DL dapat digambarkan sebagai lapisan encoder / decoder. Pra-pelatihan yang tidak diawasi bekerja dengan terlebih dahulu melatih setiap lapisan dengan mengkodekan sinyal, mendekode sinyal, kemudian mengukur kesalahan rekonstruksi. Tuning kemudian dapat digunakan untuk mendapatkan kinerja yang lebih baik (mis. Jika Anda menggunakan denoising stacked-autoencoder Anda dapat menggunakan back-propagation).

Satu titik awal yang baik untuk teori DL adalah:

http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.73.795&rep=rep1&type=pdf

dan juga ini:

http://portal.acm.org/citation.cfm?id=1756025

(maaf, harus menghapus tautan terakhir karena sistem penyaringan SPAM)

Saya tidak memasukkan informasi tentang RBM, tetapi mereka terkait erat (meskipun secara pribadi sedikit lebih sulit untuk dipahami pada awalnya).

— pengguna5268
sumber

Terima kasih @ f (x), saya tertarik pada klasifikasi segmen atau patch pixel (2D atau 3D), tapi saya ingin menjaga pertanyaan semula mungkin. Jika metode yang berbeda bekerja paling baik pada berbagai jenis dataset, saya akan tertarik dalam diskusi yang membahas perbedaan ini.

— Amelio Vazquez-Reina

1

Secara umum dalam hal pemrosesan gambar, metode DL akan bertindak sebagai ekstraktor fitur yang kemudian dapat dipasangkan dengan SVM untuk melakukan klasifikasi. Metode-metode ini umumnya dapat dibandingkan dengan pendekatan rekayasa-tangan seperti SIFT, SURF, dan HOG. Metode DL telah diperluas ke video dengan CRBM yang terjaga keamanannya, dan ISA. Metode rekayasa tangan termasuk HOG / HOF, HOG3d, dan eSURF (lihat Wang et al. 2009 untuk perbandingan yang baik).

— user5268

1

Pertanyaan bagus! Baik boosting adaptif dan pembelajaran dalam dapat diklasifikasikan sebagai jaringan pembelajaran probabilistik. Perbedaannya adalah bahwa "pembelajaran mendalam" secara khusus melibatkan satu atau lebih "jaringan saraf", sedangkan "meningkatkan" adalah "algoritma pembelajaran-meta" yang membutuhkan satu atau lebih jaringan pembelajaran, yang disebut pelajar yang lemah, yang dapat berupa "apa saja" (yaitu jaringan saraf, pohon keputusan, dll). Algoritma pendongkrak mengambil satu atau lebih jaringan pembelajar lemah untuk membentuk apa yang disebut "pembelajar kuat", yang secara signifikan dapat "meningkatkan" hasil keseluruhan jaringan pembelajaran (yaitu Viola and Jones Face Detector, OpenCV).

— SensorVista
sumber