Algoritma pembelajaran ensemble canggih dalam tugas-tugas pengenalan pola?

14

Struktur pertanyaan ini adalah sebagai berikut: pada awalnya, saya memberikan konsep pembelajaran ensemble , selanjutnya saya memberikan daftar tugas pengenalan pola , kemudian saya memberikan contoh algoritma pembelajaran ensemble dan, akhirnya, memperkenalkan pertanyaan saya. Mereka yang tidak membutuhkan semua informasi tambahan mungkin hanya melihat berita utama dan langsung ke pertanyaan saya.

Apa yang dipelajari ansambel?

Menurut artikel Wikipedia :

Dalam statistik dan pembelajaran mesin, metode ensemble menggunakan beberapa algoritma pembelajaran untuk memperoleh kinerja prediksi yang lebih baik daripada yang bisa diperoleh dari salah satu algoritma pembelajaran konstituen saja. Tidak seperti ansambel statistik dalam mekanika statistik, yang biasanya tak terbatas, ansambel pembelajaran mesin hanya merujuk pada serangkaian model alternatif yang terbatas, tetapi biasanya memungkinkan struktur yang jauh lebih fleksibel ada di antara alternatif-alternatif itu.

Contoh tugas pengenalan pola:

Contoh algoritma pembelajaran ensemble:

Algoritma pembelajaran ensemble berikut ini digunakan untuk tugas PR (menurut Wiki):

Ensemble belajar algoritma (meta-algoritma yang diawasi untuk menggabungkan beberapa algoritma pembelajaran bersama-sama):

Boosting (ensemblemeta-algoritmepembelajaran mesinterutama untuk mengurangibias, dan juga variasi dalampembelajaran yang diawasi, dan keluarga algoritma pembelajaran mesin yang mengubah pelajar yang lemah menjadi yang kuat)

Bootstrap aggregating (" bagging ") (meta-algoritma ensemble pembelajaran mesin yang dirancang untuk meningkatkan stabilitas dan akurasi algoritma pembelajaran mesin yang digunakan dalamklasifikasidanregresi statistik).

Rata-rata ensemble (proses membuat beberapa model dan menggabungkannya untuk menghasilkan output yang diinginkan, bukan hanya menciptakan satu model. Seringkali sebuah ensemble model berkinerja lebih baik daripada model individual mana pun, karena berbagai kesalahan model "rata-rata keluar". )

Campuran ahli, campuran ahli hirarki

Implementasi yang berbeda

Ensembel jaringan saraf (seperangkat model jaringan saraf mengambil keputusan dengan membuat rata-rata hasil dari masing-masing model).

Hutan acak (metode ensemble learning untuk klasifikasi, regresi dan tugas-tugas lainnya, yang beroperasi dengan membangun banyakpohon keputusanpada waktu pelatihan dan mengeluarkan kelas yang merupakanmodekelas (klasifikasi) atau prediksi rata-rata (regresi) individu pohon).

AdaBoost (output dari algoritma pembelajaran lainnya ('peserta didik yang lemah') digabungkan menjadi jumlah terbobot yang mewakili hasil akhir dari penggolong yang ditingkatkan)

Selain itu:

Metode yang menggunakan satu jaringan saraf untuk menggabungkan berbagai pengklasifikasi
Metode bidang kompetensi

Pertanyaan saya

Algoritme pembelajaran ensembel mana yang dianggap canggih saat ini dan benar-benar digunakan dalam praktik (untuk deteksi wajah, pengenalan pelat registrasi kendaraan, pengenalan karakter optik, dll.) Oleh perusahaan dan organisasi? Menggunakan algoritma pembelajaran ensemble seharusnya meningkatkan akurasi pengenalan dan menghasilkan efisiensi komputasi yang lebih baik. Tetapi, apakah hal-hal seperti ini ada dalam kenyataan?

Metode ensemble mana, yang berpotensi, yang dapat menunjukkan akurasi dan kinerja klasifikasi yang lebih baik dalam tugas-tugas pengenalan pola? Mungkin, beberapa metode sudah ketinggalan zaman sekarang, atau telah terbukti tidak efektif. Mungkin juga bahwa metode ensemble sekarang cenderung tidak digunakan lagi pada kekuatan beberapa algoritma baru. Mereka yang memiliki pengalaman di bidang ini atau memiliki pengetahuan yang memadai di bidang ini, dapatkah Anda membantu untuk mengklarifikasi masalah ini?

— Erba Aitbayev
sumber

Apa yang saya dengar baru-baru ini adalah bahwa orang menyukai XGBoost dan itu menunjukkan kinerja yang sangat mengesankan di beberapa kompetisi Kaggle.

— Sangwoong Yoon

Jawabannya singkat: jawaban yang memberikan skor CV terbaik. Biasanya itu menumpuk

— Alexey Grigorev

Keberhasilan dan kegagalan model ansambel adalah fungsi dari model anggota ansambel dan sifat data. Ensemble bekerja karena model anggota menghasilkan tingkat keragaman. Pertanyaan Anda mungkin tidak dapat dijawab tanpa kekhususan dari kedua model yang Anda masukkan ke dalam ensemble Anda dan dataset yang dimaksud.

— horaceT

9

Algoritma canggih mungkin berbeda dari apa yang digunakan dalam produksi di industri. Juga, yang terakhir dapat berinvestasi dalam fine-tuning lebih mendasar (dan sering lebih dapat ditafsirkan) pendekatan untuk membuatnya bekerja lebih baik dari apa yang akan akademisi.

Contoh 1: Menurut TechCrunch , Nuance akan mulai menggunakan "deep learning tech" dalam produk-produk pengenalan ucapan Dragon pada bulan september ini.

Contoh 2: Chiticariu, Laura, Yunyao Li, dan Frederick R. Reiss. "Ekstraksi Informasi Berbasis-Aturan Sudah Mati! Sistem Ekstraksi Informasi Berbasis-Hidup yang Lama!" Dalam EMNLP, no. Oktober, hlm. 827-832. 2013. https://scholar.google.com/scholar?cluster=12856773132046965379&hl=id&as_sdt=0,22 ; http://www.aclweb.org/website/old_anthology/D/D13/D13-1079.pdf

Dengan itu dikatakan:

Algoritma pembelajaran ensemble mana yang dianggap canggih saat ini

Salah satu sistem mutakhir untuk klasifikasi gambar mendapat beberapa keuntungan bagus dengan ansambel (seperti kebanyakan sistem lain yang saya tahu): Dia, Kaiming, Xiangyu Zhang, Shaoqing Ren, dan Jian Sun. "Pembelajaran residual yang dalam untuk pengenalan gambar." arXiv preprint arXiv: 1512.03385 (2015). https://scholar.google.com/scholar?cluster=17704431389020559554&hl=id&as_sdt=0,22 ; https://arxiv.org/pdf/1512.03385v1.pdf

— Franck Dernoncourt
sumber

3

Saya kira orang bisa mengatakan bahwa pembelajaran mendalam cukup canggih di sebagian besar subdomain visi komputer (klasifikasi, deteksi, resolusi super, deteksi tepi, ...) kecuali untuk tugas yang sangat spesifik seperti SLAM di mana pembelajaran yang mendalam belum setara dengan metode yang ada.

Seringkali untuk mendapatkan beberapa persen ekstra untuk memenangkan jaringan kompetisi rata-rata digunakan tetapi jaringan semakin baik sehingga tidak masalah lagi.

Dalam produksinya sangat berbeda. Perusahaan-perusahaan besar biasanya mengandalkan algoritma lama yang telah terbukti efektif dan bahwa para ahli di tempat memiliki pengetahuan dan tahun praktik menggunakannya.
Ditambah mengintegrasikan algoritma baru dalam rantai pasokan membutuhkan banyak waktu. Saya pikir beberapa perusahaan kamera masih menggunakan detektor Viola Jones untuk deteksi wajah dan saya tahu fakta bahwa SIFT sedang banyak digunakan dalam banyak aplikasi di industri.

Mereka juga masih sedikit skeptis terhadap metode pembelajaran mendalam yang dianggap kotak hitam berbahaya.
Tetapi hasil yang mengesankan dari algoritma tersebut lambat membuat orang berubah pikiran tentang hal itu.

Start-up lebih bersedia untuk menggunakan solusi seperti itu karena mereka harus memiliki solusi inovatif untuk mendapatkan dana.

Saya akan mengatakan bahwa dalam dua puluh tahun sebagian besar produk berbasis visi komputer akan menggunakan pembelajaran mendalam bahkan jika sesuatu yang lebih efektif ditemukan di antaranya.
Untuk menambah jawaban Franck, pembelajaran yang dalam berubah begitu cepat sehingga ResNets of Kaiming Dia bukan lagi bagian dari seni. Jaringan Konvolusional dan Jaringan Wide dan Deep yang terhubung dengan memulai ulang SGD sekarang menjadi SOTA pada EDIT CIFAR dan SVHN dan mungkin Imagenet juga dan bahkan ini dapat berubah dalam beberapa hari dengan hasil ILSVRC 2016 pada tanggal 16 September.

Jika Anda tertarik pada hasil mutakhir pada MS-COCO, set data pendeteksian paling menantang yang ada akan dirilis di ECCV pada bulan Oktober.

— jean
sumber

1

Bahkan, setelah memeriksa ulang, artikel yang saya kutip tidak menyebutkan hasil mereka di Imagenet! Jadi ini salahku! tetapi karena mereka jauh lebih unggul di CIFAR dan SVHN saya pikir itu harus sama pada Imagenet tetapi Anda tidak pernah tahu. Saya kira mereka tidak menyebutkannya untuk menunggu hasil ILSVRC tapi saya mungkin salah!

— jean

1

@FranckDernoncourt hiruk-pikuk hasil ini sangat menarik tetapi juga dapat memberikan tekanan pada orang-orang yang ingin menerbitkan di bidang ini, yang dapat menyebabkan kesalahan seperti artikel SARM yang sekarang terkenal ini yang penulis tarik dari NIPS hari ini.

— jean

Terima kasih, ya saya memang melihat itu, tetapi tidak mendapatkan kesempatan untuk memeriksa makalah itu ... Saya mengalami masalah mengosongkan daftar to-read saya dengan semua ANN PDF baru ini: /

— Franck Dernoncourt

Insiden penarikan SARM ini membuat saya memikirkan kembali krisis reproduktifitas dalam statistik. Berapa banyak detail implementasi yang harus diperlukan dalam proses peninjauan, seberapa banyak terlalu sedikit, dll.

— horaceT

2

Ada banyak bagaimana-jika terkait dengan pertanyaan Anda, dan biasanya menemukan model terbaik melibatkan pengujian sebagian besar dari ini pada data. Hanya karena suatu model dalam teori dapat menghasilkan hasil yang lebih akurat tidak berarti itu akan selalu menghasilkan model dengan kesalahan terendah.

Itu dikatakan ... Neural Net ansambel bisa sangat akurat, selama Anda dapat menerima kotak hitam. Memvariasikan dengan jumlah node dan jumlah layer dapat mencakup banyak varians dalam data, dengan memperkenalkan banyak faktor pemodelan ini, mungkin mudah untuk menyesuaikan data.

Hutan Acak jarang menghasilkan hasil yang paling akurat, tetapi pohon yang dikuatkan dapat memodelkan hubungan yang kompleks seperti dalam tugas AI yang Anda diskusikan tanpa banyak risiko overfitting.

Orang akan berpikir, mengapa tidak hanya menggabungkan semua model ini bersama-sama, tetapi model ini kompromi pada kekuatan yang mungkin dari masing-masing model. Sekali lagi ini kemungkinan akan menyebabkan beberapa masalah overfitting.

Model yang efisien secara komputasi adalah masalah yang berbeda, dan saya tidak akan memulai dengan jaringan saraf yang sangat rumit. Menggunakan jaring saraf sebagai patokan, menurut pengalaman saya, paling efisien menggunakan pohon-pohon yang dikuatkan.

Ini didasarkan pada pengalaman saya, dan pemahaman yang masuk akal tentang teori yang mendasari masing-masing jenis pemodelan yang dibahas.

— rampok
sumber