Apakah teknik meningkatkan menggunakan suara seperti metode ansambel lainnya?

8

Bisakah kita menggeneralisasi semua metode ansambel dengan menggunakan voting? Apakah metode peningkatan juga menggunakan pemungutan suara untuk memasukkan siswa yang lemah ke dalam model akhir?

Pemahaman saya tentang teknik ini:

Boosting: Terus menambahkan pelajar yang lemah untuk meningkatkan poin data yang tidak diklasifikasikan dengan benar.
Teknik ensemble: Menggunakan banyak pelajar untuk memperoleh prediksi yang lebih baik daripada hanya dari satu. Ini dijelaskan dalam wikipedia.

— pritywiz
sumber

7

Meningkatkan secara umum dapat dipahami sebagai pemungutan suara (terbobot)

Dalam hal meningkatkan, salah satu penemunya memberikan jawaban positif dalam pengantar untuk AdaBoost (penekanan tambang):

The akhir atau gabungan hipotesis menghitung tanda kombinasi tertimbang hipotesis lemah ini setara dengan mengatakan bahwa dihitung sebagai suara mayoritas tertimbang hipotesis lemah mana masing-masing diberi bobot . (Dalam bab ini, kami menggunakan istilah "hipotesis" dan "penggolong" secara bergantian.) $H$
$F (x) = \sum_{t = 1}^{T} α_{t} h_{t} (x)$ $F(x) = \sum_{t=1}^T\alpha_th_t(x)$ $H$ $h_t$ $\alpha_t$

Jadi ya, model akhir yang dikembalikan adalah suara terbobot dari semua peserta didik yang dilatih untuk iterasi itu. Demikian juga, Anda akan menemukan cuplikan ini di Wikipedia tentang meningkatkan secara umum:

Sementara meningkatkan tidak dibatasi secara algoritmik, sebagian besar meningkatkan algoritma terdiri dari iteratif belajar pengklasifikasi lemah sehubungan dengan distribusi dan menambahkannya ke pengklasifikasi kuat akhir. Ketika mereka ditambahkan, mereka biasanya ditimbang dalam beberapa cara yang biasanya terkait dengan keakuratan peserta didik yang lemah.

Perhatikan juga disebutkan di dalamnya bahwa algoritma peningkatan asli menggunakan "mayoritas." Gagasan pemungutan suara cukup kuat didorong untuk meningkatkan: Prinsip panduannya adalah untuk meningkatkan ansambel pada setiap iterasi dengan menambahkan pemilih baru, kemudian memutuskan berapa banyak bobot untuk memberikan setiap suara.

Intuisi yang sama ini membawa contoh peningkatan gradien : Pada setiap iterasi kita menemukan pembelajar baru dipasang pada pseudo-residual, kemudian optimalkan untuk memutuskan berapa banyak bobot untuk memberikan "suara" . $m$ $h_m$ $\gamma_m$ $h_m$

Memperluas ke semua metode ansambel berjalan ke contoh tandingan

Seperti itu, beberapa orang akan menemukan bahwa bahkan gagasan bobot membentangkan metafora pemungutan suara. Saat mempertimbangkan apakah akan memperluas intuisi ini ke semua metode pembelajaran ansambel , pertimbangkan cuplikan ini:

Ensembles menggabungkan beberapa hipotesis untuk membentuk hipotesis (semoga) yang lebih baik. Istilah ensemble biasanya dicadangkan untuk metode yang menghasilkan banyak hipotesis menggunakan pelajar dasar yang sama.

Dan yang satu ini pada contoh metode susun susun :

Stacking (kadang-kadang disebut generalisasi bertumpuk) melibatkan pelatihan algoritma pembelajaran untuk menggabungkan prediksi beberapa algoritma pembelajaran lainnya. Pertama, semua algoritma lainnya dilatih menggunakan data yang tersedia, kemudian algoritma kombinasi dilatih untuk membuat prediksi akhir menggunakan semua prediksi dari algoritma lain sebagai input tambahan. Jika algoritma combiner arbitrer digunakan, maka penumpukan secara teoritis dapat mewakili salah satu teknik ensemble yang dijelaskan dalam artikel ini, meskipun dalam praktiknya, model regresi logistik single-layer sering digunakan sebagai combiner.

Jika Anda mendefinisikan metode ensemble untuk memasukkan metode penumpukan dengan penggabung acak, Anda dapat membuat metode yang, dalam pandangan saya, meregangkan gagasan pemungutan suara di luar batasnya. Sulit untuk melihat bagaimana kumpulan peserta didik yang lemah digabungkan melalui pohon keputusan atau jaringan saraf dapat dilihat sebagai "voting." (Mengesampingkan pertanyaan yang juga sulit tentang kapan metode itu terbukti bermanfaat secara praktis.)

Beberapa pengantar menggambarkan ansambel dan pemungutan suara sebagai identik; Saya tidak cukup akrab dengan literatur terbaru tentang metode ini untuk mengatakan bagaimana istilah-istilah ini secara umum diterapkan baru-baru ini, tetapi saya berharap jawaban ini memberikan gambaran tentang sejauh mana gagasan pemungutan suara meluas.

— Sean Easter
sumber

Tolong jelaskan bagaimana pemungutan suara dilakukan dalam mesin peningkat gradien. Pelajar yang lemah ditambahkan pada setiap iterasi, jadi di mana memberikan suara di sini. Bisakah kita menggeneralisasi pemilihan untuk digunakan dalam semua peningkatan dan juga untuk semua teknik ensemble?

— pritywiz

1

Untuk pertanyaan pertama, jika Anda mengikuti deskripsi gradien meningkatkan di sini di bawah "Algoritma," Anda akan menemukan pembelajar akhir digambarkan sebagai tujuan tertimbang pelajar yang lemah. Pada dasarnya, metafora pemungutan suara adalah: Pada setiap iterasi, Anda menambahkan pemilih baru yang berfokus pada residu semu, lalu optimalkan untuk memutuskan berapa banyak bobot untuk memberikan suara baru ini.

γ_{m}

$\gamma_m$

— Sean Easter

1

Untuk yang kedua, saya tidak percaya metafora pemungutan suara membawa air untuk semua metode ansambel. Jika Anda membaca tentang penumpukan seperti yang dijelaskan dalam contoh umum di sini , Anda akan menemukan bahwa algoritma penggabung acak dapat digunakan, memperlakukan prediksi peserta didik lain sebagai input. Sulit untuk melihat bagaimana seseorang dapat mempertimbangkan, katakanlah, pohon keputusan mekanisme pemilihan di antara peserta didik. Apakah itu membantu?

— Sean Easter

4

Boosting berbeda dengan mengantongi (voting). Saya tidak melihat cara menafsirkan peningkatan sebagai "memilih" (lihat edit saya untuk detail tambahan).

Voting (terutama suara mayoritas) biasanya berarti keputusan gabungan dari pengklasifikasi minggu "terpisah / kurang berkorelasi".
Dalam meningkatkan, kami membangun satu classifier di atas yang lain. Jadi, mereka bukan "teman sebaya yang terpisah" tetapi yang satu "lebih lemah dari yang lain".

Jawaban saya di sini memberikan peningkatan penguraian oleh iterasi.

Bagaimana cara kerja linear base ramping dalam meningkatkan? Dan bagaimana cara kerjanya di perpustakaan xgboost?

Contohnya adalah mencoba untuk memperkirakan fungsi kuadrat dengan meningkatkan bouncing keputusan.

Dua plot pertama adalah ground truth dan meningkatkan model setelah banyak iterasi. Mereka adalah plot kontur. Sumbu X dan Y adalah dua fitur dan nilai fungsi diwakili oleh warna.

Lalu saya menunjukkan 4 iterasi pertama. Anda dapat melihat kami tidak rata-rata / memilih 4 model, tetapi meningkatkan model di setiap iterasi.

Setelah melihat jawaban lain, saya merasa jawaban untuk pertanyaan ini tergantung pada bagaimana kita mendefinisikan "pemilihan". Apakah kita menganggap jumlah tertimbang sebagai suara? Jika ya, maka saya pikir kita masih bisa mengatakan meningkatkan dapat digeneralisasi dengan pemungutan suara.

— Haitao Du
sumber

Saya memahami peningkatan sebagaimana dijelaskan dengan benar oleh Anda, sementara di Adaboost kita dapat mengatakan suara terbobot mayoritas dari semua classifier lemah adalah classifier akhir, tetapi tidak sama dalam hal GBM. Jadi, kita tidak bisa menggeneralisasi pemilihan untuk digunakan dalam semua teknik ansambel, bukan? Saya bingung .. dan justru kebingungan saya ..

— pritywiz

1

@ pritywiz Saya pikir jawaban lain juga benar. Kata "voting" tidak begitu jelas. Bentuk akhir GBM masih aditif dengan bobot yang berbeda. Apakah kita mempertimbangkan jumlah terbobot = suara?

— Haitao Du