Apakah algoritma pohon keputusan linear atau nonlinier


21

Baru-baru ini seorang teman saya ditanya apakah algoritma pohon keputusan adalah algoritma linear atau nonlinier dalam sebuah wawancara. Saya mencoba mencari jawaban untuk pertanyaan ini tetapi tidak dapat menemukan penjelasan yang memuaskan. Adakah yang bisa menjawab dan menjelaskan solusi untuk pertanyaan ini? Juga, apa saja contoh lain dari algoritma pembelajaran mesin nonlinear?


Keajaiban dalam konteks apa yang mereka maksudkan, regresi, data yang dapat dipisahkan secara linear?
image_doctor

1
Mereka mungkin berarti batas antar kelas; apakah itu terdiri dari pesawat terbang atau tidak.
Emre

Jawaban:


17

Pohon keputusan adalah pemetaan non-linear Xuntuk y. Ini mudah dilihat jika Anda mengambil fungsi arbitrer dan membuat pohon hingga kedalaman maksimalnya.

Sebagai contoh:

if x = 1, y = 1
if x = 2, y = 15
if x = 3, y = 3
if x = 4, y = 27
...

Tentu saja, ini adalah pohon yang terlalu pas dan tidak akan digeneralisasikan. Tapi itu menunjukkan mengapa pohon keputusan adalah pemetaan non-linear.


10

Baru-baru ini seorang teman saya ditanya apakah algoritma pohon keputusan algoritma linear atau nonlinier dalam sebuah wawancara

Decision tree adalah penggolong non-linear seperti jaringan saraf, dll. Umumnya digunakan untuk mengklasifikasikan data yang dapat dipisahkan secara non-linear.

Bahkan ketika Anda mempertimbangkan contoh regresi, pohon keputusan tidak linier.

Misalnya, garis regresi linier akan terlihat seperti ini:

masukkan deskripsi gambar di sini

Titik merah adalah titik data.

Dan plot regresi pohon keputusan akan terlihat seperti ini:

masukkan deskripsi gambar di sini

Jadi, jelas pohon keputusan tidak linier


Meningkatkan kedalaman pohon akan menyebabkan overfitting, dan dengan demikian struktur yang lebih non-linear.
Dawny33

3

Pohon keputusan tidak linier. Tidak seperti regresi linier, tidak ada persamaan untuk menyatakan hubungan antara variabel independen dan dependen.

Ex:

Regresi linier - Harga buah = b0 + b1 * Kesegaran + b2 * Ukuran

Decision tree - Nodes: Ripe - Ya atau tidak | Segar - Ya atau Tidak | Ukuran - <5,> 5 tetapi <10 dan> 10 |

Dalam kasus kedua tidak ada hubungan linier antara variabel independen dan dependen.


3

Seperti yang banyak ditunjukkan, pohon regresi / keputusan adalah model non-linear. Namun perlu dicatat bahwa ini adalah model linear satu demi satu: di setiap lingkungan (didefinisikan dengan cara non-linear), itu adalah linier. Bahkan, modelnya hanyalah konstanta lokal.

θ

yi=α11(xi<θ)+α21(xiθ)+ϵi

1(A)


2

VC2dd22dmdmin(2d,m)ID3C4.5

Dengan menggunakan situs kami, Anda mengakui telah membaca dan memahami Kebijakan Cookie dan Kebijakan Privasi kami.
Licensed under cc by-sa 3.0 with attribution required.