Apakah algoritma pohon keputusan linear atau nonlinier

21

Baru-baru ini seorang teman saya ditanya apakah algoritma pohon keputusan adalah algoritma linear atau nonlinier dalam sebuah wawancara. Saya mencoba mencari jawaban untuk pertanyaan ini tetapi tidak dapat menemukan penjelasan yang memuaskan. Adakah yang bisa menjawab dan menjelaskan solusi untuk pertanyaan ini? Juga, apa saja contoh lain dari algoritma pembelajaran mesin nonlinear?

— pengguna2966197
sumber

Keajaiban dalam konteks apa yang mereka maksudkan, regresi, data yang dapat dipisahkan secara linear?

— image_doctor

1

Mereka mungkin berarti batas antar kelas; apakah itu terdiri dari pesawat terbang atau tidak.

— Emre

17

Pohon keputusan adalah pemetaan non-linear Xuntuk y. Ini mudah dilihat jika Anda mengambil fungsi arbitrer dan membuat pohon hingga kedalaman maksimalnya.

Sebagai contoh:

if x = 1, y = 1
if x = 2, y = 15
if x = 3, y = 3
if x = 4, y = 27
...

Tentu saja, ini adalah pohon yang terlalu pas dan tidak akan digeneralisasikan. Tapi itu menunjukkan mengapa pohon keputusan adalah pemetaan non-linear.

— inversi
sumber

10

Baru-baru ini seorang teman saya ditanya apakah algoritma pohon keputusan algoritma linear atau nonlinier dalam sebuah wawancara

Decision tree adalah penggolong non-linear seperti jaringan saraf, dll. Umumnya digunakan untuk mengklasifikasikan data yang dapat dipisahkan secara non-linear.

Bahkan ketika Anda mempertimbangkan contoh regresi, pohon keputusan tidak linier.

Misalnya, garis regresi linier akan terlihat seperti ini:

Titik merah adalah titik data.

Dan plot regresi pohon keputusan akan terlihat seperti ini:

Jadi, jelas pohon keputusan tidak linier

— Dawny33
sumber

Meningkatkan kedalaman pohon akan menyebabkan overfitting, dan dengan demikian struktur yang lebih non-linear.

— Dawny33

3

Pohon keputusan tidak linier. Tidak seperti regresi linier, tidak ada persamaan untuk menyatakan hubungan antara variabel independen dan dependen.

Ex:

Regresi linier - Harga buah = b0 + b1 * Kesegaran + b2 * Ukuran

Decision tree - Nodes: Ripe - Ya atau tidak | Segar - Ya atau Tidak | Ukuran - <5,> 5 tetapi <10 dan> 10 |

Dalam kasus kedua tidak ada hubungan linier antara variabel independen dan dependen.

3

Seperti yang banyak ditunjukkan, pohon regresi / keputusan adalah model non-linear. Namun perlu dicatat bahwa ini adalah model linear satu demi satu: di setiap lingkungan (didefinisikan dengan cara non-linear), itu adalah linier. Bahkan, modelnya hanyalah konstanta lokal.

$\theta$

y_{i} = α_{1} 1 (x_{i} < θ) + α_{2} 1 (x_{i} \geq θ) + ϵ_{i}

$y_i = \alpha_1 1(x_i < \theta) + \alpha_2 1(x_i \geq \theta) + \epsilon_i$

$1(A)$

— Matifou
sumber

2

$VC$ $2^d$ $d$ $2^{2^d}$ $m$ $d$ $min(2^d, m)$ ID3C4.5

— Media
sumber