Dapatkah data yang tidak dapat dipisahkan secara linear dipelajari menggunakan fitur polinomial dengan regresi logistik?

Saya tahu bahwa Polynomial Logistic Regressiondengan mudah dapat mempelajari data khas seperti gambar berikut: Saya bertanya-tanya apakah dua data berikut ini juga dapat dipelajari menggunakan atau tidak.

Polynomial Logistic Regression

Saya kira saya harus menambahkan lebih banyak penjelasan. Asumsikan bentuk pertama. Jika kita menambahkan fitur polinomial tambahan untuk input 2-D ini (seperti x1 ^ 2 ...) kita dapat membuat batas keputusan yang dapat memisahkan data. Misalkan saya memilih X1 ^ 2 + X2 ^ 2 = b. Ini dapat memisahkan data. Jika saya menambahkan fitur tambahan saya akan mendapatkan bentuk bergelombang (mungkin lingkaran bergelombang atau elipsis bergelombang) tetapi masih tidak dapat memisahkan data grafik kedua, bukan?

Ya, secara teori , perluasan polinomial ke regresi logistik dapat mendekati batas klasifikasi sewenang-wenang. Itu karena polinomial dapat mendekati fungsi apa pun (setidaknya jenis yang berguna untuk masalah klasifikasi), dan ini dibuktikan oleh teorema Stone-Weierstrass .

Apakah perkiraan ini praktis untuk semua bentuk batas adalah masalah lain. Anda mungkin lebih baik mencari fungsi dasar lainnya (misalnya deret Fourier, atau jarak radial dari titik contoh), atau pendekatan lain seluruhnya (misalnya SVM) ketika Anda mencurigai bentuk batas kompleks di ruang fitur. Masalah dengan menggunakan polinomial orde tinggi adalah bahwa jumlah fitur polinomial yang perlu Anda gunakan tumbuh secara eksponensial dengan tingkat polinomial dan jumlah fitur asli.

Anda bisa membuat polinomial untuk mengklasifikasikan XOR. $5 - 10 xy$ mungkin awal jika Anda gunakan $-1$ dan $1$ sebagai input biner, ini memetakan input $(x,y)$ untuk output sebagai berikut:

Melewati itu ke dalam fungsi logistik akan memberi Anda nilai cukup dekat ke 0 dan 1.

Mirip dengan dua area lingkaran Anda adalah kurva angka delapan sederhana:

dimana $a, b$ dan $c$adalah konstanta. Anda bisa mendapatkan dua area tertutup terpisah yang didefinisikan dalam classifier Anda - di sisi berlawanan dari$y$ sumbu, dengan memilih $a, b$ dan $c$secara tepat. Misalnya coba$a=1,b=0.05,c=-1$ untuk mendapatkan fungsi yang jelas memisahkan menjadi dua puncak $x=-3$ dan $x=3$:

Plot yang ditampilkan adalah dari alat online di academo.org , dan untuk$x^2 - y^2 - 0.05x^4 -1>0$ - kelas positif ditampilkan sebagai nilai 1 dalam plot di atas, dan biasanya di mana $\frac{1}{1+e^{-z}} > 0.5$ dalam regresi logistik atau adil $z>0$

Pengoptimal akan menemukan nilai terbaik, Anda hanya perlu menggunakannya $1, x^2, y^2, x^4$ sebagai istilah ekspansi Anda (meskipun perhatikan istilah spesifik ini terbatas untuk mencocokkan bentuk dasar yang sama yang tercermin di sekitar $y$ axis - dalam praktiknya Anda ingin memiliki beberapa istilah hingga polinomial tingkat keempat untuk menemukan lebih banyak grup yang terpisah secara acak dalam sebuah classifier).

Faktanya, setiap masalah yang dapat Anda selesaikan dengan jaringan saraf yang dalam - dari kedalaman apa pun - Anda dapat menyelesaikannya dengan struktur datar menggunakan regresi linier (untuk masalah regresi) atau regresi logistik (untuk masalah klasifikasi). Ini "hanya" masalah menemukan ekspansi fitur yang tepat. Perbedaannya adalah bahwa jaringan saraf akan berusaha untuk menemukan ekspansi fitur yang bekerja secara langsung, sementara rekayasa fitur menggunakan polinomial atau skema lain adalah kerja keras dan tidak selalu jelas bagaimana memulai: Pikirkan misalnya bagaimana Anda dapat membuat perkiraan polinomial untuk apa yang neural konvolusional jaringan lakukan untuk gambar? Sepertinya tidak mungkin. Mungkin juga sangat tidak praktis. Tapi itu memang ada.