Regresi polinomial menggunakan scikit-learning

Saya mencoba menggunakan scikit-learning untuk regresi polinomial. Dari apa yang saya baca regresi polinomial adalah kasus khusus dari regresi linier. Saya berharap bahwa mungkin salah satu model linear umum scikit dapat diparameterisasi agar sesuai dengan polinomial berurutan lebih tinggi tetapi saya tidak melihat opsi untuk melakukan itu.

Saya berhasil menggunakan Support Vector Regressor dengan kernel poli. Itu bekerja dengan baik dengan subset dari data saya, tetapi butuh banyak waktu untuk menyesuaikan set data yang lebih besar jadi saya masih perlu menemukan sesuatu yang lebih cepat (bahkan jika memperdagangkan beberapa presisi).

Apakah saya melewatkan sesuatu yang jelas di sini?

— Damian Mihai
sumber

Jawaban:

Diberikan data , vektor kolom, dan , vektor target, Anda dapat melakukan regresi polinomial dengan menambahkan polinomial . Sebagai contoh, pertimbangkan jika $\mathbf{x}$ $\mathbf{y}$ $\mathbf{x}$

x = [\begin{matrix} 2 \\ - 1 \\ \frac{1}{3} \end{matrix}]

$\mathbf{x} = \begin{bmatrix} 2 \\[0.3em] -1 \\[0.3em] \frac{1}{3} \end{bmatrix}$

Hanya menggunakan vektor ini dalam regresi linier menyiratkan model:

y = α_{1} x

$y = \alpha_1 x$

Kita dapat menambahkan kolom yang merupakan kekuatan dari vektor di atas, yang mewakili penambahan polinomial ke regresi. Di bawah ini kami tunjukkan ini untuk polinomial hingga daya 3:

X = [\begin{matrix} 2 & 4 & 8 \\ - 1 & 1 & - 1 \\ \frac{1}{3} & \frac{1}{3^{2}} & \frac{1}{3^{3}} \end{matrix}]

$X = \begin{bmatrix} 2 & 4 & 8 \\[0.3em] -1 & 1 & -1 \\[0.3em] \frac{1}{3} & \frac{1}{3^2} & \frac{1}{3^3} \end{bmatrix}$

Ini adalah matriks data baru kami yang kami gunakan dalam regresi linier sklearn, dan ini mewakili model:

y = α_{1} x + α_{2} x^{2} + α_{3} x^{3}

$y = \alpha_1 x + \alpha_2x^2 + \alpha_3x^3$

Perhatikan bahwa saya tidak menambahkan vektor konstan , karena sklearn akan secara otomatis memasukkan ini. $1$

— Cam.Davidson.Pilon
sumber

Teori

Regresi polinomial adalah kasus khusus dari regresi linier. Dengan ide utama bagaimana Anda memilih fitur Anda. Melihat regresi multivariat dengan 2 variabel: x1dan x2. Regresi linier akan terlihat seperti ini:y = a1 * x1 + a2 * x2.

Sekarang Anda ingin memiliki regresi polinomial (mari kita membuat polinomial 2 derajat). Kami akan membuat beberapa fitur tambahan: x1*x2, x1^2dan x2^2. Jadi kami akan mendapatkan 'regresi linier' Anda:

y = a1 * x1 + a2 * x2 + a3 * x1*x2 + a4 * x1^2 + a5 * x2^2

Ini dengan baik menunjukkan kutukan konsep dimensi yang penting , karena jumlah fitur baru tumbuh jauh lebih cepat daripada linear dengan pertumbuhan derajat polinomial. Anda dapat melihat konsep ini di sini .

Berlatih dengan scikit-belajar

Anda tidak perlu melakukan semua ini di scikit. Regresi polinom sudah tersedia di sana (dalam versi 0.15 . Periksa cara memperbaruinya di sini ).

from sklearn.preprocessing import PolynomialFeatures
from sklearn import linear_model

X = [[0.44, 0.68], [0.99, 0.23]]
vector = [109.85, 155.72]
predict= [[0.49, 0.18]]
#Edit: added second square bracket above to fix the ValueError problem

poly = PolynomialFeatures(degree=2)
X_ = poly.fit_transform(X)
predict_ = poly.fit_transform(predict)

clf = linear_model.LinearRegression()
clf.fit(X_, vector)
print clf.predict(predict_)

— Salvador Dali
sumber

Bagaimana jika saya tidak ingin memiliki istilah interaksi sebagai x1 * x2, apakah saya harus membuat X_ secara manual? ada parameter "interaksi_hanya" di konstruktor PolynomialFeatures (), dan secara default False. Tetapi menyetelnya ke True membuat kebalikan dari yang saya inginkan: HANYA membuat istilah interaksi tetap, dan tidak menyimpan x1 ^ 2, x2 ^ 2, dll.

— DenisFLASH

Tautan ke youtube mengklaim bahwa video tidak ada lagi. Apakah Anda memiliki tautan lain ke sana?

— Markon

@Markon semua video dari daftar ini cukup baik: youtube.com/result?search_query=curse+of+dimensionality

— Salvador Dali

@SalvadorDali untuk itulah pengurangan dimensionalitas dilakukan

— user3916597

Saya ingin tahu apakah kita harus memusatkan data sebelum atau setelah mendaftar PolynomialFeatures?

— renakre

Jika Anda menggunakan regresi multivariat dan bukan hanya regresi univariat, jangan lupakan persyaratan silang. Misalnya jika Anda memiliki dua variabel $x_1$ dan $x_2$ , dan Anda ingin polinomial hingga daya 2, Anda harus menggunakan $y = a_1x_1 + a_2x_2 + a_3x_1^2 + a_4x_2^2 + a_5x_1x_2$ dimana istilah terakhir ( $a_5x_1x_2$ ) adalah yang saya bicarakan.

— Vermeer Grange
sumber