Memahami proyeksi linear dalam "Elemen Pembelajaran Statistik"

Dalam buku "Elemen-elemen Pembelajaran Statistik" pada bab 2 ("model linear dan kuadrat terkecil; halaman no: 12"), tertulis bahwa

Dalam (p + 1) ruang input-output dimensi, (X, Y) mewakili hyperplane. Jika konstanta termasuk dalam X, maka hyperplane menyertakan asal dan merupakan subruang; jika tidak, itu adalah set affine yang memotong sumbu Y pada titik (0, ). $\beta$

Saya tidak mendapatkan kalimat "jika konstanta adalah ... (0, )". Tolong bantu? Saya pikir hyperplane akan memotong sumbu Y di (0, ) dalam kedua kasus, apakah itu benar? $\beta$ $\beta$

Jawaban di bawah agak membantu, tetapi saya mencari jawaban yang lebih spesifik. Saya mengerti bahwa ketika dimasukkan dalam , itu tidak akan berisi asal, tapi kemudian bagaimana akan mengandung asal? Tidakkah seharusnya itu tergantung pada nilai ? Jika intersep bukan , tidak boleh berisi asal, dalam pemahaman saya? $1$ $X$ $(X,Y)$ $\beta$ $\beta_0$ $0$ $(X,Y)$

regression machine-learning

— Abhinav Gupta
sumber

Berapa banyak aljabar linier yang telah Anda lakukan? Apakah Anda tahu vektor apa? Bagaimana dengan ruang vektor, subruang, ...?

— Adrian

Saya memiliki pemahaman dasar tentang aljabar linear, vektor, dan ruang vektor.

— Abhinav Gupta

en.wikipedia.org/wiki/Hyperplane memiliki sedikit tentang hyperplanes affine dan vektor hyperplanes

— Adrian

Terima kasih! baca saja artikel ini. Tapi saya masih tidak mengerti bagaimana orang bisa mengatakan bahwa hyperplane menyertakan asal jika contant termasuk dalam X. Jika ini jelas maka saya mengerti mengapa hyperplane adalah subruang.

— Abhinav Gupta

halaman no: 12. Saya juga telah mengedit pertanyaan.

— Abhinav Gupta

Jawaban:

Memasukkan konstanta 1dalam vektor input adalah trik umum untuk memasukkan bias (pikirkan tentang penyadapan-Y) tetapi menjaga semua istilah ekspresi simetris: Anda dapat menulis alih-alih mana-mana. $\beta X$ $\beta_0 + \beta X$

Jika Anda melakukan ini, maka benar bahwa hyperplane menyertakan asal, karena asal adalah vektor dari nilai dan mengalikannya untuk memberikan nilai . $Y = \beta X$ $0$ $\beta$ $0$

Namun, vektor input Anda akan selalu memiliki elemen pertama sama dengan ; karena itu mereka tidak akan pernah berisi asal-usulnya, dan akan ditempatkan pada hyperplane yang lebih kecil, yang memiliki satu dimensi lebih sedikit. $1$

Anda dapat memvisualisasikan ini dengan memikirkan garis pada lembar kertas Anda (2 dimensi). Hyperplane yang sesuai jika Anda memasukkan bias vektor Anda menjadi dan koefisien Anda . Dalam 3 dimensi ini adalah bidang yang lewat dari titik asal, yang memotong bidang menghasilkan garis tempat input Anda dapat ditempatkan. $Y=mx+q$ $q$ $X = [x, x_0=1]$ $\beta = [m, q]$ $x_0=1$

— giorgiosironi
sumber

Saya masih tidak begitu mengerti. Buku itu mengatakan "Jika konstanta dimasukkan dalam X, maka hyperplane menyertakan asal dan merupakan subruang" tetapi seperti yang Anda nyatakan, "vektor input akan selalu memiliki elemen pertama = 1, jadi tidak akan pernah berisi asal. Jadi, bagaimana bisa termasuk konstanta 1 menyertakan asalnya seperti yang dikatakan buku itu?

— MinYoung Kim

Saya juga butuh waktu untuk melihatnya tetapi jawaban ini membantu. Anda harus melupakan batasannya

x_{0}

$x_0$ untuk melihat subruang / rencana yang mereka bicarakan yang mencakup asal. Ketika Anda menambahkan kendala

x_{0} = 1

$x_0 = 1$ Anda mendapatkan garis 2d yang sama persis yang baru saja diproyeksikan pada rencana

x_{0} = 1

$x_0 = 1$ .

— Grll

Untuk membantu Anda memahami ini, saya membuat visualisasi kasus yang sangat sederhana.

Katakanlah kita memiliki masalah satu dimensi (p = 1) sehingga satu fitur (variabel input) $X_1$ untuk memprediksi satu variabel keluaran $Y$ . Mari kita bayangkan bahwa kita sudah menemukan penyadapan $\beta_0 = 5$ dan koefisien $\beta_1 = 2$ untuk variabel input kami $X_1$ .

Model linier kami akan terlihat seperti: $\hat{Y} = \beta_0 + \beta_1 \times X_1$ .

Oleh karena itu representasi yang jelas akan menjadi hyperplane (garis) di (p + 1) -dimensi ruang dalam kasus ini (2d):

Representasi lain adalah menambahkan variabel lain $X_0$ yang akan mengarah pada persamaan berikut: $\hat{Y} = \beta_0 \times X_0 + \beta_1 \times X_1$ .

Dalam praktiknya kita tahu itu $X_0$ akan menjadi konstan dan sama dengan 1 tetapi mari kita asumsikan itu belum diperbaiki. Dalam hal ini, kita sekarang dapat memplot grafik 3d dengan hyperplane sebagai berikut:

Akhirnya karena kita hanya tahu $X_0 = 1$ mungkin saya disorot dengan garis putus-putus merah satu-satunya proyeksi bekerja dari hyperplane ini yang sesuai persis dengan plot yang kami miliki sebelumnya.

— Grll
sumber