Apakah Regresi Linier Berganda dalam 3 dimensi bidang yang paling cocok atau garis paling cocok?

Prof kami tidak masuk ke matematika atau bahkan representasi geometris dari regresi linier berganda dan ini membuat saya sedikit bingung.

Di satu sisi itu masih disebut regresi linier berganda, bahkan dalam dimensi yang lebih tinggi. Di sisi lain, jika kita memiliki misalnya dan kita dapat memasukkan nilai apa pun yang kita inginkan untuk dan , tidakkah ini memberi kita serangkaian solusi yang memungkinkan dan bukan garis? $\hat{Y} = b_0 + b_1 X_1 + b_2 X_2$ $X_1$ $X_2$

Secara umum, bukankah permukaan prediksi kita akan menjadi hyperplane dimensional untuk variabel independen ? $k$ $k$

multiple-regression high-dimensional

— jeremy radcliff
sumber

Anda benar, permukaan solusi akan menjadi hyperplane secara umum. Hanya saja kata hyperplane adalah seteguk, bidang lebih pendek, dan garis lebih pendek. Ketika Anda melanjutkan dalam matematika, kasus satu dimensi menjadi semakin jarang dibahas

Big words for high dimensional, Small words for small dimensional

mulai terlihat, well, mundur.

Misalnya, ketika saya melihat persamaan seperti , di mana adalah matriks dan adalah vektor, saya menyebutnya persamaan linear . Pada bagian awal hidup saya, saya akan menyebutnya sistem persamaan linear , yang menggunakan persamaan linear untuk kasus satu dimensi. Tetapi kemudian saya sampai pada titik di mana kasing satu dimensi tidak terlalu sering muncul, sedangkan kasing multi dimensi ada di mana-mana. $Ax = b$ $A$ $x, b$

Ini juga terjadi dengan notasi. Pernah melihat seseorang menulis

\frac{\partial f}{\partial x} = 2 x

$\frac{\partial f}{\partial x} = 2x$

Simbol di sebelah kiri adalah nama fungsi, jadi untuk formal dan bertele-tele, Anda harus menulis

\frac{\partial f}{\partial x} (x) = 2 x

$\frac{\partial f}{\partial x}(x) = 2x$

Ini menjadi lebih buruk di multi-dimenstions, ketika deriviative mengambil dua argumen, satu adalah di mana Anda mengambil turunan, dan yang lainnya adalah ke arah mana Anda mengevaluasi turunan, yang terlihat seperti

\nabla_{x} f (v)

$\nabla_{x} f (v)$

tetapi orang menjadi malas dengan sangat cepat, dan mulai menjatuhkan satu atau beberapa argumen lainnya, membuat mereka dipahami berdasarkan konteks.

Matematikawan profesional, bahasa lidah tegas di pipi, menyebut penyalahgunaan notasi ini . Ada subjek di mana pada dasarnya tidak mungkin untuk mengekspresikan diri tanpa menyalahgunakan notasi, geometri diferensial tercinta saya menjadi contohnya. Nicolas Bourbaki yang agung mengekspresikan hal itu dengan sangat fasih

Sejauh mungkin kami telah menarik perhatian dalam teks untuk penyalahgunaan bahasa, yang tanpanya teks matematika menjalankan risiko pedantry, tidak untuk mengatakan tidak dapat dibaca.

- Bourbaki (1988)

Anda bahkan mengomentari penyalahgunaan notasi saya jatuh ke atas tanpa pernah menyadarinya sendiri!

Secara teknis karena Anda menulis df / dx sebagai turunan parsial, meskipun variabel tersirat lainnya akan dianggap konstan, bukankah turunan parsial secara teknis masih merupakan fungsi dari semua variabel dari fungsi asli, seperti dalam df / dx ( x, y, ...)?

Anda sepenuhnya benar, dan ini memberikan ilustrasi yang baik (tidak disengaja) tentang apa yang saya dapatkan di sini.

Saya menemukan turunan dalam arti satu-variabel yang sebenarnya, sangat jarang dalam pekerjaan dan studi sehari-hari saya, sehingga saya pada dasarnya lupa bahwa adalah notasi yang benar di sini. Saya bermaksud di atas untuk tentang fungsi satu variabel, tetapi secara tidak sadar memberi tanda sebaliknya dengan penggunaan saya . $\frac{d f}{d x}$ $\partial$

Kira saya menganggapnya seperti ketika kita mengatakan "jumlah tak terbatas" alih-alih "batas jumlah ketika jumlah istilah mendekati tak terbatas". Cara saya berpikir tentang hal itu adalah baik-baik saja selama perbedaan konseptualnya jelas. Dalam hal ini (regresi berganda), saya tidak begitu yakin apa yang kami bicarakan.

Yah, itu cara yang konsisten untuk memikirkannya. Satu-satunya perbedaan nyata adalah bahwa di sana kami memiliki situasi yang sama sehingga kami menemukan notasi (*) tambahan dan terminologi ( dan "jumlah tak terbatas") untuk mengekspresikannya. Dalam kasus lain kami menggeneralisasi sebuah konsep, dan kemudian konsep yang digeneralisasi itu menjadi sangat umum sehingga kami menggunakan kembali notasi atau terminologi lama untuk konsep yang digeneralisasi. $\Sigma$

Sebagai orang yang malas kami ingin berhemat kata-kata dalam kasus umum.

(*) Secara historis, ini bukan bagaimana jumlah tak terbatas dikembangkan. Batas definisi jumlah parsial dikembangkan menjadi posteriori ketika matematikawan mulai menghadapi situasi di mana perlu untuk alasan yang sangat tepat.

— Matthew Drury
sumber

Sangat lucu bahwa Anda memberikan contoh turunan parsial karena saya selalu bertanya-tanya tentang hal itu (kesenangan belajar mandiri ...). Ngomong-ngomong (tidak terkait dan bukan saya menjadi sombong tetapi hanya ingin memastikan saya mengerti sebanyak mungkin) secara teknis karena Anda menulis df / dx sebagai turunan parsial, meskipun variabel tersirat lainnya akan dianggap konstan, tidak akan turunan parsial secara teknis masih menjadi fungsi dari semua variabel dari fungsi asli, seperti dalam df / dx (x, y, ...)? Saya kira pertanyaan saya adalah bukankah turunan parsial masih merupakan fungsi dari semua variabel?

— jeremy radcliff

Juga, terima kasih telah menjelaskan semua itu. Saya kira saya menganggapnya seperti ketika kita mengatakan "jumlah tak terbatas" alih-alih "batas jumlah ketika jumlah istilah mendekati tak terbatas". Cara saya berpikir tentang hal itu adalah baik-baik saja selama perbedaan konseptualnya jelas. Dalam hal ini (regresi berganda), saya tidak begitu yakin apa yang kami bicarakan. Saya mencoba membayangkan garis dalam 3d dan kemudian menyadari itu tidak masuk akal jika kita membiarkan beberapa variabel independen bervariasi secara bebas, jadi saya hanya ingin memastikan.

— jeremy radcliff

+1 jawaban yang bagus. Terkadang orang malas dan akan menimbulkan banyak kebingungan. Itu sebabnya saya mencoba untuk meminta notasi dalam posting ini. stats.stackexchange.com/questions/216286/…

— Haitao Du

@ jeremyradcliff Saya mengedit dalam beberapa komentar.

— Matthew Drury

@MatthewDrury, terima kasih telah meluangkan waktu untuk menanggapi komentar saya. Ini sangat membantu saya karena saya belajar sendiri sebagian besar matematika yang saya tahu, dan kurangnya budaya di sekitarnya dan akses ke ahli matematika membuat tempat-tempat seperti stackexchange dan jawaban seperti milik Anda sangat berharga bagi saya.

— jeremy radcliff

"Linear" tidak cukup berarti apa yang Anda pikirkan dalam konteks ini - itu agak lebih umum

Pertama, ini sebenarnya bukan referensi untuk linearitas di x tetapi untuk parameter * ("linear dalam parameter").

Kedua fungsi linear dalam arti aljabar linier pada dasarnya adalah peta linier; adalah fungsi linear dalam -space. $E(Y|X) = X\beta$ $\beta$

Jadi pesawat (atau lebih umum hyperplane) yang paling cocok masih "regresi linier".

* meskipun akan linear dalam x yang disediakan jika Anda menganggap kolom konstan sebagai bagian dari koordinat-vectore (atau sebagai alternatif pikirkan dalam koordinat homogen dengan normalisasi koordinat tambahan). Atau Anda bisa mengatakan linier dalam dan $1$ $X\beta$ $X$ $\beta$

— Glen_b -Reinstate Monica
sumber