“Kuadrat Terkecil” dan “Regresi Linier”, apakah semuanya bersinonim?

Apa perbedaan antara kuadrat terkecil dan regresi linier? Apakah ini sama?

regression least-squares terminology

— bbadyalina
sumber

Saya akan mengatakan bahwa kuadrat terkecil adalah salah satu metode estimasi dalam kategori yang lebih luas dari regresi linier . Meskipun beberapa penulis mungkin menggunakan "kuadrat terkecil" dan "regresi linier" seolah-olah mereka dapat dipertukarkan.

— Matthew Gunn

Jika Anda melakukan kuadrat terkecil biasa , saya akan menggunakan istilah itu. Itu kurang ambigu.

— Matthew Gunn

Lihat juga apa itu model regresi .

— Richard Hardy

Jawaban:

Regresi linier mengasumsikan hubungan linier antara variabel independen dan dependen. Itu tidak memberi tahu Anda bagaimana model dipasang. Pas persegi setidaknya adalah salah satu kemungkinan. Metode lain untuk pelatihan model linear ada di komentar.

Kuadrat terkecil non-linear adalah umum ( https://en.wikipedia.org/wiki/Non-linear_least_squares ). Misalnya, algoritma Levenberg – Marquardt yang populer memecahkan sesuatu seperti:

\hat{β} = \underset{β}{argmin} S (β) \equiv \underset{β}{argmin} \sum_{i = 1}^{m} {[y_{i} - f (x_{i}, β)]}^{2}

$\hat\beta=\mathop{\textrm{argmin}}_\beta S(\beta)\equiv \mathop{\textrm{argmin}}_\beta\sum_{i=1}^{m}\left[ y_i-f(x_i,\beta) \right]^2$

Ini adalah optimasi kuadrat terkecil tetapi modelnya tidak linier.

Mereka bukan hal yang sama .

— Halo Dunia
sumber

Selain jawaban yang benar dari @Student T, saya ingin menekankan bahwa kuadrat terkecil adalah fungsi kerugian potensial untuk masalah optimisasi, sedangkan regresi linier adalah masalah optimisasi.

Diberikan dataset tertentu, regresi linier digunakan untuk menemukan fungsi linear terbaik, yang menjelaskan hubungan antara variabel.

Dalam hal ini yang "terbaik" mungkin ditentukan oleh fungsi kerugian, membandingkan nilai prediksi fungsi linear dengan nilai aktual dalam dataset. Kuadrat Terkecil adalah fungsi kemungkinan kerugian.

Artikel wikipedia tentang kuadrat-terkecil juga menunjukkan gambar di sisi kanan yang memperlihatkan penggunaan kuadrat terkecil untuk masalah lain selain regresi linier seperti:

pas kerucut
pas fungsi kuadratik

Gif berikut dari artikel wikipedia menunjukkan beberapa fungsi polinomial yang berbeda dipasang ke dataset menggunakan kuadrat terkecil. Hanya satu di antaranya yang linier (polinom 1). Ini diambil dari artikel wikipedia Jerman ke topik.

— Nikolas Rieble
sumber

Kita dapat berargumen bahwa contoh non-linear dalam animasi sebenarnya masih linear dalam parameter.

— Firebug

Benar, namun hubungan model antara target dan variabel input tidak linier. Apakah Anda masih menyebut "regresi linier" yang sesuai? Saya tidak akan.

— Nikolas Rieble

Kita harus membedakan antara "linear kuadrat terkecil" dan "regresi linier", karena kata sifat "linear" dalam keduanya merujuk pada hal-hal yang berbeda. Yang pertama mengacu pada kecocokan yang linier dalam parameter, dan yang terakhir mengacu pada pemasangan ke model yang merupakan fungsi linier dari variabel independen.

— JM bukan ahli statistik

@ JP Banyak sumber berpendapat bahwa "linear" dalam "linear" regresi berarti "linear dalam parameter" bukan "linear in the IVs". Artikel WIkipedia tentang regresi linier adalah contohnya. Ini lagi dan lagi . Banyak teks statistik melakukan hal yang sama; Saya berpendapat itu adalah konvensi.

— Glen_b -Reinstate Monica

y = m x + b

$y=mx+b$