Mengapa kita menyebut persamaan estimasi kuadrat terkecil dalam regresi linier sebagai * persamaan normal *?

Ketika kita ingin memperkirakan parameter regresi linier, kita membuat persamaan normal sebanyak model linier mengandung jumlah yang tidak diketahui. Mengapa persamaan ini disebut persamaan normal?

Saya akan memberikan apa yang mungkin merupakan pemahaman paling umum, kemudian beberapa detail tambahan.

Normal adalah istilah dalam geometri (Wikipedia):

Dalam geometri, normal adalah objek seperti garis atau vektor yang tegak lurus terhadap objek tertentu.

yang pada gilirannya tampaknya berasal dari istilah untuk kotak tukang kayu atau tukang batu [1]

NORM dan NORMAL. Menurut OED, dalam norma Latin bisa berarti kotak yang digunakan oleh tukang kayu, tukang batu, dll., Untuk mendapatkan sudut kanan, sudut kanan atau standar atau pola praktik atau perilaku. Makna ini tercermin dalam istilah matematika berdasarkan norma dan normal.

dan dari geometri istilah tersebut bergerak ke ruang vektor.

Jawaban langsung untuk "persamaan normal" diberikan di sini: http://mathworld.wolfram.com/NormalEquation.html

Ini disebut persamaan normal karena $b-Ax$ normal ke kisaran $A$.

(Dalam notasi regresi biasa itu '$y-Xb$ normal ke kisaran $X$')

Secara harfiah, residu kuadrat terkecil adalah tegak lurus (pada sudut kanan) ke ruang yang terbentang oleh $X$.

Itu $y$-Vektor terletak di $n$ukuran. Rentang X-matrix$p$ dari mereka (atau $p+1$tergantung pada bagaimana notasi Anda diatur; jika$X$adalah peringkat penuh, ini adalah jumlah kolom X). Solusi kuadrat terkecil$X\hat{\beta}$ adalah titik terdekat dalam ruang yang direntang oleh $X$ untuk itu $y$-Vektor (memang, secara harfiah proyeksi $y$ ke ruang yang terbentang oleh $X$). Ini harus menjadi kasus bahwa dengan meminimalkan jumlah kuadrat, perbedaannya$y-X\hat{\beta}$ adalah ortogonal ke ruang yang direntang oleh $X$. (Jika tidak, akan ada solusi yang lebih kecil.)

Namun, seperti yang dikemukakan Whuber dalam komentar, tidak begitu jelas.

Melihat [1] lagi:

Istilah PERSAMAAN NORMAL dalam kuadrat terkecil diperkenalkan oleh Gauss pada tahun 1822 [James A. Landau]. Kruskal & Stigler's "Normative Terminology" (dalam Stigler (1999)) mempertimbangkan berbagai hipotesis tentang dari mana istilah itu berasal tetapi tidak menemukan yang sangat memuaskan.

Namun, metode persamaan normal sering dikreditkan ke Legendre, 1805.

[1] Miller, J. (ed) "Penggunaan awal dari beberapa kata matematika, N" dalam penggunaan awal dari beberapa kata matematika.