Pertanyaan tentang bukti persamaan normal

Bagaimana Anda dapat membuktikan bahwa persamaan normal: memiliki satu atau lebih solusi tanpa asumsi bahwa X tidak dapat dibalik? $(X^TX)\beta = X^TY$

Satu-satunya tebakan saya adalah bahwa itu ada hubungannya dengan invers umum, tetapi saya benar-benar tersesat.

regression proof

— ryati
sumber

Anda mendapatkan poin dengan mengajukan pertanyaan yang memancing jawaban luar biasa.

— Nikana Reklawyks

Seseorang tergoda untuk menjadi fasih dan menunjukkan bahwa karena bentuk kuadrat

β \to (Y - X β)^{'} (Y - X β)

$\beta \to (Y - X\beta)'(Y - X\beta)$

adalah semi-pasti positif, terdapat yang minimum dan minimum ditemukan (dengan mengatur gradien terhadap ke nol) dengan persamaan normal $\beta$ $\beta$

X^{'} X (Y - X β) = 0,

$X'X(Y - X\beta) = 0,$

mana harus ada setidaknya satu solusi terlepas dari pangkat $X'X$ . Namun, argumen ini tampaknya tidak dalam semangat pertanyaan, yang tampaknya merupakan pernyataan aljabar murni. Mungkin menarik untuk memahami mengapa persamaan seperti itu harus memiliki solusi dan dalam kondisi apa tepatnya. Jadi mari kita mulai dan berpura-pura kita tidak tahu hubungannya dengan kuadrat terkecil.

Ini semua bermuara pada makna , transpos dari . Ini akan berubah menjadi masalah definisi sederhana, notasi yang sesuai, dan konsep bentuk sesquilinear negegenerasi. Ingatlah bahwa adalah "matriks desain" dari baris (satu untuk setiap pengamatan) dan kolom (satu untuk setiap variabel, termasuk konstanta jika ada). Oleh karena itu merupakan transformasi linear dari ruang vektor ke . $X'$ $X$ $X$ $n$ $p$ $\mathbb V = \mathbb{R}^p$ $\mathbb W = \mathbb{R}^n$

Transpos , dianggap sebagai transformasi linear , adalah transformasi linear dari ruang ganda . Dalam rangka untuk memahami komposisi seperti , maka, perlu untuk mengidentifikasi dengan . Itulah apa produk dalam standar (jumlah kuadrat) pada tidak. $X$ $X': \mathbb{W}^* \to \mathbb{V}^*$ $X'X$ $\mathbb{W}^*$ $\mathbb{W}$ $\mathbb{W}$

Sebenarnya ada dua produk dalam dan didefinisikan pada dan masing-masing. Ini adalah fungsi simetris bilinear bernilai nyata yang tidak merosot . Yang terakhir berarti itu $g_V$ $g_W$ $\mathbb V$ $\mathbb W$

g_{W} (u, v) = 0 \forall u \in W ⟹ v = 0,

$g_W(u, v) = 0\ \forall u\in \mathbb W \implies v = 0,$

dengan pernyataan analog untuk . Secara geometris, produk dalam ini memungkinkan kita untuk mengukur panjang dan sudut. Kondisi dapat dianggap sebagai "tegak lurus" terhadap . Nondegenerasi berarti bahwa hanya vektor nol yang tegak lurus terhadap seluruh ruang vektor. (Berarti umum ini bahwa hasil yang diperoleh di sini akan berlaku untuk kuadrat umum pengaturan, yang belum tentu biasa produk dalam yang diberikan sebagai jumlah dari produk komponen, tetapi beberapa bentuk nondegenerate sewenang-wenang. Kita bisa membuang $g_V$ $g(u,v)=0$ $u$ $v$ $g_W$ sama sekali, mendefinisikan , tetapi saya berharap banyak pembaca menjadi tidak terbiasa atau tidak nyaman dengan spasi ganda dan karenanya memilih untuk menghindari formulasi ini.) $g_V$ $X':\mathbb W\to\mathbb V^*$

Dengan produk dalam ini di tangan, transpos setiap transformasi linear didefinisikan oleh via $X: \mathbb V \to \mathbb W$ $X': \mathbb W \to \mathbb V$

g_{V} (X^{'} (w), v) = g_{W} (w, X (v))

$g_V(X'(w), v) = g_W(w, X(v))$

untuk semua dan . Bahwa sebenarnya ada vektor dengan properti ini dapat dibuat dengan menuliskan sesuatu dengan basis untuk dan ; bahwa vektor ini unik mengikuti dari non-degenerasi produk dalam. Karena jika dan adalah dua vektor yang $w\in \mathbb W$ $v\in \mathbb V$ $X'(w) \in \mathbb V$ $\mathbb V$ $\mathbb W$ $v_1$ $v_2$ untuk semua , kemudian (dari linieritas dalam komponen pertama) untuk semua menyiratkan . $g_V(v_1,v)=g_V(v_2,v)$ $v\in\mathbb V$ $g_V(v_1-v_2,v)=0$ $v$ $v_1-v_2=0$

$\mathbb U \subset \mathbb W,$ $\mathbb{U}^\perp$ $\mathbb U$ $X(\mathbb V)$ $X$ $\{X(v) | v \in \mathbb V\} \subset \mathbb W$ $X$ $X'$

X^{'} (w) = 0 ⟺ w \in X (V)^{⊥} .

$X'(w) = 0 \iff w \in X(\mathbb V)^\perp.$

$w$ $X'$ $w$ $X$

$X'(w) = 0$ $g_W(w, X(v)) = g_V(X'(w),v) = g_V(0,v)=0$ $v\in\mathbb V$ $w$ $X(V)$
$w$ $X(\mathbb V)$ $g_W(w, X(v)) = 0$ $v\in\mathbb V$ $g_V(X'(w), v) = 0$ $g_V$ $X'(w)=0$

$\mathbb W$ $\mathbb W = X(\mathbb V) \oplus X(\mathbb V)^\perp$ $y \in \mathbb W$ $y = y_0 + y^\perp$ $y_0\in X(\mathbb V)$ $y^\perp \in X(\mathbb V)^\perp$ $y_0$ $X(\beta)$ $\beta\in\mathbb V$

y - X β = (y_{0} + y^{⊥}) - y_{0} = y^{⊥} \in X (V)^{⊥}

$y - X\beta = (y_0 + y^\perp) - y_0 = y^\perp \in X(\mathbb V)^\perp$

$X'$

X^{'} (y - X β) = 0,

$X'(y - X\beta) = 0,$

$\beta$ $X'X\beta = X'y.$

$n$ $y\in\mathbb W$ $y_0$ $X$ $y^\perp$ $y_0$ $y_0$ $p$ $\beta\in\mathbb V$ $X(\mathbb V)$ $X$ $X$ $\mathbb V$ $\mathbb W$

$\mathbb V$ $\mathbb U = X(\mathbb V)\subset\mathbb W$ $X$ $\mathbb U$

Salah satu hasil menarik dari demonstrasi aljabar abstrak ini adalah bahwa kita dapat menyelesaikan persamaan normal dalam ruang vektor sewenang-wenang. Hasilnya berlaku, misalnya, untuk ruang kompleks, untuk ruang di atas bidang terbatas (di mana meminimalkan jumlah kuadrat tidak masuk akal), dan bahkan lebih dari ruang dimensi tak terbatas yang mendukung bentuk berurutan yang sesuai.

— whuber
sumber

Saya tidak pernah memiliki perwakilan untuk menerima jawaban ini sampai nanti. Saya baru saja tersandung pada ini dan ingin mengucapkan terima kasih lagi!

— ryati

β \mapsto (Y - X β)^{'} (Y - X β)

$\beta \mapsto (Y - X\beta)'(Y - X\beta)$

β \to (Y - X β)^{'} (Y - X β),

$\beta \to (Y - X\beta)'(Y - X\beta),$

f : A \to B .

$f:A\to B. \qquad$

— Michael Hardy

@Michael Pasti ada kesalahan ketik pada komentar Anda. Maukah Anda mengklarifikasi maksud Anda?

— whuber

“ \mapsto''

$\text{“}\mapsto\text{''}$

“ \to''

$\text{“}\to\text{''}$

$\qquad$

— Michael Hardy

@Michael Maafkan aku karena tidak melihat perbedaan itu, meskipun banyak bacaan. Apapun, bagi saya panah pertama mengacu pada fungsi injeksi sedangkan yang kedua mengacu pada fungsi apa pun, tapi saya curiga bukan itu yang Anda maksudkan. Maukah Anda menjelaskan notasi Anda?

— whuber

$n$ $X^T X$ $x$ $x_i=x$ $y$ $\overline{y}$

— Lucozade
sumber

X = [1 x_{1}; 1 x_{2}; \dots; 1 x_{n}]

$X=[1 ~x_1; 1 ~x_2; \ldots; 1 ~x_n]$

X = [1 x_{11} \dots x_{m 1}; \dots; 1 x_{1 n} \dots x_{m n}]

$X=[1 ~x_{11} \ldots x_{m1}; \ldots; 1 ~x_{1n} \ldots x_{mn}]$

X^{'} X

$X'X$

Dalam regresi tipikal, X adalah kurus dan oleh karena itu jelas tidak dapat dibalik (walaupun mungkin dibiarkan tidak dapat dibalik.) Sangat mudah untuk membuktikan (tanyakan apakah Anda perlu bantuan) bahwa jika X kurus dan dibiarkan tidak dapat dibalik maka X ^ T * X tidak dapat dibalik. Dalam hal ini, maka akan ada tepat satu solusi. Dan jika X tidak memiliki peringkat kolom penuh, maka X ^ T * X tidak akan menjadi peringkat penuh, dan karena itu Anda akan memiliki sistem yang tidak ditentukan.

— pengguna542833
sumber

X^{'} X

$X'X$

X

$X$

0 β = 0

$0\beta=0$

β

$\beta$

whuber: tentu saja mereka menjawab pertanyaan: satu soln jika X adalah peringkat kolom penuh (seperti yang saya sebutkan), dan solusi tanpa batas jika itu adalah sistem yang tidak ditentukan

— user542833

Fakta bahwa sistem ini "tidak ditentukan" tidak berarti ia memiliki solusi sama sekali. Pertanyaannya adalah tentang adanya solusi.

— whuber