Bagaimana NumPy memecahkan kuadrat terkecil untuk sistem yang tidak ditentukan?

Katakanlah kita memiliki X bentuk (2, 5)
dan y bentuk (2,)

Ini bekerja: np.linalg.lstsq(X, y)

Kami berharap ini berfungsi hanya jika X adalah bentuk (N, 5) di mana N> = 5 Tapi mengapa dan bagaimana?

Kami mendapatkan kembali 5 bobot seperti yang diharapkan, tetapi bagaimana masalah ini diselesaikan?

Bukankah kita memiliki 2 persamaan dan 5 yang tidak diketahui?
Bagaimana numpy bisa menyelesaikan ini?
Itu harus melakukan sesuatu seperti interpolasi untuk membuat lebih banyak persamaan buatan? ..

Pemahaman saya adalah bahwa numpy.linalg.lstsq bergantung pada dgelsd rutin LAPACK .

Masalahnya adalah untuk menyelesaikan:

$$\text{minimize} (\text{over} \; \mathbf{x}) \quad \| A\mathbf{x} - \mathbf{b} \|_2$$

Tentu saja, ini tidak memiliki solusi unik untuk matriks A yang peringkatnya kurang dari panjang vektor . Dalam kasus sistem yang tidak ditentukan, solusi sedemikian rupa sehingga:$\mathbf{b}$dgelsd$\mathbf{z}$

• $A\mathbf{z} = \mathbf{b}$
• $\| \mathbf{z} \|_2 \leq \|\mathbf{x} \|_2$ untuk semua yang memenuhi . (yaitu adalah solusi norma minimum untuk sistem yang tidak ditentukan.$\mathbf{x}$$A\mathbf{x} = \mathbf{b}$$\mathbf{z}$

Contoh, jika sistem , numpy.linalg.lstsq akan mengembalikan .$x + y = 1$$x = .5, y = .5$

Bagaimana cara kerja dgelsd?

Rutin dgelsdmenghitung dekomposisi nilai singular (SVD) dari A.

Saya hanya akan membuat sketsa ide di balik menggunakan SVD untuk menyelesaikan sistem linear. Dekomposisi nilai singular adalah faktorisasi mana dan adalah matriks ortogonal dan adalah matriks diagonal di mana entri diagonal dikenal sebagai nilai singular.$U \Sigma V' = A$$U$$V$$\Sigma$

Peringkat efektif matriks adalah jumlah nilai singular yang secara efektif bukan nol (yaitu cukup berbeda dari nol relatif terhadap presisi mesin dll ...). Biarkan menjadi matriks diagonal dari nilai singular non-nol. SVD demikian:$A$$S$

$$A = U \begin{bmatrix} S & 0 \\ 0 & 0 \end{bmatrix} V'$$

The pseudo-inverse dari diberikan oleh:$A$

$$A^\dagger = V \begin{bmatrix} S^{-1} & 0 \\ 0 & 0 \end{bmatrix} U'$$

Pertimbangkan solusinya . Kemudian:$\mathbf{x} = A^\dagger \mathbf{b}$

$$\begin{align*} A\mathbf{x} - \mathbf{b} &= U \begin{bmatrix} S & 0 \\ 0 & 0 \end{bmatrix} V' V \begin{bmatrix} S^{-1} & 0 \\ 0 & 0 \end{bmatrix} U' \mathbf{b} - \mathbf{b} \\ &= U \begin{bmatrix} I & 0 \\ 0 & 0 \end{bmatrix} U' \mathbf{b} - \mathbf{b}\\ \end{align*}$$

Pada dasarnya ada dua kasus di sini:

1. Jumlah nilai singular non-nol (yaitu ukuran matriks ) kurang dari panjang . Solusi di sini tidak akan tepat; kami akan memecahkan sistem linear dalam arti kuadrat terkecil.$I$$\mathbf{b}$
2. $A\mathbf{x} - \mathbf{b} = \mathbf{0}$

Bagian terakhir ini agak sulit ... perlu melacak dimensi matriks dan menggunakan bahwa adalah matriks ortogonal.$U$

Kesetaraan dari invers semu

Ketika memiliki baris bebas linear, (mis. Kami memiliki matriks gemuk), maka: $A$

$$A^\dagger = A'\left(AA' \right)^{-1}$$

Untuk sistem yang tidak ditentukan, Anda dapat menunjukkan bahwa invers semu memberi Anda solusi norma minimum.

Ketika memiliki kolom yang bebas linear, (mis. Kami memiliki matriks kurus), maka: $A$

$$A^\dagger = \left(A'A \right)^{-1}A'$$