Apa langkah-langkah untuk mengubah jumlah kuadrat tertimbang ke bentuk matriks?

Saya baru mengonversi rumus ke bentuk matriks. Tetapi ini diperlukan untuk kode pembelajaran mesin yang efisien. Jadi saya ingin mengerti cara "benar", bukan hal koboi yang saya lakukan.

Baiklah kita mulai, saya mencoba untuk mengubah jumlah kuadrat tertimbang dari bentuk di bawah ini ke dalam bentuk matriks. Saya sering melihat bentuk matriks sebagai setara dengan yang di bawah ini, dan tidak ada penjelasan tentang bagaimana itu diturunkan.

J (w) = \sum_{saya = 1}^{m} {kamu}_{saya} (w^{T} x_{saya} - y_{saya})^{2}

$J(w)=\sum_{i=1}^m u_i (w^T x_i - y_i)^2$

di mana adalah bobot untuk setiap kesalahan sampel . Juga, , , , , . adalah nilai prediksi, hasil dari mengalikan vektor bobot dengan vektor fitur. $u_i$ $_i$ $x_i \in \mathbb{R^n}$ $w \in \mathbb{R^n}$ $y \in \mathbb{R}$ $u_i \in \mathbb{R}$ $i=1,...,m$ $w^T x_i$

Inilah yang saya pikirkan, dan saya menjadi kreatif. Jadi jangan ragu untuk melewatkan sampai akhir jika saya bersinggungan.

Biarkan menjadi vektor kolom fungsi yang mewakili kesalahan non-kuadrat. Kami dapat mewakili lebih dari sebagai $r$ $(w^T x_i - y_i)^2$ $i=1,...,m$

\begin{matrix} (1) & r^{2} = [\begin{matrix} r_{1} & r_{2} & \dots & r_{m} \end{matrix}] [\begin{matrix} r_{1} \\ r_{2} \\ ⋮ \\ r_{m} \end{matrix}] \end{matrix}

$r^2 = \begin{bmatrix}r_1 & r_2 & \cdots & r_m\end{bmatrix} \begin{bmatrix} r_1 \\ r_2 \\ \vdots \\ r_m \\ \end{bmatrix} \tag{1}\label{1}$

Hasil vektor dikalikan dengan vektor adalah matriks (skalar). $1 \times m$ $m \times 1$ $1 \times 1$

Biarkan menjadi vektor bobot yang menimbang setiap kesalahan sampel. Karena kita perlu menimbang kesalahan kuadrat, kita perlu memasukkan dalam Formula sebelum mendapatkan skalar. Karena kita ingin pertama tetap sebagai vektor , kita mendefinisikan sebagai matriks diagonal dengan istilah diagonal yang berasal dari . Kami sekarang memiliki: $u$ $u$ $\ref{1}$ $r$ $1 \times m$ $U$ $u$

\begin{matrix} (2) & J (w) = [\begin{matrix} r_{1} & r_{2} & \dots & r_{m} \end{matrix}] [\begin{matrix} {kamu}_{1} & 0 & \dots & 0 \\ 0 & {kamu}_{2} & \dots & 0 \\ ⋮ & ⋮ & ⋱ & ⋮ \\ 0 & 0 & \dots & {kamu}_{m} \end{matrix}] [\begin{matrix} r_{1} \\ r_{2} \\ ⋮ \\ r_{m} \end{matrix}] \end{matrix}

$J(w) = \begin{bmatrix}r_1 & r_2 & \cdots & r_m\end{bmatrix} \begin{bmatrix} u_1 & 0 & \cdots & 0\\ 0 & u_2 & \cdots & 0\\ \vdots & \vdots & \ddots & \vdots\\ 0 & 0 & \cdots & u_m\\ \end{bmatrix} \begin{bmatrix} r_1 \\ r_2 \\ \vdots \\ r_m \\ \end{bmatrix} \tag{2}\label{2}$

Kita dapat menyederhanakan ini menjadi

\begin{matrix} (3) & J (w) = r^{T} U r \end{matrix}

$J(w) = r^T U r \tag{3}\label{3}$

Sekarang kita memperluas . Kami memiliki dikalikan dengan , memberi kami mana X sekarang merupakan matriks dan adalah vektor kolom. Biarkan y menjadi vektor vektor kolom mewakili label . Sekarang . Kami mengganti ini menjadi Formula , memberi kami jumlah kuadrat tertimbang terakhir dalam bentuk matriks: $r$ $x_i \in \mathbb{R^n}$ $w \in \mathbb{R^n}$ $Xw$ $m \times n$ $w$ $n \times 1$ $m \times 1$ $y = 1,...,m$ $r = (Xw - y)$ $\ref{3}$

\begin{matrix} (4) & J (w) = (X w - y)^{T} U (X w - y) \end{matrix}

$J(w) = (Xw - y)^T U(Xw-y) \tag{4}\label{4}$

Pertama, apakah ini masuk akal? Kedua, dan yang paling penting, apakah ini sebenarnya yang seharusnya Anda lakukan?

Terima kasih

regression machine-learning linear-algebra

— vega
sumber

Ini: math.stackexchange.com/questions/198257/… mungkin membantu Anda!

— kjetil b halvorsen

+1: Lucu bahwa Anda pikir Anda sedang melakukan 'hal-hal koboi'. Ini persis cara untuk melakukannya, meskipun saya tidak akan pernah menuliskannya secara komprehensif (pekerjaan yang sangat baik!). Ini adalah bab dari buku kursus ekonometrika 1 saya selama studi ekonometrik saya. Halaman 120 menjelaskan cara menulis ulang fungsi (mudah) menjadi notasi matriks dan halaman 121 adalah contoh Anda tanpa bobot (notasi yang sedikit berbeda). Jika saya ingat dengan benar, bab lain juga menangani penduga WLS (yang pada dasarnya adalah ekspresi Anda).

— Marcel10

Terlihat bagus untukku.

— Matthew Gunn

Saya akan berani menjawab pertanyaan ini: Segala sesuatu yang Anda sajikan benar.

Apa yang pada dasarnya Anda peroleh adalah teorema Gauss-Markov: penaksir kuadrat terkecil tertimbang adalah penaksir tidak bias linier terbaik untuk data tertimbang. Estimator ini meminimalkan jumlah kuadrat-tertimbang (tampilan pertama Anda) dan diberikan oleh: . Berikut adalah matriks desain dengan kolom set pertama untuk yang vektor yang (ini adalah istilah intercept). $\hat{\beta}_{WLS} = \left( \mathbf{X}^T\mathbf{W}\mathbf{X} \right) \left( \mathbf{X}^T \mathbf{W} Y \right)$ $\mathbf{X}$ $\mathbf{1}$ $n \times 1$

Hasil ini berlaku untuk matriks kovarians yang sewenang-wenang. Namun, data independen tertimbang diwakili dengan vektor bobot sepanjang diagonal dari matriks berat. (notasi Anda memiliki sebagai koefisien regresi dan sebagai bobot, jadi untuk menghindari kebingungan, matriks desain adalah dan . $w$ $u$ $\mathbf{X} = [x], \mathbf{W} = \text{diag}(u),$ $\beta=[w]$

The bukti dari teorema Gauss Markov adalah dengan kontradiksi. Lihat di sini . Maksudnya adalah bahwa kita tidak secara analitik memperoleh estimator seperti itu langsung dari fungsi kerugian. Anda mungkin telah melihat pendekatan seperti itu yang digunakan untuk mendapatkan persamaan estimasi regresi linier dan logistik.

— AdamO
sumber