11

Saya tidak memiliki definisi formal tentang kesetaraan skala, tetapi inilah yang dikatakan Pengantar Pembelajaran Statistik tentang hal ini pada hal. 217:

Koefisien kuadrat terkecil standar ... adalah skala ekuivalen : mengalikan dengan konstanta hanya mengarah ke penskalaan estimasi koefisien kuadrat terkecil dengan faktor . $X_j$ $c$ $1/c$

Untuk mempermudah, mari kita asumsikan model linear umum $\mathbf{y} = \mathbf{X}\boldsymbol\beta + \boldsymbol\epsilon$ , di mana $\mathbf{y} \in \mathbb{R}^N$ , $\mathbf{X}$ adalah matriks $N \times (p+1)$ (di mana $p+1 < N$ ) dengan semua entri dalam $\mathbb{R}$ , $\boldsymbol\beta \in \mathbb{R}^{p+1}$ , dan $\boldsymbol\epsilon$ adalah vektor dimensi- $N$ dari variabel acak bernilai riil dengan $\mathbb{E}[\boldsymbol\epsilon] = \mathbf{0}_{N \times 1}$ .

Dari estimasi OLS, kita tahu bahwa jika $\mathbf{X}$ memiliki peringkat (kolom) penuh,

{\hat{β}}_{X} = (X^{T} X)^{- 1} X^{T} y .

$\hat{\boldsymbol\beta}_{\mathbf{X}} = (\mathbf{X}^{T}\mathbf{X})^{-1}\mathbf{X}^{T}\mathbf{y}\text{.}$ Misalkan kita mengalikan kolom

X

$\mathbf{X}$ , katakan

x_{k}

$\mathbf{x}_k$ untuk beberapa

k \in {1, 2, \dots, p + 1}

$k \in \{1, 2, \dots, p+1\}$ , dengan konstanta

c \neq 0

$c \neq 0$ . Ini akan setara dengan matriks

X \underset{S}{\underset{⏟}{[\begin{matrix} 1 \\ 1 \\ ⋱ \\ 1 \\ c \\ 1 \\ ⋱ \\ 1 \end{matrix}]}} = [\begin{matrix} x_{1} & x_{2} & \dots & c x_{k} & \dots & x_{p + 1} \end{matrix}] \equiv \tilde{X}

$\begin{equation} \mathbf{X}\underbrace{\begin{bmatrix} 1 & \\ & 1 \\ & & \ddots \\ & & & 1 \\ & & & & c\\ & & & & & 1 \\ & & & & & &\ddots \\ & & & & & & & 1 \end{bmatrix}}_{\mathbf{S}} = \begin{bmatrix} \mathbf{x}_1 & \mathbf{x}_2 & \cdots & c\mathbf{x}_{k} & \cdots & \mathbf{x}_{p+1}\end{bmatrix} \equiv \tilde{\mathbf{X}} \end{equation}$ mana semua entri lain dari matriks

S

$\mathbf{S}$ atas adalah

0

$0$ , dan

c

$c$ berada di entri

k

$k$ dari diagonal

S

$\mathbf{S}$ . Kemudian,

\tilde{X}

$\tilde{\mathbf X}$

\tilde{X}

$\tilde{\mathbf X}$ karena matriks desain baru adalah

{\hat{β}}_{\tilde{X}} = {({\tilde{X}}^{T} \tilde{X})}^{- 1} {\tilde{X}}^{T} y .

$\hat{\boldsymbol\beta}_{\tilde{\mathbf{X}}} = \left(\tilde{\mathbf{X}}^{T}\tilde{\mathbf{X}}\right)^{-1}\tilde{\mathbf{X}}^{T}\mathbf{y}\text{.}$ Setelah beberapa pekerjaan, orang dapat menunjukkan bahwa

{\tilde{X}}^{T} \tilde{X} = [\begin{matrix} x_{1}^{T} x_{1} & x_{1}^{T} x_{2} & \dots & c x_{1}^{T} x_{k} & \dots & x_{1}^{T} x_{p + 1} \\ x_{2}^{T} x_{1} & x_{2}^{T} x_{2} & \dots & c x_{2}^{T} x_{k} & \dots & x_{2}^{T} x_{p + 1} \\ ⋮ & ⋮ & ⋱ & ⋮ & \dots & ⋮ \\ c x_{k}^{T} x_{1} & c x_{k}^{T} x_{2} & \dots & c^{2} x_{k}^{T} x_{k} & \dots & c x_{k}^{T} x_{p + 1} \\ ⋮ & ⋮ & ⋮ & ⋮ & \dots & ⋮ \\ x_{p + 1}^{T} x_{1} & x_{p + 1}^{T} x_{2} & \dots & c x_{p + 1}^{T} x_{p + 1} & \dots & x_{p + 1}^{T} x_{p + 1} \end{matrix}]

$\tilde{\mathbf{X}}^{T}\tilde{\mathbf{X}} = \begin{bmatrix} \mathbf{x}_1^{T}\mathbf{x}_1 & \mathbf{x}_1^{T}\mathbf{x}_2 & \cdots & c\mathbf{x}_1^{T}\mathbf{x}_k & \cdots & \mathbf{x}_1^{T}\mathbf{x}_{p+1} \\ \mathbf{x}_2^{T}\mathbf{x}_1 & \mathbf{x}_2^{T}\mathbf{x}_2 & \cdots & c\mathbf{x}_2^{T}\mathbf{x}_k & \cdots & \mathbf{x}_2^{T}\mathbf{x}_{p+1} \\ \vdots & \vdots & \ddots & \vdots & \cdots & \vdots \\ c\mathbf{x}_k^{T}\mathbf{x}_1 & c\mathbf{x}_k^{T}\mathbf{x}_2 & \cdots & c^2\mathbf{x}_k^{T}\mathbf{x}_k & \cdots & c\mathbf{x}_k^{T}\mathbf{x}_{p+1} \\ \vdots & \vdots & \vdots & \vdots & \cdots & \vdots \\ \mathbf{x}_{p+1}^{T}\mathbf{x}_1 & \mathbf{x}_{p+1}^{T}\mathbf{x}_2 & \cdots & c\mathbf{x}_{p+1}^{T}\mathbf{x}_{p+1} & \cdots & \mathbf{x}_{p+1}^{T}\mathbf{x}_{p+1} \\ \end{bmatrix}$ \ cdots & \ mathbf {x} _ {p + 1} ^ {T} \ mathbf {x} _ {p + 1} \\ \ end {bmatrix} dan

{\tilde{X}}^{T} y = [\begin{matrix} x_{1}^{T} y \\ x_{2}^{T} y \\ ⋮ \\ c x_{k}^{T} y \\ ⋮ \\ x_{p + 1}^{T} y \end{matrix}]

$\tilde{\mathbf{X}}^{T}\mathbf{y} = \begin{bmatrix} \mathbf{x}_1^{T}\mathbf{y} \\ \mathbf{x}_2^{T}\mathbf{y} \\ \vdots \\ c\mathbf{x}_k^{T}\mathbf{y} \\ \vdots \\ \mathbf{x}_{p+1}^{T}\mathbf{y} \end{bmatrix}$ Bagaimana saya pergi dari sini untuk menunjukkan klaim yang dikutip di atas (yaitu, bahwa

{\hat{β}}_{\tilde{X}} = \frac{1}{c} {\hat{β}}_{X}

$\hat{\boldsymbol\beta}_{\tilde{\mathbf{X}}} = \dfrac{1}{c}\hat{\boldsymbol\beta}_{\mathbf{X}}$ )? Tidak jelas bagi saya bagaimana cara menghitung

({\tilde{X}}^{T} \tilde{X})^{- 1}

$(\tilde{\mathbf{X}}^{T}\tilde{\mathbf{X}})^{-1}$ .

least-squares linear-model

— Klarinetis
sumber

Saya pikir tidak benar, itu tidak memiliki pengali dalam seluruh baris.

{\tilde{X}}^{T} \tilde{X}

$\tilde{\mathbf{X}}^{T}\tilde{\mathbf{X}}$

c

$c$

— Firebug

1

Juga, ingatlah klaimnya adalah , tidak setiap .

{\hat{β}}_{k, new} = \frac{1}{c} {\hat{β}}_{k, old}

$\hat{\beta}_{k, \text{new}}={1\over c}\hat{\beta}_{k, \text{old}}$

β

$\beta$

— Firebug

@ Firebug Yap, saya baru tahu itu. Saya memposting jawaban.

— Klarinetis

2

Anda dapat mengganti semua aljabar ini dengan analisis unit yang lebih sederhana, karena mengalikan dengan hanya mengubah unit pengukurannya, dan oleh karena itu perubahan terkait dalam unit yang terkait dengan koefisien adalah membaginya dengan . Itu tidak membuktikan harus dibagi dengan , sayangnya. Namun, rantai pemikiran ini mungkin mengingatkan kita bahwa regresi berganda dapat dilakukan oleh suksesi regresi terhadap satu regresi pada suatu waktu, di mana jelas bahwa dibagi dengan , sehingga buktinya lengkap.

X_{j}

$X_j$

c

$c$

β_{j}

$\beta_j$

c

$c$

{\hat{β}}_{j}

$\hat \beta_j$

c

$c$

{\hat{β}}_{j}

$\hat\beta_j$

c

$c$

— whuber

@whuber, sementara intuisi untuk hasilnya jelas, sepertinya harus ada sedikit aljabar dalam memberikan bukti. Bagaimanapun, faktor penskalaan perlu dibalik.

c

$c$

— user795305

11

Karena pernyataan dalam kutipan adalah sekumpulan pernyataan tentang mengubah ukuran kolom , Anda bisa membuktikannya sekaligus. Memang, tidak perlu lagi bekerja untuk membuktikan generalisasi pernyataan: $X$

Ketika dikalikan kanan dengan matriks dapat dibalik , maka estimasi koefisien baru sama dengan dikalikan kiri dengan . $X$ $A$ $\hat\beta_A$ $\hat \beta$ $A^{-1}$

Satu-satunya fakta aljabar yang Anda butuhkan adalah (mudah dibuktikan, terkenal) bahwa untuk setiap matriks dan untuk matriks dan dapat dibalik . (Versi yang lebih halus dari yang terakhir diperlukan ketika bekerja dengan invers yang digeneralisasi: untuk dan dapat dibalik dan apa pun , . ) $(AB)^\prime=B^\prime A^\prime$ $AB$ $(AB)^{-1}=B^{-1}A^{-1}$ $A$ $B$ $A$ $B$ $X$ $(AXB)^{-} = B^{-1}X^{-}A^{-1}$

Bukti berdasarkan aljabar :

{\hat{β}}_{A} = ((X A)^{'} ((X A))^{-} (X A)^{'} y = A^{- 1} (X^{'} X)^{-} (A^{'})^{- 1} A^{'} y = A^{- 1} \hat{β},

$\hat\beta_A = ((XA)^\prime ((XA))^{-}(XA)^\prime y = A^{-1}(X^\prime X)^{-} (A^\prime)^{-1}A^\prime y = A^{-1}\hat \beta,$

QED. (Agar bukti ini sepenuhnya umum, superscript merujuk ke invers yang digeneralisasi.) $^-$

Bukti berdasarkan geometri :

Basis yang diberikan dan dari dan , masing-masing, mewakili transformasi linear dari ke . Multiplikasi kanan oleh dapat dianggap sebagai membiarkan transformasi ini diperbaiki tetapi mengubah menjadi (yaitu, ke kolom ). Di bawah bahwa perubahan dasar, representasi setiap vektor harus mengubah via kiri perkalian dengan , $E_p$ $E_n$ $\mathbb{R}^n$ $\mathbb{R}^p$ $X$ $\mathbb{R}^p$ $\mathbb{R}^n$ $X$ $A$ $E_p$ $AE_p$ $A$ $\hat\beta\in\mathbb{R}^p$ $A^{-1}$ QED .

(Bukti ini berfungsi, tidak dimodifikasi, bahkan ketika tidak dapat dibalik.) $X^\prime X$

Kutipan secara khusus merujuk pada kasus matriks diagonal dengan untuk dan . $A$ $A_{ii}=1$ $i\ne j$ $A_{jj}=c$

Koneksi dengan kuadrat terkecil

Tujuannya di sini adalah untuk menggunakan prinsip pertama untuk mendapatkan hasil, dengan prinsip adalah bahwa dari kuadrat terkecil: memperkirakan koefisien yang meminimalkan jumlah kuadrat residu.

Sekali lagi, membuktikan generalisasi (besar) terbukti tidak lebih sulit dan agak terbuka. Misalkan adalah setiap peta (linear atau tidak) dari ruang vektor nyata dan anggap adalah fungsi bernilai nyata pada . Biarkan menjadi set (mungkin kosong) dari poin yang diminimalkan.

ϕ : V^{p} \to W^{n}

$\phi:V^p\to W^n$

Q

$Q$

W^{n}

$W^n$

U \subset V^{p}

$U\subset V^p$

v

$v$

Q (ϕ (v))

$Q(\phi(v))$

Hasil: , yang ditentukan semata-mata oleh dan , tidak tergantung pada pilihan basis digunakan untuk mewakili vektor dalam . $U$ $Q$ $\phi$ $E_p$ $V^p$

Bukti: QED.

Tidak ada yang bisa dibuktikan!

Penerapan hasilnya: Misalkan adalah bentuk kuadrat semidefinit positif pada , misalkan , dan anggap adalah peta linear yang diwakili oleh ketika basis dan dipilih. Tentukan . Pilih basis dan anggap adalah representasi dari beberapa dalam basis itu. Ini adalah kuadrat terkecil : meminimalkan jarak kuadrat . Karena $F$ $\mathbb{R}^n$ $y\in\mathbb{R}^n$ $\phi$ $X$ $V^p=\mathbb{R}^p$ $W^n=\mathbb{R}^n$ $Q(x)=F(y,x)$ $\mathbb{R}^p$ $\hat\beta$ $v\in U$ $x=X\hat\beta$ $F(y,x)$ $X$ adalah peta linier, mengubah dasar sesuai dengan mengalikan dengan beberapa matriks dapat dibalik . Itu akan melipatgandakan oleh , QED . $\mathbb{R}^p$ $X$ $A$ $\hat\beta$ $A^{-1}$

— whuber
sumber

6

Tentukan estimator kuadrat terkecil , di mana matriks desain adalah peringkat penuh. Asumsikan bahwa scaling matrix tidak bisa dibalik. $\hat\beta = \arg\min_{\beta\in\mathbb{R}^p} \|y - X \beta\|_2^2$ $X \in \mathbb{R}^{n \times p}$ $S \in \mathbb{R}^{p \times p}$

Tentukan penaksir skala baru ini . Ini berarti bahwa untuk semua . Mendefinisikan , kita dapat menulis ulang ketidaksetaraan yang ditampilkan di atas sebagai untuk semua . Oleh karena itu , dan ini mengikuti estimator kuadrat terkecil Karena ketidakmungkinan pembalikan skala matriks $\tilde\alpha = \arg\min_{\alpha\in\mathbb{R}^p} \|y - X S \alpha\|_2^2$

‖ y - X S \tilde{α} ‖_{2}^{2} < ‖ y - X S α ‖_{2}^{2}

$\|y - X S \tilde\alpha\|_2^2 < \|y - X S \alpha\|_2^2$

α \neq \tilde{α}

$\alpha\ne \tilde\alpha$

\tilde{β} = S \tilde{α}

$\tilde\beta = S \tilde\alpha$

‖ y - X \tilde{β} ‖_{2}^{2} < ‖ y - X β ‖_{2}^{2}

$\|y - X \tilde\beta \|_2^2 < \|y - X \beta \|_2^2$

β \neq \tilde{β}

$\beta \ne \tilde\beta$

\tilde{β} = \arg min_{β \in R^{p}} ‖ y - X β ‖_{2}^{2}

$\tilde\beta = \arg\min_{\beta \in \mathbb{R}^p} \|y - X \beta\|_2^2$

\begin{aligned} \hat{β} = \tilde{β} = S \tilde{α} . \end{aligned}

$\begin{align*} \hat\beta = \tilde\beta = S \tilde\alpha. \end{align*}$

S

$S$ , karena itu . Dalam kasus kami, ini hanya berbeda dari dengan entri yang diskalakan oleh .

\tilde{α} = S^{- 1} \hat{β}

$\tilde\alpha = S^{-1} \hat\beta$

\hat{β}

$\hat\beta$

k^{t h}

$k^\mathrm{th}$

\frac{1}{c}

$\frac{1}{c}$

— pengguna795305
sumber

1

Saya tidak terbiasa karena saya seharusnya bekerja dengan dan fungsi yang serupa - dapatkah Anda menjelaskan transisi dari baris persamaan kedua ke ketiga?

arg min

$\text{arg min}$

— Klarinetis

Saya telah menulisnya sedikit berbeda, yang seharusnya membuat langkah lebih jelas.

— user795305

Ini sangat pintar. (+1)

— Klarinetis

4

Saya menemukan ini setelah memposting pertanyaan. Namun, jika pekerjaan saya benar, saya salah menafsirkan klaim tersebut. The skala hanya terjadi pada salah satu komponen dari sesuai dengan kolom dari yang dikalikan dengan . $\dfrac{1}{c}$ $\boldsymbol\beta$ $\mathbf{X}$ $c$

Perhatikan bahwa , dalam notasi di atas, adalah matriks diagonal, simetris dan memiliki invers (karena diagonal) Perhatikan bahwa adalah matriks . Anggap saja $\mathbf{S}$ $(p+1) \times (p+1)$

S^{- 1} = [\begin{matrix} 1 \\ 1 \\ ⋱ \\ 1 \\ \frac{1}{c} \\ 1 \\ ⋱ \\ 1 \end{matrix}] .

$\mathbf{S}^{-1} = \begin{bmatrix} 1 & \\ & 1 \\ & & \ddots \\ & & & 1 \\ & & & & \frac{1}{c}\\ & & & & & 1 \\ & & & & & &\ddots \\ & & & & & & & 1 \end{bmatrix}\text{.}$

({\tilde{X}}^{T} \tilde{X})^{- 1}

$(\tilde{\mathbf{X}}^{T}\tilde{\mathbf{X}})^{-1}$

(p + 1) \times (p + 1)

$(p+1)\times(p+1)$

(X^{T} X)^{- 1} = [\begin{matrix} z_{1} & z_{2} & \dots & z_{k} & \dots & z_{p + 1} \end{matrix}] .

$(\mathbf{X}^{T}\mathbf{X})^{-1} = \begin{bmatrix} \mathbf{z}_1 & \mathbf{z}_2 & \cdots & \mathbf{z}_k & \cdots & \mathbf{z}_{p+1} \end{bmatrix}\text{.}$

({\tilde{X}}^{T} \tilde{X})^{- 1} = [(X S)^{T} X S]^{- 1} = (S^{T} X^{T} X S)^{- 1} = (S X^{T} X S)^{- 1} = S^{- 1} (X^{T} X)^{- 1} S^{- 1} .

$(\tilde{\mathbf{X}}^{T}\tilde{\mathbf{X}})^{-1} = [(\mathbf{X}\mathbf{S})^{T}\mathbf{X}\mathbf{S}]^{-1} = (\mathbf{S}^{T}\mathbf{X}^{T}\mathbf{X}\mathbf{S})^{-1} = (\mathbf{S}\mathbf{X}^{T}\mathbf{X}\mathbf{S})^{-1}=\mathbf{S}^{-1}(\mathbf{X}^{T}\mathbf{X})^{-1}\mathbf{S}^{-1}\text{.}$ Karenanya, dan mengalikannya dengan memiliki efek yang mirip dengan apa yang dikalikan dengan lakukan - tetap sama, dikalikan dengan

S^{- 1} (X^{T} X)^{- 1} = [\begin{matrix} z_{1} \\ z_{2} \\ ⋱ \\ \frac{1}{c} z_{k} \\ ⋱ \\ z_{p + 1} \end{matrix}]

$\mathbf{S}^{-1}(\mathbf{X}^{T}\mathbf{X})^{-1} = \begin{bmatrix} \mathbf{z}_1 \\ & \mathbf{z}_2 \\ & & \ddots \\ & & & \frac{1}{c}\mathbf{z}_k \\ & & & & \ddots \\ & & & & & \mathbf{z}_{p+1} \end{bmatrix}$

S^{- 1}

$\mathbf{S}^{-1}$

X

$\mathbf{X}$

S

$\mathbf{S}$

\frac{1}{c} z_{k}

$\frac{1}{c}\mathbf{z}_k$

\frac{1}{c}

$\frac{1}{c}$ : Karenanya,

S^{- 1} (X^{T} X)^{- 1} S^{- 1} = [\begin{matrix} z_{1} \\ z_{2} \\ ⋱ \\ \frac{1}{c^{2}} z_{k} \\ ⋱ \\ z_{p + 1} \end{matrix}] .

$\mathbf{S}^{-1}(\mathbf{X}^{T}\mathbf{X})^{-1}\mathbf{S}^{-1} = \begin{bmatrix} \mathbf{z}_1 \\ & \mathbf{z}_2 \\ & & \ddots \\ & & & \frac{1}{c^2}\mathbf{z}_k \\ & & & & \ddots \\ & & & & & \mathbf{z}_{p+1} \end{bmatrix}\text{.}$

\begin{aligned} {\hat{β}}_{\tilde{X}} & = S^{- 1} (X^{T} X)^{- 1} S^{- 1} (X S)^{T} y \\ = [\begin{matrix} z_{1} \\ z_{2} \\ ⋱ \\ \frac{1}{c^{2}} z_{k} \\ ⋱ \\ z_{p + 1} \end{matrix}] [\begin{matrix} x_{1}^{T} y \\ x_{2}^{T} y \\ ⋮ \\ c x_{k}^{T} y \\ ⋮ \\ x_{p + 1}^{T} y \end{matrix}] \\ = [\begin{matrix} z_{1} x_{1}^{T} y \\ z_{2} x_{2}^{T} y \\ ⋮ \\ \frac{1}{c} z_{k} x_{k}^{T} y \\ ⋮ \\ z_{p + 1} x_{p + 1}^{T} y \end{matrix}] \end{aligned}

$\begin{align} \hat{\boldsymbol\beta}_{\tilde{\mathbf{X}}}&=\mathbf{S}^{-1}(\mathbf{X}^{T}\mathbf{X})^{-1}\mathbf{S}^{-1}(\mathbf{X}\mathbf{S})^{T}\mathbf{y} \\ &= \begin{bmatrix} \mathbf{z}_1 \\ & \mathbf{z}_2 \\ & & \ddots \\ & & & \frac{1}{c^2}\mathbf{z}_k \\ & & & & \ddots \\ & & & & & \mathbf{z}_{p+1} \end{bmatrix}\begin{bmatrix} \mathbf{x}_1^{T}\mathbf{y} \\ \mathbf{x}_2^{T}\mathbf{y} \\ \vdots \\ c\mathbf{x}_k^{T}\mathbf{y} \\ \vdots \\ \mathbf{x}_{p+1}^{T}\mathbf{y} \end{bmatrix} \\ &= \begin{bmatrix} \mathbf{z}_1\mathbf{x}_1^{T}\mathbf{y} \\ \mathbf{z}_2\mathbf{x}_2^{T}\mathbf{y} \\ \vdots \\ \frac{1}{c}\mathbf{z}_k\mathbf{x}_k^{T}\mathbf{y} \\ \vdots \\ \mathbf{z}_{p+1}\mathbf{x}_{p+1}^{T}\mathbf{y} \end{bmatrix} \end{align}$ seperti yang diinginkan.

— Klarinetis
sumber

Ada salah ketik di . Anda perlu mengubah posisi .

S^{- 1} (X^{T} X)^{- 1} S^{- 1} (X S) y

$\mathbf{S}^{-1}( \mathbf{X}^{T}\mathbf{X})^{-1} \mathbf{S}^{-1}(\mathbf{X} \mathbf{S}) \mathbf{y}$

(X S)

$(\mathbf{X}\mathbf{S})$

— JohnK

3

Bukti Paling Sepele Yang Pernah Ada

Anda mulai dengan persamaan linear Anda: Sekarang Anda ingin mengubah skala regressor Anda, mungkin mengubah dari sistem metrik ke Imperial, Anda tahu kilogram ke pound, meter ke yard dll. Jadi, Anda datang dengan matriks konversi di mana setiap adalah koefisien konversi untuk variabel (kolom) dalam desain matriks .

Y = X β + ε

$Y=X\beta+\varepsilon$

S = d i a g (s_{1}, s_{1}, \dots, s_{n})

$S=diag(s_1,s_1,\dots,s_n)$

s_{i}

$s_i$

i

$i$

X

$X$

Mari kita menulis ulang persamaannya:

Y = (X S) (S^{- 1} β) + ε

$Y=(XS)(S^{-1}\beta)+\varepsilon$

Sekarang sudah sangat jelas bahwa penskalaan adalah properti dari linearitas persamaan Anda, bukan metode estimasi estimasi koefisien OLS. Terlepas dari metode estimasi dengan persamaan linear Anda memilikinya bahwa ketika regresor diskalakan sebagai koefisien baru Anda harus diskalakan sebagai $XS$ $S^{-1}\beta$

Bukti oleh Aljabar untuk OLS Saja

Penskalaannya adalah ini: mana faktor skala dari setiap variabel (kolom), dan adalah versi diskalakan . Mari kita sebut matriks skala diagonal . Estimator OLS Anda adalah Mari kita tancapkan matriks skala bukan dan menggunakan beberapa aljabar matriks : Jadi, Anda melihat bagaimana koefisien baru hanyalah koefisien yang diperkecil, seperti yang diharapkan.

Z = X * d i a g (s_{1}, s_{2}, . . ., s_{n})

$Z=X*diag(s_1,s_2,...,s_n)$

s_{i}

$s_i$

Z

$Z$

X

$X$

S \equiv d i a g (s_{1}, s_{2}, . . ., s_{n})

$S\equiv diag(s_1,s_2,...,s_n)$

\hat{β} = (X^{T} X)^{- 1} X^{T} Y

$\hat\beta=(X^TX)^{-1}X^TY$

Z

$Z$

X

$X$

(Z^{T} Z)^{- 1} Z^{T} Y = (S^{T} X^{T} X S)^{- 1} S^{T} X^{T} Y = S^{- 1} (X^{T} X)^{- 1} S^{- 1} S X^{T} Y = S^{- 1} (X^{T} X)^{- 1} X^{T} Y = S^{- 1} \hat{β}

$(Z^TZ)^{-1}Z^TY=(S^TX^TXS)^{-1}S^TX^TY=S^{-1}(X^TX)^{-1}S^{-1}SX^TY\\ =S^{-1}(X^TX)^{-1}X^TY=S^{-1}\hat\beta$

— Aksakal
sumber

2

Saya suka pendekatan Anda, tetapi saya tidak yakin dengan "bukti paling sepele yang pernah ada." Anda telah secara implisit berasumsi, dan masih perlu menunjukkan, bahwa model yang ditulis ulang harus memiliki kecocokan yang sama seperti aslinya. Untuk lebih jelasnya: jika kita melihat prosedur pemasangan sebagai fungsi , di mana adalah himpunan semua data yang mungkin (yang bisa kita tulis sebagai pasangan berurutan ) dan adalah himpunan semua perkiraan koefisien yang mungkin, maka Anda perlu menunjukkan bahwa untuk semua dibalik , semua , dan semua . (Ini tidak selalu benar!)

δ : M \to R^{p}

$\delta:M\to\mathbb{R}^p$

M

$M$

(X, Y)

$(X,Y)$

R^{p}

$\mathbb{R}^p$

δ (X, Y) = S^{- 1} δ (X S, Y)

$\delta(X,Y)=S^{-1}\delta(XS,Y)$

S

$S$

X

$X$

Y

$Y$

— Whuber

@whuber, sebenarnya itu cara lain: prosedur pemasangan yang masuk akal harus memenuhi kondisi ini, jika tidak perubahan sederhana dari satuan ukuran akan menghasilkan perkiraan / perkiraan yang berbeda. saya akan memperbarui jawaban saya, akan memikirkannya sedikit

— Aksakal

Saya setuju - tetapi saya bisa membayangkan pengecualian dalam kasus di mana bukan peringkat penuh. Itulah yang menyarankan kepada saya bahwa situasinya tidak sepele seperti kelihatannya.

X

$X$

— whuber

3

kekaisaran , bukan kerajaan ...: D (Jawaban yang bagus, +1)

— usεr11852

@ usεr11852, saya belajar sesuatu hari ini :)

— Aksakal

2

Cara mudah untuk mendapatkan hasil ini adalah dengan mengingat bahwa adalah proyeksi pada ruang kolom adalah vektor koefisien ketika diekspresikan sebagai linear kombinasi kolom . Jika beberapa kolom diskalakan oleh faktor , jelas bahwa koefisien yang sesuai dalam kombinasi linier harus diskalakan oleh . $\hat{y}$ $y$ $X.$ $\hat{\beta}$ $\hat{y}$ $X$ $c$ $1/c$

Biarkan menjadi nilai dan menjadi nilai dari solusi OLS ketika satu kolom diskalakan oleh $b_i$ $\hat{\beta}$ $a_i$ $c.$

b_{1} x_{1} + . . . + b_{i} x_{i} + . . . + b_{m} x_{m} = a_{1} x_{1} + . . . a_{i} (c x_{i}) + . . . + a_{n} x_{n}

$b_1x_1 + ... + b_ix_i + ...+ b_mx_m = a_1x_1 + ... a_i(cx_i) + ... +a_nx_n$

menyiratkan bahwa mana dan , dengan asumsi bahwa kolom adalah bebas linear. $b_j = a_j$ $j \neq i$ $b_i = a_ic$ $X$

— Jonny Lomond
sumber

Menunjukkan bahwa estimator OLS adalah ekuivalen skala?

Koneksi dengan kuadrat terkecil

Bukti Paling Sepele Yang Pernah Ada

Bukti oleh Aljabar untuk OLS Saja