Mengubah beta standar kembali ke variabel asli

Saya menyadari ini mungkin pertanyaan yang sangat sederhana tetapi setelah mencari saya tidak dapat menemukan jawaban yang saya cari.

Saya punya masalah di mana saya perlu membakukan variabel menjalankan (regresi ridge) untuk menghitung estimasi ridge dari beta.

Saya kemudian perlu mengubah ini kembali ke skala variabel asli.

Tetapi bagaimana saya melakukan ini?

Saya menemukan formula untuk kasus bivariat itu

β^{*} = \hat{β} \frac{S_{x}}{S_{y}} .

$\beta^* = \hat\beta \frac{S_x}{S_y} \>.$

Ini diberikan dalam D. Gujarati, Ekonometrika Dasar , halaman 175, rumus (6.3.8).

Dimana adalah estimator dari regresi run pada variabel standar dan adalah estimator yang sama dikonversi kembali ke skala yang asli, adalah standar deviasi sampel regressand, dan adalah standar deviasi sampel. $\beta^*$ $\hat\beta$ $S_y$ $S_x$

Sayangnya buku ini tidak mencakup hasil analog untuk regresi berganda.

Juga saya tidak yakin saya mengerti kasus bivariat? Manipulasi aljabar sederhana memberikan rumus untuk dalam skala asli: $\hat\beta$

\hat{β} = β^{*} \frac{S_{y}}{S_{x}}

$\hat\beta=\beta^* \frac{S_y}{S_x}$

$\hat\beta$ $S_x$ $S_x$

Jadi, bisakah seseorang tolong jelaskan bagaimana melakukan ini untuk kasus multivarian idealnya dengan derivasi sehingga saya dapat memahami hasilnya?

— Baz
sumber

Untuk model regresi menggunakan variabel standar, kami mengasumsikan bentuk berikut untuk garis regresi

E [Y] = β_{0} + \sum_{j = 1}^{k} β_{j} z_{j},

$\mathbb E[Y] =\beta_{0}+\sum_{j=1}^{k}\beta_{j}z_{j},$

$z_{j}$ $x_j$ $\bar x_j$ $S_j$

z_{j} = \frac{x_{j} - {\bar{x}}_{j}}{S_{j}}

$z_j = \frac{x_j - \bar{x}_j}{S_j}$

Melakukan regresi dengan regresi standar, kami memperoleh garis regresi pas:

\hat{Y} = {\hat{β}}_{0} + \sum_{j = 1}^{k} {\hat{β}}_{j} z_{j}

$\hat Y = \hat \beta_0 +\sum_{j=1}^{k} \hat \beta_{j}z_{j}$

Kami sekarang ingin menemukan koefisien regresi untuk prediktor non-standar. Kita punya

\hat{Y} = {\hat{β}}_{0} + \sum_{j = 1}^{k} {\hat{β}}_{j} (\frac{x_{j} - {\bar{x}}_{j}}{S_{j}})

$\hat Y = \hat \beta_0 +\sum_{j=1}^{k} \hat \beta_{j}\left(\frac{x_j - \bar{x}_j}{S_j}\right)$

Mengatur ulang, ungkapan ini dapat ditulis sebagai

\hat{Y} = ({\hat{β}}_{0} - \sum_{j = 1}^{k} {\hat{β}}_{j} \frac{{\bar{x}}_{j}}{S_{j}}) + \sum_{j = 1}^{k} (\frac{{\hat{β}}_{j}}{S_{j}}) x_{j}

$\hat Y = \left( \hat \beta_0 - \sum_{j=1}^k \hat \beta_j \frac{\bar x_j}{S_j} \right) + \sum_{j=1}^k \left(\frac{\hat \beta_j}{S_j}\right) x_j$

$\hat \beta_0 - \sum_{j=1}^k \hat \beta_j \frac{\bar x_j}{S_j}$ $j$ $\frac{\hat \beta_j}{S_j}$

Dalam kasus yang disajikan, saya berasumsi bahwa hanya prediktor yang distandarisasi. Jika seseorang juga menstandarkan variabel respon, mengubah koefisien kovariat kembali ke skala asli dilakukan dengan menggunakan rumus dari referensi yang Anda berikan. Kita punya:

\frac{E [Y] - \hat{y}}{S_{y}} = β_{0} + \sum_{j = 1}^{k} β_{j} z_{j}

$\frac{\mathbb E[Y] - \hat y}{S_y} =\beta_{0}+\sum_{j=1}^{k}\beta_{j}z_{j}$

Melakukan regresi, kita mendapatkan persamaan regresi pas

{\hat{Y}}_{s c a l e d} = \frac{{\hat{Y}}_{u n s c a l e d} - \bar{y}}{S_{y}} = {\hat{β}}_{0} + \sum_{j = 1}^{k} {\hat{β}}_{j} (\frac{x_{j} - {\bar{x}}_{j}}{S_{j}}),

$\hat Y_{scaled} = \frac{\hat Y_{unscaled} - \bar y}{S_y} = \hat \beta_0 +\sum_{j=1}^{k} \hat \beta_{j}\left(\frac{x_j - \bar{x}_j}{S_j}\right),$

$S_y$ $y$

{\hat{Y}}_{u n s c a l e d} = {\hat{β}}_{0} S_{y} + \bar{y} + \sum_{j = 1}^{k} {\hat{β}}_{j} (\frac{S_{y}}{S_{j}}) (x_{j} - {\bar{x}}_{j}) .

$\hat Y_{unscaled} = \hat \beta_0 S_y + \bar y +\sum_{j=1}^{k} \hat \beta_{j}\left(\frac{S_y}{S_j}\right) (x_j - \bar{x}_j).$

$\hat \beta_0 S_y + \bar y - \sum_{j=1}^k \hat \beta_j \frac{S_y}{S_j}\bar x_j$ $S_y / S_j$

— Philipp Burckhardt
sumber