Persamaan untuk varians faktor inflasi

Mengikuti pertanyaan yang diajukan sebelumnya, varians inflation factor (VIFs) dapat dinyatakan sebagai adalah versi skala satuan panjang dari

{VIF}_{j} = \frac{Var ({\hat{b}}_{j})}{σ^{2}} = [w_{j}^{'} w_{j} - w_{j}^{'} W_{- j} (W_{- j}^{'} W_{- j})^{- 1} W_{- j}^{'} w_{j}]^{- 1}

$\textrm{VIF}_j = \frac{\textrm{Var}(\hat{b}_j)}{\sigma^2} = [\mathbf{w}_j^{\prime} \mathbf{w}_j - \mathbf{w}_j^{\prime} \mathbf{W}_{-j} (\mathbf{W}_{-j}^{\prime} \mathbf{W}_{-j})^{-1} \mathbf{W}_{-j}^{\prime} \mathbf{w}_j]^{-1}$

W

$\mathbf{W}$

X

$\mathbf{X}$

Adakah yang bisa menunjukkan kepada saya bagaimana cara mendapatkan dari sini ke persamaan adalah koefisien penentuan berganda yang diperoleh dari regresi pada variabel regressor lainnya.

{VIF}_{j} = \frac{1}{1 - R_{j}^{2}}

$\textrm{VIF}_j = \frac{1}{1-R_j^2}$

R_{j}^{2}

$R_j^2$

x_{j}

$x_j$

Saya mengalami banyak masalah dalam menjalankan operasi matriks ini dengan benar ...

multiple-regression vif

— Komunitas
sumber

Asumsikan semua variabel distandarisasi oleh transformasi korelasi, seperti yang Anda sebutkan, versi skala satuan panjang dari . Model terstandarisasi tidak mengubah korelasi antara variabel dapat dihitung ketika transformasi standar dari model linier asli dibuat. Mari kita menunjukkan matriks desain setelah transformasi standar sebagai Lalu $X$ $\mathbf{X}$ $X$ $VIF$

\begin{aligned} X^{*} = [\begin{matrix} 1 & X_{11} & \dots & X_{1, p - 1} \\ 1 & X_{21} & \dots & X_{2, p - 1} \\ ⋮ & ⋮ & ⋮ & ⋮ \\ 1 & X_{n 1} & \dots & X_{n, p - 1} \end{matrix}] . \end{aligned}

$\begin{align*} \mathbf{X^*} = \begin{bmatrix} 1& X_{11}& \ldots &X_{1,p-1} \\ 1& X_{21}& \ldots &X_{2,p-1} \\ \vdots & \vdots & \vdots & \vdots \\ 1& X_{n1}& \ldots &X_{n,p-1} \\ \end{bmatrix}. \end{align*}$

\begin{aligned} X^{*^{'}} X^{*} = [\begin{matrix} n & 0^{'} \\ 0 & r_{X X} \end{matrix}], \end{aligned}

$\begin{align*} \mathbf{X^{*'}X^*} = \begin{bmatrix} n & \mathbf{0}' \\ \mathbf{0} & \mathbf{r}_{XX} \end{bmatrix}, \end{align*}$ mana adalah matriks korelasi variabelKita juga tahu bahwa untuk adalah istilah diagonal ke- dari .

r_{X X}

$\mathbf{r}_{XX}$

X

$X$

\begin{aligned} σ^{2} {\hat{β}} & = σ^{2} (X^{*^{'}} X^{*})^{- 1} \\ = σ^{2} [\begin{matrix} \frac{1}{n} & 0^{'} \\ 0 & r_{X X}^{- 1} . \end{matrix}] \end{aligned}

$\begin{align*} \sigma^2\{\hat{\beta}\} & = \sigma^2 (\mathbf{X^{*'}X^*})^{-1}\\ & = \sigma^2 \begin{bmatrix} \frac{1}{n} & \mathbf{0}' \\ \mathbf{0} & \mathbf{r}^{-1}_{XX}. \end{bmatrix}\\ \end{align*}$

V I F_{k}

$VIF_k$

k = 1, 2, \dots, p - 1

$k=1,2,\ldots,p-1$

k

$k$

r_{X X}^{- 1}

$\mathbf{r}^{-1}_{XX}$

k = 1

$k = 1$

r_{X X}

$r_{XX}$

k

$k$ . Mari kita definisikan: Perhatikan bahwa kedua matriks berbeda dari matriks desain. Karena kami hanya peduli dengan koefisien variabel , vektor -desain dapat diabaikan dalam perhitungan kami. Oleh karena itu, dengan menggunakan komplemen Schur ,

\begin{aligned} X_{(- 1)} = [\begin{matrix} X_{12} & \dots & X_{1, p - 1} \\ X_{22} & \dots & X_{2, p - 1} \\ ⋮ & ⋮ & ⋮ \\ X_{n 2} & \dots & X_{n, p - 1} \end{matrix}], X_{1} = [\begin{matrix} X_{11} \\ X_{21} \\ ⋮ \\ X_{n 1} \end{matrix}] . \end{aligned}

$\begin{align*} \mathbf{X}_{(-1)} = \begin{bmatrix} X_{12}&\ldots&X_{1,p-1} \\X_{22}&\ldots&X_{2,p-1}\\ \vdots & \vdots & \vdots \\ X_{n2}&\ldots&X_{n,p-1} \\ \end{bmatrix}, \mathbf{X}_1 = \begin{bmatrix} X_{11} \\ X_{21} \\ \vdots \\ X_{n1} \\ \end{bmatrix}. \end{align*}$

X

$X$

1

$1$

\begin{aligned} r_{X X}^{- 1} (1, 1) & = (r_{11} - r_{1 X_{(- 1)}} r_{X_{(- 1)} X_{(- 1)}}^{- 1} r_{X_{(- 1)} 1})^{- 1} \\ = (r_{11} - [r_{1 X_{(- 1)}} r_{X_{(- 1)} X_{(- 1)}}^{- 1}] r_{X_{(- 1)} X_{(- 1)}} [r_{X_{(- 1)} X_{(- 1)}}^{- 1} r_{X_{(- 1)} 1}])^{- 1} \\ = (1 - β_{1 X_{(- 1)}}^{'} X_{(- 1)}^{'} X_{(- 1)} β_{1 X_{(- 1)}})^{- 1}, \end{aligned}

$\begin{align*} r^{-1}_{XX} (1,1) & = (r_{11} - r_{1\mathbf{X}_{(-1)}} r^{-1}_{\mathbf{X}_{(-1)}\mathbf{X}_{(-1)}} r_{\mathbf{X}_{(-1)}1})^{-1} \\ & = (r_{11} - [r_{1\mathbf{X}_{(-1)}} r^{-1}_{\mathbf{X}_{(-1)}\mathbf{X}_{(-1)}}] r_{\mathbf{X}_{(-1)}\mathbf{X}_{(-1)}} [r^{-1}_{\mathbf{X}_{(-1)}\mathbf{X}_{(-1)}} r_{\mathbf{X}_{(-1)}1}])^{-1} \\ & = (1-\beta_{1\mathbf{X}_{(-1)}}' \mathbf{X}_{(-1)}' \mathbf{X}_{(-1)} \beta_{1\mathbf{X}_{(-1)}} )^{-1}, \end{align*}$ mana adalah koefisien regresi pada kecuali intersep. Faktanya, intersep harus menjadi asal, karena semua

β_{1 X_{(- 1)}}

$\beta_{1\mathbf{X}_{(-1)}}$

X_{1}

$X_1$

X_{2}, \dots, X_{p - 1}

$X_2, \ldots, X_{p-1}$

X

$X$ variabel standar dengan rata-rata nol. Di sisi lain, (akan lebih mudah jika kita dapat menulis semuanya dalam bentuk matriks eksplisit) Oleh karena itu

\begin{aligned} R_{1}^{2} & = \frac{S S R}{S S T O} = \frac{β_{1 X_{(- 1)}}^{'} X_{(- 1)}^{'} X_{(- 1)} β_{1 X_{(- 1)}}}{1} \\ = β_{1 X_{(- 1)}}^{'} X_{(- 1)}^{'} X_{(- 1)} β_{1 X_{(- 1)}} . \end{aligned}

$\begin{align*} R_1^2 & = \frac{SSR}{SSTO} = \frac{\beta_{1\mathbf{X}_{(-1)}}' \mathbf{X}_{(-1)}' \mathbf{X}_{(-1)} \beta_{1\mathbf{X}_{(-1)}}}{1} \\ & = \beta_{1\mathbf{X}_{(-1)}}' \mathbf{X}_{(-1)}' \mathbf{X}_{(-1)} \beta_{1\mathbf{X}_{(-1)}}. \end{align*}$

\begin{aligned} V I F_{1} = r_{X X}^{- 1} (1, 1) = \frac{1}{1 - R_{1}^{2}} . \end{aligned}

$\begin{align*} VIF_1 = r^{-1}_{XX} (1,1) = \frac{1}{1-R_1^2}. \end{align*}$

— jwyao
sumber