R kuadrat dan regresi polinomial orde tinggi

Plot di bawah ini menunjukkan saturasi jalan terhadap dampak pada waktu perjalanan (dinormalisasi menjadi waktu perjalanan aliran bebas).

Kurva biru (fungsi BPR) menyajikan model standar yang digunakan di lapangan untuk menghubungkan waktu perjalanan dan saturasi.

Untuk data empiris yang saya kumpulkan, saya merencanakan polinomial urutan ketiga, yang ditunjukkan dengan warna merah. Untuk menilai kecocokan ini, saya menemukan $R^2$ untuk pemesanan urutan ketiga ini. Ini diberikan sebagai 0,72.

Saya berbicara dengan seorang rekan tentang $R^2$ dan dia menunjuk saya ke artikel ini. Mengapa Tidak Ada R-Squared untuk Regresi Nonlinear?

Saya telah menemukan banyak artikel $R^2$ digunakan untuk menilai kecocokan polinomial orde tinggi dan saya sekarang agak bingung.

Adalah $R^2$ tidak pantas dalam hal ini? Apa yang harus saya gunakan?

regression chi-squared r-squared

— Belajar dengan lambat
sumber

Regresi polinomial adalah linier - itu adalah koefisien yang menentukan linieritas model, bukan matriks model. Sebenarnya, periksa pos fantastis ini . Jadi saya pikir Anda berada di jalan yang benar.

— Antoni Parellada

Terima kasih @AntoniParellada. Itu dibuat untuk bacaan yang sangat baik. Saya juga egois senang karena saya tidak perlu mengulang beberapa analisis;)

— LearningSlowly

Pertimbangkan polinomial:

β_{0} + β_{1} x + β_{2} x^{2} + \dots + β_{k} x^{k}

$\beta_0 + \beta_1 x + \beta_2 x^2 + \ldots + \beta_k x^k$

Perhatikan bahwa polinomialnya non-linear $x$ tetapi itu linear dalam . Jika kami mencoba memperkirakan , ini adalah regresi linier! Linearitas dalam adalah apa masalah. Ketika memperkirakan persamaan di atas dengan kuadrat terkecil, semua hasil regresi linier akan berlaku. $\boldsymbol{\beta}$ $\boldsymbol{\beta}$

y_{i} = β_{0} + β_{1} x_{i} + β_{2} x_{i}^{2} + \dots + β_{k} x_{i}^{k} + ϵ_{i}

$y_i = \beta_0 + \beta_1 x_i + \beta_2 x_i^2 + \ldots + \beta_k x_i^k + \epsilon_i$

β = (β_{0}, β_{1}, \dots, β_{k})

$\boldsymbol{\beta} = (\beta_0, \beta_1, \ldots, \beta_k)$

Biarkan menjadi jumlah total kuadrat, menjadi jumlah kuadrat yang dijelaskan, dan menjadi jumlah residu kuadrat. The koefisien determinasi didefinisikan sebagai: $\mathit{SST}$ $\mathit{SSE}$ $\mathit{SSR}$ $R^2$

R^{2} = 1 - \frac{S S R}{S S T}

$R^2 = 1 - \frac{\mathit{SSR}}{\mathit{SST}}$

Dan hasil regresi linier yang memberikan interpretasi yang lazim sebagai fraksi varian yang dijelaskan oleh model. $\mathit{SST} = \mathit{SSE} + \mathit{SSR}$ $R^2$

SST = SSE + SSR: Kapan itu benar dan kapan itu tidak benar?

Biarkan menjadi nilai perkiraan dan biarkan menjadi residual. Selanjutnya, mari kita mendefinisikan nilai perkiraan yang direndahkan sebagai . $\hat{y}_i$ $y_i$ $e_i = y_i - \hat{y}_i$ $f_i = \hat{y}_i - \bar{y}$

Biarkan menunjukkan produk dalam . Secara sepele kita memiliki: Perhatikan bahwa adalah produk dalam yang valid. Maka kita memiliki: $\langle ., . \rangle$

\begin{aligned} ⟨ f + e, f + e ⟩ & = ⟨ f, f ⟩ + 2 ⟨ f, e ⟩ + ⟨ e, e ⟩ \\ = ⟨ f, f ⟩ + ⟨ e, e ⟩ if f and e orthogonal, i.e. their inner product is 0 \end{aligned}

$\begin{align*} \langle \mathbf{f} + \mathbf{e}, \mathbf{f} + \mathbf{e} \rangle &= \langle \mathbf{f}, \mathbf{f} \rangle + 2\langle \mathbf{f}, \mathbf{e} \rangle + \langle \mathbf{e}, \mathbf{e} \rangle \\ &= \langle \mathbf{f}, \mathbf{f} \rangle + \langle \mathbf{e}, \mathbf{e} \rangle \quad \quad\text{if $\mathbf{f}$ and $\mathbf{e}$ orthogonal, i.e. their inner product is 0} \end{align*}$

⟨ a, b ⟩ = \sum_{i} a_{i} b_{i}

$\langle \mathbf{a}, \mathbf{b} \rangle = \sum_i a_i b_i$

$\langle \mathbf{f} + \mathbf{e}, \mathbf{f} + \mathbf{e} \rangle = \sum_i \left(y_i - \bar{y} \right)^2$ adalah jumlah total dari kotak (SST).
$\langle \mathbf{f}, \mathbf{f} \rangle = \sum_i \left(\hat{y}_i - \bar{y} \right)^2$ adalah jumlah kotak yang dijelaskan (SSE).
$\langle \mathbf{e}, \mathbf{e} \rangle = \sum_i \left(y_i - \hat{y}_i \right)^2$ adalah jumlah sisa kuadrat (SSR).

Jadi benar jika direndahkan perkiraan adalah orthogonal untuk sisa . Ini benar dalam regresi linear kuadrat biasa setiap kali konstanta dimasukkan dalam regresi. Interpretasi lain dari kuadrat terkecil biasa adalah bahwa Anda memproyeksikan ke dalam rentang linier dari regresi, maka residu adalah ortogonal ke ruang itu dengan konstruksi. Ortogonalitas variabel sisi kanan dan residu tidak secara umum benar untuk prakiraan diperoleh dengan cara lain. $SST = SSE + SSR$ $\mathbf{f}$ $\mathbf{e}$ $\mathbf{y}$ $\hat{y}_i$

— Matthew Gunn
sumber