Mengapa kita tidak bisa menggunakan

Bayangkan kita memiliki model regresi linier dengan variabel dependen . Kami menemukan . Sekarang, kami melakukan regresi lain, tetapi kali ini di , dan juga menemukan . Saya telah diberitahu bahwa saya tidak dapat membandingkan kedua untuk melihat model mana yang lebih cocok. Mengapa demikian? Alasan yang diberikan kepada saya adalah bahwa kami akan membandingkan variabilitas jumlah yang berbeda (variabel dependen berbeda). Saya tidak yakin ini harus menjadi alasan yang cukup untuk ini. $y$ $R^2_y$ $\log(y)$ $R^2_{\log(y)}$ $R^2$

Apakah ada cara untuk memformalkan ini?

Bantuan apa pun akan dihargai.

regression data-transformation r-squared

— Seorang lelaki tua di laut.
sumber

Saya menduga ini mungkin telah dibahas sebelumnya pada Cross Validated. Apakah Anda sudah melalui utas yang sama secara menyeluruh? Juga, apakah Anda peduli dengan variabel dependen yang berbeda (seperti PDB vs harga minyak) atau transformasi dari variabel yang sama (pertumbuhan PDB vs PDB), atau keduanya?

— Richard Hardy

@ RichardHardy saya menemukan beberapa, tapi saya pikir mereka bersinggungan dengan pertanyaan saya. Seperti ini: stats.stackexchange.com/questions/235117/… Jawabannya hanya menyatakan ya, tidak benar-benar menjelaskan mengapa.

— Seorang pria tua di laut.

@ RichardHardy Saya tertarik untuk transformasi variabel dependen.

— Seorang pria tua di laut.

R^{2}

$R^2$ perbandingan hanya masuk akal antara model bersarang.

— LVRao

@LVRao Terima kasih atas komentar Anda. Kenapa gitu?

— Seorang pria tua di laut.

Ini pertanyaan yang bagus, karena "jumlah yang berbeda" sepertinya tidak terlalu banyak penjelasan.

Ada dua alasan penting untuk berhati-hati dalam menggunakan untuk membandingkan model-model ini: ini terlalu kasar ( tidak benar-benar menilai goodness of fit ) dan itu akan menjadi tidak pantas untuk setidaknya salah satu model. Balasan ini membahas masalah kedua itu. $R^2$

Perawatan Teoritis

$R^2$ membandingkan varians dari residual model dengan varians dari respon. Varians adalah deviasi aditif kuadrat rata-rata dari fit. Dengan demikian, kita dapat memahami sebagai membandingkan dua model respon . $R^2$ $y$

Model "dasar" adalah

\begin{matrix} (1) & y_{i} = μ + δ_{i} \end{matrix}

$y_i = \mu + \delta_i\tag{1}$

dimana $\mu$ adalah parameter (respons rata-rata teoretis) dan adalah "kesalahan" acak, masing-masing dengan nol rata-rata dan varian umum . $\delta_i$ $\tau^2$

Model regresi linier memperkenalkan vektor sebagai variabel penjelas: $x_i$

\begin{matrix} (2) & y_{i} = β_{0} + x_{i} β + ε_{i} . \end{matrix}

$y_i = \beta_0 + x_i \beta + \varepsilon_i.\tag{2}$

Angka dan vektor adalah parameternya (intersep dan "slope"). The lagi kesalahan acak independen, masing-masing dengan nol varians mean dan umum . $\beta_0$ $\beta$ $\varepsilon_i$ $\sigma^2$

perkiraan pengurangan varians, , dibandingkan dengan varians asli . $R^2$ $\tau^2-\sigma^2$ $\tau^2$

Ketika Anda mengambil logaritma dan menggunakan kuadrat terkecil agar sesuai dengan model , Anda secara implisit sedang membandingkan hubungan formulir

\begin{matrix} (1a) & \log (y_{i}) = ν + ζ_{i} \end{matrix}

$\log(y_i) = \nu + \zeta_i\tag{1a}$

ke salah satu formulir

\begin{matrix} (2a) & \log (y_{i}) = γ_{0} + x_{i} γ + η_{i} . \end{matrix}

$\log(y_i) = \gamma_0 + x_i\gamma + \eta_i.\tag{2a}$

$(1)$ $(2)$ $(2\text{a})$

y_{i} = \exp (\log (y_{i})) = \exp (γ_{0} + x_{i} γ) \exp (η_{i}) .

$y_i = \exp(\log(y_i)) = \exp(\gamma_0 + x_i\gamma)\exp(\eta_i).$

$\exp(\eta_i)$ $y_i = \exp(\gamma_0 + x_i\gamma)$

Var (y_{i}) = \exp (γ_{0} + x_{i} γ)^{2} Var (e^{η_{i}}) .

$\operatorname{Var}(y_i) = \exp(\gamma_0 + x_i\gamma)^2\operatorname{Var}(e^{\eta_i}).$

$x_i$ $(2)$ $\sigma^2$

$(1\text{a})$ $(2\text{a})$ $(1)$ $(2)$ $R^2$ $R^2$

Analisis

$R^2$ $x$ $y$ $\varepsilon_i$ $\eta_i$

Model seperti itu (yang biasa terjadi) adalah kuadrat-terkecil cocok dengan hubungan eksponensial,

\begin{matrix} (3) & y_{i} = \exp (α_{0} + x_{i} α) + θ_{i} . \end{matrix}

$y_i = \exp\left(\alpha_0 + x_i\alpha\right) + \theta_i.\tag{3}$

$y$ $x$ $(2\text{a})$ $\theta_i$ $(2)$ $R^2$ $x$ $y$

$(3)$ $300$ $x_i$ $1.0$ $1.6$ $(x,y)$ $(x,\log(y))$

$R^2$ $0.70$ $0.56$ $R^2$ $R^2$ $0.70$

$\log(y)$ $(3)$

— whuber
sumber

Kritik pada R ^ 2 tidak adil. Karena setiap alat penggunaannya harus dipahami dengan baik. Dalam contoh Anda di atas, R ^ 2 memberikan pesan yang benar. R ^ 2 dengan cara memilih rasio sinyal terhadap noise yang lebih baik. Tentu saja tidak jelas ketika Anda meletakkan dua grafik dengan skala yang sangat berbeda berdampingan. Pada kenyataannya sinyal di sebelah kiri sangat kuat dibandingkan dengan penyimpangan kebisingan.

— Cagdas Ozgenc

@Cagdas Anda sepertinya menawarkan pesan yang sifatnya kontradiktif. Karena kedua plot tersebut tidak dapat dihindari pada dua skala yang berbeda - satu plot tanggapan asli dan yang lain plot logaritma mereka - kemudian memohon bahwa ada sesuatu yang "tidak jelas" karena fakta yang tidak dapat dihindari ini tampaknya tidak mendukung kasus Anda. Mengeluh bahwa jawaban ini "tidak adil" benar-benar tidak mendukung analisis eksplisit dari model yang saya tawarkan.

— whuber

Tidak ada kontradisi dalam apa yang saya katakan. R ^ 2 memilih rasio sinyal terhadap noise yang lebih tinggi. Itu yang dilakukannya. Mencoba mengubahnya ke sesuatu yang lain dan mengklaim bahwa itu tidak berfungsi sama sekali salah. Semua kritik terhadap R ^ 2 juga berlaku untuk indikator goodness of fit lainnya ketika diterapkan pada variabel respons yang berbeda, tetapi karena alasan tertentu R ^ 2 dipilih sebagai kambing hitam.

— Cagdas Ozgenc

R^{2}

$R^2$

R^{2}

$R^2$

R^{2}

$R^2$

Terima kasih atas bantuan Anda. Maaf atas keterlambatan penerimaan, saya tidak punya banyak waktu luang belakangan ini. ;)

— Seorang lelaki tua di laut.