Bagaimana saya bisa menggunakan nilai untuk menguji asumsi linearitas dalam analisis regresi berganda?

Grafik di bawah ini adalah plot pencar residual dari uji regresi yang asumsi "normalitas", "homoscedasticity", dan "independensi" telah dipenuhi! Untuk menguji asumsi "linearitas" , walaupun, dengan melihat grafik, dapat ditebak bahwa hubungannya adalah curvilinear, tetapi pertanyaannya adalah: Bagaimana nilai "R2 Linear" dapat digunakan untuk menguji asumsi linearitas? Berapa kisaran yang dapat diterima untuk nilai "R2 Linear" untuk memutuskan apakah hubungannya sedang linear? Apa yang harus dilakukan ketika asumsi linearitas tidak terpenuhi dan mentransformasikan IV juga tidak membantu? !!

Inilah tautan ke hasil tes lengkap.

Plot pencar:

masukkan deskripsi gambar di sini

— Cyrus
sumber

Saya melihat dari grafik bahwa Anda menggunakan SPSS. Cukup buka grafik untuk mengedit dan menemukan "Tambahkan tombol garis pas" di sana Anda menemukan beberapa opsi menggambar garis nonlinier , misalnya Loess. Periksa apakah opsi ini memberi Anda garis yang cukup lurus.

— ttnphns

@ ttnphns: Saya menambahkan plot dengan Loess baris 2 pertanyaan.

— Cyrus

Yah, sepertinya cukup melengkung, bukan? Anda dapat bermain lebih banyak dengan parameter Loess untuk melihat apa yang terjadi. Jika garis melengkung, Anda dapat secara visual menyimpulkan bahwa hubungan tersebut tidak linier.

— ttnphns

@Cyrus, saya telah memposting jawaban umum untuk pertanyaan ini tetapi akan menambahkan sedikit interpretasi pada plot Anda dan menyadari bahwa saya tidak begitu yakin apa sumbu dan dalam plot Anda - dapatkah Anda mengklarifikasi?

x

$x$

y

$y$

— Makro

@ ttnphns: ya, ini melengkung. Saya tidak tahu bagaimana memperlakukan model ini! Dalam tes ini (# 2) saya memiliki 2 infus yang secara langsung mempengaruhi DV (PIT). Hasil regresi menunjukkan bahwa hanya 1 dari IVs yang secara signifikan mempengaruhi DV. R2 sangat rendah (0,172) & linieritasnya juga rendah (setidaknya, menurut grafik, ketika IV berada di level rendah). Saya tidak tahu apakah tes ini dapat diterima atau tidak! Bahkan saya mengubah kedua infus (dengan menghitung LN) dan menjalankan kembali regresi, tetapi hasilnya menjadi lebih buruk!

— Cyrus

Jawaban:

Perhatikan bahwa asumsi linearitas yang Anda bicarakan hanya mengatakan bahwa rata-rata bersyarat diberikan adalah fungsi linier $Y_i$ $X_i$ . Anda tidak dapat menggunakan nilai untuk menguji asumsi ini. $R^2$

Ini karena hanyalah korelasi kuadrat antara nilai yang diamati dan yang diprediksi serta nilai koefisien korelasi tidak secara unik menentukan hubungan antara dan (linier atau lainnya) dan kedua skenario berikut dimungkinkan: $R^2$ $X$ $Y$

Tinggi tapi asumsi linearitas masih salah dalam cara penting $R^2$
rendah tetapi asumsi linearitas masih memuaskan $R^2$

Saya akan membahas masing-masing pada gilirannya:

(1) tetapi asumsi linieritas tetap salah dengan cara yang penting: $R^2$ Kuncinya di sini adalah memanipulasi fakta bahwa korelasi sangat sensitif terhadap pencilan . Misalkan Anda memiliki prediktor yang dihasilkan dari distribusi campuran yang normal standar dari waktu dan massa titik di yang lain dan variabel respon yang $X_1, ..., X_n$ $99\%$ $M$ $1\%$

Y_{i} = {\begin{cases} Z_{i} & i f X_{i} \neq M \\ M & i f X_{i} = M \end{cases}

$Y_i = \begin{cases} Z_i & {\rm if \ } X_i \neq M \\ M & {\rm if \ } X_i = M \\ \end{cases}$

$Z_i \sim N(\mu,1)$ $M$ $\mu$ $\mu=0, M=10^5$ $X_i$ $Y_i$

u = runif(1e4)>.99
x = rnorm(1e4)
x[which(u==1)] = 1e5
y = rnorm(1e4)
y[which(x==1e5)] = 1e5
cor(x,y)
[1] 1

$Y_i$ $X_i$ $Y_i$ $X_i$ $X_i = M$

$R^2$ $X_i$ $Y_i$

Y_{i} = β_{0} + β_{1} X_{i} + ε_{i}

$Y_i = \beta_0 + \beta_1 X_i + \varepsilon_i$

$Y_i$ $X_i$ $X_i$ ${\rm var}(\varepsilon_i) = \sigma^2$ $\beta_1$ $R^2$

x = rnorm(200)
y = 1 + 2*x + rnorm(200,sd=5)
cor(x,y)^2
[1] 0.1125698

$R^2$

Re: Apa yang harus dilakukan ketika asumsi linearitas tidak terpenuhi dan mentransformasikan IV juga tidak membantu? !!

Ketika non-linearitas menjadi masalah, mungkin akan membantu untuk melihat plot residual vs setiap prediktor - jika ada pola yang terlihat, ini dapat menunjukkan non-linearitas pada prediktor tersebut. Misalnya, jika plot ini mengungkapkan hubungan "berbentuk mangkuk" antara residu dan prediktor, ini mungkin menunjukkan istilah kuadratik yang hilang dalam prediktor itu. Pola lain dapat menunjukkan bentuk fungsional yang berbeda. Dalam beberapa kasus, mungkin Anda belum mencoba melakukan transformasi yang benar atau bahwa model yang sebenarnya tidak linier dalam versi variabel yang diubah (meskipun dimungkinkan untuk menemukan perkiraan yang masuk akal).

$R^2$

— Makro
sumber

$R^2=1$ $1$ $R^2$ $R^2$ $^2$ $1<x<2$ $R^2$ $R^2$

— Michael R. Chernick
sumber

Terima kasih Michael. Ukuran sampel saya adalah 302. Saya akan sangat menghargai jika Anda dapat melihat hasil tes di sini dan melihat apakah itu masuk akal dan dapat dipertahankan untuk dilaporkan. TQ

— Cyrus

@Cyrus Ini yang sulit. Residual terlihat seperti mereka pas dengan normal dengan baik dan tidak ada yang bisa saya lihat yang akan salah dengan regresi linier. Anda memiliki jumlah data yang layak. R square rendah karena komponen noise acak besar. Plot LOESS menunjukkan beberapa kelengkungan pada nilai yang lebih rendah dari variabel independen. Tapi saya tidak menemukan itu meyakinkan. Saya pikir itu bisa linear dan itu menunjukkan mengapa R square bukan indikator yang baik dalam kasus ini.

— Michael R. Chernick

Tq Michael :) Ya, ini benar-benar membingungkan! Semua asumsi dipenuhi dengan sempurna tetapi linearitas! Seperti yang dapat Anda lihat pada grafik 1 di atas, R2 kuadrat (0,199) lebih besar dari R2 linear (0,172) yang berarti dapat memprediksi model dengan lebih baik. Sebenarnya ketika saya melakukan regresi kuadratik (dengan menambahkan SC2) plot sebar dalam hasilnya sangat heteroscedatic! Aku begitu bingung! Jangan tahu apa yang harus dilakukan dengan model ini! Satu-satunya masalah adalah linearitasnya yang rendah. Saya tidak tahu bagaimana membenarkan linearitas jika saya memasukkan plot pencar di laporan saya. Regresi kuadratik juga gagal memenuhi asumsi homogenitas. Bantuan

— Cyrus

Saya tidak berpikir itu membingungkan. Itu terlihat cukup linier. Ada banyak variabilitas yang menyebabkan R square rendah. Saya pikir satu-satunya cara untuk Anda dapat mengurangi variabilitas akan menemukan variabel penjelasan lain.

— Michael R. Chernick