Mengubah variabel untuk regresi berganda dalam R

Saya mencoba melakukan regresi berganda R. Namun, variabel dependen saya memiliki plot berikut:

Berikut adalah matriks sebar dengan semua variabel saya ( WARadalah variabel dependen):

Saya tahu bahwa saya perlu melakukan transformasi pada variabel ini (dan mungkin variabel independen?) Tetapi saya tidak yakin dengan transformasi yang tepat diperlukan. Bisakah seseorang mengarahkan saya ke arah yang benar? Saya senang memberikan informasi tambahan tentang hubungan antara variabel independen dan dependen.

Grafik diagnostik dari regresi saya terlihat sebagai berikut:

EDIT

Setelah mentransformasikan variabel dependen dan independen menggunakan transformasi Yeo-Johnson, plot diagnostik terlihat seperti ini:

Jika saya menggunakan GLM dengan tautan log, grafik diagnostiknya adalah:

Buku John Fox, An R pendamping untuk regresi terapan adalah sumber daya yang sangat baik pada pemodelan regresi terapan dengan R. Paket caryang saya gunakan dalam jawaban ini adalah paket yang menyertai. Buku ini juga memiliki situs web dengan bab-bab tambahan.

Mengubah respons (alias variabel dependen, hasil)

RlmboxCoxcar$\lambda$family="yjPower"

boxCox(my.regression.model, family="yjPower", plotit = TRUE)

Ini menghasilkan plot seperti berikut:

$\lambda$$\lambda$

Untuk mengubah variabel dependen Anda sekarang, gunakan fungsi yjPowerdari carpaket:

depvar.transformed <- yjPower(my.dependent.variable, lambda)

lambda$\lambda$boxCox

Penting: Daripada hanya mentransformasi log variabel dependen, Anda harus mempertimbangkan untuk menyesuaikan GLM dengan log-link. Berikut adalah beberapa referensi yang memberikan informasi lebih lanjut: pertama , kedua , ketiga . Untuk melakukan ini R, gunakan glm:

glm.mod <- glm(y~x1+x2, family=gaussian(link="log"))

di mana yvariabel dependen Anda dan x1, x2dll. adalah variabel independen Anda.

Transformasi prediktor

Transformasi prediktor yang benar - benar positif dapat diperkirakan dengan kemungkinan maksimum setelah transformasi variabel dependen. Untuk melakukannya, gunakan fungsi boxTidwelldari carpaket (untuk kertas asli lihat di sini ). Gunakan seperti itu: boxTidwell(y~x1+x2, other.x=~x3+x4). Yang penting di sini adalah bahwa opsi other.xmenunjukkan syarat-syarat regresi yang tidak boleh diubah. Ini akan menjadi semua variabel kategori Anda. Fungsi menghasilkan output dari bentuk berikut:

boxTidwell(prestige ~ income + education, other.x=~ type + poly(women, 2), data=Prestige)

          Score Statistic   p-value MLE of lambda
income          -4.482406 0.0000074    -0.3476283
education        0.216991 0.8282154     1.2538274

income$\lambda$income$\text{income}_{new}=1/\sqrt{\text{income}_{old}}$

Posting lain yang sangat menarik di situs tentang transformasi variabel independen adalah yang ini .

Kerugian transformasi

$1/\sqrt{y}$$\lambda$$\lambda$

Pemodelan hubungan nonlinear

Dua metode yang cukup fleksibel agar sesuai dengan hubungan nonlinear adalah polinomial pecahan dan splines . Ketiga makalah ini menawarkan pengantar yang sangat baik untuk kedua metode: Pertama , kedua dan ketiga . Ada juga seluruh buku tentang polinomial pecahan dan R. The R paketmfp alat multivariabel polinomial pecahan. Presentasi ini mungkin informatif mengenai polinomial pecahan. Untuk menyesuaikan splines, Anda dapat menggunakan fungsi gam(model aditif umum, lihat di sini untuk pengenalan yang sangat baik dengan R) dari paketmgcv atau fungsins(natural cubic splines) dan bs(cubic B-splines) dari paket splines(lihat di sini untuk contoh penggunaan fungsi-fungsi ini). Menggunakan gamAnda dapat menentukan prediktor mana yang ingin Anda gunakan menggunakan splines menggunakan s()fungsi:

my.gam <- gam(y~s(x1) + x2, family=gaussian())

di sini, x1akan dipasang menggunakan spline dan x2linear seperti pada regresi linier normal. Di dalam gamAnda dapat menentukan keluarga distribusi dan fungsi tautan seperti pada glm. Jadi untuk cocok dengan model dengan fungsi log-link, Anda dapat menentukan pilihan family=gaussian(link="log")dalam gamseperti di glm.

Lihat posting ini dari situs.

Anda harus memberi tahu kami lebih lanjut tentang sifat respons (hasil, tergantung) variabel Anda. Dari plot pertama Anda sangat condong positif dengan banyak nilai mendekati nol dan beberapa negatif. Dari situ dimungkinkan, tetapi tidak bisa dihindari, transformasi itu akan membantu Anda, tetapi pertanyaan yang paling penting adalah apakah transformasi akan membuat data Anda lebih dekat dengan hubungan linier.

Perhatikan bahwa nilai-nilai negatif untuk respon menghilangkan transformasi logaritmik lurus, tetapi tidak log (respon + konstan), dan bukan model linear umum dengan tautan logaritmik.

Ada banyak jawaban di situs ini yang membahas log (respons + konstan), yang membagi orang statistik: beberapa orang tidak menyukainya sebagai ad hoc dan sulit untuk diajak bekerja sama, sementara yang lain menganggapnya sebagai perangkat yang sah.

GLM dengan tautan log masih dimungkinkan.

Sebagai alternatif, mungkin saja model Anda mencerminkan semacam proses campuran, dalam hal ini model khusus yang mencerminkan proses pembuatan data secara lebih dekat adalah ide yang bagus.

(KEMUDIAN)

OP memiliki PERANG variabel dependen dengan nilai berkisar sekitar 100 hingga -2. Untuk mengatasi masalah dengan mengambil logaritma nol atau nilai negatif, OP mengusulkan fudge nol dan negatif ke 0,000001. Sekarang pada skala logaritmik (basis 10) nilai-nilai tersebut berkisar dari sekitar 2 (100 atau lebih) hingga -6 (0,000001). Minoritas titik-titik fud pada skala logaritmik sekarang menjadi minoritas outlier besar. Plot log_10 (WAR fudged) terhadap hal lain untuk melihat ini.