Apakah regresi x pada y jelas lebih baik daripada y pada x dalam kasus ini?

Instrumen yang digunakan untuk mengukur kadar glukosa dalam darah seseorang dimonitor pada sampel acak 10 orang. Tingkat juga diukur menggunakan prosedur laboratorium yang sangat akurat. Ukuran instrumen dilambangkan dengan x. Ukuran prosedur laboratorium dilambangkan dengan y.

Saya pribadi berpikir y pada x lebih tepat karena tujuannya adalah menggunakan pembacaan instrumen untuk memprediksi pembacaan laboratorium. Dan y pada x meminimalkan kesalahan prediksi tersebut.

Tetapi jawaban yang diberikan adalah x pada y.

Banyak makalah laboratorium, terutama eksperimen pengujian instrumen, menerapkan regresi x on y.

Mereka berpendapat bahwa dari pengumpulan data dalam percobaan, kondisi y dikendalikan, dan mendapatkan x dari pembacaan instrumen (memperkenalkan beberapa kesalahan di dalamnya). Ini adalah model fisik asli percobaan, jadi kesalahan x ~ y + lebih cocok.

Untuk meminimalkan kesalahan percobaan, terkadang, Anda dikendalikan pada kondisi yang sama, kemudian x diukur beberapa kali (atau percobaan berulang). Prosedur ini dapat membantu Anda untuk memahami logika di belakangnya dan menemukan kesalahan x ~ y + dengan lebih jelas.

Seperti biasanya, analisis berbeda menjawab pertanyaan yang berbeda. Kedua dan bisa berlaku di sini, Anda hanya ingin memastikan analisis Anda sesuai dengan pertanyaan Anda ingin jawaban. (Untuk lebih lanjut, Anda mungkin ingin membaca jawaban saya di sini: Apa perbedaan antara regresi linier pada Y dengan X dan X dengan Y? )X  pada  $Y\text{ on }X$$X\text{ on }Y$

Anda benar bahwa jika semua yang Anda ingin lakukan yaitu memprediksi paling kemungkinan nilai yang diberikan pengetahuan tentang sebuah nilai, Anda akan mundur . Namun, jika Anda ingin memahami bagaimana langkah-langkah ini terkait satu sama lain, Anda mungkin ingin menggunakan kesalahan-in-variabel pendekatan, karena Anda percaya bahwa ada kesalahan pengukuran di . X Y  di  X $Y$$X$$Y\text{ on }X$$X$

Di sisi lain, regresi (dan dengan asumsi sempurna bebas dari kesalahan - yang disebut standar emas ) memungkinkan Anda untuk mempelajari sifat pengukuran . Misalnya, Anda dapat menentukan apakah instrumen menjadi bias ketika nilai sebenarnya meningkat (atau menurun) dengan menilai apakah fungsi tersebut lurus atau melengkung. Y $X\text{ on }Y$$Y$$X$

Ketika mencoba untuk memahami sifat-sifat instrumen pengukuran, memahami sifat dari kesalahan pengukuran sangat penting, dan ini dapat dilakukan dengan regresi . Misalnya, ketika memeriksa homoscedasticity, Anda dapat menentukan apakah kesalahan pengukuran bervariasi sebagai fungsi dari tingkat nilai sebenarnya dari konstruk. Sering terjadi dengan instrumen bahwa ada lebih banyak kesalahan pengukuran pada ekstrem rentangnya daripada di tengah rentang yang berlaku (yaitu, 'sweet spot'), sehingga Anda dapat menentukan ini, atau mungkin menentukan apa yang paling sesuai kisarannya. Anda juga dapat memperkirakan jumlahnya$X\text{ on }Y$kesalahan pengukuran dalam instrumen Anda dengan root kuadrat kesalahan (standar deviasi residual); tentu saja ini mengasumsikan homoseksualitas, tetapi Anda juga bisa mendapatkan perkiraan pada titik yang berbeda pada melalui pemasangan fungsi yang halus, seperti spline , ke residu. $Y$

Dengan pertimbangan ini, saya menduga lebih baik, tetapi tentu saja tergantung pada apa tujuan Anda. $X\text{ on }Y$

Prediksi dan Peramalan

Ya Anda benar, ketika Anda melihat ini sebagai masalah prediksi, regresi Y-on-X akan memberi Anda model sedemikian rupa sehingga dengan pengukuran instrumen Anda dapat membuat estimasi yang tidak bias dari pengukuran lab yang akurat, tanpa melakukan prosedur lab. .

Dengan kata lain, jika Anda hanya tertarik pada maka Anda ingin regresi Y-on-X.$E[Y|X]$

Ini mungkin tampak kontra-intuitif karena struktur kesalahan bukan yang "asli". Dengan asumsi bahwa metode lab adalah metode bebas kesalahan standar emas, maka kita "tahu" bahwa model data generatif sebenarnya adalah

$X_i = \beta Y_i + \epsilon_i$

di mana dan adalah distribusi identik yang independen, danϵ i E [ ϵ ] = $Y_i$$\epsilon_i$$E[\epsilon]=0$

Kami tertarik untuk mendapatkan estimasi . Karena asumsi independensi kami, kami dapat mengatur ulang hal di atas:$E[Y_i|X_i]$

$Y_i = \frac{X_i - \epsilon}{\beta}$

Sekarang, mengambil ekspektasi yang diberikan adalah tempat segala sesuatu menjadi berbulu$X_i$

$E[Y_i|X_i] = \frac{1}{\beta} X_i - \frac{1}{\beta} E[\epsilon_i|X_i]$

Masalahnya adalah istilah - apakah sama dengan nol? Sebenarnya tidak masalah, karena Anda tidak akan pernah melihatnya, dan kami hanya memodelkan istilah linier (atau argumen meluas hingga istilah apa pun yang Anda modelkan). Ketergantungan antara dan dapat dengan mudah diserap ke dalam konstanta yang kami perkirakan.$E[\epsilon_i|X_i]$$\epsilon$$X$

Secara eksplisit, tanpa kehilangan sifat umum kita dapat membiarkannya

$\epsilon_i = \gamma X_i + \eta_i$

Di mana menurut definisi, sehingga sekarang kita miliki$E[\eta_i|X] = 0$

$Y_I = \frac{1}{\beta} X_i - \frac{\gamma}{\beta} X_i - \frac{1}{\beta} \eta_i$

$Y_I = \frac{1-\gamma}{\beta} X_i - \frac{1}{\beta} \eta_i$

yang memenuhi semua persyaratan OLS, karena sekarang eksogen. Tidak masalah sedikitpun bahwa istilah kesalahan juga mengandung karena bagaimanapun juga tidak diketahui dan harus diestimasi. Karena itu kita dapat dengan mudah mengganti konstanta-konstanta itu dengan konstanta baru dan menggunakan pendekatan normal$\eta$$\beta$$\beta$$\sigma$

$Y_I = {\alpha} X_i + \eta_i$

Perhatikan bahwa kami TIDAK memperkirakan kuantitas yang awalnya saya tulis - kami telah membangun model terbaik yang kami bisa untuk menggunakan X sebagai proxy untuk Y.$\beta$

Analisis Instrumen

Orang yang memberi Anda pertanyaan ini, jelas tidak menginginkan jawaban di atas karena mereka mengatakan X-on-Y adalah metode yang benar, jadi mengapa mereka menginginkannya? Kemungkinan besar mereka sedang mempertimbangkan tugas memahami instrumen. Seperti yang dibahas dalam jawaban Vincent, jika Anda ingin tahu tentang mereka ingin instrumen berperilaku, X-on-Y adalah jalan yang harus ditempuh.

Kembali ke persamaan pertama di atas:

$X_i = \beta Y_i + \epsilon_i$

Orang yang mengatur pertanyaan bisa saja memikirkan kalibrasi. Suatu instrumen dikatakan dikalibrasi ketika memiliki ekspektasi yang sama dengan nilai sebenarnya - yaitu . Jelas untuk mengkalibrasi Anda perlu menemukan , dan untuk mengkalibrasi instrumen Anda perlu melakukan regresi X-on-Y.$E[X_i|Y_i] = Y_i$$X$$\beta$

Penyusutan

Kalibrasi adalah persyaratan instrumen yang masuk akal secara intuitif, tetapi juga dapat menyebabkan kebingungan. Perhatikan, bahwa bahkan instrumen yang dikalibrasi dengan baik tidak akan menunjukkan kepada Anda nilai yang diharapkan dari ! Untuk mendapatkan Anda masih perlu melakukan regresi Y-on-X, bahkan dengan instrumen yang dikalibrasi dengan baik. Perkiraan ini umumnya akan terlihat seperti versi menyusut dari nilai instrumen (ingat istilah yang merangkak masuk). Secara khusus, untuk mendapatkan perkiraan benar-benar baik dari Anda harus menyertakan pengetahuan sebelumnya Anda dari distribusi . Ini kemudian mengarah pada konsep-konsep seperti regresi-to-the-mean dan empiris.$Y$$E[Y|X]$$\gamma$$E[Y|X]$$Y$

Contoh dalam R Salah satu cara untuk merasakan apa yang sedang terjadi di sini adalah membuat beberapa data dan mencoba metode tersebut. Kode di bawah ini membandingkan X-on-Y dengan Y-on-X untuk prediksi dan kalibrasi dan Anda dapat dengan cepat melihat bahwa X-on-Y tidak baik untuk model prediksi, tetapi merupakan prosedur kalibrasi yang benar.

library(data.table)
library(ggplot2)

N = 100
beta = 0.7
c = 4.4

DT = data.table(Y = rt(N, 5), epsilon = rt(N,8))
DT[, X := 0.7*Y + c + epsilon]

YonX = DT[, lm(Y~X)]   # Y = alpha_1 X + alpha_0 + eta
XonY = DT[, lm(X~Y)]   # X = beta_1 Y + beta_0 + epsilon


YonX.c = YonX$coef[1]   # c = alpha_0
YonX.m = YonX$coef[2]   # m = alpha_1

# For X on Y will need to rearrage after the fit.
# Fitting model X = beta_1 Y + beta_0
# Y = X/beta_1 - beta_0/beta_1

XonY.c = -XonY$coef[1]/XonY$coef[2]      # c = -beta_0/beta_1
XonY.m = 1.0/XonY$coef[2]  # m = 1/ beta_1

ggplot(DT, aes(x = X, y =Y)) + geom_point() +  geom_abline(intercept = YonX.c, slope = YonX.m, color = "red")  +  geom_abline(intercept = XonY.c, slope = XonY.m, color = "blue")

# Generate a fresh sample

DT2 = data.table(Y = rt(N, 5), epsilon = rt(N,8))
DT2[, X := 0.7*Y + c + epsilon]

DT2[, YonX.predict := YonX.c + YonX.m * X]
DT2[, XonY.predict := XonY.c + XonY.m * X]

cat("YonX sum of squares error for prediction: ", DT2[, sum((YonX.predict - Y)^2)])
cat("XonY sum of squares error for prediction: ", DT2[, sum((XonY.predict - Y)^2)])

# Generate lots of samples at the same Y

DT3 = data.table(Y = 4.0, epsilon = rt(N,8))
DT3[, X := 0.7*Y + c + epsilon]

DT3[, YonX.predict := YonX.c + YonX.m * X]
DT3[, XonY.predict := XonY.c + XonY.m * X]

cat("Expected value of X at a given Y (calibrated using YonX) should be close to 4: ", DT3[, mean(YonX.predict)])
cat("Expected value of X at a gievn Y (calibrated using XonY) should be close to 4: ", DT3[, mean(XonY.predict)])

ggplot(DT3) + geom_density(aes(x = YonX.predict), fill = "red", alpha = 0.5) + geom_density(aes(x = XonY.predict), fill = "blue", alpha = 0.5) + geom_vline(x = 4.0, size = 2) + ggtitle("Calibration at 4.0")

Dua garis regresi diplot atas data

Dan kemudian jumlah kesalahan kuadrat untuk Y diukur untuk keduanya cocok pada sampel baru.

> cat("YonX sum of squares error for prediction: ", DT2[, sum((YonX.predict - Y)^2)])
YonX sum of squares error for prediction:  77.33448
> cat("XonY sum of squares error for prediction: ", DT2[, sum((XonY.predict - Y)^2)])
XonY sum of squares error for prediction:  183.0144

Sebagai alternatif, suatu sampel dapat dihasilkan pada Y tetap (dalam hal ini 4) dan kemudian rata-rata dari perkiraan yang diambil. Anda sekarang dapat melihat bahwa prediktor Y-on-X tidak dikalibrasi dengan baik memiliki nilai yang diharapkan jauh lebih rendah dari Y. Prediktor X-on-Y, dikalibrasi dengan baik memiliki nilai yang diharapkan mendekati Y.

> cat("Expected value of X at a given Y (calibrated using YonX) should be close to 4: ", DT3[, mean(YonX.predict)])
Expected value of X at a given Y (calibrated using YonX) should be close to 4:  1.305579
> cat("Expected value of X at a gievn Y (calibrated using XonY) should be close to 4: ", DT3[, mean(XonY.predict)])
Expected value of X at a gievn Y (calibrated using XonY) should be close to 4:  3.465205

Distribusi kedua prediksi tersebut dapat dilihat pada plot kepadatan.

Itu tergantung pada asumsi Anda tentang varians X dan varians Y untuk Ordinary Least Squares. Jika Y memiliki satu-satunya sumber varians dan X memiliki varians nol, maka gunakan X untuk memperkirakan Y. Jika asumsi adalah sebaliknya (X memiliki satu-satunya varian dan Y memiliki varians nol), maka gunakan Y untuk memperkirakan X.

Jika X dan Y diasumsikan memiliki varian, maka Anda mungkin perlu mempertimbangkan Total Least Squares .

Deskripsi TLS yang baik ditulis di tautan ini . Makalah ini diarahkan untuk perdagangan, tetapi bagian 3 melakukan pekerjaan yang baik untuk menggambarkan TLS.

Sunting 1 (09/10/2013) ========================================= ======

Saya awalnya berasumsi bahwa ini adalah semacam masalah pekerjaan rumah, jadi saya tidak benar-benar spesifik tentang "jawaban" untuk pertanyaan OP. Tapi, setelah membaca jawaban lain, sepertinya tidak apa-apa untuk mendapatkan sedikit lebih detail.

Mengutip bagian dari pertanyaan OP:

".... Levelnya juga diukur menggunakan prosedur laboratorium yang sangat akurat ...."

Pernyataan di atas mengatakan bahwa ada dua pengukuran, satu dari instrumen dan satu dari prosedur laboratorium. Pernyataan itu juga menyiratkan bahwa varians untuk prosedur laboratorium rendah dibandingkan dengan varians untuk instrumen.

Kutipan lain dari pertanyaan OP adalah:

".... Ukuran prosedur laboratorium dilambangkan dengan y ....."

Jadi, dari dua pernyataan di atas, Y memiliki varian yang lebih rendah. Jadi, teknik yang paling rawan kesalahan adalah menggunakan Y untuk memperkirakan X. "Jawaban yang diberikan" benar.