Memahami bentuk interval kepercayaan untuk regresi polinomial (MLR)

11

Saya mengalami kesulitan untuk memahami bentuk interval kepercayaan dari regresi polinomial.

Ini adalah contoh buatan, . Gambar kiri menggambarkan UPV (varians prediksi tidak berskala) dan grafik kanan menunjukkan interval kepercayaan dan (diukur) titik yang diukur pada X = 1,5, X = 2 dan X = 3. $\hat{Y}=a+b\cdot X+c\cdot X^2$

Detail data yang mendasarinya:

set data terdiri dari tiga titik data (1.5; 1), (2; 2.5) dan (3; 2.5).
setiap titik "diukur" 10 kali dan setiap nilai yang diukur milik . MLR dengan model poynomial dilakukan pada 30 poin yang dihasilkan. $y \pm 0.5$
interval kepercayaan dihitung dengan rumus dan (kedua formula diambil dari Myers, Montgomery, Anderson-Cook, "Metodologi Permukaan Respon" edisi keempat, halaman 407 dan 34)
$U P V = \frac{V a r [\hat{y} (x_{0})]}{{\hat{σ}}^{2}} = x_{0}^{'} (X^{'} X)^{- 1} x_{0}$ $UPV=\frac{Var[\hat{y}(x_0)]}{\hat{\sigma}^2}=x_0'(X'X)^{-1}x_0$ $\hat{y} (x_{0}) - t_{α / 2, d f (e r r o r)} \sqrt{{\hat{σ}}^{2} \cdot x_{0}^{'} (X^{'} X)^{- 1} x_{0}}$ $\hat{y}(x_0) - t_{\alpha /2, df(error)}\sqrt{\hat{\sigma}^2\cdot x_0'(X'X)^{-1}x_0}$ $\leq μ_{y | x_{0}} \leq \hat{y} (x_{0}) + t_{α / 2, d f (e r r o r)} \sqrt{{\hat{σ}}^{2} \cdot x_{0}^{'} (X^{'} X)^{- 1} x_{0}} .$ $\leq \mu_{y|x_0} \leq \hat{y}(x_0) + t_{\alpha /2, df(error)}\sqrt{\hat{\sigma}^2\cdot x_0'(X'X)^{-1}x_0} .$

$t_{\alpha /2, df(error)}=2$ dan $\hat{\sigma}^2=MSE=SSE/(n-p)\sim0.075$ .

Saya tidak terlalu tertarik pada nilai absolut dari interval kepercayaan, tetapi lebih pada bentuk UPV yang hanya bergantung pada . $x_0'(X'X)^{-1}x_0$

Gambar 1:

varians yang diprediksi sangat tinggi di luar ruang desain adalah normal karena kami memperkirakan
tetapi mengapa varians lebih kecil antara X = 1,5 dan X = 2 daripada pada titik yang diukur?
dan mengapa varians menjadi lebih luas untuk nilai lebih dari X = 2 tetapi kemudian berkurang setelah X = 2.3 menjadi lebih kecil lagi dari pada titik yang diukur pada X = 3?

Bukankah logis untuk varians menjadi kecil pada titik-titik yang diukur dan besar di antara mereka?

Sunting: prosedur yang sama tetapi dengan titik data [(1.5; 1), (2.25; 2.5), (3; 2.5)] dan [(1.5; 1), (2; 2.5), (2.5; 2.2), (3; 2.5)].

Gambar 2:

Gambar 3:

Sangat menarik untuk dicatat, bahwa pada gambar 1 dan 2, UPV pada Poin persis sama dengan 1. Ini berarti bahwa interval kepercayaan akan sama persis dengan . Dengan semakin banyak poin (gambar 3), kita bisa mendapatkan nilai-UPV pada titik-titik yang diukur yang lebih kecil dari 1. $\hat{y} \pm t_{\alpha /2, df(error)}\cdot \sqrt{MSE}$

regression confidence-interval

— John Tokka Tacos
sumber

2

Bisakah Anda mengedit posting Anda untuk memasukkan data yang Anda kerjakan?

— Stephan Kolassa

@StephanKolassa Saya mencoba menjelaskan data apa yang saya gunakan. Namun demikian, pertanyaannya lebih bersifat umum dan tidak terikat pada contoh tertentu.

— John Tokka Tacos

Jika Anda memberikan data, akan lebih mudah untuk menggambarkan jawaban.

— Stephan Kolassa

6

Dua cara utama untuk memahami fenomena regresi tersebut adalah aljabar - dengan memanipulasi persamaan dan formula Normal untuk solusinya - dan geometris. Aljabar, sebagaimana diilustrasikan dalam pertanyaan itu sendiri, baik. Tetapi ada beberapa formulasi geometris yang berguna untuk regresi. Dalam hal ini, memvisualisasikan data dalam ruang menawarkan wawasan $(x,y)$ $(x,x^2,y)$ yang mungkin sulit didapat.

Kami membayar harga yang diperlukan untuk melihat objek tiga dimensi, yang sulit dilakukan pada layar statis. (Saya menemukan gambar yang berputar tanpa henti mengganggu dan tidak akan menimbulkan salah satu dari mereka pada Anda, meskipun mereka dapat membantu.) Jadi, jawaban ini mungkin tidak menarik bagi semua orang. Tetapi mereka yang ingin menambahkan dimensi ketiga dengan imajinasi mereka akan dihargai. Saya mengusulkan untuk membantu Anda dalam upaya ini melalui beberapa grafik yang dipilih dengan cermat.

Mari kita mulai dengan memvisualisasikan variabel independen . Dalam model regresi kuadratik

\begin{matrix} (1) & y_{i} = β_{0} + β_{1} (x_{i}) + β_{2} (x_{i}^{2}) + error, \end{matrix}

$y_i = \beta_0 + \beta_1 (x_i) + \beta_2 (x_i^2) + \text{error},\tag{1}$

dua istilah dan dapat bervariasi di antara pengamatan: mereka adalah variabel independen . Kita dapat memplot semua pasangan yang dipesan sebagai titik dalam sebuah pesawat dengan sumbu yang sesuai dengan dan Juga diungkapkan untuk memplot semua titik pada kurva dari pasangan yang mungkin dipesan $(x_i)$ $(x_i^2)$ $(x_i,x_i^2)$ $x$ $x^2.$ $(t,t^2):$

Visualisasikan respons (variabel dependen) dalam dimensi ketiga dengan memiringkan gambar ini kembali dan menggunakan arah vertikal untuk dimensi itu. Setiap respons diplot sebagai simbol titik. Data yang disimulasikan ini terdiri dari tumpukan sepuluh tanggapan untuk masing-masing dari tiga lokasi yang ditunjukkan pada gambar pertama; ketinggian yang mungkin dari setiap tumpukan ditunjukkan dengan garis vertikal abu-abu: $(x,x^2)$

Regresi kuadrat cocok pesawat ke titik-titik ini.

(Bagaimana kita tahu itu? Karena untuk setiap pilihan parameter himpunan titik dalam ruang yang memenuhi persamaan adalah himpunan nol dari fungsi yang mendefinisikan bidang yang tegak lurus dengan vektor Ini sedikit geometri analitik membeli kami beberapa dukungan kuantitatif untuk gambar, juga: karena parameter yang digunakan dalam ilustrasi ini adalah dan dan keduanya besar dibandingkan dengan pesawat ini akan hampir vertikal dan berorientasi secara diagonal pada bidang .) $(\beta_0,\beta_1,\beta_2),$ $(x,x^2,y)$ $(1)$ $-\beta_1(x)-\beta_2(x^2)+(1)y-\beta_0,$ $(-\beta_1,-\beta_2,1).$ $\beta_1=-55/8$ $\beta_2=15/2,$ $1,$ $(x,x^2)$

Berikut adalah bidang kuadrat terkecil yang dipasang pada titik-titik ini:

Pada bidang, yang kita anggap memiliki persamaan bentuk saya telah "mengangkat" kurva ke kurva dan menggambarkannya dalam warna hitam. $y=f(x,x^2),$ $(t,t^2)$

t \to (t, t^{2}, f (t, t^{2}))

$t\to (t, t^2, f(t,t^2))$

Mari kita miringkan semuanya lebih jauh ke belakang sehingga hanya sumbu dan yang ditampilkan, meninggalkan sumbu agar tidak terlihat turun dari layar Anda: $x$ $y$ $x^2$

Anda dapat melihat bagaimana kurva terangkat adalah regresi kuadrat yang diinginkan: itu adalah lokus dari semua pasangan berurutan mana adalah nilai pas ketika variabel independen diatur ke $(x,\hat y)$ $\hat y$ $x.$

Pita kepercayaan untuk kurva yang pas ini menggambarkan apa yang bisa terjadi pada kecocokan ketika titik data secara acak bervariasi. Tanpa mengubah sudut pandang, saya telah memplot lima pesawat yang pas (dan kurva yang terangkat) ke lima set data baru yang independen (yang hanya ditampilkan satu):

Untuk membantu Anda melihat ini lebih baik, saya juga membuat pesawat hampir transparan. Jelas bahwa kurva yang terangkat cenderung memiliki persimpangan satu sama lain di dekat dan $x \approx 1.75$ $x \approx 3.$

Mari kita lihat hal yang sama dengan melayang di atas plot tiga dimensi dan melihat sedikit ke bawah dan sepanjang sumbu diagonal pesawat. Untuk membantu Anda melihat bagaimana pesawat berubah, saya juga telah mengompresi dimensi vertikal.

Pagar emas vertikal menunjukkan semua titik di atas kurva sehingga Anda dapat lebih mudah melihat bagaimana ia terangkat ke semua lima pesawat yang terpasang. Secara konseptual, pita kepercayaan ditemukan dengan memvariasikan data, yang menyebabkan bidang yang dipasang bervariasi, yang mengubah kurva yang terangkat, di mana mereka menelusuri sebuah amplop dari nilai yang mungkin dipasang pada setiap nilai $(t,t^2)$ $(x,x^2).$

Sekarang saya percaya penjelasan geometris yang jelas adalah mungkin. Karena titik-titik bentuk hampir berbaris di pesawat mereka, semua pesawat pas akan berputar (dan bergoyang sedikit) di sekitar beberapa garis umum yang terletak di atas titik-titik tersebut. (Misalkan menjadi proyeksi dari garis tersebut ke bidang : ia akan mendekati kurva pada gambar pertama.) Ketika bidang-bidang itu bervariasi, jumlah perubahan kurva yang diangkat ( secara vertikal) pada lokasi tertentu akan berbanding lurus dengan jarak terletak dari $(x_i,x_i^2)$ $\mathcal L$ $(x,x^2)$ $(x,x^2)$ $(x,x^2)$ $\mathcal L.$

Gambar ini kembali ke perspektif planar asli untuk menampilkan relatif terhadap kurva di bidang variabel independen. Dua titik pada kurva yang paling dekat dengan ditandai dengan warna merah. Di sini, kira-kira, adalah tempat pesawat yang pas akan cenderung paling dekat karena responsnya bervariasi secara acak. Dengan demikian, kurva yang terangkat pada nilai sesuai (sekitar dan ) akan cenderung bervariasi setidaknya dekat titik-titik ini. $\mathcal L$ $t\to(t,t^2)$ $\mathcal L$ $x$ $1.7$ $2.9$

Secara aljabar, menemukan "titik-titik nodal" itu adalah masalah menyelesaikan persamaan kuadrat: dengan demikian, paling banyak dua di antaranya akan ada. Karena itu, kami dapat berharap, sebagai proposisi umum, bahwa pita kepercayaan dari kuadratik cocok dengan data mungkin memiliki hingga dua tempat di mana mereka datang paling dekat bersama - tetapi tidak lebih dari itu. $(x,y)$

Analisis ini secara konseptual berlaku untuk regresi polinomial tingkat tinggi, serta regresi berganda secara umum. Meskipun kita tidak dapat benar-benar "melihat" lebih dari tiga dimensi, matematika regresi linier menjamin bahwa intuisi yang berasal dari plot dua dan tiga dimensi dari tipe yang ditampilkan di sini tetap akurat dalam dimensi yang lebih tinggi.

— whuber
sumber

Terima kasih atas jawaban yang bagus ini! Tidak pernah terjadi pada saya bahwa regresi kuadrat cocok dengan bidang ke titik. Formulasi geometris ini sangat intuitif, dan banyak membantu saya.

— John Tokka Tacos

1

Ini adalah jawaban yang hebat - kami harus menyusun posting terbaik Anda dan menjadikannya menjadi buku sumber terbuka

— Xavier Bourret Sicotte

1

@Xavier Terima kasih atas kata-kata baiknya. Saya telah memikirkan sesuatu seperti itu dan menyambut semua saran dan kritik yang membangun.

— Whuber

1

Intuitif

Dalam arti yang sangat intuitif dan kasar Anda mungkin melihat kurva polinomial sebagai dua kurva linier dijahit bersama (satu naik satu menurun). Untuk kurva linear ini Anda mungkin ingat bentuk sempit di tengah .

Poin di sebelah kiri puncak memiliki pengaruh yang relatif kecil pada prediksi di sebelah kanan puncak, dan sebaliknya.

Jadi, Anda mungkin mengharapkan dua daerah sempit di kedua sisi puncak (di mana perubahan lereng masing-masing memiliki efek yang relatif kecil).
Wilayah di sekitar puncak relatif lebih tidak pasti karena perubahan kemiringan kurva memiliki efek yang lebih besar di wilayah ini. Anda dapat menggambar banyak kurva dengan pergeseran besar dari puncak yang masih masuk akal melalui titik pengukuran

Ilustrasi

Di bawah ini adalah ilustrasi dengan beberapa data berbeda, yang menunjukkan lebih mudah bagaimana pola ini (bisa dibilang simpul ganda) dapat muncul:

set.seed(1)
x <- c(rep(c(-6, -5, 6, 5), 5))
y <- 0.2*x^2 + rnorm(20, 0, 1)
plot(x, y, 
     ylim=c(-10,30), xlim=c(-10,10),
     pch=21, col=1, bg=1, cex=0.3)

data    = list(y=y,           x=x,                x2=x^2)
newdata = list(y=rep(0,3001), x=seq(-15,15,0.01), x2=seq(-15,15,0.01)^2  )

model <- lm(y~1+x+x2, data=data)
predictions = predict(model, newdata = newdata, interval="predict")
lines(newdata$x, predictions[,1])
lines(newdata$x, predictions[,2], lty=2)
lines(newdata$x, predictions[,3], lty=2)

Resmi

^{Untuk dilanjutkan: Saya akan menempatkan bagian nanti dengan penjelasan yang lebih formal. Seseorang harus dapat mengekspresikan pengaruh titik pengukuran tertentu pada interval kepercayaan di tempat yang berbeda . Dalam ungkapan ini kita harus melihat lebih jelas (eksplisit) bagaimana perubahan titik pengukuran (acak) tertentu memiliki pengaruh lebih besar terhadap kesalahan di area yang diinterpolasi lebih jauh dari titik pengukuran $x$

Saat ini saya tidak dapat menangkap gambar yang baik dari pola interval prediksi yang bergelombang, tetapi saya berharap bahwa ide kasar ini cukup menanggapi komentar Whuber tentang tidak mengenali pola ini dalam kuadrat cocok. Ini bukan tentang fit kuadrat dan lebih banyak tentang interpolasi secara umum, dalam kasus-kasus akurasi kurang kuat untuk prediksi ketika mereka dinyatakan jauh dari poin, terlepas dari interpolasi atau ekstrapolasi. (Tentu saja pola ini lebih berkurang ketika lebih banyak titik pengukuran, berbeda , ditambahkan) $x$}

— Sextus Empiricus
sumber

1

Saya mengalami kesulitan mempercayai karakterisasi ini atau kesimpulannya, karena saya cukup yakin regresi kuadrat tidak berlaku seperti ini. Bisakah Anda meyakinkan saya dengan memberikan beberapa alasan bagi mereka?

— whuber

1

Saya kira itu tergantung pada posisi poin. Dalam contoh titik berada di kedua sisi puncak. Maka Anda mungkin menganggap posisi puncak sebagai semacam ekstrapolasi. Saya akan membuat contoh kasus yang lebih ekstrem nanti. (Saya juga bertanya-tanya bagaimana regresi dilakukan, tetapi saya membayangkan bahwa kesalahan dalam koefisien dianggap berkorelasi atau Anda memang tidak mendapatkan pola ini)

— Sextus Empiricus

Itu memang tergantung pada posisi poin, tetapi dengan cara yang kompleks. (Aljabar menunjukkan bahwa kebalikan dari matriks kovarian dari data terlibat.) Tetapi berfokus pada "titik di sisi puncak" tidak selalu merupakan deskripsi yang tepat, atau bahkan berguna, tentang apa sedang terjadi. Kesalahan dalam koefisien hampir selalu berkorelasi kuat (kecuali jika Anda telah meyakinkan ortogonalitas dan ), jadi itulah bagian dari penjelasan. Untuk mendukung pertentangan ini, saya telah memposting analisis data bergambar seperti yang digunakan dalam pertanyaan.

(x_{i}, x_{i}^{2})

$(x_i, x_i^2)$

x

$x$

x^{2}

$x^2$

— whuber