Korelasi antara estimator OLS untuk intersep dan kemiringan

Dalam model regresi sederhana,

y = β_{0} + β_{1} x + ε,

$y = \beta_0 + \beta_1 x + \varepsilon,$

estimator OLS dan berkorelasi. $\hat{\beta}_0^{OLS}$ $\hat{\beta}_1^{OLS}$

Rumus untuk korelasi antara kedua penaksir adalah (jika saya mendapatkannya dengan benar):

Corr ({\hat{β}}_{0}^{O L S}, {\hat{β}}_{1}^{O L S}) = \frac{- \sum_{i = 1}^{n} x_{i}}{\sqrt{n} \sqrt{\sum_{i = 1}^{n} x_{i}^{2}}} .

$\operatorname{Corr}(\hat{\beta}_0^{OLS},\hat{\beta}_1^{OLS}) = \frac{-\sum_{i=1}^{n}x_i}{\sqrt{n} \sqrt{\sum_{i=1}^{n}x_i^2} }.$

Pertanyaan:

Apa penjelasan intuitif untuk keberadaan korelasi?
Apakah kehadiran korelasi memiliki implikasi penting?

Pos diedit dan pernyataan bahwa korelasi menghilang dengan ukuran sampel telah dihapus. (Terima kasih kepada @whuber dan @ChristophHanck.)

regression least-squares estimators

— Richard Hardy
sumber

Rumusnya benar, tetapi bisakah Anda menjelaskan asimptotik apa yang Anda gunakan? Lagi pula, dalam banyak kasus, korelasinya tidak hilang - stabil. Pertimbangkan, misalnya , percobaan di mana

x_{i}

$x_i$ adalah biner dan anggaplah data dikumpulkan dengan mengganti

x_{i}

$x_i$ antara

1

$1$ dan

0

$0$ . Kemudian

\sum x_{i} = \sum x_{i}^{2} \approx n / 2

$\sum x_i = \sum x_i^2 \approx n/2$ dan korelasinya akan selalu dekat dengan

\sqrt{2} / 2 \neq 0

$\sqrt{2}/2 \ne 0$ , tidak peduli seberapa besar

n

$n$ menjadi.

— whuber

Saya akan mengatakan itu hanya hilang jika

E (X) = 0

$E(X)=0$ : tulis

Corr ({\hat{β}}_{0}^{O L S}, {\hat{β}}_{1}^{O L S}) = \frac{- \frac{1}{N} \sum_{i = 1}^{N} x_{i}}{\sqrt{\frac{N \sum_{i = 1}^{N} x_{i}^{2}}{N^{2}}}} = \frac{- \frac{1}{N} \sum_{i = 1}^{N} x_{i}}{\sqrt{\frac{\sum_{i = 1}^{N} x_{i}^{2}}{N}}},

$\operatorname{Corr}(\hat{\beta}_0^{OLS},\hat{\beta}_1^{OLS}) = \frac{-\frac{1}{N}\sum_{i=1}^{N}x_i}{\sqrt{\frac{N\sum_{i=1}^{N}x_i^2}{N^2}}} = \frac{-\frac{1}{N}\sum_{i=1}^{N}x_i}{\sqrt{\frac{\sum_{i=1}^{N}x_i^2}{N}}},$ yang dimaksudkan untuk

- E (X) / \sqrt{E (X^{2})}

$-E(X)/\sqrt{E(X^2)}$ .

— Christoph Hanck

Memang, saya kehilangan satu ketika saya menurunkan perilaku korelasi ketika meningkat. Jadi whuber dan ChristophHanck benar. Saya masih tertarik pada penjelasan intuitif mengapa korelasi itu bukan nol di tempat pertama, dan implikasi yang berguna . (Saya tidak mengatakan korelasi seharusnya nol, saya tidak punya intuisi di sini.)

n

$n$

n

$n$

— Richard Hardy

Rumus Anda dengan rapi menunjukkan misalnya bahwa untuk regressor berpusat-rata-rata , korelasi dengan intersep menghilang.

x

$x$

— Michael M

Terkait: Mengapa kesalahan standar intersep meningkatkan lebih lanjut adalah dari 0?

\bar{x}

$\bar x$

— gung - Reinstate Monica

Biarkan saya mencobanya sebagai berikut (benar-benar tidak yakin apakah itu intuisi yang berguna):

Berdasarkan komentar saya di atas, korelasinya kira-kira akan menjadi Jadi, jika bukannya , sebagian besar data akan dikelompokkan di sebelah kanan nol. Jadi, jika koefisien kemiringan semakin besar, rumus korelasi menegaskan bahwa intersep perlu menjadi lebih kecil - yang masuk akal.

- \frac{E (X)}{\sqrt{E (X^{2})}}

$-\frac{E(X)}{\sqrt{E(X^2)}}$

E (X) > 0

$E(X)>0$

E (X) = 0

$E(X)=0$

Saya sedang memikirkan sesuatu seperti ini:

Pada sampel biru, estimasi kemiringan lebih rata, yang berarti estimasi intersepsi dapat lebih besar. Kemiringan untuk sampel emas agak lebih besar, sehingga intersep dapat sedikit lebih kecil untuk mengimbangi ini.

Di sisi lain, jika , kita dapat memiliki kemiringan tanpa kendala pada intersep. $E(X)=0$

Penyebut rumus juga dapat ditafsirkan sepanjang garis-garis ini: jika, untuk rata-rata yang diberikan, variabilitas yang diukur dengan meningkat, data akan dioleskan di atas sumbu, sehingga secara efektif "terlihat". "Lebih berarti-nol lagi, melonggarkan kendala pada intersep untuk rata-rata diberikan . $E(X^2)$ $x$ $X$

Inilah kodenya, yang saya harap jelaskan gambarnya:

n <- 30
x_1 <- sort(runif(n,2,3))
beta <- 2
y_1 <- x_1*beta + rnorm(n) # the golden sample

x_2 <- sort(runif(n,2,3)) 
beta <- 2
y_2 <- x_2*beta + rnorm(n) # the blue sample

xax <- seq(-1,3,by=.001)
plot(x_1,y_1,xlim=c(-1,3),ylim=c(-4,7),pch=19,col="gold",ylab="y",xlab="x")
abline(lm(y_1~x_1),col="gold",lwd=2)
abline(v=0,lty=2)
lines(xax,beta*xax) # the "true" regression line
abline(lm(y_2~x_2),col="lightblue",lwd=2)
points(x_2,y_2,pch=19,col="lightblue")

— Christoph Hanck
sumber

Untuk implikasi praktis, pertimbangkan pengembangan dan penggunaan kurva kalibrasi untuk instrumen laboratorium. Untuk mengembangkan kalibrasi, nilai yang diketahui diuji dengan instrumen dan nilai output instrumen diukur, diikuti dengan regresi linier. Kemudian sampel yang tidak diketahui diterapkan pada instrumen, dan nilai baru digunakan untuk memprediksi tidak diketahui berdasarkan kalibrasi linier-regresi. Analisis kesalahan estimasi tidak diketahui akan melibatkan korelasi antara estimasi kemiringan regresi dan intersep.

x

$x$

y

$y$

y

$y$

x

$x$

x

$x$

— EdM

Anda mungkin ingin mengikuti Dougherty's Introduction to Econometrics , mungkin mempertimbangkan untuk sekarang bahwa adalah variabel non-stokastik, dan mendefinisikan deviasi kuadrat rata-rata menjadi . Perhatikan bahwa MSD diukur dalam kuadrat unit (mis. Jika ada di maka MSD di ), sedangkan root mean square deviation, berada pada skala asli. Ini menghasilkan $x$ $x$ $\DeclareMathOperator{\MSD}{MSD}\MSD(x) = \frac{1}{n} \sum_{i=1}^n (x_i - \bar{x})^2$ $x$ $x$ $\text{cm}$ $\text{cm}^2$ $\DeclareMathOperator{\RMSD}{RMSD}\RMSD(x)=\sqrt{\MSD(x)}$

Corr ({\hat{β}}_{0}^{O L S}, {\hat{β}}_{1}^{O L S}) = \frac{- \bar{x}}{\sqrt{MSD (x) + {\bar{x}}^{2}}}

$\DeclareMathOperator{\Corr}{Corr}\Corr(\hat{\beta}_0^{OLS},\hat{\beta}_1^{OLS}) = \frac{-\bar{x}}{\sqrt{\MSD(x) + \bar{x}^2}}$

Ini akan membantu Anda melihat bagaimana korelasi dipengaruhi oleh kedua rata-rata dari (khususnya, korelasi antara kemiringan dan mencegat Anda estimator dihapus jika variabel berpusat) dan juga dengan yang spread . (Penguraian ini mungkin juga membuat asimptotik lebih jelas!) $x$ $x$

Saya akan mengulangi pentingnya hasil ini: jika tidak memiliki rata-rata nol, kita dapat mengubahnya dengan mengurangi sehingga sekarang terpusat. Jika kita cocok dengan garis regresi pada perkiraan kemiringan dan intersepsi tidak berkorelasi - yang kurang atau terlalu tinggi dalam satu cenderung tidak menghasilkan kurang atau terlalu tinggi di yang lain. Tetapi garis regresi ini hanyalah terjemahan dari pada garis regresi ! Kesalahan standar dari intersep garis pada hanyalah ukuran ketidakpastian ketika variabel yang Anda terjemahkan $x$ $\bar{x}$ $y$ $x - \bar{x}$ $y$ $x$ $y$ $x - \bar{x}$ $\hat y$ $x - \bar x = 0$ ; ketika baris itu diterjemahkan kembali ke posisi semula, ini kembali menjadi kesalahan standar at . Lebih umum, kesalahan standar dari pada setiap nilai hanyalah kesalahan standar dari intersepsi regresi pada diterjemahkan dengan tepat ; kesalahan standar pada tentu saja adalah kesalahan standar dari intersep dalam regresi asli yang tidak diterjemahkan. $\hat y$ $x = \bar x$ $\hat y$ $x$ $y$ $x$ $\hat y$ $x=0$

Karena kita dapat menerjemahkan , dalam arti tertentu tidak ada yang istimewa tentang dan oleh karena itu tidak ada yang istimewa tentang . Dengan sedikit pemikiran, apa yang akan saya katakan bekerja untuk pada setiap nilai , yang berguna jika Anda sedang mencari wawasan interval kepercayaan misalnya untuk tanggapan berarti dari garis regresi Anda. Namun, kita telah melihat bahwa ada adalah sesuatu yang khusus tentang di , untuk itu adalah di sini bahwa kesalahan dalam perkiraan ketinggian garis regresi - yang tentu saja diperkirakan $x$ $x=0$ $\hat \beta_0$ $\hat y$ $x$ $\hat y$ $x=\bar x$ $\bar y$ - dan kesalahan estimasi kemiringan garis regresi tidak ada hubungannya dengan satu sama lain. Taksiran intersepsi Anda adalah dan kesalahan dalam estimasi harus berasal dari estimasi atau estimasi (karena kami menganggap bukan -stochastic); sekarang kita tahu kedua sumber kesalahan ini tidak berkorelasi jelas secara aljabar mengapa harus ada korelasi negatif antara perkiraan kemiringan dan intersep (kemiringan yang berlebihan akan cenderung meremehkan intersep, selama ) tetapi korelasi positif antara estimasi mencegat dan memperkirakan respons rata-rata di $\hat \beta_0 = \bar y - \hat \beta_1 \bar x$ $\bar y$ $\hat \beta_1$ $x$ $\bar x < 0$ $\hat y = \bar y$ $x = \bar x$ . Tapi bisa melihat hubungan seperti itu tanpa aljabar juga.

Bayangkan garis regresi yang diperkirakan sebagai penggaris. Penguasa itu harus melewati . Kita baru saja melihat bahwa ada dua ketidakpastian yang pada dasarnya tidak berhubungan di lokasi baris ini, yang saya visualisasikan secara kinestetik sebagai ketidakpastian "dentingan" dan ketidakpastian "geser paralel". Sebelum Anda mengaitkan penggaris, pegang penggaris di sebagai poros, lalu berikan dentingan yang kuat terkait dengan ketidakpastian Anda di lereng. Penguasa akan memiliki goyangan yang baik, lebih keras sehingga jika Anda sangat tidak yakin tentang kemiringan (memang, kemiringan yang sebelumnya positif sangat mungkin akan diberikan negatif jika ketidakpastian Anda besar) tetapi perhatikan bahwa ketinggian garis regresi pada $(\bar x, \bar y)$ $(\bar x, \bar y)$ $x=\bar x$ tidak berubah oleh ketidakpastian semacam ini, dan efek dentingan lebih terlihat semakin jauh dari rata-rata yang Anda lihat.

Untuk "menggeser" penggaris, pegang dengan kuat dan geser ke atas dan ke bawah, berhati-hatilah agar tetap sejajar dengan posisi aslinya - jangan mengubah lereng! Seberapa kuat untuk menggesernya ke atas dan ke bawah tergantung pada seberapa tidak pasti Anda tentang ketinggian garis regresi saat melewati titik rata-rata; pikirkan tentang apa kesalahan standar dari intersep jika telah diterjemahkan sehingga sumbu melewati titik rerata. Atau, karena estimasi tinggi garis regresi di sini adalah , itu juga merupakan kesalahan standar dari . Perhatikan bahwa ketidakpastian "geser" ini memengaruhi semua titik pada garis regresi dengan cara yang sama, tidak seperti "dentingan". $x$ $y$ $\bar y$ $\bar y$

Kedua ketidakpastian berlaku secara independen (baik, uncorrelatedly, tetapi jika kita menganggap hal kesalahan terdistribusi secara normal maka mereka harus secara teknis independen) sehingga ketinggian dari semua titik pada garis regresi Anda dipengaruhi oleh "twanging" ketidakpastian yang nol pada artinya dan semakin buruk darinya, dan ketidakpastian "meluncur" yang sama di mana-mana. (Dapatkah Anda melihat hubungan dengan interval kepercayaan regresi yang saya janjikan sebelumnya, terutama bagaimana lebar mereka paling sempit di ?) $\hat y$ $\bar x$

Ini termasuk ketidakpastian dalam pada , yang pada dasarnya adalah apa yang kami maksud dengan kesalahan standar di . Sekarang anggap di sebelah kanan ; kemudian memutar-mutar grafik ke perkiraan kemiringan yang lebih tinggi cenderung mengurangi perkiraan intersep kami karena sketsa cepat akan terbuka. Ini adalah korelasi negatif yang diprediksi oleh ketika positif. Sebaliknya, jika adalah kiri Anda akan melihat bahwa perkiraan kemiringan yang lebih tinggi cenderung meningkatkan perkiraan intersep kami, konsisten dengan yang positif $\hat y$ $x=0$ $\hat \beta_0$ $\bar x$ $x=0$ $\frac{-\bar{x}}{\sqrt{\MSD(x) + \bar{x}^2}}$ $\bar x$ $\bar x$ $x=0$ korelasi yang diprediksi persamaan Anda saat negatif. Perhatikan bahwa jika jauh dari nol, ekstrapolasi dari garis regresi dari gradien tidak pasti menuju sumbu menjadi semakin genting (amplitudo "dentingan" semakin buruk dari rata-rata). Kesalahan "dentingan" dalam istilah akan secara masif melebihi kesalahan "geser" dalam istilah , jadi kesalahan dalam hampir seluruhnya ditentukan oleh kesalahan apa pun dalam . Karena Anda dapat dengan mudah memverifikasi secara aljabar, jika kami mengambil tanpa mengubah MSD atau standar deviasi kesalahan $\bar x$ $\bar x$ $y$ $- \hat \beta_1 \bar x$ $\bar y$ $\hat \beta_0$ $\hat \beta_1$ $\bar x \to \pm \infty$ $s_u$ , korelasi antara dan cenderung . $\hat \beta_0$ $\hat \beta_1$ $\mp 1$

Untuk mengilustrasikan ini (Anda mungkin ingin mengklik kanan pada gambar dan menyimpannya, atau melihatnya ukuran penuh di tab baru jika opsi itu tersedia untuk Anda) Saya telah memilih untuk mempertimbangkan pengambilan sampel berulang , di mana iid, di atas set nilai tetap dengan , jadi . Dalam pengaturan ini, ada korelasi negatif yang cukup kuat antara perkiraan kemiringan dan intersep, dan korelasi positif yang lebih lemah antara , estimasi respons rata-rata pada $y_i = 5 + 2x_i + u_i$ $u_i \sim N(0, 10^2)$ $x$ $\bar x = 10$ $\mathbb{E}(\bar y)=25$ $\bar y$ $x=\bar x$ , dan estimasi intersep. Animasi ini menunjukkan beberapa sampel yang disimulasikan, dengan garis regresi sampel (emas) ditarik di atas garis regresi (hitam) yang sebenarnya. Baris kedua menunjukkan seperti apa kumpulan garis regresi yang diperkirakan jika ada kesalahan hanya dalam estimasi dan lereng cocok dengan kemiringan sebenarnya (kesalahan "geser"); kemudian, jika ada kesalahan hanya di lereng dan cocok dengan nilai populasinya (kesalahan "dentingan"); dan akhirnya, seperti apa sebenarnya kumpulan garis yang diperkirakan, ketika kedua sumber kesalahan digabungkan. Ini telah diberi kode warna oleh ukuran intersep yang sebenarnya diperkirakan $\bar y$ $\bar y$ (bukan penyadapan yang ditunjukkan pada dua grafik pertama di mana salah satu sumber kesalahan telah dihilangkan) dari biru untuk penyadapan rendah menjadi merah untuk penyadapan tinggi. Perhatikan bahwa dari warna saja kita dapat melihat bahwa sampel dengan rendah cenderung menghasilkan intersep estimasi yang lebih rendah, seperti halnya sampel dengan estimasi lereng yang tinggi . Baris berikutnya menunjukkan distribusi sampling yang disimulasikan (histogram) dan teoretis (kurva normal) dari estimasi, dan baris terakhir menunjukkan plot pencar di antaranya. Amati bagaimana tidak ada korelasi antara dan estimasi kemiringan, korelasi negatif antara perkiraan intersep dan kemiringan, dan korelasi positif antara intersep dan . $\bar y$ $\bar y$ $\bar y$

Apa yang dilakukan MSD dalam penyebut ? Menyebarkan rentang nilai Anda ukur terkenal untuk memungkinkan Anda memperkirakan kemiringan lebih akurat, dan intuisi jelas dari sketsa, tetapi itu tidak membuat Anda memperkirakan lebih baik. Saya sarankan Anda memvisualisasikan mengambil MSD mendekati nol (yaitu titik pengambilan sampel hanya sangat dekat dengan rata-rata ), sehingga ketidakpastian di lereng menjadi masif: pikirkan dentingan besar, tetapi tanpa perubahan pada ketidakpastian geser Anda. Jika sumbu Anda jauh dari (dengan kata lain, jika $\frac{-\bar{x}}{\sqrt{\MSD(x) + \bar{x}^2}}$ $x$ $\bar y$ $x$ $y$ $\bar x$ $\bar x \neq 0$ ) Anda akan menemukan bahwa ketidakpastian dalam intersep Anda menjadi sangat didominasi oleh kesalahan dentingan terkait kemiringan. Sebaliknya, jika Anda meningkatkan penyebaran pengukuran Anda , tanpa mengubah rata-rata, Anda akan secara besar-besaran meningkatkan ketepatan estimasi kemiringan Anda dan hanya perlu membawa dentingan lembut ke garis Anda. Ketinggian intersep Anda sekarang didominasi oleh ketidakpastian geser Anda, yang tidak ada hubungannya dengan perkiraan kemiringan Anda. Ini sesuai dengan fakta aljabar bahwa korelasi antara perkiraan kemiringan dan intersep cenderung nol sebagai dan, ketika , menuju (tandanya adalah kebalikan dari tanda ) sebagai $x$ $\MSD(x) \to \pm \infty$ $\bar x \neq 0$ $\pm 1$ $\bar x$ $\MSD(x) \to 0$ .

Korelasi penaksir kemiringan dan intersepsi adalah fungsi dari kedua dan MSD (atau RMSD) dari , jadi bagaimana kontribusi relatifnya membebani? Sebenarnya, yang penting adalah rasio dengan RMSD dari . Intuisi geometris adalah bahwa RMSD memberi kita semacam "unit alami" untuk ; Jika kita menskala ulang menggunakan maka ini adalah peregangan horizontal yang membuat perkiraan intersep dan tidak berubah, memberi kita , dan mengalikan estimasi kemiringan oleh RMSD $\bar x$ $x$ $\bar x$ $x$ $x$ $x$ $w_i = x_i / \RMSD(x)$ $\bar y$ $\RMSD(w)=1$ $x$ . Rumus untuk korelasi antara kemiringan baru dan penaksir intersepsi hanya dalam istilah , yang merupakan satu, dan , yang merupakan rasio . Karena estimasi intersep tidak berubah, dan estimasi slope hanya dikalikan dengan konstanta positif, maka korelasi di antara mereka tidak berubah: maka korelasi antara slope asli dan intersep juga harus hanya bergantung pada . Secara aljabar kita dapat melihat ini dengan membagi atas dan bawah oleh untuk mendapatkan $\RMSD(w)$ $\bar w$ $\frac{\bar x}{\RMSD(x)}$ $\frac{\bar x}{\RMSD(x)}$ $\frac{-\bar x}{\sqrt{\MSD(x)+\bar{x}^2}}$ $\RMSD(x)$ $\Corr\left(\hat \beta_0, \hat \beta_1 \right) = \frac{- (\bar x / \RMSD(x))}{\sqrt{1 + (\bar x / \RMSD(x))^2}}$ .

Untuk menemukan korelasi antara dan , pertimbangkan . Dengan bilinearitas dari ini adalah . Istilah pertama adalah sedangkan istilah kedua yang kita tentukan sebelumnya adalah nol. Dari sini kita simpulkan $\hat \beta_0$ $\bar y$ $\DeclareMathOperator{\Cov}{Cov}\Cov(\hat \beta_0, \bar y)=\Cov(\bar y - \hat \beta_1 \bar x, \bar y)$ $\Cov$ $\Cov(\bar y, \bar y) - \bar x \Cov(\hat \beta_1, \bar y)$ $\operatorname{Var}(\bar y)=\frac{\sigma_u^2}{n}$

Corr ({\hat{β}}_{0}, \bar{y}) = \frac{1}{\sqrt{1 + (\bar{x} / RMSD (x))^{2}}}

$\Corr(\hat \beta_0, \bar y)=\frac{1}{\sqrt{1 + (\bar x/\RMSD(x))^2}}$

Jadi korelasi ini juga hanya bergantung pada rasio . Perhatikan bahwa kuadrat dari dan berjumlah satu: kami mengharapkan ini karena semua variasi sampel (untuk tetap ) dalam disebabkan oleh variasi dalam atau variasi dalam , dan sumber-sumber variasi ini tidak berkorelasi satu sama lain. Berikut adalah plot korelasi terhadap rasio . $\frac{\bar x}{\RMSD(x)}$ $\Corr(\hat \beta_0, \hat \beta_1)$ $\Corr(\hat \beta_0, \bar y)$ $x$ $\hat \beta_0$ $\hat \beta_1$ $\bar y$ $\frac{\bar x}{\RMSD(x)}$

Plotnya dengan jelas menunjukkan bagaimana ketika relatif tinggi terhadap RMSD , kesalahan dalam estimasi intersepsi sebagian besar disebabkan oleh kesalahan dalam estimasi kemiringan dan keduanya berkorelasi erat, sedangkan ketika relatif rendah terhadap RMSD , maka ada kesalahan dalam estimasi yang mendominasi, dan hubungan antara intersep dan slope lebih lemah. Perhatikan bahwa korelasi intersep dengan kemiringan adalah fungsi aneh dari rasio , jadi tandanya tergantung pada tanda dan nol jika , sedangkan korelasi intersep dengan $\bar x$ $\bar x$ $\bar y$ $\frac{\bar x}{\RMSD(x)}$ $\bar x$ $\bar x=0$ $\bar y$ selalu positif dan merupakan fungsi genap dari rasio, yaitu tidak masalah apa sisi sumbu yang merupakan . Korelasi sama besarnya jika berjarak satu RMSD dari sumbu, ketika dan mana tandanya berlawanan dengan . Pada contoh dalam simulasi di atas, dan sehingga rerata sekitar RMSD dari $y$ $\bar x$ $\bar x$ $y$ $\Corr(\hat \beta_0, \bar y)=\frac{1}{\sqrt{2}} \approx 0.707$ $\Corr(\hat \beta_0, \hat \beta_1)=\pm \frac{1}{\sqrt{2}} \approx \pm 0.707$ $\bar x$ $\bar x=10$ $\RMSD(x) \approx 5.16$ $1.93$ $y$ -sumbu; pada rasio ini, korelasi antara intersepsi dan kemiringan lebih kuat, tetapi korelasi antara intersep dan masih tidak dapat diabaikan. $\bar y$

Selain itu, saya suka memikirkan rumus untuk kesalahan standar intersep,

s . e . ({\hat{β}}_{0}^{O L S}) = \sqrt{s_{u}^{2} (\frac{1}{n} + \frac{{\bar{x}}^{2}}{n MSD (x)})}

$\operatorname{s.e.}(\hat \beta_0^{OLS}) = \sqrt{s_u^2 \left( \frac{1}{n} + \frac{{\bar x}^2 }{n \MSD(x)} \right) }$

sebagai , dan juga untuk rumus untuk kesalahan standar di (digunakan untuk interval kepercayaan untuk respons rata-rata, dan yang mana intersep hanyalah kasus khusus seperti yang saya jelaskan sebelumnya melalui argumen terjemahan), $\sqrt{\text{sliding error} + \text{twanging error}}$ $\hat y$ $x = x_0$

s . e . (\hat{y}) = \sqrt{s_{u}^{2} (\frac{1}{n} + \frac{(x_{0} - \bar{x})^{2}}{n MSD (x)})}

$\operatorname{s.e.}(\hat y) = \sqrt{s_u^2 \left( \frac{1}{n} + \frac{(x_0 - \bar x)^2}{n \MSD(x)} \right) }$

Kode R untuk plot

require(graphics)
require(grDevices)
require(animation

#This saves a GIF so you may want to change your working directory
#setwd("~/YOURDIRECTORY")
#animation package requires ImageMagick or GraphicsMagick on computer
#See: http://www.inside-r.org/packages/cran/animation/docs/im.convert
#You might only want to run up to the "STATIC PLOTS" section
#The static plot does not save a file, so need to change directory.

#Change as desired
simulations <- 100 #how many samples to draw and regress on
xvalues <- c(2,4,6,8,10,12,14,16,18) #used in all regressions
su <- 10 #standard deviation of error term
beta0 <- 5 #true intercept
beta1 <- 2 #true slope
plotAlpha <- 1/5 #transparency setting for charts
interceptPalette <- colorRampPalette(c(rgb(0,0,1,plotAlpha),
            rgb(1,0,0,plotAlpha)), alpha = TRUE)(100) #intercept color range
animationFrames <- 20 #how many samples to include in animation

#Consequences of previous choices
n <- length(xvalues) #sample size
meanX <- mean(xvalues) #same for all regressions
msdX <- sum((xvalues - meanX)^2)/n #Mean Square Deviation
minX <- min(xvalues)
maxX <- max(xvalues)
animationFrames <- min(simulations, animationFrames)

#Theoretical properties of estimators
expectedMeanY <- beta0 + beta1 * meanX
sdMeanY <- su / sqrt(n) #standard deviation of mean of Y (i.e. Y hat at mean x)
sdSlope <- sqrt(su^2 / (n * msdX))
sdIntercept <- sqrt(su^2 * (1/n + meanX^2 / (n * msdX)))


data.df <- data.frame(regression = rep(1:simulations, each=n),
                      x = rep(xvalues, times = simulations))

data.df$y <- beta0 + beta1*data.df$x + rnorm(n*simulations, mean = 0, sd = su) 

regressionOutput <- function(i){ #i is the index of the regression simulation
  i.df <- data.df[data.df$regression == i,]
  i.lm <- lm(y ~ x, i.df)
  return(c(i, mean(i.df$y), coef(summary(i.lm))["x", "Estimate"],
          coef(summary(i.lm))["(Intercept)", "Estimate"]))
}

estimates.df <- as.data.frame(t(sapply(1:simulations, regressionOutput)))
colnames(estimates.df) <- c("Regression", "MeanY", "Slope", "Intercept")

perc.rank <- function(x) ceiling(100*rank(x)/length(x))
rank.text <- function(x) ifelse(x < 50, paste("bottom", paste0(x, "%")), 
                                paste("top", paste0(101 - x, "%")))
estimates.df$percMeanY <- perc.rank(estimates.df$MeanY)
estimates.df$percSlope <- perc.rank(estimates.df$Slope)
estimates.df$percIntercept <- perc.rank(estimates.df$Intercept)
estimates.df$percTextMeanY <- paste("Mean Y", 
                                    rank.text(estimates.df$percMeanY))
estimates.df$percTextSlope <- paste("Slope",
                                    rank.text(estimates.df$percSlope))
estimates.df$percTextIntercept <- paste("Intercept",
                                    rank.text(estimates.df$percIntercept))

#data frame of extreme points to size plot axes correctly
extremes.df <- data.frame(x = c(min(minX,0), max(maxX,0)),
              y = c(min(beta0, min(data.df$y)), max(beta0, max(data.df$y))))

#STATIC PLOTS ONLY

par(mfrow=c(3,3))

#first draw empty plot to reasonable plot size
with(extremes.df, plot(x,y, type="n", main = "Estimated Mean Y"))
invisible(mapply(function(a,b,c) { abline(a, b, col=c) }, 
                 estimates.df$Intercept, beta1, 
                 interceptPalette[estimates.df$percIntercept]))

with(extremes.df, plot(x,y, type="n", main = "Estimated Slope"))
invisible(mapply(function(a,b,c) { abline(a, b, col=c) }, 
                 expectedMeanY - estimates.df$Slope * meanX, estimates.df$Slope, 
                 interceptPalette[estimates.df$percIntercept]))

with(extremes.df, plot(x,y, type="n", main = "Estimated Intercept"))
invisible(mapply(function(a,b,c) { abline(a, b, col=c) }, 
                 estimates.df$Intercept, estimates.df$Slope, 
                 interceptPalette[estimates.df$percIntercept]))

with(estimates.df, hist(MeanY, freq=FALSE, main = "Histogram of Mean Y",
                        ylim=c(0, 1.3*dnorm(0, mean=0, sd=sdMeanY))))
curve(dnorm(x, mean=expectedMeanY, sd=sdMeanY), lwd=2, add=TRUE)

with(estimates.df, hist(Slope, freq=FALSE, 
                        ylim=c(0, 1.3*dnorm(0, mean=0, sd=sdSlope))))
curve(dnorm(x, mean=beta1, sd=sdSlope), lwd=2, add=TRUE)

with(estimates.df, hist(Intercept, freq=FALSE, 
                        ylim=c(0, 1.3*dnorm(0, mean=0, sd=sdIntercept))))
curve(dnorm(x, mean=beta0, sd=sdIntercept), lwd=2, add=TRUE)

with(estimates.df, plot(MeanY, Slope, pch = 16,  col = rgb(0,0,0,plotAlpha), 
                        main = "Scatter of Slope vs Mean Y"))

with(estimates.df, plot(Slope, Intercept, pch = 16, col = rgb(0,0,0,plotAlpha),
                        main = "Scatter of Intercept vs Slope"))

with(estimates.df, plot(Intercept, MeanY, pch = 16, col = rgb(0,0,0,plotAlpha),
                        main = "Scatter of Mean Y vs Intercept"))


#ANIMATED PLOTS

makeplot <- function(){for (i in 1:animationFrames) {

  par(mfrow=c(4,3))

  iMeanY <- estimates.df$MeanY[i]
  iSlope <- estimates.df$Slope[i]
  iIntercept <- estimates.df$Intercept[i]

  with(extremes.df, plot(x,y, type="n", main = paste("Simulated dataset", i)))
  with(data.df[data.df$regression==i,], points(x,y))
  abline(beta0, beta1, lwd = 2)
  abline(iIntercept, iSlope, lwd = 2, col="gold")

  plot.new()
  title(main = "Parameter Estimates")
  text(x=0.5, y=c(0.9, 0.5, 0.1), labels = c(
    paste("Mean Y =", round(iMeanY, digits = 2), "True =", expectedMeanY),
    paste("Slope =", round(iSlope, digits = 2), "True =", beta1),
    paste("Intercept =", round(iIntercept, digits = 2), "True =", beta0)))

  plot.new()
  title(main = "Percentile Ranks")
  with(estimates.df, text(x=0.5, y=c(0.9, 0.5, 0.1),
                          labels = c(percTextMeanY[i], percTextSlope[i],
                                     percTextIntercept[i])))


  #first draw empty plot to reasonable plot size
  with(extremes.df, plot(x,y, type="n", main = "Estimated Mean Y"))
  invisible(mapply(function(a,b,c) { abline(a, b, col=c) }, 
                   estimates.df$Intercept, beta1, 
                   interceptPalette[estimates.df$percIntercept]))
  abline(iIntercept, beta1, lwd = 2, col="gold")

  with(extremes.df, plot(x,y, type="n", main = "Estimated Slope"))
  invisible(mapply(function(a,b,c) { abline(a, b, col=c) }, 
                expectedMeanY - estimates.df$Slope * meanX, estimates.df$Slope, 
                interceptPalette[estimates.df$percIntercept]))
  abline(expectedMeanY - iSlope * meanX, iSlope,
         lwd = 2, col="gold")

  with(extremes.df, plot(x,y, type="n", main = "Estimated Intercept"))
  invisible(mapply(function(a,b,c) { abline(a, b, col=c) }, 
                   estimates.df$Intercept, estimates.df$Slope, 
                   interceptPalette[estimates.df$percIntercept]))
  abline(iIntercept, iSlope, lwd = 2, col="gold")

  with(estimates.df, hist(MeanY, freq=FALSE, main = "Histogram of Mean Y",
                          ylim=c(0, 1.3*dnorm(0, mean=0, sd=sdMeanY))))
  curve(dnorm(x, mean=expectedMeanY, sd=sdMeanY), lwd=2, add=TRUE)
  lines(x=c(iMeanY, iMeanY),
        y=c(0, dnorm(iMeanY, mean=expectedMeanY, sd=sdMeanY)),
        lwd = 2, col = "gold")

  with(estimates.df, hist(Slope, freq=FALSE, 
                          ylim=c(0, 1.3*dnorm(0, mean=0, sd=sdSlope))))
  curve(dnorm(x, mean=beta1, sd=sdSlope), lwd=2, add=TRUE)
  lines(x=c(iSlope, iSlope), y=c(0, dnorm(iSlope, mean=beta1, sd=sdSlope)),
        lwd = 2, col = "gold")

  with(estimates.df, hist(Intercept, freq=FALSE, 
                          ylim=c(0, 1.3*dnorm(0, mean=0, sd=sdIntercept))))
  curve(dnorm(x, mean=beta0, sd=sdIntercept), lwd=2, add=TRUE)
  lines(x=c(iIntercept, iIntercept),
        y=c(0, dnorm(iIntercept, mean=beta0, sd=sdIntercept)),
        lwd = 2, col = "gold")

  with(estimates.df, plot(MeanY, Slope, pch = 16,  col = rgb(0,0,0,plotAlpha), 
                          main = "Scatter of Slope vs Mean Y"))
  points(x = iMeanY, y = iSlope, pch = 16, col = "gold")

  with(estimates.df, plot(Slope, Intercept, pch = 16, col = rgb(0,0,0,plotAlpha),
                          main = "Scatter of Intercept vs Slope"))
  points(x = iSlope, y = iIntercept, pch = 16, col = "gold")

  with(estimates.df, plot(Intercept, MeanY, pch = 16, col = rgb(0,0,0,plotAlpha),
                          main = "Scatter of Mean Y vs Intercept"))
  points(x = iIntercept, y = iMeanY, pch = 16, col = "gold")

}}

saveGIF(makeplot(), interval = 4, ani.width = 500, ani.height = 600)

Untuk plot korelasi versus rasio terhadap RMSD: $\bar x$

require(ggplot2)

numberOfPoints <- 200
data.df  <- data.frame(
  ratio = rep(seq(from=-10, to=10, length=numberOfPoints), times=2),
  between = rep(c("Slope", "MeanY"), each=numberOfPoints))
data.df$correlation <- with(data.df, ifelse(between=="Slope",
  -ratio/sqrt(1+ratio^2),
  1/sqrt(1+ratio^2)))

ggplot(data.df, aes(x=ratio, y=correlation, group=factor(between),
                    colour=factor(between))) +
  theme_bw() + 
  geom_line(size=1.5) +
  scale_colour_brewer(name="Correlation between", palette="Set1",
                      labels=list(expression(hat(beta[0])*" and "*bar(y)),
                              expression(hat(beta[0])*" and "*hat(beta[1])))) +
  theme(legend.key = element_blank()) +
  ggtitle(expression("Correlation of intercept estimates with slope and "*bar(y))) +
  xlab(expression("Ratio of "*bar(X)/"RMSD(X)")) +
  ylab(expression(paste("Correlation")))

— Gegat
sumber

"Dentingan" dan "slide" adalah istilah saya. Ini adalah intuisi visual saya sendiri, dan tidak ada yang pernah saya lihat di buku teks manapun, meskipun ide-ide dasar di sini semua bahan standar. Ya Tuhan tahu jika ada nama yang lebih teknis dari "dentingan" dan "slide"! Saya mendasarkan jawaban ini, dari ingatan, pada jawaban atas pertanyaan terkait yang tidak pernah saya selesaikan sampai selesai dan diposkan. Itu memiliki lebih banyak grafik instruktif, yang (jika saya dapat melacak kode R di komputer lama saya, atau menemukan waktu untuk mereproduksi) saya akan menambahkan.

— Silverfish

Pekerjaan apa! Terima kasih banyak! Sekarang pemahaman saya harus jauh lebih baik.

— Richard Hardy

@ RichardHardy Saya telah memasukkan animasi simulasi, yang seharusnya membuat semuanya lebih jelas.

— Silverfish