Interval prediksi regresi linier

Jika perkiraan linier terbaik (menggunakan kuadrat terkecil) dari titik data saya adalah garis , bagaimana saya bisa menghitung kesalahan aproksimasi? Jika saya menghitung standar deviasi perbedaan antara pengamatan dan prediksi , dapatkah saya nanti mengatakan bahwa nilai riil (tetapi tidak diamati) nilai termasuk dalam interval $y=mx+b$ $e_i=real(x_i)-(mx_i+b)$ $y_r=real(x_0)$ ( ) dengan probabilitas ~ 68%, dengan asumsi distribusi normal? $[y_p-\sigma, y_p+\sigma]$ $y_p=mx_0+b$

Untuk memperjelas:

Saya membuat pengamatan tentang fungsi dengan mengevaluasi beberapa poin . Saya mencocokkan pengamatan ini dengan garis . Untuk yang tidak saya amati, saya ingin tahu seberapa besar . Menggunakan metode di atas, apakah benar mengatakan bahwa $f(x)$ $x_i$ $l(x)=mx+b$ $x_0$ $f(x_0)-l(x_0)$ dengan prob. ~ 68%? $f(x_0) \in [l(x_0)-\sigma, l(x_0)+\sigma]$

— bmx
sumber

Saya pikir Anda bertanya tentang interval prediksi. Namun, perhatikan bahwa Anda menggunakan "

", bukan "

". Apakah ini salah cetak? Kami tidak memprediksi

x_{i}

$x_i$

y_{i}

$y_i$

x

$x$

— gung - Reinstate Monica

@ungung: Saya menggunakan

untuk menunjukkan misalnya waktu, dan

nilai beberapa variabel pada waktu itu, jadi

berarti saya membuat pengamatan

pada waktu

. Saya ingin tahu seberapa jauh prediksi fungsi fitting dapat dari nilai riil y. Apakah itu masuk akal? Fungsi

mengembalikan nilai "benar" dari

pada

, dan titik data saya terdiri dari

x

$x$

y

$y$

y = f (x)

$y=f(x)$

y

$y$

x

$x$

r e a l (x_{i})

$real(x_i)$

y

$y$

x_{i}

$x_i$

(x_{i}, r e a l (x_{i}))

${(x_i, real(x_i))}$

— bmx

Tampaknya masuk akal. Bagian yang saya fokuskan adalah, misalnya, "

", biasanya kita memikirkan kesalahan / residu dalam model reg sebagai "

". SD dari residual tidak memainkan peran dalam menghitung interval prediksi. Itu "

e_{i} = r e a l (x_{i}) - (m x_{i} + b)

$e_i=real(x_i)-(mx_i+b)$

e_{i} = y_{i} - (m x_{i} + b)

$e_i=y_i-(mx_i+b)$

x_{i}

$x_i$ "Itu aneh bagiku; aku ingin tahu apakah ini salah ketik, atau kau bertanya tentang sesuatu yang tidak kukenali.

— gung - Bangkitkan kembali Monica

Saya rasa saya melihat; Saya melewatkan hasil edit Anda. Hal ini menunjukkan bahwa sistem ini sangat deterministik & jika Anda memiliki akses ke nyata fungsi yang mendasari, Anda selalu bisa memprediksi

sempurna w / o error. Itu bukan cara kita berpikir tentang model reg.

y_{i}

$y_i$

— gung - Reinstate Monica

bmx, Sepertinya saya memiliki gagasan yang jelas tentang pertanyaan Anda dan kesadaran yang baik tentang beberapa masalah. Anda mungkin tertarik untuk mengulas tiga utas yang terkait erat. stats.stackexchange.com/questions/17773 menjelaskan interval prediksi dalam istilah nonteknis; stats.stackexchange.com/questions/26702 memberikan deskripsi yang lebih matematis; dan di stats.stackexchange.com/questions/9131 , Rob Hyndman memberikan formula yang Anda cari. Jika ini tidak sepenuhnya menjawab pertanyaan Anda, setidaknya mereka dapat memberi Anda notasi standar dan kosa kata untuk menjelaskannya.

— Whuber

@whuber telah mengarahkan Anda ke tiga jawaban yang bagus, tapi mungkin saya masih bisa menulis sesuatu yang bernilai. Pertanyaan eksplisit Anda, seperti yang saya pahami, adalah:

Mengingat model pas $\hat y_i=\hat mx_i + \hat b$ (pemberitahuan saya menambahkan 'topi') , dan asumsi residual saya biasanya didistribusikan, , saya bisa memprediksi bahwa belum respon tidak teramati, , dengan diketahui nilai prediksi, , akan jatuh dalam interval $\mathcal N(0, \hat\sigma^2_e)$ $y_{new}$ $x_{new}$ , dengan probabilitas 68%? $(\hat y -\sigma_e, \hat y +\sigma_e)$

Secara intuitif, jawabannya sepertinya harus 'ya', tetapi jawaban yang sebenarnya mungkin . Ini akan menjadi kasus ketika parameter (yaitu, & ) diketahui dan tanpa kesalahan. Karena Anda memperkirakan parameter ini, kami harus memperhitungkan ketidakpastiannya. $m, b,$ $\sigma$

Pertama-tama mari kita pikirkan tentang standar deviasi residu Anda. Karena ini diperkirakan dari data Anda, mungkin ada beberapa kesalahan dalam estimasi. Akibatnya, distribusi harus Anda gunakan untuk membentuk interval prediksi Anda harus , tidak normal. Namun, karena konvergen dengan cepat ke normal, ini cenderung menjadi masalah dalam praktik. $t_\text{df error}$ $t$

Jadi, bisa kita hanya menggunakan , bukan , dan pergi jalan gembira kami? Sayangnya tidak ada. Masalah yang lebih besar adalah bahwa ada ketidakpastian tentang perkiraan Anda dari mean bersyarat dari respon di lokasi itu karena ketidakpastian dalam perkiraan Anda & . Demikian, $\hat y_\text{new}\pm t_{(1-\alpha/2,\ \text{df error})}s$ $\hat y_\text{new}\pm z_{(1-\alpha/2)}s$ $\hat m$ $\hat b$ standar deviasi dari prediksi Anda perlu untuk menggabungkan lebih dari sekedar $s_\text{error}$ . Karena varians menambahkan , perkiraan varians dari prediksi akan menjadi: Perhatikan bahwa " " adalah subscript untuk mewakili nilai tertentu untuk baru pengamatan, dan bahwa " " adalah sesuai subscript. Artinya, interval prediksi Anda bergantung pada lokasi pengamatan baru di sepanjang

s_{prediksi (baru)}^{2} = s_{kesalahan}^{2} + Var (\hat{m} x_{baru} + \hat{b})

$s^2_\text{predictions(new)}=s^2_\text{error}+\text{Var}(\hat mx_\text{new}+\hat b)$

x

$x$

s^{2}

$s^2$

x

$x$ sumbu. Deviasi standar prediksi Anda dapat lebih mudah diperkirakan dengan rumus berikut:

Sebagai catatan samping yang menarik, kita dapat menyimpulkan beberapa fakta tentang interval prediksi dari persamaan ini. Pertama, interval prediksi akan sempit semakin banyak data yang kita miliki ketika kita membangun model prediksi (ini karena ada kurang ketidakpastian dalam

). Kedua, prediksi akan paling tepat jika dibuat dengan nilai rata-rata

Anda gunakan untuk mengembangkan model Anda, karena pembilang untuk suku ketiga adalah

. Alasannya adalah bahwa dalam keadaan normal, tidak ada ketidakpastian tentang perkiraan kemiringan pada rata-rata

s_{prediksi (baru)} = \sqrt{s_{kesalahan}^{2} (1 + \frac{1}{N} + \frac{(x_{baru} - \bar{x})^{2}}{\sum (x_{saya} - \bar{x})^{2}})}

$s_\text{predictions(new)}=\sqrt{s^2_\text{error}\left(1+\frac{1}{N}+\frac{(x_\text{new}-\bar x)^2}{\sum(x_i-\bar x)^2}\right)}$

\hat{m}

$\hat m$

\hat{b}

$\hat b$

x

$x$

0

$0$

x

$x$ , hanya beberapa ketidakpastian tentang posisi vertikal sebenarnya dari garis regresi. Dengan demikian, beberapa pelajaran yang bisa dipetik untuk membangun model prediksi adalah: bahwa lebih banyak data bermanfaat, bukan dengan menemukan 'signifikansi', tetapi dengan meningkatkan ketepatan prediksi masa depan; dan bahwa Anda harus memusatkan upaya pengumpulan data Anda pada interval di mana Anda perlu membuat prediksi di masa mendatang (untuk meminimalkan pembilang itu), tetapi sebarkan pengamatan seluas mungkin dari pusat itu (untuk memaksimalkan penyebut itu).

Setelah menghitung nilai yang benar dengan cara ini, kita dapat menggunakannya dengan distribusi sesuai seperti yang disebutkan di atas. $t$

— gung - Reinstate Monica
sumber