Interval kepercayaan RMSE

Saya telah mengambil sampel titik data dari suatu populasi. Masing-masing poin ini memiliki nilai sebenarnya (diketahui dari kebenaran dasar) dan nilai estimasi. Saya kemudian menghitung kesalahan untuk setiap titik sampel dan kemudian menghitung RMSE sampel. $n$

Bagaimana saya bisa menyimpulkan semacam interval kepercayaan di sekitar RMSE ini, berdasarkan pada ukuran sampel ? $n$

Jika saya menggunakan mean, daripada RMSE, maka saya tidak akan memiliki masalah melakukan ini karena saya dapat menggunakan persamaan standar

$m = \frac{Z \sigma}{\sqrt{n}}$

tapi saya tidak tahu apakah ini valid untuk RMSE daripada rata-rata. Apakah ada cara agar saya bisa beradaptasi?

(Saya telah melihat pertanyaan ini , tetapi saya tidak memiliki masalah dengan apakah populasi saya berdistribusi normal, yang merupakan jawaban yang ada di sana)

confidence-interval

— Robintw
sumber

Apa yang khusus Anda hitung ketika Anda "menghitung RMSE sampel"? Apakah itu RMSE dari nilai sebenarnya, dari nilai estimasi, atau perbedaannya?

— whuber

Saya menghitung RMSE dari perbedaan, yaitu menghitung akar kuadrat dari rata-rata perbedaan kuadrat antara nilai yang benar dan yang diperkirakan.

— robintw

Jika Anda tahu 'kebenaran dasar' (meskipun saya tidak yakin apa artinya sebenarnya), mengapa Anda membutuhkan ketidakpastian dalam RMSE? Apakah Anda mencoba membuat semacam kesimpulan tentang kasus-kasus di mana Anda tidak memiliki kebenaran mendasar? Apakah ini masalah kalibrasi?

— Glen_b -Reinstate Monica

@ Glen_b: Yup, itulah tepatnya yang kami coba lakukan. Kami tidak memiliki kebenaran dasar untuk seluruh populasi, hanya untuk sampel. Kami kemudian menghitung RMSE untuk sampel, dan kami ingin memiliki interval kepercayaan pada ini karena kami menggunakan sampel ini untuk menyimpulkan RMSE populasi.

— robintw

Kemungkinan duplikat SE dari RMSE di R

— Curious

Jawaban:

Dengan alasan yang sama seperti di sini , saya mungkin dapat memberikan jawaban untuk pertanyaan Anda dalam kondisi tertentu.

Biarkan menjadi nilai Anda yang sebenarnya untuk titik data dan nilai estimasi. Jika kita mengasumsikan bahwa perbedaan antara nilai estimasi dan nilai sebenarnya memiliki $x_{i}$ $i^{th}$ $\hat{x}_{i}$

berarti nol (yaitu didistribusikan di sekitar ) $\hat{x}_{i}$ $x_{i}$
ikuti distribusi normal
dan semua memiliki standar deviasi yang sama $\sigma$

pendeknya:

{\hat{x}}_{i} - x_{i} \sim N (0, σ^{2}),

$\hat{x}_{i}-x_{i} \sim \mathcal{N}\left(0,\sigma^{2}\right),$

maka Anda benar-benar menginginkan interval kepercayaan untuk . $\sigma$

Jika asumsi di atas tetap benar mengikuti dengan (bukan ) derajat kebebasan. Ini berarti

\frac{n {RMSE}^{2}}{σ^{2}} = \frac{n \frac{1}{n} \sum_{saya} {(\hat{x_{saya}} - x_{saya})}^{2}}{σ^{2}}

$\frac{n\mbox{RMSE}^{2}}{\sigma^{2}} = \frac{n\frac{1}{n}\sum_{i}\left(\hat{x_{i}}-x_{i}\right)^{2}}{\sigma^{2}}$

χ_{n}^{2}

$\chi_{n}^{2}$

n

$n$

n - 1

$n-1$

\begin{aligned} P (χ_{\frac{α}{2}, n}^{2} \leq \frac{n {RMSE}^{2}}{σ^{2}} \leq χ_{1 - \frac{α}{2}, n}^{2}) = 1 - α \\ \Leftrightarrow P (\frac{n {RMSE}^{2}}{χ_{1 - \frac{α}{2}, n}^{2}} \leq σ^{2} \leq \frac{n {RMSE}^{2}}{χ_{\frac{α}{2}, n}^{2}}) = 1 - α \\ \Leftrightarrow P (\sqrt{\frac{n}{χ_{1 - \frac{α}{2}, n}^{2}}} RMSE \leq σ \leq \sqrt{\frac{n}{χ_{\frac{α}{2}, n}^{2}}} RMSE) = 1 - α . \end{aligned}

$\begin{align} P\left(\chi_{\frac{\alpha}{2},n}^{2}\le\frac{n\mbox{RMSE}^{2}}{\sigma^{2}}\le\chi_{1-\frac{\alpha}{2},n}^{2}\right) = 1-\alpha\\ \Leftrightarrow P\left(\frac{n\mbox{RMSE}^{2}}{\chi_{1-\frac{\alpha}{2},n}^{2}}\le\sigma^{2}\le\frac{n\mbox{RMSE}^{2}}{\chi_{\frac{\alpha}{2},n}^{2}}\right) = 1-\alpha\\ \Leftrightarrow P\left(\sqrt{\frac{n}{\chi_{1-\frac{\alpha}{2},n}^{2}}}\mbox{RMSE}\le\sigma\le\sqrt{\frac{n}{\chi_{\frac{\alpha}{2},n}^{2}}}\mbox{RMSE}\right) = 1-\alpha. \end{align}$

Oleh karena itu, adalah interval kepercayaan Anda.

[\sqrt{\frac{n}{χ_{1 - \frac{α}{2}, n}^{2}}} RMSE, \sqrt{\frac{n}{χ_{\frac{α}{2}, n}^{2}}} RMSE]

$\left[\sqrt{\frac{n}{\chi_{1-\frac{\alpha}{2},n}^{2}}}\mbox{RMSE},\sqrt{\frac{n}{\chi_{\frac{\alpha}{2},n}^{2}}}\mbox{RMSE}\right]$

Berikut adalah program python yang mensimulasikan situasi Anda

from scipy import stats
from numpy import *
s = 3
n=10
c1,c2 = stats.chi2.ppf([0.025,1-0.025],n)
y = zeros(50000)
for i in range(len(y)):
    y[i] =sqrt( mean((random.randn(n)*s)**2))

print "1-alpha=%.2f" % (mean( (sqrt(n/c2)*y < s) & (sqrt(n/c1)*y > s)),)

Semoga itu bisa membantu.

Jika Anda tidak yakin apakah asumsi tersebut berlaku atau jika Anda ingin membandingkan apa yang saya tulis dengan metode yang berbeda, Anda selalu dapat mencoba bootstrap .

— Fabee
sumber

Saya pikir Anda salah - dia ingin CI untuk RMSE, bukan . Dan saya juga menginginkannya :)

σ

$\sigma$

— Curious

Saya pikir saya tidak salah. Coba pikirkan seperti ini: MSE sebenarnya adalah varian sampel karena . Satu-satunya perbedaan adalah bahwa Anda membaginya dengan dan bukan karena Anda tidak mengurangi mean sampel di sini. RMSE kemudian akan sesuai dengan . Oleh karena itu, populasi RMSE adalah dan Anda menginginkan CI untuk itu. Itu yang saya dapatkan. Kalau tidak, saya harus salah paham masalah Anda.

MSE = {\hat{σ}}^{2} = \frac{1}{n} \sum_{i = 1}^{n} (x_{i} - {\hat{x}}_{i})^{2}

$\mbox{MSE} = \hat\sigma^2 = \frac{1}{n}\sum_{i=1}^n (x_i-\hat x_i)^2$

n

$n$

n - 1

$n-1$

σ

$\sigma$

σ

$\sigma$

— Fabee

Alasan dalam jawaban oleh fabee tampaknya benar jika diterapkan pada STDE (standar deviasi kesalahan), bukan RMSE. Menggunakan nomenklatur yang serupa, adalah indeks yang mewakili setiap catatan data, adalah nilai sebenarnya dan adalah pengukuran atau prediksi. $i=1,\,\ldots,\,n$ $x_i$ $\hat{x}_i$

Kesalahan , BIAS, MSE (mean squared error) dan RMSE diberikan oleh: $\epsilon_i$

ϵ_{saya} = {\hat{x}}_{saya} - x_{saya}, BIAS = \bar{ϵ} = \frac{1}{n} \sum_{saya = 1}^{n} ϵ_{saya}, MSE = \bar{ϵ^{2}} = \frac{1}{n} \sum_{saya = 1}^{n} ϵ_{saya}^{2}, RMSE = \sqrt{MSE} .

$\epsilon_i = \hat{x}_i-x_i\,,\\ \text{BIAS} = \overline{\epsilon} = \frac{1}{n}\sum_{i=1}^{n}\epsilon_i\,,\\ \text{MSE} = \overline{\epsilon^2} = \frac{1}{n}\sum_{i=1}^{n}\epsilon_i^2\,,\\ \text{RMSE} = \sqrt{\text{MSE}}\,.$

Menyetujui definisi ini, BIAS sesuai dengan rata-rata sampel , tetapi MSE bukan varians sampel yang bias. Sebagai gantinya: atau, jika BIAS dan RMSE dihitung, Perhatikan bahwa varians sampel bias digunakan alih-alih tidak bias , untuk menjaga konsistensi dengan definisi sebelumnya yang diberikan untuk MSE dan RMSE. $\epsilon$

{STDE}^{2} = \bar{(ϵ - \bar{ϵ})^{2}} = \frac{1}{n} \sum_{saya = 1}^{n} (ϵ_{saya} - \bar{ϵ})^{2},

$\text{STDE}^2 = \overline{(\epsilon-\overline{\epsilon})^2} = \frac{1}{n}\sum_{i=1}^{n}(\epsilon_i-\overline{\epsilon})^2\,,$

{STDE}^{2} = \bar{(ϵ - \bar{ϵ})^{2}} = \bar{ϵ^{2}} - {\bar{ϵ}}^{2} = {RMSE}^{2} - {BIAS}^{2} .

$\text{STDE}^2 = \overline{(\epsilon-\overline{\epsilon})^2}=\overline{\epsilon^2}-\overline{\epsilon}^2 = \text{RMSE}^2 - \text{BIAS}^2\,.$

Jadi, menurut pendapat saya interval kepercayaan yang dibuat oleh fabee merujuk pada standar deviasi sampel , STDE. Demikian pula, interval kepercayaan dapat ditetapkan untuk BIAS berdasarkan skor-z (atau skor-t jika ) dan. $\epsilon$ $n<30$ $\left.\text{STDE}\middle/\sqrt{n}\right.$

— cvr
sumber

Anda benar, tetapi melewatkan sebagian dari jawaban saya. Saya pada dasarnya berasumsi bahwa BIAS = 0 (lihat asumsi 1). Dalam hal itu, saat Anda diturunkan. Karena dan adalah dan ada solusi bentuk dekat untuk jumlah dua RV , Anda mungkin bisa mendapatkan interval kepercayaan bentuk dekat untuk kasus ketika asumsi 1 dijatuhkan. Jika Anda melakukan itu dan memperbarui jawaban Anda, saya pasti akan membatalkannya.

R M S E^{2} = S T D E^{2}

$RMSE^2 = STDE^2$

R M S E^{2}

$RMSE^2$

B I A S^{2}

$BIAS^2$

χ^{2}

$\chi^2$

χ^{2}

$\chi^2$

— fabee

Mengikuti Faaber 1999 , ketidakpastian RMSE diberikan sebagai mana adalah jumlah titik data.

σ (\hat{R M. S E}) / R M. S E = \sqrt{\frac{1}{2 n}}

$\sigma (\hat{RMSE})/RMSE = \sqrt{\frac{1}{2n}}$

n

$n$

— LKlevin
sumber