Bisakah RMSE dan MAE memiliki nilai yang sama?

Saya menerapkan validasi silang dan penghitungan metrik kesalahan seperti RMSE, , MAE, MSE, dll. $R^2$

cross-validation rms mae

— Perl
sumber

Iya. Kenapa tidak? Biarkan

X

$X$ selalu

0

$0$ dan prediktor untuk

X

$X$ selalu

1

$1$ . Itu dia

— David

Jawaban:

Ya, secara teori. Kasus paling sederhana yang dapat saya bayangkan adalah dataset di mana semua kesalahan prediksi (yaitu residual) tepat $\pm$ 1. RMSE dan MAE akan mengembalikan nilai-nilai identik dari 1. Seseorang dapat membangun skenario lain juga, tetapi tidak ada yang tampaknya sangat mungkin.

EDIT: Terima kasih kepada @DilipSarwate untuk menunjukkan (dijabarkan lebih lanjut oleh @ user20160 dalam jawaban mereka yang sangat baik) bahwa hasil ini dimungkinkan jika dan hanya jika nilai absolut dari semua kesalahan prediksi identik. Tidak ada yang istimewa tentang nilai $\pm$ 1 dalam contoh saya, dengan kata lain; nomor lainnya akan berfungsi sebagai ganti 1.

— mkt - Pasang kembali Monica
sumber

Bisakah Anda memberikan contoh skenario lain yang Anda impikan? Maksud saya contoh selain kelipatan skalar (ketika semua residual adalah

bukannya

) dari contoh di atas.

\pm σ

$\pm \sigma$

\pm 1

$\pm 1$

— Dilip Sarwate

@DilipSarwate Saya sedang merenungkan ini ketika user20160 menambahkan jawaban yang jauh lebih baik yang membahasnya lebih detail daripada yang saya bisa.

— mkt - Reinstate Monica

@ mkt Terima kasih atas kata-kata baiknya. Jawaban Anda benar dan singkat (+1)

— user20160

@DilipSarwate Terima kasih atas inputnya

— mkt - Reinstate Monica

Beberapa hiasan tambahan untuk jawaban Anda: (i)

harus genap (katakan

) dan (ii) persis

residual harus memiliki nilai

dan persis

residual harus memiliki nilai

, yang tentu saja berarti bahwa semua residu memiliki nilai absolut

seperti yang Anda nyatakan, tetapi (ii) memastikan bahwa residual berjumlah

sebagaimana mestinya, Sisa adalah penyimpangan dari rata-rata dan karenanya harus berjumlah nol.

n

$n$

n = 2 k

$n=2k$

k

$k$

+ σ

$+\sigma$

k

$k$

- σ

$-\sigma$

σ

$\sigma$

0

$0$

— Dilip Sarwate

Mean absolute error (MAE) dapat sama dengan mean squared error (MSE) atau root mean squared error (RMSE) dalam kondisi tertentu, yang akan saya tunjukkan di bawah ini. Kondisi ini tidak mungkin terjadi dalam praktik.

Persiapan

Biarkan $r_i = |y_i - \hat{y}_i|$ menunjukkan nilai absolut residu untuk titik data ke- $i$ , dan misalkan $r = [r_i, \dots, r_n]^T$ menjadi vektor yang mengandung residu absolut untuk semua $n$ titik dalam dataset. Membiarkan $\vec{1}$ menunjukkan vektor $n \times 1$ , MAE, MSE, dan RMSE dapat ditulis sebagai:

\begin{matrix} (1) & M A E = \frac{1}{n} {\vec{1}}^{T} r M S E = \frac{1}{n} r^{T} r R M S E = \sqrt{\frac{1}{n} r^{T} r} \end{matrix}

$MAE = \frac{1}{n} \vec{1}^T r \quad MSE = \frac{1}{n} r^T r \quad RMSE = \sqrt{\frac{1}{n} r^T r} \tag{1}$

MSE

Mengatur MSE sama dengan MAE dan mengatur ulang memberikan:

\begin{matrix} (2) & (r - \vec{1})^{T} r = 0 \end{matrix}

$(r - \vec{1})^T r = 0 \tag{2}$

MSE dan MAE adalah sama untuk semua dataset di mana residu absolut menyelesaikan persamaan di atas. Dua solusi yang jelas adalah: $r = \vec{0}$ (tidak ada kesalahan) dan $r = \vec{1}$ (semua residualnya $\pm 1$ , seperti yang disebutkan mkt). Tapi, ada banyak solusi tak terhingga.

$(2)$ $r-\vec{1}$ $r$

$(2)$

\begin{matrix} (3) & (r - \frac{1}{2} \vec{1})^{T} (r - \frac{1}{2} \vec{1}) = \frac{n}{4} \end{matrix}

$\Big( r-\frac{1}{2} \vec{1} \Big)^T \Big( r-\frac{1}{2} \vec{1} \Big) = \frac{n}{4} \tag{3}$

$n$ $[\frac{1}{2}, \dots, \frac{1}{2}]^T$ $\frac{1}{2} \sqrt{n}$

RMSE

Menyetel RMSE sama dengan MAE dan mengatur ulang memberi:

\begin{matrix} (4) & r^{T} A r = 0 \end{matrix}

$r^T A r = 0 \tag{4}$

A = (n I - \vec{1} {\vec{1}}^{T})

$A = (n I - \vec{1} \vec{1}^T)$

$I$ $A$ $r$ $A r = \vec{0}$ $A$ $n \times n$ $n-1$ $-1$ $A r = \vec{0}$

\begin{matrix} (5) & (n - 1) r_{i} - \sum_{j \neq i} r_{j} = 0 \forall i \end{matrix}

$(n-1) r_i - \sum_{j \ne i} r_j = 0 \quad \forall i \tag{5}$

Atau, menata ulang hal-hal:

\begin{matrix} (6) & r_{i} = \frac{1}{n - 1} \sum_{j \neq i} r_{j} \forall i \end{matrix}

$r_i = \frac{1}{n-1}\sum_{j \ne i} r_j \quad \forall i \tag{6}$

$r_i$ $A$

{r ∣ r = c \vec{1} \forall c \geq 0}

$\{r \mid r = c \vec{1} \enspace \forall c \ge 0\}$

Jadi, RMSE dan MAE sama jika dan hanya jika nilai absolut dari residual sama untuk semua titik data.

— pengguna20160
sumber

r

$r$

Sebenarnya, pertanyaannya adalah apakah RMSE dan MAE bisa sama dan bukan apakah MSE dan MAE bisa sama. Mungkin jawaban @ mkt (atau versi umum daripadanya yang saya sarankan dalam komentar) adalah satu-satunya jawaban untuk pertanyaan RMSE = MAE?

— Dilip Sarwate

@DilipSarwate, Ya, menyadari setelah memposting ini bahwa saya telah melewatkan bagian 'R'. Saya telah diedit untuk memasukkan RMSE sekarang. Saya percaya versi yang Anda sarankan adalah satu-satunya jawaban yang mungkin dalam kasus ini.

— user20160

@whuber Itu poin bagus. Saya akan mencoba mengedit sesuatu seperti ini.

— user20160

@ Hiyam Jika hanya ada 1 nilai, maka RMSE menurut definisi harus sama dengan MAE. Karena hanya ada 1 kesalahan, mengkuadratkan dan mengambil root hanya mengembalikan nilai absolut dari kesalahan asli.

— mkt - Pasang kembali Monica