RMSE vs Koefisien Determinasi

Saya mengevaluasi model fisik dan ingin tahu mana salah satu metode yang harus saya gunakan di sini (antara RMSE dan Koefisien Determinasi R2)

Masalahnya adalah sebagai berikut: Saya memiliki fungsi yang menghasilkan prediksi untuk nilai input x, . Saya juga memiliki observasi aktual untuk nilai yang saya sebut .y$\overline{y_x}= f(x)$$y_x$

Pertanyaan saya adalah apa pro dan kontra dari RMSE atau . Saya telah melihat keduanya digunakan di kertas untuk masalah yang sedang saya kerjakan.$R^2$

Saya telah menggunakan keduanya, dan memiliki beberapa poin untuk dibuat.

• Rmse berguna karena mudah dijelaskan. Semua orang tahu apa itu.
• Rmse tidak menunjukkan nilai relatif. Jika , Anda harus secara khusus mengetahui rentang . Jika , maka 0,2 adalah nilai yang baik. Jika , sepertinya tidak lagi bagus.α < y x < β α = 1 , β = 1000 α = 0 , β = $rmse=0.2$$\alpha <y_x< \beta$$\alpha=1, \beta=1000$$\alpha=0, \beta=1$
• Sejalan dengan pendekatan sebelumnya, rmse adalah cara yang baik untuk menyembunyikan fakta bahwa orang yang Anda survei, atau pengukuran yang Anda lakukan sebagian besar seragam (semua orang menilai produk dengan 3 bintang), dan hasil Anda terlihat bagus karena data membantu Anda. Jika data agak acak, Anda akan menemukan model Anda yang mengorbit Jupiter.
• Gunakan koefisien determinasi yang disesuaikan, daripada$R^2$
• Koefisien determinasi sulit untuk dijelaskan. Bahkan orang-orang dari lapangan membutuhkan tip catatan kaki seperti \ footnote {Koefisien determinasi yang disesuaikan adalah proporsi variabilitas dalam set data yang dapat dijelaskan oleh model statistik. Nilai ini menunjukkan seberapa baik hasil di masa depan dapat diprediksi oleh model. dapat mengambil 0 sebagai minimum, dan 1 sebagai maksimum.}$R^2$
• Namun, koefisien determinasi sangat tepat dalam mengatakan seberapa baik model Anda menjelaskan suatu fenomena. jika , terlepas dari nilai , model Anda buruk. Saya percaya cut off point untuk model yang bagus dimulai dari 0,6, dan jika Anda memiliki sesuatu sekitar 0,7-0,8, model Anda sangat bagus.y $R^2=0.2$$y_x$
• Ringkasnya, mengatakan bahwa, dengan model Anda, Anda dapat menjelaskan 70% dari apa yang terjadi dalam data nyata. Sisanya, 30%, adalah sesuatu yang tidak Anda ketahui dan tidak bisa Anda jelaskan. Mungkin karena ada faktor pembaur, atau Anda membuat beberapa kesalahan dalam membangun model.$R^2=0.7$
• Dalam ilmu komputer, hampir semua orang menggunakan rmse. Ilmu sosial menggunakan lebih sering.$R^2$
• Jika Anda tidak perlu menjustifikasi parameter dalam model Anda, cukup gunakan rmse. Namun, jika Anda perlu memasukkan, menghapus atau mengubah parameter Anda saat membangun model Anda, Anda perlu menggunakan untuk menunjukkan bahwa parameter ini dapat menjelaskan data terbaik.$R^2$
• Jika Anda akan menggunakan , kode dalam bahasa R. Ini memiliki perpustakaan, dan Anda hanya memberikan data untuk memiliki semua hasil.$R^2$

Untuk seorang ilmuwan komputer yang bercita-cita tinggi, sangat menyenangkan untuk menulis tentang statistik. Hormat kami.

Apa pun pengukuran Errror yang Anda berikan, pertimbangkan untuk memberikan vektor hasil lengkap Anda dalam lampiran. Orang yang suka membandingkan dengan metode Anda tetapi lebih suka pengukuran kesalahan lain dapat memperoleh nilai seperti itu dari tabel Anda.

$R^2$ :

• Tidak mencerminkan kesalahan sistematis. Bayangkan Anda mengukur diameter bukan jari-jari benda melingkar. Anda memiliki perkiraan terlalu tinggi sebesar 100%, tetapi masih bisa mencapai mendekati 1.$R^2$

• Tidak setuju dengan komentar sebelumnya bahwa sulit dimengerti. Semakin tinggi nilainya, semakin tepat model Anda, tetapi ini dapat mencakup kesalahan sistematis.$R^2$

• Dapat diungkapkan dengan rumus yang mudah dipahami di mana Anda membangun rasio jumlah residu kuadrat dan membaginya dengan rata-rata:

$R^2 = 1 - {\frac{SS_E}{mean}} = 1 - \frac{\sum{(y_i - \overline{y_i}})^2}{\sum{(y_i - \overline{y}})^2}$

• harus diekspresikan dalam versi yang lebih maju . Di sini lebih banyak prediktor yang menghukum model. Diharapkan lebih kuat dari overfitting.$R^2_{adj.}$

$RMSE$ :

• Anda dapat mencapai rendah hanya dengan memiliki kedua presisi tinggi (outlier tunggal tetapi besar menghukum berat) dan tidak ada kesalahan sistematis. Jadi dengan cara rendah menghasilkan kualitas yang lebih baik daripada tinggi .R M S E R $RMSE$$RMSE$$R^2$

• Nomor ini memiliki satu unit dan bagi orang yang tidak terbiasa dengan data Anda tidak mudah untuk menafsirkannya. Misalnya dapat dibedakan dengan rata-rata data untuk menghasilkan . Hati-hati, ini bukan satu-satunya definisi . Beberapa orang lebih suka membagi dengan rentang data mereka daripada membaginya dengan rata-rata.r e l . R M S $rel. RMSE$$rel. RMSE$

Seperti yang disebutkan orang lain, pilihannya mungkin tergantung pada bidang dan keadaan Anda. Apakah ada metode yang sangat diterima untuk membandingkan juga? Gunakan pengukuran yang sama seperti yang mereka lakukan dan Anda dapat langsung menghubungkan manfaat metode Anda dengan mudah dalam diskusi.

Kedua akar-mean-Square-Kesalahan (RMSE) dan koefisien determinasi ( )$R^2$ menawarkan yang berbeda, namun saling melengkapi, informasi yang harus dinilai ketika mengevaluasi model yang fisik Anda. Tidak ada yang "lebih baik", tetapi beberapa laporan mungkin lebih fokus pada satu metrik tergantung pada aplikasi tertentu.

Saya akan menggunakan yang berikut ini sebagai panduan yang sangat umum untuk memahami perbedaan antara kedua metrik:

The RMSE memberi Anda rasa seberapa dekat (atau jauh) nilai-nilai Anda diprediksi berasal dari data aktual Anda sedang berusaha untuk Model. Ini berguna dalam berbagai aplikasi di mana Anda ingin memahami keakuratan dan ketepatan prediksi model Anda (misalnya, memodelkan tinggi pohon).

Pro

1. Ini relatif mudah untuk dipahami dan dikomunikasikan karena nilai yang dilaporkan berada dalam unit yang sama dengan variabel dependen yang dimodelkan.

Cons

1. Ini sensitif terhadap kesalahan besar (menghukum kesalahan prediksi besar lebih dari kesalahan prediksi yang lebih kecil).

$R^2$

Pro

1. Memberi pengertian menyeluruh tentang seberapa baik variabel yang Anda pilih cocok dengan data.

Cons

1. $R^2$$R^2$

Tentu saja, di atas akan tunduk pada ukuran sampel dan desain pengambilan sampel, dan pemahaman umum bahwa korelasi tidak menyiratkan sebab-akibat.

Ada juga MAE, Mean Absolute Error. Tidak seperti RMSE, itu tidak terlalu sensitif terhadap kesalahan besar. Dari apa yang saya baca, beberapa bidang lebih suka RMSE, yang lain MAE. Saya suka menggunakan keduanya.

Sebenarnya, bagi para ilmuwan statistik harus mengetahui model yang paling cocok, maka RMSE sangat penting bagi orang-orang dalam penelitiannya yang kuat. Jika RMSE sangat mendekati nol, maka model tersebut paling cocok.

Koefisien determinasi baik untuk ilmuwan lain seperti pertanian dan bidang lainnya. Ini adalah nilai antara 0 dan 1. Jika 1, 100% nilai cocok dengan set data yang diamati. Jika 0, maka data benar-benar heterogen. Dr.SK.Khadar Babu, Universitas VIT, Vellore, TamilNadu, India.

Jika beberapa angka ditambahkan ke setiap elemen dari salah satu vektor, RMSE berubah. Sama jika semua elemen dalam satu atau kedua vektor dikalikan dengan angka. Kode R mengikuti;

#RMSE vs pearson's correlation
one<-rnorm(100)
two<-one+rnorm(100)

rumis<-(two - one)^2
(RMSE<-sqrt(mean(rumis)))
cor(one,two)

oneA<-one+100

rumis<-(two - oneA)^2
(RMSE<-sqrt(mean(rumis)))
cor(oneA,two)

oneB<-one*10
twoB<-two*10

rumis<-(twoB - oneB)^2
(RMSE<-sqrt(mean(rumis)))
cor(oneB,twoB)
cor(oneB,twoB)^2

Pada akhirnya perbedaannya hanyalah standardisasi karena keduanya mengarah pada pilihan model yang sama, karena RMSE dikalikan jumlah pengamatan dalam pembilang atau R kuadrat, dan penyebut yang terakhir adalah konstan di semua model (hanya plot satu ukuran terhadap lain untuk 10 model berbeda).