Apakah nilai R-squared cocok untuk membandingkan model?

Saya mencoba mengidentifikasi model terbaik untuk memprediksi harga mobil, menggunakan harga dan fitur yang tersedia di situs iklan baris mobil.

Untuk ini saya menggunakan beberapa model dari perpustakaan scikit-belajar dan model jaringan saraf dari pybrain dan neurolab. Pendekatan yang saya gunakan sejauh ini adalah menjalankan jumlah data tetap melalui beberapa model (algoritma pembelajaran mesin) dan membandingkan nilai yang dihitung dengan modul metrik scikit-learning. $R^2$

Apakah metode yang baik untuk membandingkan kinerja model yang berbeda? $R^2$
Walaupun saya mendapatkan hasil yang cukup dapat diterima untuk model seperti jaring jaring dan hutan acak saya mendapat nilai sangat buruk untuk model jaringan saraf, jadi apakah metode yang tepat untuk mengevaluasi jaringan saraf (atau metode non-linear)? $R^2$ $R^2$

— Manik
sumber

Jawaban singkatnya adalah tidak . Mungkin membantu Anda untuk membaca jawaban saya di sini: Evaluasi model dan perbandingan untuk memilih model terbaik , yang cukup terkait dengan pertanyaan Anda. Solusi kandidat dijelaskan di sini . Untuk pemahaman yang lebih umum, Anda dapat mencoba membaca beberapa utas di situs yang dikategorikan di bawah tag pemilihan model .

— gung - Reinstate Monica

@ung Terima kasih! bolehkah saya bertanya apa yang akan menjadi ukuran yang sesuai untuk regresi menggunakan jaringan saraf?

— Manik

Saya pikir bagian penting untuk dipertimbangkan dalam menjawab pertanyaan Anda adalah

Saya mencoba mengidentifikasi model terbaik untuk memprediksi harga mobil

karena pernyataan ini menyiratkan sesuatu tentang mengapa Anda ingin menggunakan model. Pilihan model dan evaluasi harus didasarkan pada apa yang ingin Anda capai dengan nilai-nilai yang sesuai.

Pertama, mari kita rekap apa dilakukannya $R^2$ : Ini menghitung ukuran skala berdasarkan fungsi kerugian kuadrat, yang saya yakin Anda sudah menyadari. Untuk melihat ini, menentukan sisa untuk i th-pengamatan Anda dan nilai dipasang sesuai . Menggunakan notasi nyaman , $e_i = y_i - \hat{y}_i$ $y_i$ $\hat{y}_i$ $SSR := \sum_{i=1}^Ne_i^2$ ,hanya didefinisikan sebagai. $SST:=\sum_{i=1}^N(y_i - \bar{y})^2$ $R^2$ $R^2 = 1 - SSR/SST$

Kedua, mari kita lihat apa yang menggunakan untuk model pilihan / sarana evaluasi $R^2$ . Misalkan kita memilih dari serangkaian prediksi yang dihasilkan menggunakan model , di mana adalah kumpulan model yang dipertimbangkan (dalam contoh Anda, koleksi ini akan berisi jaringan saraf, hutan acak, jaring elastis, ...). Sejak akan tetap konstan di antara semua model, jika meminimalkan Anda akan memilih persis model yang meminimalkan . Dengan kata lain, Anda akan memilih $\bar{Y}_M$ $M:M \in \mathcal{M}$ $\mathcal{M}$ $SST$ $R^2$ $SSR$ yang menghasilkan kerugian kesalahan kuadrat minimal! $M \in \mathcal{M}$

$R^2$ $SSR$ $L^2$ $L^1$

$R^2$ $L^p$ $1 \leqslant p <2$ $p=1$ $L^p$ $L^p$

Singkatnya, pilihan / evaluasi model tidak dapat dipertimbangkan secara independen dari tujuan model.

— Jeremias K
sumber