Mengevaluasi kinerja model regresi menggunakan pelatihan dan set tes?


10

Saya sering mendengar tentang mengevaluasi kinerja model klasifikasi dengan mengulurkan set tes dan melatih model pada set pelatihan. Kemudian membuat 2 vektor, satu untuk nilai prediksi dan satu untuk nilai sebenarnya. Jelas melakukan perbandingan memungkinkan seseorang untuk menilai kinerja model dengan kekuatan prediktifnya menggunakan hal-hal seperti F-Score, Statistik Kappa, Precision & Recall, kurva ROC dll.

Bagaimana hal ini dibandingkan dengan mengevaluasi prediksi numerik seperti regresi? Saya akan berasumsi bahwa Anda bisa melatih model regresi pada set pelatihan, menggunakannya untuk memprediksi nilai, kemudian membandingkan nilai-nilai prediksi ini dengan nilai-nilai sebenarnya yang ada di set tes. Jelas ukuran kinerja harus berbeda karena ini bukan tugas klasifikasi. Residual biasa dan statistik adalah tindakan jelas, tetapi ada lebih / cara yang lebih baik untuk mengevaluasi kinerja untuk model regresi? Sepertinya klasifikasi memiliki begitu banyak pilihan tetapi regresi diserahkan kepada dan residu.R2R2


1
Saya tidak yakin persis pertanyaan apa yang Anda tanyakan tetapi metrik kesalahan yang jelas untuk model regresi dengan output kontinu adalah mean square error (MSE) antara output model dan variabel hasil.
BGreene

Jadi hanya ukuran kesalahan antara yang aktual dan yang diprediksi.
StatTime

Ya, dioptimalkan pada set pelatihan dan divalidasi menggunakan set tes.
BGreene

Jawaban:


2

Seperti yang dikatakan, biasanya, Mean Squared Error digunakan. Anda menghitung model regresi Anda berdasarkan pada set pelatihan Anda, dan mengevaluasi kinerjanya menggunakan set tes yang terpisah (satu set input x dan output prediksi yang diketahui y) dengan menghitung MSE antara output set tes (y) dan output yang diberikan oleh model (f (x)) untuk input yang diberikan sama (x).

Atau Anda dapat menggunakan metrik berikut: Root Mean Squared Error, Relative Squared Error, Mean Absolute Error, Relative Absolute Error ... (tanyakan definisi dari google)


err=SEBUAH(x-xsaya)+B(x-xsaya)2
Dengan menggunakan situs kami, Anda mengakui telah membaca dan memahami Kebijakan Cookie dan Kebijakan Privasi kami.
Licensed under cc by-sa 3.0 with attribution required.