Pertanyaan yang diberi tag «model-selection»

Apakah ada studi empiris yang membenarkan penggunaan satu aturan kesalahan standar yang mendukung kekikiran? Jelas itu tergantung pada proses data-data, tetapi apa pun yang menganalisis kumpulan data besar akan menjadi bacaan yang sangat menarik. "Satu aturan kesalahan standar" diterapkan ketika memilih model melalui cross-validation (atau lebih umum melalui prosedur berbasis …

39 cross-validation  model-selection  regularization 

Saya telah menghitung AIC dan AICc untuk membandingkan dua model campuran linier umum; AIC positif dengan model 1 memiliki AIC lebih rendah daripada model 2. Namun, nilai untuk AICc keduanya negatif (model 1 masih <model 2). Apakah valid untuk menggunakan dan membandingkan nilai AICc negatif?

39 mixed-model  model-selection  aic 

Ketika menggunakan validasi silang untuk melakukan pemilihan model (seperti misalnya penyetelan hyperparameter) dan untuk menilai kinerja model terbaik, seseorang harus menggunakan validasi silang bersarang . Loop luar adalah untuk menilai kinerja model, dan loop dalam adalah untuk memilih model terbaik; model dipilih pada setiap set latihan luar (menggunakan loop CV …

36 cross-validation  model-selection  ridge-regression 

Saat ini saya sedang bekerja untuk membangun model menggunakan regresi linier berganda. Setelah mengutak-atik model saya, saya tidak yakin bagaimana cara terbaik menentukan variabel mana yang harus disimpan dan yang harus dihapus. Model saya mulai dengan 10 prediktor untuk DV. Saat menggunakan semua 10 prediktor, empat dianggap signifikan. Jika saya …

35 regression  multiple-regression  feature-selection  modeling  model-selection 

Saya telah melihat beberapa pertanyaan di sini tentang apa artinya dalam istilah awam, tetapi ini terlalu awam untuk tujuan saya di sini. Saya mencoba memahami secara matematis apa arti skor AIC. Tetapi pada saat yang sama, saya tidak ingin bukti yang kuat yang akan membuat saya tidak melihat poin yang …

34 self-study  model-selection  aic  entropy  information-theory 

Ada banyak utas di CrossValidated pada topik pemilihan model dan validasi silang. Berikut ini beberapa di antaranya: Validasi silang internal vs eksternal dan pemilihan model @ DikranMarsupial ini jawaban atas untuk seleksi Fitur dan cross-validasi Namun, jawaban atas utas tersebut cukup umum dan sebagian besar menyoroti masalah dengan pendekatan khusus …

34 cross-validation  model-selection 

Mengapa prosedur validasi silang mengatasi masalah overfitting model?

34 regression  model-selection  cross-validation 

Saya ingin tahu tentang prosedur berulang yang dapat digunakan untuk menemukan bentuk fungsional dari fungsi y = f(A, B, C) + error_termmana saya hanya masukan adalah seperangkat pengamatan ( y, A, Bdan C). Harap dicatat bahwa bentuk fungsional ftidak diketahui. Pertimbangkan dataset berikut: AA BB CC DD EE FF == …

34 regression  machine-learning  algorithms  model-selection  data-mining 

Saya mengerti apa distribusi prediktif posterior , dan saya telah membaca tentang cek prediktif posterior , meskipun belum jelas bagi saya apa yang dilakukannya. Apa sebenarnya pemeriksaan prediktif posterior? Mengapa beberapa penulis mengatakan bahwa menjalankan pemeriksaan prediktif posterior adalah "menggunakan data dua kali" dan tidak boleh disalahgunakan? (atau bahkan itu …

33 bayesian  model-selection  posterior 

Saya biasanya menggunakan BIC karena pemahaman saya adalah bahwa nilai-nilai parsimony lebih kuat daripada AIC. Namun, saya telah memutuskan untuk menggunakan pendekatan yang lebih komprehensif sekarang dan ingin menggunakan AIC juga. Saya tahu bahwa Raftery (1995) menyajikan pedoman yang bagus untuk perbedaan BIC: 0-2 lemah, 2-4 adalah bukti positif untuk …

32 r  model-selection  references  aic  bic 

Hanya pemikiran saja: Model Parsimonious selalu menjadi pilihan standar dalam pemilihan model, tetapi sampai sejauh mana pendekatan ini sudah usang? Saya ingin tahu tentang seberapa besar kecenderungan kita terhadap kekikiran adalah peninggalan zaman abaci dan aturan geser (atau, lebih serius, komputer non-modern). Kekuatan komputasi saat ini memungkinkan kami untuk membangun …

31 predictive-models  model-selection  model 

Baru-baru ini saya menemukan makalah yang mengusulkan menggunakan pengklasifikasi k-NN pada dataset tertentu. Para penulis menggunakan semua sampel data yang tersedia untuk melakukan validasi silang k-fold untuk nilai k yang berbeda dan melaporkan hasil validasi silang dari konfigurasi hyperparameter terbaik. Sepengetahuan saya, hasil ini bias, dan mereka seharusnya mempertahankan set …

31 cross-validation  references  model-selection  model-evaluation 

Apakah mungkin untuk menghitung nilai AIC atau BIC untuk model regresi laso dan model yang diregulasi lainnya di mana parameter hanya sebagian memasukkan persamaan. Bagaimana seseorang menentukan derajat kebebasan? Saya menggunakan R agar sesuai dengan model regresi laso dengan glmnet()fungsi dari glmnetpaket, dan saya ingin tahu bagaimana menghitung nilai AIC …

31 r  model-selection  lasso  aic  bic 

Untuk LASSO (dan prosedur pemilihan model lainnya), sangat penting untuk mengubah skala prediktor. The umum Rekomendasi saya tindak hanya menggunakan 0 berarti, 1 standar deviasi normalisasi untuk variabel kontinyu. Tapi apa yang harus dilakukan dengan boneka? Misalnya beberapa contoh terapan dari sekolah musim panas yang sama (luar biasa) yang saya …

30 predictive-models  model-selection  lasso  standardization  multidimensional-scaling 

Bagaimana Anda memilih model dari berbagai model yang dipilih dengan metode yang berbeda (mis. Pemilihan mundur atau maju)? Juga apa yang dimaksud dengan model pelit?

28 regression  model-selection