Pertanyaan yang diberi tag «out-of-sample»

Misalkan kita memiliki seseorang yang membangun model prediktif, tetapi seseorang belum tentu berpengalaman dalam prinsip-prinsip statistik atau pembelajaran mesin yang tepat. Mungkin kita membantu orang itu saat mereka sedang belajar, atau mungkin orang itu menggunakan semacam paket perangkat lunak yang membutuhkan pengetahuan minimal untuk digunakan. Sekarang orang ini mungkin sangat …

60 machine-learning  classification  predictive-models  cross-validation  out-of-sample 

Gagasan analisis data adaptif adalah Anda mengubah rencana Anda untuk menganalisis data saat Anda belajar lebih banyak tentangnya. Dalam kasus analisis data eksplorasi (EDA), ini umumnya merupakan ide yang baik (Anda sering mencari pola yang tidak terduga dalam data), tetapi untuk studi konfirmasi, ini diterima secara luas sebagai metode analisis …

29 hypothesis-testing  overfitting  eda  out-of-sample  differential-privacy 

Kutipan berikut berasal dari Schwager's Hedge Fund Market Wizzards (Mei 2012), sebuah wawancara dengan manajer dana lindung nilai yang sukses secara konsisten Jaffray Woodriff: Untuk pertanyaan: "Apa kesalahan terburuk yang dilakukan orang dalam penambangan data?": Banyak orang berpikir mereka baik-baik saja karena mereka menggunakan data dalam sampel untuk pelatihan dan …

21 data-mining  curve-fitting  out-of-sample 

Saya telah membaca tentang validasi k-fold, dan saya ingin memastikan saya mengerti cara kerjanya. Saya tahu bahwa untuk metode holdout, data dibagi menjadi tiga set, dan set tes hanya digunakan di bagian paling akhir untuk menilai kinerja model, sedangkan set validasi digunakan untuk menyetel hyperparameters, dll. Dalam metode k-fold, apakah …

21 cross-validation  validation  out-of-sample 

Sementara hasil dari set tes pribadi tidak dapat digunakan untuk memperbaiki model lebih lanjut, bukankah pemilihan model dari sejumlah besar model yang dilakukan berdasarkan hasil set tes pribadi? Tidakkah Anda, melalui proses itu sendiri, berakhir overfitting ke set tes pribadi? Menurut "Pseudo-Matematika dan Charlatanisme Keuangan: Pengaruh Overtest Overfitting pada Out-of-Sample …

16 model-selection  overfitting  out-of-sample 

Ditutup . Pertanyaan ini perlu lebih fokus . Saat ini tidak menerima jawaban. Ingin meningkatkan pertanyaan ini? Perbarui pertanyaan sehingga berfokus pada satu masalah hanya dengan mengedit posting ini . Ditutup 2 tahun yang lalu . Saat ini saya mengikuti program magister yang berfokus pada statistik / ekonometrika. Di master …

14 machine-learning  forecasting  predictive-models  prediction  out-of-sample 

Dalam paparan kelas saya untuk data mining, metode ketidaksepakatan diperkenalkan sebagai cara menilai kinerja model. Namun, ketika saya mengambil kelas pertama saya pada model linear, ini tidak diperkenalkan sebagai sarana validasi atau penilaian model. Penelitian online saya juga tidak menunjukkan adanya persimpangan. Mengapa metode ketidaksepakatan tidak digunakan dalam statistik klasik?

12 regression  validation  model-evaluation  out-of-sample 

Apakah ada perbedaan eksplisit antara perkiraan dalam-sampel dan perkiraan out-of-sampel pseudo . Keduanya dimaksudkan dalam konteks mengevaluasi dan membandingkan model peramalan.

12 forecasting  model-comparison  out-of-sample  in-sample 

Saya memiliki dataset dengan 26 fitur dan 31000 baris. Ini adalah dataset dari 38 subjek. Ini untuk sistem biometrik. Jadi saya ingin dapat mengidentifikasi mata pelajaran. Untuk memiliki set pengujian, saya tahu saya harus menghapus beberapa nilai. Jadi apa yang lebih baik untuk dilakukan dan mengapa? (a) simpan 30 subjek …

11 machine-learning  cross-validation  out-of-sample 

Sejauh yang saya lihat, pendapat cenderung berbeda tentang ini. Praktik terbaik tentu akan menentukan menggunakan validasi silang (terutama jika membandingkan RF dengan algoritma lain pada dataset yang sama). Di sisi lain, sumber asli menyatakan bahwa fakta kesalahan OOB dihitung selama pelatihan model cukup dari indikator kinerja set tes. Bahkan Trevor …

10 cross-validation  random-forest  overfitting  out-of-sample 

Saya punya pertanyaan yang menurut saya akan sangat mendasar bagi banyak pengguna. Saya menggunakan model regresi linier untuk (i) menyelidiki hubungan beberapa variabel penjelas dan variabel respons saya dan (ii) memprediksi variabel respons saya menggunakan variabel penjelas. Satu variabel penjelas X tertentu tampaknya secara signifikan mempengaruhi variabel respons saya. Untuk …

10 statistical-significance  predictive-models  p-value  prediction  out-of-sample 

Saya tahu ini mungkin telah dibahas di tempat lain, tetapi saya belum dapat menemukan jawaban yang jelas. Saya mencoba menggunakan rumus untuk menghitung out-of-sample dari model regresi linier, di mana adalah jumlah residu kuadrat dan adalah jumlah total kuadrat. Untuk set pelatihan, jelas ituR 2 S S R S S …

10 regression  machine-learning  r-squared  out-of-sample 

Saya selalu berlangganan kearifan rakyat bahwa mengurangi tingkat pembelajaran dalam gbm (gradient boosted tree model) tidak merusak kinerja sampel dari model. Hari ini, saya tidak begitu yakin. Saya memasang model (meminimalkan jumlah kesalahan kuadrat) ke dataset perumahan boston . Berikut adalah sebidang kesalahan dengan jumlah pohon pada 20 persen data …

9 machine-learning  boosting  out-of-sample 

Pertanyaan ini sudah memiliki jawaban di sini : Apakah model saya bagus, berdasarkan nilai metrik diagnostik ( / AUC / akurasi / RMSE dll.)? R2R2R^2 (3 jawaban) Ditutup 8 bulan lalu . Saya memiliki data pembelajaran yang terdiri dari ~ 45 ribu sampel, masing-masing memiliki 21 fitur. Saya mencoba untuk …

8 classification  random-forest  out-of-sample