Pertanyaan yang diberi tag «feature-selection»

Saya punya satu pertanyaan berkenaan dengan kebutuhan untuk menggunakan metode pemilihan fitur (Acak fitur nilai pentingnya hutan atau metode pemilihan fitur Univariat dll) sebelum menjalankan algoritma pembelajaran statistik. Kami tahu untuk menghindari overfitting, kami dapat menerapkan penalti regularisasi pada vektor bobot. Jadi jika saya ingin melakukan regresi linier, maka saya …

20 regression  machine-learning  feature-selection  lasso  regularization 

Dua pendekatan umum untuk memilih variabel berkorelasi adalah uji signifikansi dan validasi silang. Masalah apa yang masing-masing coba selesaikan dan kapan saya lebih suka yang satu daripada yang lain?

20 cross-validation  feature-selection 

Baru-baru ini saya menemukan bahwa dalam literatur ekonometrik terapan, ketika berhadapan dengan masalah pemilihan fitur, tidak jarang melakukan LASSO diikuti oleh regresi OLS menggunakan variabel yang dipilih. Saya bertanya-tanya bagaimana kita memenuhi syarat validitas dari prosedur semacam itu. Apakah ini akan menyebabkan masalah seperti variabel yang dihilangkan? Adakah bukti yang …

20 regression  feature-selection  econometrics  least-squares  lasso 

Berikut ini adalah plot glmnet dengan alpha default (1, karenanya laso) menggunakan mtcarsset data dalam R dengan mpgsebagai DV dan yang lainnya sebagai variabel prediktor. glmnet(as.matrix(mtcars[-1]), mtcars[,1]) Apa yang bisa kita simpulkan dari plot ini mengenai berbagai variabel, khususnya am, cyldan wt(garis merah, hitam dan biru muda)? Bagaimana kita akan …

19 regression  feature-selection  lasso  glmnet 

Saya mengalami kesulitan menafsirkan nilai z untuk variabel kategori dalam regresi logistik. Dalam contoh di bawah ini saya memiliki variabel kategori dengan 3 kelas dan menurut nilai z, CLASS2 mungkin relevan sementara yang lain tidak. Tapi sekarang apa artinya ini? Bahwa saya bisa menggabungkan kelas lain menjadi satu? Bahwa seluruh …

19 r  logistic  categorical-data  feature-selection  categorical-encoding 

Apa definisi "ruang fitur"? Misalnya, Saat membaca tentang SVM, saya membaca tentang "pemetaan ke fitur ruang". Saat membaca tentang CART, saya membaca tentang "partisi ke ruang fitur". Saya mengerti apa yang terjadi, terutama untuk CART, tetapi saya pikir ada beberapa definisi yang saya lewatkan. Apakah ada definisi umum "ruang fitur"? …

19 machine-learning  svm  feature-selection  cart  feature-construction 

Metode pemilihan variabel algoritmik bertahap cenderung memilih model yang bias kurang lebih setiap perkiraan dalam model regresi ( s dan UK, nilai- p , statistik F , dll.), Dan hampir sama dengan mengecualikan prediktor sejati sebagai termasuk prediktor palsu menurut literatur simulasi yang cukup matang.ββ\beta Apakah LASSO menderita dengan cara …

18 regression  feature-selection  lasso  regression-strategies  stepwise-regression 

Saya mencoba membandingkan kompleksitas komputasi / perkiraan kecepatan tiga kelompok metode untuk regresi linier sebagaimana dibedakan dalam Hastie et al. "Elemen Pembelajaran Statistik" (edisi kedua), Bab 3: Pilihan subset Metode penyusutan Metode menggunakan arah input yang diturunkan (PCR, PLS) Perbandingannya bisa sangat kasar, hanya untuk memberikan beberapa ide. Saya mengumpulkan …

18 machine-learning  estimation  feature-selection  algorithms  time-complexity 

Setelah membaca Galit Shmueli "To Explain or to Predict" (2010) saya bingung dengan kontradiksi yang nyata. Ada tiga tempat, Pilihan model berbasis AIC- dibandingkan BIC (akhir hal. 300 - awal hal. 301): sederhananya, AIC harus digunakan untuk memilih model yang dimaksudkan untuk prediksi sedangkan BIC harus digunakan untuk memilih model …

18 forecasting  model-selection  feature-selection  aic  bic 

Baru saja membahas Hipotesis Non-linear Neural Netowrks Andrew Ng, dan kami memiliki pertanyaan pilihan ganda untuk menentukan jumlah fitur untuk gambar resolusi 100x100 dari intensitas grescale . Dan jawabannya adalah 50 juta, x10 755510710710^7 Namun, sebelumnya untuk 50 x 50 piksel, gambar skala abu-abu. jumlah fitur adalah 50x50 (2500) Mengapa …

18 feature-selection  image-processing 

Saya menggunakan cv.glmnetuntuk menemukan prediktor. Pengaturan yang saya gunakan adalah sebagai berikut: lassoResults<-cv.glmnet(x=countDiffs,y=responseDiffs,alpha=1,nfolds=cvfold) bestlambda<-lassoResults$lambda.min results<-predict(lassoResults,s=bestlambda,type="coefficients") choicePred<-rownames(results)[which(results !=0)] Untuk membuat yakin hasilnya direproduksi saya set.seed(1). Hasilnya sangat bervariasi. Saya menjalankan kode yang sama persis 100 untuk melihat bagaimana variabel hasilnya. Dalam menjalankan 98/100 memiliki satu prediktor tertentu selalu dipilih (kadang-kadang hanya …

18 r  cross-validation  feature-selection  glmnet 

Saya perlu mengklasifikasikan URL ke dalam kategori. Katakanlah saya memiliki 15 kategori yang saya rencanakan untuk menurunkan setiap URL. Apakah pengklasifikasi 15 arah lebih baik? Di mana saya memiliki 15 label dan menghasilkan fitur untuk setiap titik data. Atau membangun 15 pengklasifikasi biner, katakan: Film atau Non-Film, dan gunakan angka …

18 machine-learning  classification  categorical-data  svm  feature-selection 

Saya telah membangun classifier regresi logistik yang sangat akurat pada data saya. Sekarang saya ingin lebih mengerti mengapa itu bekerja dengan baik. Secara khusus, saya ingin memberi peringkat fitur mana yang memberikan kontribusi terbesar (fitur mana yang paling penting) dan, idealnya, menghitung seberapa banyak setiap fitur berkontribusi pada akurasi model …

17 machine-learning  logistic  feature-selection  importance 

Saya menggunakan Lasso untuk pemilihan fitur dalam pengaturan dimensi yang relatif rendah (n >> p). Setelah memasang model Lasso, saya ingin menggunakan kovariat dengan koefisien bukan nol agar sesuai dengan model tanpa penalti. Saya melakukan ini karena saya ingin perkiraan yang tidak bias yang tidak dapat diberikan oleh Lasso kepada …

17 regression  feature-selection  lasso  unbiased-estimator 

Setelah saya membangun model hutan acak (regresi) dalam R, panggilan rf$importancememberi saya dua ukuran untuk setiap variabel prediktor, %IncMSEdan IncNodePurity. Apakah interpretasi bahwa variabel prediktor dengan %IncMSEnilai yang lebih kecil lebih penting daripada variabel prediktor dengan %IncMSEnilai yang lebih besar ? Bagaimana dengan untuk IncNodePurity?

17 r  feature-selection  random-forest