Pertanyaan yang diberi tag «hyperparameter»

Saya mulai mencoba-coba penggunaan glmnetdengan LASSO Regression di mana hasil yang saya minati menjadi dikotomis. Saya telah membuat bingkai data mock kecil di bawah ini: age <- c(4, 8, 7, 12, 6, 9, 10, 14, 7) gender <- c(1, 0, 1, 1, 1, 0, 1, 0, 0) bmi_p <- c(0.86, …

78 r  self-study  lasso  regression  interpretation  anova  statistical-significance  survey  conditional-probability  independence  naive-bayes  graphical-model  r  time-series  forecasting  arima  r  forecasting  exponential-smoothing  bootstrap  outliers  r  regression  poisson-distribution  zero-inflation  genetic-algorithms  machine-learning  feature-selection  cart  categorical-data  interpretation  descriptive-statistics  variance  multivariate-analysis  covariance-matrix  r  data-visualization  generalized-linear-model  binomial  proportion  pca  matlab  svd  time-series  correlation  spss  arima  chi-squared  curve-fitting  text-mining  zipf  probability  categorical-data  distance  group-differences  bhattacharyya  regression  variance  mean  data-visualization  variance  clustering  r  standard-error  association-measure  somers-d  normal-distribution  integral  numerical-integration  bayesian  clustering  python  pymc  nonparametric-bayes  machine-learning  svm  kernel-trick  hyperparameter  poisson-distribution  mean  continuous-data  univariate  missing-data  dag  python  likelihood  dirichlet-distribution  r  anova  hypothesis-testing  statistical-significance  p-value  rating  data-imputation  censoring  threshold 

Saat ini saya sedang mencari Bengio dan Bergsta's Random Search untuk Hyper-Parameter Optimization [1] di mana penulis mengklaim pencarian acak lebih efisien daripada pencarian grid dalam mencapai sekitar kinerja yang sama. Pertanyaan saya adalah: Apakah orang-orang di sini setuju dengan klaim itu? Dalam pekerjaan saya, saya telah menggunakan pencarian kotak …

41 machine-learning  hyperparameter  optimization 

Saya mencari makalah yang dapat membantu dalam memberikan pedoman tentang bagaimana memilih hyperparameter arsitektur yang mendalam, seperti auto-encoders stacked atau jaringan deep trust. Ada banyak hiperparameter dan saya sangat bingung bagaimana memilihnya. Juga menggunakan validasi silang bukan pilihan karena pelatihan benar-benar membutuhkan banyak waktu!

38 machine-learning  deep-learning  deep-belief-networks  hyperparameter 

Saya membaca tentang pengoptimal Adam untuk Deep Learning dan menemukan kalimat berikut dalam buku baru Deep Learning karya Bengio, Goodfellow dan Courville: Adam umumnya dianggap cukup kuat untuk memilih parameter hiper, meskipun tingkat pembelajaran kadang-kadang perlu diubah dari standar yang disarankan. jika ini benar, ini adalah masalah besar karena pencarian …

24 neural-networks  deep-learning  optimization  hyperparameter  adam 

Adakah yang bisa menjelaskan interpretasi alami untuk hiperparameter LDA? ALPHAdan BETAmerupakan parameter dari distribusi Dirichlet untuk masing-masing topik (per dokumen) dan (per topik) kata. Namun bisakah seseorang menjelaskan apa artinya memilih nilai yang lebih besar dari hiperparameter ini dibandingkan nilai yang lebih kecil? Apakah itu berarti menempatkan kepercayaan sebelumnya dalam …

21 interpretation  prior  topic-models  hyperparameter 

Saya tahu bahwa melakukan penyetelan hyperparameter di luar validasi silang dapat menyebabkan estimasi bias eksternal yang tinggi, karena dataset yang Anda gunakan untuk mengukur kinerja adalah sama dengan yang Anda gunakan untuk menyetel fitur. Yang saya pikirkan adalah seberapa buruk masalah ini . Saya bisa mengerti bagaimana itu akan sangat …

20 cross-validation  validation  hyperparameter 

Jadi dalam distribusi normal, kami memiliki dua parameter: mean dan variance . Dalam buku Pattern Recognition dan Machine Learning , tiba-tiba muncul hyperparameter dalam istilah regularisasi fungsi kesalahan.μμ\muσ2σ2\sigma^2λλ\lambda Apa itu hiperparameter? Mengapa mereka dinamai demikian? Dan bagaimana mereka secara intuitif berbeda dari parameter pada umumnya?

19 terminology  definition  parameterization  hyperparameter 

Saya memiliki dataset 140000 contoh dan 30 fitur yang saya latih beberapa pengklasifikasi untuk klasifikasi biner (SVM, Regresi Logistik, Hutan Acak dll) Dalam banyak kasus, penyetelan hyperparameter pada keseluruhan dataset menggunakan pencarian Grid atau Random terlalu memakan waktu. Saya mulai menggunakan teknik berikut Sub sampel dataset saya Gunakan fraksi yang …

19 machine-learning  cross-validation  hyperparameter 

Ada penelitian kontemporer substansial tentang Bayesian Optimization (1) untuk menyetel hiperparameter ML. Motivasi mengemudi di sini adalah bahwa jumlah minimal titik data diperlukan untuk membuat pilihan berdasarkan informasi tentang poin apa yang layak untuk dicoba (panggilan fungsi obyektif itu mahal, sehingga membuat lebih sedikit lebih baik) karena melatih model intensif …

18 hyperparameter  bayesian-optimization  optunity 

Pertama, permintaan maaf karena memposting pertanyaan yang telah dibahas panjang lebar di sini , di sini , di sini , di sini , di sini, dan untuk memanaskan kembali topik lama. Saya tahu @DikranMarsupial telah menulis tentang topik ini secara panjang lebar di posting dan makalah jurnal, tapi saya masih …

17 machine-learning  cross-validation  model-selection  glmnet  hyperparameter 

Saya telah membaca posting berikut untuk validasi silang bersarang dan masih belum 100% yakin apa yang harus saya lakukan dengan pemilihan model dengan validasi silang bersarang: Validasi silang bersarang untuk pemilihan model Pemilihan model dan validasi silang: Cara yang benar Untuk menjelaskan kebingungan saya, izinkan saya mencoba menjalani pemilihan model …

16 cross-validation  scikit-learn  hyperparameter 

Jadi, kita tahu bahwa pencarian acak berfungsi lebih baik daripada pencarian kisi, tetapi pendekatan yang lebih baru adalah optimasi Bayesian (menggunakan proses gaussian). Saya telah mencari perbandingan antara keduanya, dan tidak menemukan apa pun. Saya tahu bahwa di cs231n Stanford mereka hanya menyebutkan pencarian acak, tetapi ada kemungkinan bahwa mereka …

14 bayesian  hyperparameter 

Tujuan saya adalah mengklasifikasikan sinyal sensor. Konsep solusi saya sejauh ini adalah: i) Fitur teknik dari sinyal mentah ii) Memilih fitur yang relevan dengan ReliefF dan pendekatan pengelompokan iii) Menerapkan NN, Random Forest dan SVM Namun saya terjebak dalam dilema. Dalam ii) dan iii), ada hiperparameter seperti k-Neigbours terdekat untuk …

14 feature-selection  hyperparameter  optimization 

Kelas yang diprediksi dari regresi logistik (biner) ditentukan dengan menggunakan ambang pada probabilitas keanggotaan kelas yang dihasilkan oleh model. Seperti yang saya pahami, biasanya 0,5 digunakan secara default. Tetapi memvariasikan ambang akan mengubah klasifikasi yang diprediksi. Apakah ini berarti ambangnya adalah hiperparameter? Jika demikian, mengapa (misalnya) tidak mungkin untuk dengan …

13 machine-learning  logistic  scikit-learn  hyperparameter 

Saya mencoba untuk menyetel hyperparameter dari algoritma regresi proses gaussian yang telah saya terapkan. Saya hanya ingin memaksimalkan kemungkinan marginal log yang diberikan oleh rumus mana K adalah matriks kovarians dengan elemen K_ {ij} = k (x_i, x_j) = b ^ {- 1} \ exp (- \ frac {1} {2} …

13 regression  optimization  gaussian-process  hyperparameter