Pertanyaan yang diberi tag «hyperparameter»

Apakah ada literatur yang meneliti pilihan ukuran minibatch saat melakukan stochastic gradient descent? Dalam pengalaman saya, ini tampaknya menjadi pilihan empiris, biasanya ditemukan melalui validasi silang atau menggunakan berbagai aturan praktis. Apakah ide yang baik untuk secara perlahan meningkatkan ukuran minibatch saat kesalahan validasi berkurang? Apa efek ini pada kesalahan …

13 machine-learning  gradient-descent  hyperparameter  deep-learning 

Dalam model hirarki data mana y ∼ Poisson ( λ ) λ ∼ Gamma ( α , β ) , dalam praktiknya biasanya memilih nilai-nilai ( α , β ) sedemikian rupa sehingga rata-rata dan varian distribusi gamma kira-kira sama dengan rerata dan ragam data y (mis., Clayton dan Kaldor, …

11 poisson-distribution  gamma-distribution  hierarchical-bayesian  hyperparameter 

Saya menerapkan makalah yang cukup populer " MENJELAJAHI DAN MEMANTAU CONTOH ADVERSARIAL " dan di dalam makalah itu, ia melatih fungsi tujuan yang berlawanan. J '' (θ) = αJ (θ) + (1 - α) J '(θ). Ini memperlakukan α sebagai hyperparameter. α dapat 0,1, 0,2, 0,3, dll. Terlepas dari makalah …

11 machine-learning  neural-networks  deep-learning  hyperparameter 

Apakah ada aturan praktis antara kedalaman jaringan saraf dan tingkat pembelajaran? Saya telah memperhatikan bahwa semakin dalam jaringannya, semakin rendah tingkat pembelajarannya. Jika itu benar, mengapa begitu?

10 neural-networks  deep-learning  hyperparameter  rule-of-thumb 

Saya sering melihat orang-orang membicarakan validasi silang 5x2 sebagai kasus khusus validasi silang bersarang . Saya berasumsi angka pertama (di sini: 5) mengacu pada jumlah lipatan di loop dalam dan nomor kedua (di sini: 2) mengacu pada jumlah lipatan di loop luar? Jadi, bagaimana hal ini berbeda dari pemilihan model …

10 machine-learning  cross-validation  hyperparameter 

Saat ini sedang belajar regresi ridge dan saya agak bingung tentang hukuman model yang lebih kompleks (atau definisi model yang lebih kompleks). Dari apa yang saya mengerti, kompleksitas model tidak selalu berkorelasi dengan urutan polinomial. Jadi: adalah model yang lebih kompleks daripada:2 + 3 + 4 x2+ 5 x3+ 6 …

9 regression  regularization  hyperparameter 

Dalam Pembelajaran Dalam François Chollet dengan Python dikatakan: Akibatnya, menyetel konfigurasi model berdasarkan kinerjanya pada set validasi dapat dengan cepat menghasilkan overfitting ke set validasi, meskipun model Anda tidak pernah dilatih secara langsung mengenai hal itu. Inti dari fenomena ini adalah gagasan kebocoran informasi. Setiap kali Anda menyetel hyperparameter model …

9 neural-networks  cross-validation  hyperparameter 

Saya cukup baru dalam pembelajaran mesin dan statistik, tetapi saya bertanya-tanya mengapa optimasi bayesian tidak disebut lebih sering online ketika belajar mesin belajar untuk mengoptimalkan algoritma hyperparameters Anda? Misalnya menggunakan kerangka kerja seperti ini: https://github.com/fmfn/BayesianOptimization Apakah optimasi bayesian dari hiperparameter Anda memiliki batasan atau kelemahan utama atas teknik seperti pencarian …

9 machine-learning  optimization  hyperparameter  bayesian-optimization 

Secara umum, jika kita memiliki dataset besar, kita dapat membaginya menjadi (1) pelatihan, (2) validasi, dan (3) tes. Kami menggunakan validasi untuk mengidentifikasi hyperparameter terbaik dalam validasi silang (misalnya, C dalam SVM) dan kemudian kami melatih model menggunakan hyperparameter terbaik dengan set pelatihan dan menerapkan model yang terlatih untuk menguji …

8 machine-learning  cross-validation  scikit-learn  hyperparameter  optimization 

Apakah mungkin untuk melakukan pemilihan penuh parameter Bayesian (1) yang diperkirakan penuh (misalnya skala kovarian) dengan kode GPML, alih-alih memaksimalkan kemungkinan marginal (2)? Saya pikir menggunakan metode MCMC untuk menyelesaikan integral yang melibatkan hyper-parameter sebelumnya harus mengarah pada hasil yang lebih baik ketika berhadapan dengan overfitting. Sejauh pengetahuan saya, kerangka …

8 bayesian  model-selection  gaussian-process  hyperparameter