Pertanyaan yang diberi tag «machine-learning»

Saya membaca di suatu tempat bahwa jika kita memiliki fitur yang terlalu berkorelasi, kita harus menghapus satu, karena ini dapat memperburuk model. Jelas bahwa fitur yang berkorelasi berarti mereka membawa informasi yang sama, jadi masuk akal untuk menghapus salah satunya. Tapi saya tidak bisa mengerti mengapa ini bisa memperburuk model.

35 machine-learning  correlation 

Misalkan saya membuat NN untuk klasifikasi. Lapisan terakhir adalah lapisan padat dengan aktivasi softmax. Saya memiliki lima kelas yang berbeda untuk diklasifikasi. Misalkan untuk contoh pelatihan tunggal, true labeladalah [1 0 0 0 0]saat prediksi [0.1 0.5 0.1 0.1 0.2]. Bagaimana saya menghitung kerugian lintas entropi untuk contoh ini?

35 machine-learning  deep-learning 

Saya masih bingung tentang perbedaan antara Densedan TimeDistributedDensedari Kerasmeskipun sudah ada beberapa pertanyaan serupa ditanyakan di sini dan di sini . Orang banyak berdiskusi tetapi tidak ada kesimpulan yang disepakati bersama. Dan meskipun, di sini , @fchollet menyatakan bahwa: TimeDistributedDenseberlaku operasi yang sama Dense(terhubung penuh) untuk setiap catatan waktu tensor …

34 machine-learning  neural-network  keras 

Ketika saya mengatakan "dokumen", saya memikirkan halaman web seperti artikel Wikipedia dan cerita berita. Saya lebih suka jawaban yang memberikan metrik jarak vanila atau metrik jarak semantik canggih, dengan preferensi yang lebih kuat untuk yang terakhir.

34 machine-learning  data-mining  nlp  text-mining  similarity 

Saya memiliki masalah data besar dengan dataset besar (misalnya 50 juta baris dan 200 kolom). Dataset terdiri dari sekitar 100 kolom numerik dan 100 kolom kategorikal dan kolom respons yang mewakili masalah kelas biner. Kardinalitas masing-masing kolom kategorikal kurang dari 50. Saya ingin tahu apriori apakah saya harus menggunakan metode …

30 machine-learning  classification  deep-learning 

Mengapa menggunakan softmax sebagai lawan dari normalisasi standar? Di area komentar dari jawaban teratas dari pertanyaan ini, @Kilian Batzner mengajukan 2 pertanyaan yang juga membingungkan saya. Sepertinya tidak ada yang memberi penjelasan kecuali manfaat numerik. Saya mendapatkan alasan untuk menggunakan Cross-Entropy Loss, tetapi bagaimana hubungannya dengan softmax? Anda mengatakan "fungsi …

30 machine-learning  deep-learning 

Sepertinya saya bahwa fungsi dapat dengan mudah diekspresikan oleh fungsi dan dengan demikian fungsi tampaknya berlebihan bagi saya. Namun, saya baru belajar penguatan, jadi saya kira ada yang salah.VVVQQQVVV Definisi Pembelajaran Q dan V berada dalam konteks Proses Keputusan Markov . Sebuah MDP adalah 5-tuple dengan(S,A,P,R,γ)(S,A,P,R,γ)(S, A, P, R, \gamma) …

30 machine-learning  reinforcement-learning 

Dalam tugas-tugas pembelajaran mesin, adalah umum untuk mengacak data dan menormalkannya. Tujuan normalisasi jelas (karena memiliki rentang nilai fitur yang sama). Tapi, setelah banyak berjuang, saya tidak menemukan alasan berharga untuk mengacak data. Saya telah membaca posting ini di sini membahas kapan kita perlu mengacak data, tetapi tidak jelas mengapa …

30 machine-learning  neural-network  deep-learning 

Dalam konteks Pembelajaran Mesin , saya telah melihat istilah Ground Truth banyak digunakan. Saya telah mencari banyak dan menemukan definisi berikut di Wikipedia : Dalam pembelajaran mesin, istilah "kebenaran dasar" mengacu pada akurasi klasifikasi set pelatihan untuk teknik pembelajaran yang diawasi. Ini digunakan dalam model statistik untuk membuktikan atau menyangkal …

30 machine-learning  neural-network  deep-learning 

Saya mencoba untuk melatih model peningkatan gradien lebih dari 50k contoh dengan 100 fitur numerik. XGBClassifiermenangani 500 pohon dalam waktu 43 detik pada mesin saya, sementara GradientBoostingClassifierhanya menangani 10 pohon (!) dalam 1 menit dan 2 detik :( Saya tidak repot-repot mencoba menumbuhkan 500 pohon karena akan memakan waktu berjam-jam. …

29 scikit-learn  xgboost  gbm  data-mining  classification  data-cleaning  machine-learning  reinforcement-learning  data-mining  bigdata  dataset  nlp  language-model  stanford-nlp  machine-learning  neural-network  deep-learning  randomized-algorithms  machine-learning  beginner  career  xgboost  loss-function  neural-network  software-recommendation  naive-bayes-classifier  classification  scikit-learn  feature-selection  r  random-forest  cross-validation  data-mining  python  scikit-learn  random-forest  churn  python  clustering  k-means  machine-learning  nlp  sentiment-analysis  machine-learning  programming  python  scikit-learn  nltk  gensim  visualization  data  csv  neural-network  deep-learning  descriptive-statistics  machine-learning  supervised-learning  text-mining  orange  data  parameter-estimation  python  pandas  scraping  r  clustering  k-means  unsupervised-learning 

Saya memiliki masalah klasifikasi dengan sekitar 1000 sampel positif dan 10.000 negatif dalam set pelatihan. Jadi kumpulan data ini cukup tidak seimbang. Hutan acak sederhana hanya mencoba menandai semua sampel uji sebagai kelas mayoritas. Beberapa jawaban yang baik tentang sub-sampling dan hutan acak berbobot diberikan di sini: Apa implikasi untuk …

29 machine-learning  classification  dataset  unbalanced-classes 

Ketika salah satu akan menggunakan Random Forestlebih SVMdan sebaliknya? Saya memahami itu cross-validationdan perbandingan model merupakan aspek penting dalam memilih model, tetapi di sini saya ingin belajar lebih banyak tentang aturan praktis dan heuristik dari dua metode. Dapatkah seseorang tolong jelaskan seluk-beluk, kekuatan, dan kelemahan pengklasifikasi serta masalah, yang paling …

28 machine-learning  classification  random-forest  svm 

Perhatikan bahwa saya melakukan semuanya dalam R. Masalahnya sebagai berikut: Pada dasarnya, saya memiliki daftar riwayat hidup (CV). Beberapa kandidat akan memiliki pengalaman kerja sebelumnya dan beberapa tidak. Tujuannya di sini adalah untuk: berdasarkan teks pada CV mereka, saya ingin mengklasifikasikan mereka ke dalam sektor pekerjaan yang berbeda. Saya khususnya …

28 machine-learning  classification  nlp  text-mining 

Jadi, saya belum dapat menemukan literatur tentang hal ini tetapi sepertinya ada sesuatu yang layak dipertimbangkan: Apa praktik terbaik dalam pelatihan model dan optimisasi jika pengamatan baru tersedia? Apakah ada cara untuk menentukan periode / frekuensi pelatihan ulang model sebelum prediksi mulai menurun? Apakah terlalu pas jika parameter dioptimalkan kembali …

28 machine-learning  predictive-modeling  optimization  training 

Saya telah memperhatikan bahwa istilah seperti model hyperparameter dan parameter model telah digunakan secara bergantian di web tanpa klarifikasi sebelumnya. Saya pikir ini salah dan perlu penjelasan. Pertimbangkan model pembelajaran mesin, classificator berbasis SVM / NN / NB atau pengenal gambar, apa saja yang pertama kali muncul dalam pikiran. Apa …

28 machine-learning  parameter  hyperparameter  language-model