Pertanyaan yang diberi tag «predictive-modeling»

Logika sering menyatakan bahwa dengan overfitting suatu model, kapasitasnya untuk menggeneralisasi terbatas, meskipun ini hanya berarti bahwa overfitting menghentikan suatu model dari peningkatan setelah kompleksitas tertentu. Apakah overfitting menyebabkan model menjadi lebih buruk terlepas dari kerumitan data, dan jika demikian, mengapa demikian? Terkait: Tindak lanjuti pertanyaan di atas, " Kapankah …

49 machine-learning  predictive-modeling 

Jadi, saya belum dapat menemukan literatur tentang hal ini tetapi sepertinya ada sesuatu yang layak dipertimbangkan: Apa praktik terbaik dalam pelatihan model dan optimisasi jika pengamatan baru tersedia? Apakah ada cara untuk menentukan periode / frekuensi pelatihan ulang model sebelum prediksi mulai menurun? Apakah terlalu pas jika parameter dioptimalkan kembali …

28 machine-learning  predictive-modeling  optimization  training 

Dalam tautan ini pada Stationaritas dan perbedaan , telah disebutkan bahwa model-model seperti ARIMA memerlukan deret waktu stasionerisasi untuk peramalan karena sifat statistiknya seperti rerata, ragam, autokorelasi dll konstan dari waktu ke waktu. Karena RNN memiliki kapasitas yang lebih baik untuk mempelajari hubungan non-linear ( seperti yang diberikan di sini: …

21 deep-learning  predictive-modeling  time-series  forecast  lstm 

Diberi kalimat: "Ketika saya membuka ?? pintu mulai memanas secara otomatis" Saya ingin mendapatkan daftar kata-kata yang mungkin masuk ?? dengan probabilitas. Konsep dasar yang digunakan dalam model word2vec adalah untuk "memprediksi" kata yang diberikan konteks sekitarnya. Setelah model dibuat, operasi vektor konteks apa yang tepat untuk melakukan tugas prediksi …

20 nlp  predictive-modeling  word-embeddings 

Saya memiliki fitur jarang yang bersifat prediksi, juga saya memiliki beberapa fitur padat yang juga dapat memprediksi. Saya perlu menggabungkan fitur-fitur ini bersama-sama untuk meningkatkan kinerja keseluruhan classifier. Sekarang, masalahnya adalah ketika saya mencoba untuk menggabungkan ini bersama-sama, fitur padat cenderung lebih mendominasi fitur jarang, maka hanya memberikan peningkatan 1% …

17 machine-learning  classification  predictive-modeling  scikit-learn  supervised-learning 

Saya membuat corr()df dari df asli. The corr()df keluar 70 X 70 dan tidak mungkin untuk memvisualisasikan heatmap tersebut ... sns.heatmap(df). Jika saya mencoba untuk menampilkan corr = df.corr(), tabel tidak cocok dengan layar dan saya bisa melihat semua korelasinya. Apakah ini cara untuk mencetak keseluruhan dfterlepas dari ukurannya atau …

16 visualization  pandas  plotting  machine-learning  neural-network  svm  decision-trees  svm  efficiency  python  linear-regression  machine-learning  nlp  topic-model  lda  named-entity-recognition  naive-bayes-classifier  association-rules  fuzzy-logic  kaggle  deep-learning  tensorflow  inception  classification  feature-selection  feature-engineering  machine-learning  scikit-learn  tensorflow  keras  encoding  nlp  text-mining  nlp  rnn  python  neural-network  feature-extraction  machine-learning  predictive-modeling  python  r  linear-regression  clustering  r  ggplot2  neural-network  neural-network  training  python  neural-network  deep-learning  rnn  predictive-modeling  databases  sql  programming  distribution  dataset  cross-validation  neural-network  deep-learning  rnn  machine-learning  machine-learning  python  deep-learning  data-mining  tensorflow  visualization  tools  sql  embeddings  orange  feature-extraction  unsupervised-learning  gan  machine-learning  python  data-mining  pandas  machine-learning  data-mining  bigdata  apache-spark  apache-hadoop  deep-learning  python  convnet  keras  aggregation  clustering  k-means  r  random-forest  decision-trees  reference-request  visualization  data  pandas  plotting  neural-network  keras  rnn  theano  deep-learning  tensorflow  inception  predictive-modeling  deep-learning  regression  sentiment-analysis  nlp  encoding  deep-learning  python  scikit-learn  lda  convnet  keras  predictive-modeling  regression  overfitting  regression  svm  prediction  machine-learning  similarity  word2vec  information-retrieval  word-embeddings  neural-network  deep-learning  rnn 

Fungsi prediksi di bawah ini adalah memberikan nilai -ve juga sehingga tidak bisa menjadi probabilitas. param <- list(max.depth = 5, eta = 0.01, objective="binary:logistic",subsample=0.9) bst <- xgboost(param, data = x_mat, label = y_mat,nround = 3000) pred_s <- predict(bst, x_mat_s2) Saya google & mencoba pred_s <- predict(bst, x_mat_s2,type="response") tetapi tidak berhasil. …

16 machine-learning  r  predictive-modeling  decision-trees 

Tampaknya menjadi aksiomatis bahwa ansambel peserta didik mengarah ke hasil model terbaik - dan itu menjadi jauh lebih jarang, misalnya, untuk model tunggal untuk memenangkan kompetisi seperti Kaggle. Apakah ada penjelasan teoretis mengapa ansambel sangat efektif?

14 machine-learning  data-mining  predictive-modeling 

Ketika algoritme ML, misalnya Vowpal Wabbit atau beberapa mesin faktorisasi memenangkan persaingan tingkat klik ( Kaggle ), menyebutkan bahwa fitur 'hash', apa artinya sebenarnya bagi model? Katakanlah ada variabel yang mewakili ID dari internet add, yang mengambil nilai seperti '236BG231'. Kemudian saya mengerti bahwa fitur ini di-hash ke integer acak. …

12 machine-learning  predictive-modeling  kaggle 

Apakah ada aturan praktis (atau aturan aktual) yang berkaitan dengan jumlah sel LSTM minimum, maksimum, dan "wajar" yang harus saya gunakan? Secara khusus saya berhubungan dengan BasicLSTMCell dari TensorFlow dan num_unitsproperti. Harap asumsikan bahwa saya memiliki masalah klasifikasi yang ditentukan oleh: t - number of time steps n - length …

12 rnn  machine-learning  r  predictive-modeling  random-forest  python  language-model  sentiment-analysis  encoding  machine-learning  deep-learning  neural-network  dataset  caffe  classification  xgboost  multiclass-classification  unbalanced-classes  time-series  descriptive-statistics  python  r  clustering  machine-learning  python  deep-learning  tensorflow  machine-learning  python  predictive-modeling  probability  scikit-learn  svm  machine-learning  python  classification  gradient-descent  regression  research  python  neural-network  deep-learning  convnet  keras  python  tensorflow  machine-learning  deep-learning  tensorflow  python  r  bigdata  visualization  rstudio  pandas  pyspark  dataset  time-series  multilabel-classification  machine-learning  neural-network  ensemble-modeling  kaggle  machine-learning  linear-regression  cnn  convnet  machine-learning  tensorflow  association-rules  machine-learning  predictive-modeling  training  model-selection  neural-network  keras  deep-learning  deep-learning  convnet  image-classification  predictive-modeling  prediction  machine-learning  python  classification  predictive-modeling  scikit-learn  machine-learning  python  random-forest  sampling  training  recommender-system  books  python  neural-network  nlp  deep-learning  tensorflow  python  matlab  information-retrieval  search  search-engine  deep-learning  convnet  keras  machine-learning  python  cross-validation  sampling  machine-learning 

Saya membuat prototipe aplikasi dan saya membutuhkan model bahasa untuk menghitung kebingungan pada beberapa kalimat yang dihasilkan. Apakah ada model bahasa terlatih dalam python yang bisa saya gunakan? Sesuatu yang sederhana seperti model = LanguageModel('en') p1 = model.perplexity('This is a well constructed sentence') p2 = model.perplexity('Bunny lamp robert junior pancake') …

11 python  nlp  language-model  r  statistics  linear-regression  machine-learning  classification  random-forest  xgboost  python  sampling  data-mining  orange  predictive-modeling  recommender-system  statistics  dimensionality-reduction  pca  machine-learning  python  deep-learning  keras  reinforcement-learning  neural-network  image-classification  r  dplyr  deep-learning  keras  tensorflow  lstm  dropout  machine-learning  sampling  categorical-data  data-imputation  machine-learning  deep-learning  machine-learning-model  dropout  deep-network  pandas  data-cleaning  data-science-model  aggregation  python  neural-network  reinforcement-learning  policy-gradients  r  dataframe  dataset  statistics  prediction  forecasting  r  k-means  python  scikit-learn  labels  python  orange  cloud-computing  machine-learning  neural-network  deep-learning  rnn  recurrent-neural-net  logistic-regression  missing-data  deep-learning  autoencoder  apache-hadoop  time-series  data  preprocessing  classification  predictive-modeling  time-series  machine-learning  python  feature-selection  autoencoder  deep-learning  keras  tensorflow  lstm  word-embeddings  predictive-modeling  prediction  machine-learning-model  machine-learning  classification  binary  theory  machine-learning  neural-network  time-series  lstm  rnn  neural-network  deep-learning  keras  tensorflow  convnet  computer-vision 

Saya ingin menghindari overfitting di hutan acak. Dalam hal ini, saya bermaksud menggunakan mtry, nodesize, dan maxnodes dll. Bisakah Anda membantu saya memilih nilai untuk parameter ini? Saya menggunakan R. Juga, jika mungkin, tolong katakan padaku bagaimana saya bisa menggunakan validasi silang k-fold untuk hutan acak (dalam R).

11 machine-learning  data-mining  r  predictive-modeling  random-forest 

Misalkan saya memiliki fungsi yang halus seperti . Saya memiliki set pelatihan D \ subsetneq \ {((x, y), f (x, y)) | (x, y) \ dalam \ mathbb {R} ^ 2 \} dan, tentu saja, saya tidak tahu f meskipun saya dapat mengevaluasi f di mana pun saya inginkan.f(x,y)=x2+y2f(x,y)=x2+y2f(x, y) …

11 predictive-modeling  regression  decision-trees 

Saya ingin membuat prediksi untuk hasil pemilihan parlemen. Output saya akan menjadi% yang diterima masing-masing pihak. Ada lebih dari 2 pihak sehingga regresi logistik bukan pilihan yang layak. Saya bisa membuat regresi terpisah untuk masing-masing pihak tetapi dalam hal ini hasilnya akan dalam beberapa cara independen satu sama lain. Itu …

11 classification  r  python  regression  predictive-modeling 

Statistik validasi model umum seperti uji Kolmogorov-Smirnov (KS), AUROC , dan koefisien Gini semuanya terkait secara fungsional. Namun, pertanyaan saya berkaitan dengan pembuktian bagaimana semua ini terkait. Saya ingin tahu apakah ada yang bisa membantu saya membuktikan hubungan ini. Saya belum dapat menemukan apa pun secara online, tetapi saya benar-benar …

11 data-mining  statistics  predictive-modeling  accuracy