Pertanyaan yang diberi tag «missing-data»

Saya memiliki dataset yang sangat besar dan sekitar 5% nilai acak hilang. Variabel-variabel ini berkorelasi satu sama lain. Contoh berikut dataset R hanyalah contoh mainan dengan data berkorelasi dummy. set.seed(123) # matrix of X variable xmat <- matrix(sample(-1:1, 2000000, replace = TRUE), ncol = 10000) colnames(xmat) <- paste ("M", 1:10000, …

12 r  random-forest  missing-data  data-imputation  multiple-imputation  large-data  definition  moving-window  self-study  categorical-data  econometrics  standard-error  regression-coefficients  normal-distribution  pdf  lognormal  regression  python  scikit-learn  interpolation  r  self-study  poisson-distribution  chi-squared  matlab  matrix  r  modeling  multinomial  mlogit  choice  monte-carlo  indicator-function  r  aic  garch  likelihood  r  regression  repeated-measures  simulation  multilevel-analysis  chi-squared  expected-value  multinomial  yates-correction  classification  regression  self-study  repeated-measures  references  residuals  confidence-interval  bootstrap  normality-assumption  resampling  entropy  cauchy  clustering  k-means  r  clustering  categorical-data  continuous-data  r  hypothesis-testing  nonparametric  probability  bayesian  pdf  distributions  exponential  repeated-measures  random-effects-model  non-independent  regression  error  regression-to-the-mean  correlation  group-differences  post-hoc  neural-networks  r  time-series  t-test  p-value  normalization  probability  moments  mgf  time-series  model  seasonality  r  anova  generalized-linear-model  proportion  percentage  nonparametric  ranks  weighted-regression  variogram  classification  neural-networks  fuzzy  variance  dimensionality-reduction  confidence-interval  proportion  z-test  r  self-study  pdf 

Saya mencoba mendeteksi nilai-nilai anomali dalam serangkaian waktu data iklim dengan beberapa pengamatan yang hilang. Mencari di web saya menemukan banyak pendekatan yang tersedia. Dari semua itu, dekomposisi pertama tampaknya menarik, dalam arti menghilangkan tren dan komponen musiman dan mempelajari sisanya. Membaca STL: Prosedur Dekomposisi Tren Musiman Berdasarkan Loess , …

12 r  time-series  outliers  missing-data 

Ada satu variabel dalam data saya memiliki 80% dari data yang hilang. Data hilang karena tidak ada (yaitu berapa banyak pinjaman bank yang harus dibayar perusahaan). Saya menemukan sebuah artikel yang mengatakan bahwa metode penyesuaian variabel dummy adalah solusi untuk masalah ini. Berarti saya perlu mengubah variabel kontinu ini menjadi …

12 missing-data 

Pertanyaan saya diarahkan pada teknik untuk menangani data yang tidak lengkap selama pengklasifikasi / pelatihan model / pemasangan. Misalnya, dalam dataset dengan beberapa ratus baris, setiap baris memiliki misalkan lima dimensi dan label kelas sebagai item terakhir, sebagian besar titik data akan terlihat seperti ini: [0.74, 0.39, 0.14, 0.33, 0.34, …

12 missing-data 

Saya memiliki kumpulan data besar ini dengan 2500 variabel dan 142 observasi. Saya ingin menjalankan korelasi antara Variabel X dan variabel lainnya. Tetapi untuk banyak kolom, ada entri yang hilang. Saya mencoba melakukan ini di R menggunakan argumen "pairwise-complete" ( use=pairwise.complete.obs) dan menghasilkan banyak korelasi. Tetapi kemudian seseorang di StackOverflow …

12 r  correlation  missing-data  correlation-matrix 

Saya menggunakan "glmnet" untuk regresi laso di GWAS. Beberapa varian dan individu memiliki nilai yang hilang dan tampaknya glmnet tidak dapat menangani nilai yang hilang. Apakah ada solusi untuk ini? atau apakah ada paket lain yang dapat menangani nilai yang hilang dalam regresi laso? Ini skrip saya. > library(glmnet) > …

12 missing-data  lasso  glmnet 

Saya mencoba metode peramalan dan ingin memeriksa apakah metode saya benar atau tidak. Studi saya membandingkan berbagai jenis reksa dana. Saya ingin menggunakan indeks GCC sebagai patokan untuk salah satu dari mereka tetapi masalahnya adalah bahwa indeks GCC berhenti pada September 2011 dan studi saya adalah dari Januari 2003 hingga …

12 time-series  forecasting  missing-data 

Saya tidak pernah benar-benar menemukan teks atau contoh yang bagus tentang bagaimana menangani data 'tidak ada' untuk input ke segala jenis classifier. Saya telah membaca banyak tentang data yang hilang tetapi apa yang dapat dilakukan tentang data yang tidak dapat atau tidak ada dalam kaitannya dengan input multivarian. Saya mengerti …

11 missing-data 

Saya punya masalah berikut: - Kami telah menetapkan N orang - Kami telah menetapkan gambar K - Setiap orang memberi peringkat sejumlah gambar. Seseorang mungkin suka atau tidak suka gambar (ini adalah dua kemungkinan). - Masalahnya adalah bagaimana menghitung kemungkinan bahwa beberapa orang menyukai gambar tertentu. Saya akan memberi contoh …

11 missing-data  rating 

Baru-baru ini saya telah meninjau algoritma XGBoost dan saya perhatikan bahwa algoritma ini dapat menangani data yang hilang (tanpa memerlukan imputasi) dalam fase pelatihan. Saya bertanya-tanya apakah XGboost dapat menangani data yang hilang (tanpa memerlukan imputasi) ketika digunakan untuk meramalkan pengamatan baru atau perlu untuk menyalahkan data yang hilang. Terima …

11 machine-learning  missing-data  data-imputation  xgboost 

The mgcvpaket untuk Rmemiliki dua fungsi untuk pas interaksi produk tensor: te()dan ti(). Saya memahami pembagian kerja dasar antara keduanya (menyesuaikan interaksi non-linear vs menguraikan interaksi ini menjadi efek utama dan interaksi). Yang tidak saya mengerti adalah mengapa te(x1, x2)dan ti(x1) + ti(x2) + ti(x1, x2)mungkin menghasilkan (sedikit) hasil yang …

11 r  gam  mgcv  conditional-probability  mixed-model  references  bayesian  estimation  conditional-probability  machine-learning  optimization  gradient-descent  r  hypothesis-testing  wilcoxon-mann-whitney  time-series  bayesian  inference  change-point  time-series  anova  repeated-measures  statistical-significance  bayesian  contingency-tables  regression  prediction  quantiles  classification  auc  k-means  scikit-learn  regression  spatial  circular-statistics  t-test  effect-size  cohens-d  r  cross-validation  feature-selection  caret  machine-learning  modeling  python  optimization  frequentist  correlation  sample-size  normalization  group-differences  heteroscedasticity  independence  generalized-least-squares  lme4-nlme  references  mcmc  metropolis-hastings  optimization  r  logistic  feature-selection  separation  clustering  k-means  normal-distribution  gaussian-mixture  kullback-leibler  java  spark-mllib  data-visualization  categorical-data  barplot  hypothesis-testing  statistical-significance  chi-squared  type-i-and-ii-errors  pca  scikit-learn  conditional-expectation  statistical-significance  meta-analysis  intuition  r  time-series  multivariate-analysis  garch  machine-learning  classification  data-mining  missing-data  cart  regression  cross-validation  matrix-decomposition  categorical-data  repeated-measures  chi-squared  assumptions  contingency-tables  prediction  binary-data  trend  test-for-trend  matrix-inverse  anova  categorical-data  regression-coefficients  standard-error  r  distributions  exponential  interarrival-time  copula  log-likelihood  time-series  forecasting  prediction-interval  mean  standard-error  meta-analysis  meta-regression  network-meta-analysis  systematic-review  normal-distribution  multiple-regression  generalized-linear-model  poisson-distribution  poisson-regression  r  sas  cohens-kappa 

Saya mengalami masalah menggunakan 2l.normmetode imputasi bertingkat di mice. Sayangnya saya tidak dapat memposting contoh yang dapat direproduksi karena ukuran data saya - ketika saya mengurangi ukurannya, masalahnya hilang. Untuk variabel tertentu, micebuat kesalahan dan peringatan berikut: Error in chol.default(inv.sigma2[class] * X.SS[[class]] + inv.psi) : the leading minor of order …

11 r  missing-data  multiple-imputation  mice 

Apakah pembobotan berbasis presisi penting bagi meta-analisis? Borenstein et al. (2009) menulis bahwa untuk memungkinkan meta-analisis, semua yang diperlukan adalah: Studi melaporkan estimasi titik yang dapat dinyatakan sebagai angka tunggal. Varians dapat dihitung untuk estimasi titik itu. Tidak segera jelas bagi saya mengapa (2) sangat diperlukan. Tetapi, memang, semua metode …

10 variance  sample-size  missing-data  meta-analysis 

Saya bertanya-tanya apakah seseorang dapat memberikan beberapa wawasan jika mengapa imputasi untuk data yang hilang lebih baik daripada hanya membangun model yang berbeda untuk kasus dengan data yang hilang. Terutama dalam kasus model linier [umum] (saya mungkin bisa melihat dalam kasus-kasus non-linear hal-hal berbeda) Misalkan kita memiliki model linier dasar: …

10 regression  missing-data  data-imputation 

Saya memiliki GLMM formulir: lmer(present? ~ factor1 + factor2 + continuous + factor1*continuous + (1 | factor3), family=binomial) Ketika saya menggunakan drop1(model, test="Chi"), saya mendapatkan hasil yang berbeda daripada jika saya menggunakan Anova(model, type="III")dari paket mobil atau summary(model). Dua yang terakhir ini memberikan jawaban yang sama. Menggunakan banyak data yang …

10 r  anova  glmm  r  mixed-model  bootstrap  sample-size  cross-validation  roc  auc  sampling  stratification  random-allocation  logistic  stata  interpretation  proportion  r  regression  multiple-regression  linear-model  lm  r  cross-validation  cart  rpart  logistic  generalized-linear-model  econometrics  experiment-design  causality  instrumental-variables  random-allocation  predictive-models  data-mining  estimation  contingency-tables  epidemiology  standard-deviation  mean  ancova  psychology  statistical-significance  cross-validation  synthetic-data  poisson-distribution  negative-binomial  bioinformatics  sequence-analysis  distributions  binomial  classification  k-means  distance  unsupervised-learning  euclidean  correlation  chi-squared  spearman-rho  forecasting  excel  exponential-smoothing  binomial  sample-size  r  change-point  wilcoxon-signed-rank  ranks  clustering  matlab  covariance  covariance-matrix  normal-distribution  simulation  random-generation  bivariate  standardization  confounding  z-statistic  forecasting  arima  minitab  poisson-distribution  negative-binomial  poisson-regression  overdispersion  probability  self-study  markov-process  estimation  maximum-likelihood  classification  pca  group-differences  chi-squared  survival  missing-data  contingency-tables  anova  proportion