Statistik dan Big Data

Apa cara terbaik untuk membagi data deret waktu ke dalam rangkaian kereta / tes / validasi, di mana set validasi akan digunakan untuk penyetelan hyperparameter? Kami memiliki data penjualan harian senilai 3 tahun, dan rencana kami akan menggunakan 2015-2016 sebagai data pelatihan, kemudian secara acak sampel 10 minggu dari data …

11 time-series  cross-validation  validation 

Di halaman wiki mereka , pengembang status Stan: Beberapa prinsip yang tidak kita sukai: invarian, Jeffreys, entropi Sebagai gantinya, saya melihat banyak rekomendasi distribusi normal. Sejauh ini saya menggunakan metode Bayesian yang tidak bergantung pada pengambilan sampel, dan agak senang telah memahami mengapa adalah pilihan yang baik untuk kemungkinan binomial.θ …

11 bayesian  mcmc  prior  pymc  stan 

Saya sedang mempertimbangkan dua strategi untuk melakukan "augmentasi data" pada peramalan seri waktu. Pertama, sedikit latar belakang. Prediktor untuk meramalkan langkah selanjutnya dari rangkaian waktu adalah fungsi yang biasanya bergantung pada dua hal, seri waktu yang menyatakan masa lalu, tetapi juga keadaan masa lampau sang prediktor:PPP{Ai}{Ai}\lbrace A_i\rbrace P({Ai≤t−1},PSt−1)P({Ai≤t−1},PSt−1)P(\lbrace A_{i\leq t-1}\rbrace,P_{S_{t-1}}) …

11 time-series  data-augmentation 

Pemahaman saya tentang SVM adalah bahwa hal itu sangat mirip dengan regresi logistik (LR), yaitu sejumlah fitur tertimbang dilewatkan ke fungsi sigmoid untuk mendapatkan kemungkinan memiliki kelas, tetapi alih-alih kehilangan cross-entropy (logistik) fungsi, pelatihan dilakukan menggunakan engsel yang hilang. Manfaat menggunakan kehilangan engsel adalah bahwa seseorang dapat melakukan berbagai trik …

11 machine-learning  logistic  svm 

Saya mencoba menerapkan algoritma Nelder-Mead untuk mengoptimalkan fungsi. The wikipedia Halaman tentang Nelder-Mead adalah mengejutkan jelas tentang seluruh algoritma, kecuali untuk kriteria penghentian. Di sana dikatakan dengan sedih: Periksa konvergensi [klarifikasi diperlukan] . Saya mencoba dan menguji beberapa kriteria sendiri: Berhenti jika mana kecil dan di mana adalah th titik …

11 optimization  algorithms 

Jika kita mempertimbangkan pohon keputusan yang tumbuh penuh (yaitu pohon keputusan yang tidak ditandai), ia memiliki varian yang tinggi dan bias yang rendah. Hutan Bagging dan Random menggunakan model varians tinggi ini dan menggabungkannya untuk mengurangi varians dan dengan demikian meningkatkan akurasi prediksi. Baik Hutan Bagging dan Acak menggunakan sampling …

11 variance  random-forest  cart  bias  bagging 

Dengan risiko membuat pertanyaan khusus perangkat lunak, dan dengan alasan di mana-mana dan keistimewaannya, saya ingin bertanya tentang fungsi biplot()dalam R, dan, lebih khusus, tentang perhitungan dan perencanaan default, panah merah yang dilapiskan, sesuai ke variabel yang mendasarinya. [Untuk memahami beberapa komentar, plot yang semula diposkan memiliki masalah kelangkaan minat …

11 r  pca  biplot 

Model Efek Campuran Linier adalah Perpanjangan model Regresi Linier untuk data yang dikumpulkan dan dirangkum dalam kelompok. Keuntungan utama adalah koefisien dapat bervariasi sehubungan dengan satu atau lebih variabel grup. Namun, saya kesulitan dengan kapan harus menggunakan model efek campuran? Saya akan menguraikan pertanyaan saya dengan menggunakan contoh mainan dengan …

11 regression  mixed-model  random-effects-model  linear 

Model Linier Sederhana: x = α t + ϵtx=αt+ϵtx=\alpha t + \epsilon_t mana ~ iid N ( 0 , σ 2 )ϵtϵt\epsilon_tN( 0 , σ2)N(0,σ2)N(0,\sigma^2) dengan danV a r ( x ) = σ 2E( x ) = α tE(x)=αtE(x) = \alpha tVa r ( x ) = σ2Var(x)=σ2Var(x)=\sigma^2 AR …

11 regression  stochastic-processes  autoregressive  deterministic 

Katakanlah YYY adalah variabel acak kontinu, dan XXX adalah variabel diskrit. Pr(X=x|Y=y)=Pr(X=x)Pr(Y=y|X=x)Pr(Y=y)Pr(X=x|Y=y)=Pr(X=x)Pr(Y=y|X=x)Pr(Y=y) \Pr(X=x|Y=y) = \frac{\Pr(X=x)\Pr(Y=y|X=x)}{\Pr(Y=y)} Seperti yang kita ketahui, Pr(Y=y)=0Pr(Y=y)=0\Pr(Y=y) = 0 karena YYY adalah variabel acak kontinu. Dan berdasarkan ini, saya tergoda untuk menyimpulkan bahwa probabilitas Pr(X=x|Y=y)Pr(X=x|Y=y)\Pr(X=x|Y=y) tidak terdefinisi. Namun, Wikipedia mengklaim di sini bahwa sebenarnya didefinisikan sebagai berikut: …

11 conditional-probability  pdf 

Penasaran dengan pertanyaan di math.stackexchange , dan menyelidikinya secara empiris, saya bertanya-tanya tentang pernyataan berikut tentang akar kuadrat jumlah variabel acak iid. Misalkan adalah variabel acak iid dengan rerata nol dan varians , dan . Teorema batas pusat mengatakan ketika meningkat. μ σ 2 Y = n ∑ i = …

11 normal-distribution  central-limit-theorem  sum 

Baru-baru ini saya telah meninjau algoritma XGBoost dan saya perhatikan bahwa algoritma ini dapat menangani data yang hilang (tanpa memerlukan imputasi) dalam fase pelatihan. Saya bertanya-tanya apakah XGboost dapat menangani data yang hilang (tanpa memerlukan imputasi) ketika digunakan untuk meramalkan pengamatan baru atau perlu untuk menyalahkan data yang hilang. Terima …

11 machine-learning  missing-data  data-imputation  xgboost 

Dalam semua sistem rekomendasi modern yang telah saya lihat yang mengandalkan faktorisasi matriks, faktorisasi matriks non-negatif dilakukan pada matriks pengguna-film. Saya bisa mengerti mengapa non-negatif itu penting untuk interpretabilitas dan / atau jika Anda ingin faktor jarang. Tetapi jika Anda hanya peduli dengan kinerja prediksi, seperti dalam kompetisi hadiah Netflix …

11 recommender-system  svd  matrix-decomposition  nnmf 

The mgcvpaket untuk Rmemiliki dua fungsi untuk pas interaksi produk tensor: te()dan ti(). Saya memahami pembagian kerja dasar antara keduanya (menyesuaikan interaksi non-linear vs menguraikan interaksi ini menjadi efek utama dan interaksi). Yang tidak saya mengerti adalah mengapa te(x1, x2)dan ti(x1) + ti(x2) + ti(x1, x2)mungkin menghasilkan (sedikit) hasil yang …

11 r  gam  mgcv  conditional-probability  mixed-model  references  bayesian  estimation  conditional-probability  machine-learning  optimization  gradient-descent  r  hypothesis-testing  wilcoxon-mann-whitney  time-series  bayesian  inference  change-point  time-series  anova  repeated-measures  statistical-significance  bayesian  contingency-tables  regression  prediction  quantiles  classification  auc  k-means  scikit-learn  regression  spatial  circular-statistics  t-test  effect-size  cohens-d  r  cross-validation  feature-selection  caret  machine-learning  modeling  python  optimization  frequentist  correlation  sample-size  normalization  group-differences  heteroscedasticity  independence  generalized-least-squares  lme4-nlme  references  mcmc  metropolis-hastings  optimization  r  logistic  feature-selection  separation  clustering  k-means  normal-distribution  gaussian-mixture  kullback-leibler  java  spark-mllib  data-visualization  categorical-data  barplot  hypothesis-testing  statistical-significance  chi-squared  type-i-and-ii-errors  pca  scikit-learn  conditional-expectation  statistical-significance  meta-analysis  intuition  r  time-series  multivariate-analysis  garch  machine-learning  classification  data-mining  missing-data  cart  regression  cross-validation  matrix-decomposition  categorical-data  repeated-measures  chi-squared  assumptions  contingency-tables  prediction  binary-data  trend  test-for-trend  matrix-inverse  anova  categorical-data  regression-coefficients  standard-error  r  distributions  exponential  interarrival-time  copula  log-likelihood  time-series  forecasting  prediction-interval  mean  standard-error  meta-analysis  meta-regression  network-meta-analysis  systematic-review  normal-distribution  multiple-regression  generalized-linear-model  poisson-distribution  poisson-regression  r  sas  cohens-kappa 

Saya memiliki daftar kata-kata, milik berbagai kategori yang ditentukan sendiri. Setiap kategori memiliki pola sendiri (misalnya satu memiliki panjang tetap dengan karakter khusus, yang lain ada karakter yang hanya terjadi dalam kategori "kata", ...). Sebagai contoh: "ABC" -> type1 "ACC" -> type1 "a8 219" -> type2 "c 827" -> type2 …

11 machine-learning  classification  similarities  supervised-learning