Statistik dan Big Data

Saya mencari untuk membangun model prediksi di mana variabel hasil adalah biner dan inputnya adalah deret waktu. Untuk membuatnya lebih konkret, model akan memprediksi jika pelanggan berputar (meninggalkan perusahaan; diberi kode 1 atau 0) berdasarkan jumlah yang mereka habiskan bersama perusahaan dalam 60 hari sebelumnya. Jadi, data adalah satu pelanggan …

8 data-mining  data-transformation  dimensionality-reduction  signal-processing 

Saya mencoba memahami apa perbedaan antara HMM standar dan HMM Bayesian. Wikipedia hanya menyebutkan secara singkat bagaimana modelnya tetapi saya perlu tutorial yang lebih rinci. Apakah ada yang tahu tentang makalah atau implementasi yang bisa saya lihat? Saya juga punya masalah dengan terminologi yang digunakan. Apa artinya secara praktis jika …

8 bayesian  hidden-markov-model 

Saya sedang mengerjakan proyek perangkat lunak yang melibatkan pembuatan visualizer untuk simulasi banjir. Sebagai bagian dari proyek ini, saya telah membuat gradien air yang menunjukkan kedalaman air pada titik-titik tertentu. Untuk mengatur nilai apa yang akan mewakili warna apa, saya mencari data dan mendapatkan nilai minimum dan maksimum yang terjadi …

8 data-visualization  data-transformation 

Saya memiliki 65 sampel data 21 dimensi (disisipkan di sini ) dan saya membuat matriks kovarians. Ketika dihitung dalam C ++ saya mendapatkan matriks kovarians disisipkan di sini . Dan ketika dihitung dalam matlab dari data (seperti yang ditunjukkan di bawah ini) saya mendapatkan matriks kovarians yang disisipkan di sini …

8 clustering  matlab  covariance  distance-functions  matrix-inverse 

Saya menggunakan lme4paket dalam R untuk melakukan beberapa pemodelan efek campuran logistik. Pemahaman saya adalah bahwa jumlah setiap efek acak harus nol. Ketika saya membuat mainan model linier campuran menggunakan lmer, efek acak biasanya <10−1010−1010^{-10}mengkonfirmasikan keyakinan saya bahwa colSums(ranef(model)$groups) ~ 0 But in toy model binomial (dan dalam model data …

8 r  lme4-nlme  random-effects-model  glmm 

Saya ingin memperkirakan parameter model campuran Dirichlet menggunakan sampling Gibbs dan saya punya beberapa pertanyaan tentang itu: Apakah campuran dari distribusi Dirichlet setara dengan proses Dirichlet? Apa perbedaan utama mereka jika tidak? Juga, jika saya ingin memperkirakan parameter distribusi Dirichlet tunggal, distribusi parameter mana yang harus dipilih sebagai prior dalam …

8 bayesian  estimation  gibbs  dirichlet-distribution 

Saya punya pertanyaan filosofis tentang bias variabel yang dihilangkan. Kami memiliki model regresi yang khas (model populasi) Y=β0+β1X1+...+βnXn+υ,Y=β0+β1X1+...+βnXn+υ, Y= \beta_0 + \beta_1X_1 + ... + \beta_nX_n + \upsilon, dari mana sampel berasal (Y,X1,...,Xn)(Y,X1,...,Xn)(Y,X_1,...,X_n), dan kemudian banyak kondisi di mana perkiraan OLS berperilaku cukup baik. Maka kita tahu bahwa, jika kita …

8 regression  model-selection  assumptions  bias 

Ketika berhadapan dengan data dengan faktor R dapat digunakan untuk menghitung rata-rata untuk setiap kelompok dengan fungsi lm (). Ini juga memberikan kesalahan standar untuk estimasi cara. Tetapi kesalahan standar ini berbeda dari apa yang saya dapatkan dari perhitungan dengan tangan. Ini adalah contoh (diambil dari sini. Memprediksi perbedaan antara …

8 r  categorical-data  mean  lm 

Saya akrab dengan menggunakan wawasan dari Teori Matriks Acak untuk menentukan jumlah komponen utama dari PCA dari matriks kovarians / korelasi yang digunakan untuk membentuk faktor. Jika nilai eigen yang terkait dengan PC pertama besar, maka itu berarti bahwa nilai eigen yang tersisa harus kecil (karena jumlah nilai eigen harus …

8 correlation  pca  covariance  eigenvalues  random-matrix 

Saya punya masalah di mana y=a+by=a+by = a + b Saya amati, tetapi bukan atau . Saya ingin memperkirakanaaabbb b=f(x)+ϵb=f(x)+ϵb = f(x) + \epsilon Aku bisa memperkirakan , menggunakan semacam model regresi. Ini memberi saya . Saya kemudian bisa memperkirakanaaab^b^\hat b b^=f(x)+ϵb^=f(x)+ϵ\hat b = f(x) + \epsilon Masalah pertama: model …

8 missing-data  multiple-imputation  expectation-maximization 

Katakanlah saya ingin memprediksi apakah suatu proyek akan menguntungkan atau tidak. Dalam data sampel saya, variabel respons sebenarnya adalah variabel kontinu: $ untung / rugi proyek. Karena tujuan akhir saya hanyalah klasifikasi biner (proyek menguntungkan atau proyek tidak menguntungkan), haruskah saya menggunakan teknik klasifikasi? Atau haruskah saya menggunakan regresi agar …

8 regression  classification  predictive-models 

Latar belakang masalah: Sebagai bagian dari penelitian saya, saya telah menulis dua algoritma yang dapat memilih satu set fitur dari set data (data ekspresi gen dari pasien kanker). Fitur-fitur ini kemudian diuji untuk melihat seberapa baik mereka dapat mengklasifikasikan sampel yang tidak terlihat sebagai kanker atau non-kanker. Untuk setiap rangkaian …

8 machine-learning  statistical-significance  computational-statistics  standardization  genetic-algorithms 

atau: Apakah memilih domain saat memasuki suatu pekerjaan mempersempit pilihan masa depan Anda untuk domain dan karenanya pekerjaan? Untuk membuat pertanyaan ini seluas mungkin diterapkan ... profesi mengacu pada semua jenis analis data, dari ahli statistik di atas pemrogram pelajar mesin hingga penambang data. bayangkan Anda diminta untuk memberikan saran …

8 careers 

Saya punya dua pertanyaan tentang menggunakan hutan acak (khususnya randomForest di R) untuk hilangnya nilai imputasi (dalam ruang prediktor). 1) Bagaimana cara kerja algoritma imputasi - khususnya bagaimana dan mengapa label kelas diperlukan untuk imputasi? Apakah matriks kedekatan yang berfungsi untuk menimbang nilai rata-rata untuk menentukan nilai yang hilang yang …

8 data-mining  predictive-models  missing-data  random-forest  data-imputation 

Saya memiliki masalah dalam menemukan solusi tentang cara menjalankan tes post-hoc (Tukey HSD) setelah 2-faktor (keduanya dalam-mata pelajaran) mengukur ANOVA berulang dalam R. Untuk ANOVA, saya telah menggunakan fungsi aov: summary(aov(dv ~ x1 * x2 + Error(subject/(x1*x2)), data=df1)) Setelah membaca jawaban untuk pertanyaan lain, saya mengumpulkan bahwa saya pertama-tama harus …

8 r  anova  repeated-measures  post-hoc  tukey-hsd  goodness-of-fit  curve-fitting  sem  latent-variable  mplus  anova  post-hoc  tukey-hsd  markov-process  image-processing  r  time-series  causality  granger-causality  anova  mixed-model  lme4-nlme  random-effects-model  r  matlab  data-transformation  multinomial  notation  estimation  nonparametric  logistic  r  missing-data  multiple-imputation  mice