Statistik dan Big Data

Adakah yang bisa menjelaskan bagaimana tersembunyinya model Markov terkait dengan maksimalisasi harapan? Saya telah melalui banyak tautan tetapi tidak dapat menghasilkan tampilan yang jelas. Terima kasih!

10 markov-process  expectation-maximization  hidden-markov-model 

Saya memiliki data untuk populasi sejumlah ikan yang berbeda, yang diambil sampelnya selama sekitar 5 tahun, tetapi dalam pola yang sangat tidak teratur. Kadang-kadang ada bulan antara sampel, kadang-kadang ada beberapa sampel dalam satu bulan. Ada juga banyak 0 hitungan Bagaimana cara menangani data seperti itu? Saya dapat membuat grafik …

10 time-series  multilevel-analysis  unevenly-spaced-time-series 

Saya melihat beberapa masalah, dan dalam beberapa, untuk menguji koefisien, kadang-kadang saya melihat orang menggunakan distribusi Student, dan kadang-kadang saya melihat distribusi Normal. Apa aturannya?

10 regression  distributions  hypothesis-testing 

Saya menggunakan SVM untuk memprediksi diabetes. Saya menggunakan set data BRFSS untuk tujuan ini. Kumpulan data memiliki dimensi dan miring. Persentase s dalam variabel target adalah sedangkan s merupakan sisa 89 \% .432607 × 136432607×136432607 \times 136Y11 %11%11\%N89 %89%89\% Saya hanya menggunakan 15dari 136variabel independen dari set data. Salah satu …

10 r  classification  svm  feature-selection  e1071 

Kita tahu dari teori ukuran bahwa ada peristiwa yang tidak dapat diukur, yaitu mereka tidak bisa diukur. Apa yang kita sebut peristiwa dengan probabilitas bahwa ukuran probabilitas tidak didefinisikan? Apa jenis pernyataan yang akan kita buat tentang peristiwa semacam itu?

10 probability  estimation 

Saya mengerjakan banyak pemodelan statistik, seperti Hidden Markov Models dan Gaussian Mixture Models. Saya melihat bahwa melatih model-model yang baik dalam setiap kasus ini membutuhkan sejumlah besar (> 20.000 kalimat untuk HMM) data yang diambil dari lingkungan yang sama dengan penggunaan akhir. Pertanyaanku adalah: Apakah ada konsep data pelatihan "cukup" …

10 modeling  hidden-markov-model  gaussian-mixture 

Saya menggunakan paket randomForest dalam R untuk mengembangkan model hutan acak untuk mencoba menjelaskan hasil yang berkelanjutan dalam dataset "lebar" dengan lebih banyak prediktor daripada sampel. Secara khusus, saya memasang satu model RF yang memungkinkan prosedur untuk memilih dari serangkaian ~ 75 variabel prediktor yang menurut saya penting. Saya menguji …

10 r  machine-learning  hypothesis-testing  model-selection  random-forest 

Saya telah menghitung matriks korelasi dari kumpulan data yang berisi 455 titik data, setiap titik data mengandung 14 karakteristik. Jadi dimensi matriks korelasi adalah 14 x 14. Saya bertanya-tanya apakah ada ambang batas untuk nilai koefisien korelasi yang menunjukkan bahwa ada korelasi yang signifikan antara dua karakteristik tersebut. Saya memiliki …

10 correlation  statistical-significance  multiple-comparisons 

Saya ingin menggabungkan perkiraan dan backcasted (yaitu nilai-nilai masa lalu yang diprediksi) dari data time-series yang ditetapkan ke dalam satu time-series dengan meminimalkan Mean Squared Prediction Error. Katakanlah saya memiliki deret waktu dari 2001-2010 dengan celah untuk tahun 2007. Saya telah dapat meramalkan 2007 menggunakan data 2001-2007 (garis merah - …

10 r  time-series  forecasting  data-imputation 

Saya tidak begitu terbiasa dengan literatur ini, jadi tolong maafkan saya jika ini adalah pertanyaan yang jelas. Karena AIC dan BIC bergantung pada memaksimalkan kemungkinan, tampaknya mereka hanya dapat digunakan untuk membuat perbandingan relatif antara satu set model yang mencoba menyesuaikan dengan set data yang diberikan. Menurut pemahaman saya, tidak …

10 model-selection  aic  bic 

Jawaban untuk pertanyaan ini pada SO mengembalikan sekumpulan kurang lebih 125 nama satu hingga dua huruf: /programming/6979630/what-1-2-letter-object-names-conflict-with-existing -r-benda [1] "Ad" "am" "ar" "as" "bc" "bd" "bp" "br" "BR" "bs" "by" "c" "C" [14] "cc" "cd" "ch" "ci" "CJ" "ck" "Cl" "cm" "cn" "cq" "cs" "Cs" "cv" [27] "d" "D" "dc" …

10 r  data-visualization 

Diberikan sampel pertama dari distribusi gaussian dan penaksir-M, , properti apa di yang cukup untuk menjamin dalam probabilitas? Apakah menjadi cembung dan ketat meningkat cukup?X1,...,Xn∼N(μ,σ)X1,...,Xn∼N(μ,σ)X_1,...,X_n \sim N(\mu,\sigma) μm=argmina∑ρ(|Xi−a|)μm=argmina∑ρ(|Xi−a|)\mu_m = \underset{a}{\operatorname{argmin}} \sum\rho(|X_i-a|)ρρ\rhoμm→μμm→μ\mu_m \rightarrow \muρρ\rho

10 estimation 

Saya memiliki serangkaian fungsi, masing-masing seharusnya mewakili kepadatan variabel acak di seluruh agen. Setiap fungsi juga memiliki domain, yang menggambarkan nilai variabel acak apa yang valid. Sekarang, jika saya ingat kelas statistik saya dengan benar, jika saya mengambil integral dari salah satu fungsi melintasi nilai-nilai yang dijelaskan oleh domain fungsi, …

10 distributions  probability 

Saya selalu percaya bahwa waktu tidak boleh digunakan sebagai prediktor dalam regresi (termasuk gam) karena, maka, orang hanya akan "menggambarkan" tren itu sendiri. Jika tujuan dari sebuah penelitian adalah untuk menemukan parameter lingkungan seperti suhu dll yang menjelaskan perbedaan dalam, katakanlah, aktivitas hewan, maka saya bertanya-tanya, bagaimana waktu dapat digunakan? …

10 r  time-series  mixed-model  nonlinear-regression 

Saya ingin memproses gambar mikroskop yang tersegmentasi secara otomatis untuk mendeteksi gambar yang salah dan / atau segmentasi yang salah, sebagai bagian dari pipa pencitraan throughput tinggi. Ada sejumlah parameter yang dapat dihitung untuk setiap gambar mentah dan segmentasi, dan itu menjadi "ekstrem" ketika gambar rusak. Misalnya, gelembung dalam gambar …

10 outliers  online