Statistik dan Big Data

Katakanlah Anda diberi dua set data multivarian, katakan yang lama dan yang baru, dan bahwa mereka seharusnya dihasilkan oleh proses yang sama (yang Anda tidak punya modelnya) tetapi mungkin, di suatu tempat di sepanjang jalur pengumpulan / pembuatan data, ada yang salah. Anda tidak ingin menggunakan data baru sebagai, katakanlah, …

13 multivariate-analysis 

Saya menggunakan paket 'lars' dalam R dengan kode berikut: > library(lars) > set.seed(3) > n <- 1000 > x1 <- rnorm(n) > x2 <- x1+rnorm(n)*0.5 > x3 <- rnorm(n) > x4 <- rnorm(n) > x5 <- rexp(n) > y <- 5*x1 + 4*x2 + 2*x3 + 7*x4 + rnorm(n) > …

13 correlation  feature-selection  lasso  regularization  ridge-regression 

Saya punya daftar protein dengan nilai fitur mereka. Tabel sampel terlihat seperti ini: ...............Feature1...Feature2...Feature3...Feature4 Protein1 Protein2 Protein3 Protein4 Baris adalah protein dan kolom adalah fitur. Saya juga punya daftar protein yang berinteraksi juga; sebagai contoh Protein3, Protein4 Protein1, Protein2 Protein4, Protein1 Masalah : Untuk analisis awal saya ingin tahu fitur …

13 machine-learning  statistical-significance  feature-selection  networks 

Saat ini saya sedang membaca buku "Doing Bayesian Data Analysis" yang sangat bagus dari Kruschke. Namun, bab tentang regresi logistik hirarkis (Bab 20) agak membingungkan. Gambar 20.2 menggambarkan regresi logistik hirarkis di mana parameter Bernoulli didefinisikan sebagai fungsi linear pada koefisien yang ditransformasikan melalui fungsi sigmoid. Ini tampaknya menjadi cara …

13 regression  bayesian  logistic  multilevel-analysis 

Saya memiliki dataset dengan dua kelas yang tumpang tindih, tujuh poin di setiap kelas, poin berada dalam ruang dua dimensi. Di R, dan saya menjalankan svmdari e1071paket untuk membangun hyperplane pemisah untuk kelas-kelas ini. Saya menggunakan perintah berikut: svm(x, y, scale = FALSE, type = 'C-classification', kernel = 'linear', cost …

13 r  machine-learning  svm  libsvm  e1071 

Dari jawaban dalam pertanyaan sebelumnya , saya diarahkan ke urutan Halton, untuk membuat satu set vektor yang mencakup ruang sampel yang seragam secara merata. Tetapi halaman wikipedia menyebutkan bahwa bilangan prima yang lebih tinggi terutama sering sangat berkorelasi di awal seri. Ini tampaknya menjadi kasus untuk setiap pasangan bilangan prima …

13 sampling  small-sample  quasi-monte-carlo 

Misalnya, seseorang ingin memprediksi harga rumah dan memiliki dua fitur input, panjang dan lebar rumah. Kadang-kadang, satu juga termasuk fitur input polinomial 'diturunkan', seperti area, yang panjang * lebar. 1) Apa gunanya menyertakan fitur turunan? Bukankah seharusnya jaringan saraf mempelajari hubungan antara panjang, lebar dan harga selama pelatihan? Mengapa fitur …

13 machine-learning  neural-networks 

Saya membaca di situs ini bahwa ternyata Kinect menggunakan algoritma hutan acak untuk pembelajaran mesin dalam beberapa cara. Adakah yang bisa menjelaskan untuk apa hutan itu digunakan secara acak, dan bagaimana pendekatan mereka bekerja?

13 machine-learning  random-forest  application 

Misalkan kita memiliki dua vektor variabel acak, keduanya normal, yaitu dan Y ∼ N ( μ Y , Σ Y ) . Kami tertarik pada distribusi kombinasi linear mereka Z = A X + B Y + C , di mana A dan B adalah matriks, C adalah vektor. Jika …

13 probability  normal-distribution  multinomial 

Saya tertarik menggunakan regresi kuantil untuk beberapa model saya, tetapi ingin memiliki beberapa klarifikasi tentang apa yang dapat saya capai dengan menggunakan metodologi ini. Saya mengerti saya bisa mendapatkan analisis yang lebih kuat tentang hubungan IV / DV , terutama ketika dihadapkan dengan outlier dan heteroskedastisitas, tetapi dalam kasus saya …

13 predictive-models  quantile-regression 

Saat mempelajari kursus pengambilan sampel, saya memenuhi dua pernyataan berikut: 1) Kesalahan pengambilan sampel menyebabkan sebagian besar variabilitas, kesalahan yang tidak mengarah menyebabkan bias. 2) Karena kesalahan nonsampling, sampel seringkali lebih akurat daripada Sensus. Saya tidak tahu bagaimana memahami kedua pernyataan ini. Apa logika yang mendasari untuk mendapatkan dua pernyataan …

13 estimation  sampling  survey  bias 

Dapatkah Anda merekomendasikan buku dengan informasi bagus yang dapat diterapkan untuk mengembangkan sistem rekomendasi?

13 machine-learning  references  recommender-system 

Saya menggunakan model linier umum dalam SPSS untuk melihat perbedaan rata-rata jumlah ulat (non-normal, menggunakan distribusi Tweedie) pada 16 spesies tanaman yang berbeda. Saya ingin menjalankan beberapa perbandingan tetapi saya tidak yakin apakah saya harus menggunakan tes koreksi Sidak atau Bonferroni. Apa perbedaan antara kedua tes? Apakah yang satu lebih …

13 multiple-comparisons  post-hoc  bonferroni 

Wikipedia memiliki transformasi Fisher dari korelasi peringkat Spearman ke perkiraan skor-z. Mungkin skor-z adalah perbedaan dari hipotesis nol (korelasi peringkat 0)? Halaman ini memiliki contoh berikut: 4, 10, 3, 1, 9, 2, 6, 7, 8, 5 5, 8, 6, 2, 10, 3, 9, 4, 7, 1 rank correlation 0.684848 "95% …

13 correlation  spearman-rho 

Saya ingin menyesuaikan model campuran menggunakan lme4, nlme, paket regresi baysian atau yang tersedia. Model campuran dalam konvensi pengkodean Asreml-R sebelum membahas secara spesifik, kami mungkin ingin memiliki detail tentang konvensi asreml-R, bagi mereka yang tidak terbiasa dengan kode ASREML. y = Xτ + Zu + e ........................(1) ; model …

13 r