Statistik dan Big Data

Untuk aplikasi, saya ingin mengelompokkan data (berpotensi berdimensi tinggi) dan mengekstraksi kemungkinan milik sebuah cluster. Saya mempertimbangkan pada saat ini peta mengatur diri sendiri atau kernel k-cara untuk melakukan pekerjaan. Apa pro dan kontra dari setiap classifier untuk tugas ini? Apakah saya kehilangan algoritme pengelompokan orang lain yang bisa tampil …

8 clustering  unsupervised-learning 

Saya memiliki jenis data berikut (diberi kode dalam R): v.a = c('cat', 'dog', 'dog', 'goat', 'cat', 'goat', 'dog', 'dog') v.b = c(1, 2, 1, 2, 1, 2, 1, 2) v.c = c('blue', 'red', 'blue', 'red', 'red', 'blue', 'yellow', 'yellow') set.seed(12) v.d = rnorm(8) aov(v.a ~ v.b + v.c + v.d) …

8 r  logistic  anova  categorical-data  multinomial 

Pertanyaan keseluruhan saya adalah: mengapa menggunakan bayesglmmetode klasifikasi lainnya? catatan: Saya hanya tertarik pada prediksi. Saya memiliki jumlah data yang layak (~ 100.000 obs). Saya merasa ukuran sampel cukup besar sehingga parameter regresi logistik reguler akan terdistribusi normal (CLT). Apa yang akan saya dapatkan dengan menentukan prior? Firasat saya adalah …

8 bayesian  generalized-linear-model 

Dalam sebuah kuliah baru-baru ini saya diberitahu bahwa, agar estimasi kemungkinan maksimum menjadi valid, kemungkinan log harus menuju minus tak terhingga ketika parameter menuju ke batas ruang parameter. Tetapi saya tidak mengerti mengapa ini penting. Misalkan kemungkinan log masuk ke beberapa jenis asimtot. Maka parameter yang memaksimalkan kemungkinan masih merupakan …

8 maximum-likelihood 

Subitisasi adalah penghitungan cepat, akurat untuk tampilan dengan angka rendah, dibedakan dari penghitungan dengan non-linearitas yang tajam dalam plot waktu respons. Di bawah ini adalah plot yang representatif, dari Watson, DG, Maylor, EA, & Bruce, LAM (2007). Perhatikan bahwa waktu pencacahan rata-rata untuk tampilan 1-3 meningkat secara linear, tetapi waktu …

8 linear-model  contrasts 

Sifat diskrit dari DP membuatnya tidak cocok untuk aplikasi umum dalam Bayesian nonparametrics, tetapi sangat cocok untuk masalah penempatan prior pada komponen campuran dalam pemodelan campuran. Kutipan ini dari Hierarchical Dirichlet Processes (Teh, et al, (2006) ) dan saya mencari penjelasan tentang apa artinya. Nonparametrik Bayesian sepertinya terlalu samar untuk …

8 machine-learning  mcmc  dirichlet-process 

Mungkinkah untuk memperkirakan secara akurat jumlah relatif Loonies , Twoonies , quarter, dimes, nickles (dan mungkin sen yang dihentikan) dalam sirkulasi dari sekadar memperoleh sampel koin yang cukup besar melalui penggunaan sehari-hari? Dengan penggunaan sehari-hari saya merujuk pada koin yang Anda kembalikan saat Anda melakukan pembelian di toko grosir misalnya. …

8 self-study  application 

Saya memiliki satu set data kecil yang tidak seimbang (70 positif, 30 negatif), dan saya telah bermain-main dengan pemilihan model untuk parameter SVM menggunakan BAC (akurasi seimbang) dan AUC (area di bawah kurva). Saya menggunakan bobot kelas yang berbeda untuk parameter C di libSVM untuk mengimbangi data yang tidak seimbang …

8 svm  cross-validation  model-selection  auc 

Saya mencoba memprediksi variabel respons dalam regresi linier yang harus selalu positif (biaya per klik). Ini jumlah uang. Di adwords, Anda membayar google untuk klik pada iklan Anda, dan angka negatif berarti bahwa Google membayar Anda ketika orang mengklik: P Prediktor adalah semua nilai kontinu. Rsquared dan RMSE layak jika …

8 regression  predictive-models 

Pertanyaan ini muncul di utas lain yang saya mulai jadi saya pikir saya akan mendapatkan lebih banyak pendapat orang tentang itu. Pertanyaanku adalah Apakah residual, e, penduga kesalahan, ϵϵ\epsilon? Alasan yang saya tanyakan adalah sebagai berikut. Dalam OLS, varian dari residu,RSS(n−K)RSS(n−K)\frac{\text{RSS}}{(n - K )}, dikenal sebagai varian dari regresi (di …

8 standard-error  residuals  error  estimators 

Saya mencoba untuk menghasilkan set variabel acak yang terhubung secara kausal dan mulai melakukan ini dengan pendekatan monte carlo. Baseline adalah histogram 2 dimensi yang diukur dari mana saya menggambar nilai acak. Dalam contoh nyata saya, variabel-variabel ini adalah akselerasi aa\bf{a}dan kecepatan - jadi jelas harus ditahan.vv\bf{v}vi+1=vi+ai∗dtvi+1=vi+ai∗dtv_{i+1} = v_{i} + …

8 monte-carlo  random-generation 

Saya bekerja dengan kode hutan acak Breiman ( http://stat-www.berkeley.edu/users/breiman/RandomForests/cc_manual.htm#c2 ) untuk klasifikasi data satelit (supervised learning). Saya menggunakan dataset pelatihan dan tes yang memiliki ukuran sampel 2000 dan ukuran variabel 10. Data diklasifikasikan ke dalam dua kelas, A dan B. Dalam mode pembelajaran terawasi, algoritma berkinerja baik dengan kesalahan klasifikasi …

8 machine-learning  classification  random-forest 

Saya telah membaca tulisan-tulisan berikut yang menjawab pertanyaan yang akan saya tanyakan: Gunakan model Hutan Acak untuk membuat prediksi dari data sensor Pohon keputusan untuk prediksi keluaran Inilah yang telah saya lakukan sejauh ini: Saya membandingkan Regresi Logistik dengan Random Forests dan RF mengungguli Logistic. Sekarang peneliti medis yang bekerja …

8 random-forest  prediction 

Ini adalah spin-off dari pertanyaan ini: Bagaimana membandingkan dua kelompok dengan beberapa pengukuran untuk setiap individu dengan R? Dalam jawaban di sana (jika saya mengerti dengan benar) saya belajar bahwa varians dalam subjek tidak mempengaruhi kesimpulan yang dibuat tentang mean kelompok dan tidak apa-apa untuk hanya mengambil rata-rata rata-rata untuk …

8 r  confidence-interval  mixed-model  jags  error-propagation 

Dalam distribusi Poisson rata-rata sama dengan varians. Saya ingin mencari interval kepercayaan varians. Apakah alasan saya di bawah ini benar? Menggunakan teorema limit pusat saya membangun interval kepercayaan 95% untuk rata-rataμμ\mu L≤μ≤UL≤μ≤UL \leq \mu \leq U μ=σ2μ=σ2\mu=\sigma^2 Karena itu L≤σ2≤UL≤σ2≤UL \leq \sigma^2 \leq U Tampak bagi saya bahwa ketidaksetaraan harus …

8 confidence-interval  variance  poisson-distribution