Statistik dan Big Data

Dalam makalah seminal "Rao-Blackwellised Particle Filtering for Dynamic Bayesian Networks" oleh A. Doucet et. Al. filter monte carlo sekuensial (filter partikel) diusulkan, yang memanfaatkan substruktur linier dalam proses markov . Dengan memarginalkan struktur linier ini, filter dapat dibagi menjadi dua bagian: bagian non-linear yang menggunakan filter partikel, dan satu bagian …

11 monte-carlo  particle-filter 

Saya memiliki kumpulan data yang berisi jumlah tindakan yang dilakukan oleh individu selama 7 hari. Tindakan spesifik seharusnya tidak relevan untuk pertanyaan ini. Berikut adalah beberapa statistik deskriptif untuk kumpulan data: JarakBerartiPerbedaanJumlah pengamatan0 - 77218.22791696Range0−772Mean18.2Variance2791Number of observations696 \begin{array}{|c|c|} \hline \text{Range} & 0 - 772 \\ \hline \text{Mean} & 18.2 \\ …

11 r  distributions  poisson-distribution  mean  sample 

Saya melatih proses Gaussian dengan kernel ARD dengan banyak parameter dengan memaksimalkan kemungkinan marginal dari data, dan bukannya cross-validasi. Saya menduga itu terlalu pas. Bagaimana saya bisa menguji kecurigaan ini dalam konteks Bayesian?

11 machine-learning  cross-validation  gaussian-process 

Saya mungkin berurusan dengan masalah yang mungkin telah dipecahkan seratus kali sebelumnya, tetapi saya tidak yakin di mana menemukan jawabannya. Ketika menggunakan regresi logistik, diberikan banyak fitur dan mencoba memprediksi nilai kategorikal biner , saya tertarik untuk memilih subset dari fitur yang memprediksi baik. y yx1,...,xnx1,...,xnx_1,...,x_nyyyyyy Apakah ada prosedur yang …

11 machine-learning  logistic  classification 

Contoh ukuran pemisahan kelas yang baik pada pembelajar diskriminan linier adalah rasio diskriminan linear Fisher. Apakah ada metrik berguna lainnya untuk menentukan apakah set fitur menyediakan pemisahan kelas yang baik antara variabel target? Secara khusus, saya tertarik untuk menemukan atribut input multivarian yang baik untuk memaksimalkan pemisahan kelas target dan …

11 machine-learning  classification  feature-selection  discriminant-analysis 

Saya ingin menggambarkan "puncaknya" dan ekor "berat" dari beberapa fungsi kepadatan probabilitas miring. Fitur yang ingin saya gambarkan, apakah mereka disebut "kurtosis"? Saya hanya melihat kata "kurtosis" yang digunakan untuk distribusi simetris?

11 pdf  descriptive-statistics  skewness  kurtosis 

Latar Belakang Biologis Seiring waktu, beberapa spesies tanaman cenderung menggandakan seluruh genomnya, mendapatkan salinan tambahan dari setiap gen. Karena ketidakstabilan pengaturan ini, banyak dari gen-gen ini kemudian dihapus, dan genom menata ulang dirinya sendiri dan menjadi stabil, siap untuk digandakan lagi. Peristiwa duplikasi ini dikaitkan dengan peristiwa spesiasi dan invasi, …

11 generalized-linear-model  contingency-tables  fishers-exact  genetics  bioinformatics 

Implementasi randomForest tidak memungkinkan pengambilan sampel melebihi jumlah pengamatan, bahkan ketika pengambilan sampel dengan penggantian. Kenapa ini? Bekerja dengan baik: rf <- randomForest(Species ~ ., iris, sampsize=c(1, 1, 1), replace=TRUE) rf <- randomForest(Species ~ ., iris, sampsize=3, replace=TRUE) Apa yang ingin saya lakukan: rf <- randomForest(Species ~ ., iris, sampsize=c(51, …

11 r  sampling  random-forest  stratification  oversampling 

Dari Wikipedia Dynamic Bayesian Network (DBN) adalah Bayesian Network yang menghubungkan variabel satu sama lain melalui langkah waktu yang berdekatan. Ini sering disebut BN Two-Timeslice karena dikatakan bahwa pada titik waktu T, nilai variabel dapat dihitung dari regresi internal dan nilai sebelumnya langsung (waktu T-1) . DBN adalah umum dalam …

11 hidden-markov-model  graphical-model 

Katakanlah, kita memiliki pertanyaan "ya / tidak" sederhana yang ingin kita ketahui jawabannya. Dan ada N orang "memilih" untuk jawaban yang benar. Setiap pemilih memiliki sejarah - daftar 1 dan 0, yang menunjukkan apakah mereka benar atau salah tentang pertanyaan semacam ini di masa lalu. Jika kita menganggap sejarah sebagai …

11 accuracy  uncertainty  weighted-mean  voting-system 

Untuk menganalisis jumlah burung dengan inflasi nol, saya ingin menerapkan model jumlah dengan inflasi nol menggunakan paket R pscl . Namun, setelah melihat contoh yang disediakan dalam dokumentasi untuk salah satu fungsi utama ( ? Zeroinfl ), saya mulai meragukan apa keuntungan sebenarnya dari model ini. Menurut kode sampel yang …

11 r  poisson-distribution  zero-inflation 

Saya ingin menggunakan lme4agar sesuai dengan regresi efek campuran dan multcompuntuk menghitung perbandingan berpasangan. Saya memiliki kumpulan data yang kompleks dengan beberapa prediktor kontinu dan kategoris, tetapi pertanyaan saya dapat ditunjukkan dengan menggunakan ChickWeightkumpulan data bawaan sebagai contoh: m <- lmer(weight ~ Time * Diet + (1 | Chick), data=ChickWeight, …

11 r  mixed-model  multiple-comparisons 

Saya punya pertanyaan tentang distribusi posterior Dirichlet. Diberi fungsi multinomial likelihood, diketahui bahwa posterior adalah , di mana adalah berapa kali kita telah melihat observasi .N i i t hDir(αi+Ni)Dir(αi+Ni)Dir({\alpha_i + N_i})NiNiN_iithithi^{th} Apa yang terjadi jika kita mulai mengurangi s untuk data tetap yang diberikan ? Tampaknya dari bentuk posterior …

11 dirichlet-distribution 

Saya ingin memeriksa apakah saya benar-benar memahami analisis faktor ( klasik, linier ), terutama asumsi yang dibuat sebelum (dan mungkin setelah) FA. Beberapa data awalnya harus dikorelasikan dan ada kemungkinan hubungan linier di antara mereka. Setelah melakukan analisis faktor, data terdistribusi secara normal (distribusi bivariat untuk setiap pasangan) dan tidak …

11 correlation  factor-analysis  assumptions  dimensionality-reduction 

Saat ini saya menghadiri kursus Pengantar Manajemen Operasi di Coursera.org. Pada titik tertentu dalam kursus, profesor mulai berurusan dengan variasi waktu operasi. Pengukuran yang ia gunakan adalah Koefisien Variasi , rasio antara standar deviasi dan rata-rata: cv=σμcv=σμc_v = \frac{\sigma}{\mu} Mengapa pengukuran ini digunakan? Apa kelebihan dan kekurangan bekerja dengan CV …

11 standard-deviation  intuition  coefficient-of-variation