Statistik dan Big Data

Dapatkah seseorang tolong berikan penjelasan sederhana (orang awam) tentang hubungan antara distribusi Pareto dan Teorema Limit Pusat (misalnya apakah itu berlaku? Mengapa / mengapa tidak?)? Saya mencoba memahami pernyataan berikut: "Teorema Limit Sentral tidak bekerja dengan setiap distribusi. Ini disebabkan oleh satu fakta yang licik - sampel rata-rata berkerumun di …

10 variance  central-limit-theorem  intuition  pareto-distribution  fat-tails 

Saya melakukan analisis Matlab pada data MRI di mana saya telah melakukan PCA pada matriks berukuran 10304x236 di mana 10304 adalah jumlah voxel (menganggapnya sebagai piksel) dan 236 adalah jumlah titik waktu. PCA memberi saya nilai Eigen 236 dan koefisien terkait mereka. Ini semua baik-baik saja Namun ketika tiba saatnya …

10 pca  eigenvalues  neuroimaging 

Saya mempelajari analisis diskriminan, tetapi saya mengalami kesulitan merekonsiliasi beberapa penjelasan yang berbeda. Saya percaya saya pasti kehilangan sesuatu, karena saya belum pernah menemukan tingkat ketidaksesuaian ini (sebelumnya). Karena itu, sejumlah pertanyaan tentang analisis diskriminan di situs web ini tampaknya menjadi bukti kompleksitasnya. LDA dan QDA untuk beberapa kelas Buku …

10 multivariate-analysis  discriminant-analysis 

Saya memiliki distribusi diskrit berikut, di mana konstanta dikenal:α , βα,β\alpha,\beta p ( x ; α , β) = Beta ( α + 1 , β+ x )Beta ( α , β)untuk x = 0 , 1 , 2 , ...p(x;α,β)=Beta(α+1,β+x)Beta(α,β)for x=0,1,2,… p(x;\alpha,\beta) = \frac{\text{Beta}(\alpha+1, \beta+x)}{\text{Beta}(\alpha,\beta)} \;\;\;\;\text{for } x = …

10 sampling  mcmc  computational-statistics  importance-sampling  rejection-sampling 

Muat paket yang dibutuhkan. library(ggplot2) library(MASS) Hasilkan 10.000 angka yang pas untuk distribusi gamma. x <- round(rgamma(100000,shape = 2,rate = 0.2),1) x <- x[which(x>0)] Gambarkan fungsi kerapatan probabilitas, seandainya kita tidak tahu distribusi x mana yang cocok. t1 <- as.data.frame(table(x)) names(t1) <- c("x","y") t1 <- transform(t1,x=as.numeric(as.character(x))) t1$y <- t1$y/sum(t1[,2]) ggplot() …

10 r  mathematical-statistics  goodness-of-fit  gamma-distribution  ggplot2 

Saya selalu sedikit terkejut melihat iklan psikologis untuk berpartisipasi dalam studi eksperimental. Yang pasti, orang yang merespons iklan ini tidak diambil secara acak dan karenanya merupakan populasi yang dipilih sendiri. Karena diketahui bahwa pengacakan menyelesaikan masalah pemilihan sendiri, saya bertanya-tanya apakah pengacakan sampel non-acak benar-benar mengubah apa pun. Bagaimana menurut …

10 sampling  psychology  random-allocation 

Saya ingin belajar ANOVA. Sebelum saya mulai mempelajari bagaimana algoritme bekerja (perhitungan apa yang harus dilakukan) dan mengapa itu bekerja, pertama-tama saya ingin tahu masalah apa yang sebenarnya kami selesaikan dengan ANOVA, atau jawaban apa yang kami coba jawab. Dengan kata lain: Apa input dan apa output dari algoritma? Saya …

10 anova 

Dalam catatan kuliah saya dikatakan, Distribusi t terlihat normal, meskipun dengan ekor yang sedikit lebih berat. Saya mengerti mengapa itu akan terlihat normal (karena Central Limit Theorem). Tetapi saya mengalami kesulitan memahami bagaimana secara matematis membuktikan bahwa ia memiliki ekor yang lebih berat daripada distribusi normal dan jika ada cara …

10 normal-distribution  t-distribution  heavy-tailed 

Saya mencoba memahami arsitektur RNNs. Saya telah menemukan tutorial ini yang sangat membantu: http://colah.github.io/posts/2015-08-Understanding-LSTMs/ Terutama gambar ini: Bagaimana ini cocok dengan jaringan umpan-maju? Apakah gambar ini hanyalah simpul lain di setiap lapisan?

10 neural-networks  lstm 

Saya ingin mengukur hubungan antara dua variabel, A dan B, menggunakan informasi timbal balik. Cara untuk menghitungnya adalah dengan membuang pengamatan (lihat contoh kode Python di bawah). Namun, faktor apa yang menentukan jumlah sampah yang masuk akal? Saya perlu perhitungan yang cepat jadi saya tidak bisa hanya menggunakan banyak sampah …

10 information-theory  mutual-information  binning 

Konteks Saya mencoba memahami bagaimana R's coxph () menerima dan menangani entri berulang untuk subjek (atau pasien / pelanggan jika Anda suka). Beberapa menyebutnya format Panjang ini, yang lain menyebutnya 'tindakan berulang'. Lihat misalnya kumpulan data yang menyertakan kolom ID di bagian Jawaban di: Paket terbaik untuk model Cox dengan …

10 r  repeated-measures  survival  cox-model  frailty 

Saya memiliki variabel acak 1-D yang sangat miring. Untuk menormalkan distribusi ini, saya ingin menggunakan median daripada mean. pertanyaan saya adalah ini: dapatkah saya menghitung varian distribusi menggunakan median dalam rumus, bukan rata-rata? yaitu saya bisa mengganti Var(X)=∑[(Xi−mean(X))2]/nVar(X)=∑[(Xi−mean(X))2]/n \mathrm{Var}(X) = \sum[(X_i - \mathrm{mean}(X))^2]/n dengan Var(X)=∑[(Xi−median(X))2]/nVar(X)=∑[(Xi−median(X))2]/n \mathrm{Var}(X) = \sum[(X_i - \mathrm{median}(X))^2]/n …

10 variance  mean  median 

Apa pendapat Anda tentang menggunakan regresi untuk memproyeksikan di luar rentang data? Jika kami yakin bahwa itu mengikuti bentuk model linier atau daya, tidak bisakah model berguna di luar rentang data? Misalnya saya memiliki volume yang didorong oleh harga. Kita harus dapat memproyeksikan harga di luar rentang data yang saya …

10 regression  dataset  linear-model 

Saya membaca di variational Bayes, dan seperti yang saya mengerti, itu datang ke gagasan bahwa Anda memperkirakan (di mana z adalah variabel laten dari model Anda dan x data yang diamati) dengan fungsi q (z) , membuat asumsi bahwa q faktorisasi sebagai q_i (z_i) di mana z_i adalah subset dari …

10 variational-bayes 

Saya mencoba untuk bekerja dengan cara saya melalui set masalah pertama dari materi kursus stanford kelas cs224d online dan saya mengalami beberapa masalah dengan masalah 3A: Ketika menggunakan model skip gram word2vec dengan fungsi prediksi softmax dan fungsi kehilangan entropi silang, kami ingin menghitung gradien sehubungan dengan vektor kata yang …

10 machine-learning  self-study  word2vec