Statistik dan Big Data

Pertanyaan ini agak kiri, tetapi saya pikir bahwa komunitas di sini mungkin memiliki pandangan yang kuat tentang masalah ini! Saya sedang menulis tesis PhD saya. Secara konsisten, ketika berbicara tentang jumlah yang secara resmi terkait dengan distribusi Gaussian, saya telah menggunakan huruf kapital "N" dalam "Normal" untuk merujuk kepada mereka. …

22 normal-distribution  terminology 

Dalam kesimpulan Bayesian distribusi prediktif untuk data masa depan diperoleh dengan mengintegrasikan parameter yang tidak diketahui; mengintegrasikan lebih dari distribusi posterior dari parameter-parameter tersebut memberikan distribusi prediksi posterior — distribusi untuk data masa depan tergantung pada yang sudah diamati. Apa metode non-Bayesian untuk inferensi prediktif yang mempertimbangkan ketidakpastian dalam estimasi …

22 prediction  inference  prediction-interval 

Saya ingin mengelompokkan data saya secara hierarkis, tetapi daripada menggunakan jarak Euclidean, saya ingin menggunakan korelasi. Juga, karena koefisien korelasi berkisar dari -1 hingga 1, dengan -1 dan 1 menunjukkan "peraturan bersama" dalam penelitian saya, saya memperlakukan -1 dan 1 sebagai d = 0. Jadi perhitungan saya adalah d = …

22 correlation  clustering  distance  hierarchical-clustering 

Apakah ada makalah yang bagus yang membahas beberapa cara metodis dalam memilih dimensi untuk filter, menyatukan unit, dan menentukan jumlah lapisan konvolusional?

22 neural-networks  deep-learning  conv-neural-network 

Sebagai pendahuluan untuk pertanyaan tentang model linear-campuran dalam R, dan untuk berbagi sebagai referensi bagi para pecinta statistik pemula / menengah, saya memutuskan untuk memposting sebagai "gaya Tanya Jawab" yang independen, langkah-langkah yang terlibat dalam perhitungan "manual" dari koefisien dan nilai prediksi regresi linier sederhana. Contohnya adalah dengan dataset R-built-in …

22 r  regression  linear-model  lm 

Ada beberapa kebingungan di kepala saya tentang dua jenis penduga nilai populasi dari koefisien korelasi Pearson. A. Fisher (1915) menunjukkan bahwa untuk populasi normal bivariat, empiris rrr adalah penaksir bias negatif dari ρρ\rho , meskipun bias bisa dibilang cukup besar hanya untuk ukuran sampel kecil ( n&lt;30n&lt;30n<30 ). Sampel rrr …

22 correlation  pearson-r  unbiased-estimator  estimators  point-estimation 

Sebagian besar sumber daya pada aturan penilaian yang tepat menyebutkan sejumlah aturan penilaian yang berbeda seperti log-loss, Brier score atau spherical scoring. Namun, mereka sering tidak memberikan banyak panduan tentang perbedaan di antara mereka. (Bukti A: Wikipedia .) Memilih model yang memaksimalkan skor logaritmik sesuai dengan memilih model maksimum-likelihood, yang …

22 machine-learning  classification  model-selection  theory  scoring-rules 

Saya telah membaca Elemen Pembelajaran Statistik dan saya tidak dapat memahami apa yang dimaksud dengan Bagian 3.7 "Penyusutan dan Seleksi Berganda Berganda". Ini berbicara tentang RRR (regresi tingkat rendah), dan saya hanya bisa mengerti bahwa premisnya adalah tentang model linear multivariat yang digeneralisasi di mana koefisien tidak diketahui (dan diperkirakan) …

22 regression  multivariate-analysis  dimensionality-reduction  regularization  reduced-rank-regression 

Dalam PCA, ketika jumlah dimensi lebih besar dari (atau bahkan sama dengan) jumlah sampel N , mengapa Anda akan memiliki paling banyak N - 1 vektor eigen bukan nol? Dengan kata lain, pangkat matriks kovarians di antara dimensi d ≥ N adalah N - 1 .dddNNNN−1N−1N-1d≥Nd≥Nd\ge NN−1N−1N-1 Contoh: Sampel Anda …

22 pca  dimensionality-reduction  eigenvalues 

Saya sedang mencari studi kasus regresi linier lanjutan yang menggambarkan langkah-langkah yang diperlukan untuk memodelkan hubungan yang kompleks dan banyak non-linear menggunakan GLM atau OLS. Secara mengejutkan sulit untuk menemukan sumber daya yang melampaui contoh-contoh sekolah dasar: sebagian besar buku yang saya baca tidak akan lebih jauh dari transformasi log …

22 multiple-regression  generalized-linear-model  data-transformation  splines  nonlinear 

Saya bahkan tidak yakin bahwa pertanyaan itu masuk akal, tapi saya pikir saya melihat beberapa judul makalah di mana mereka mengusulkan hutan acak dengan efek acak. Apakah ini mungkin di R?

22 r  random-forest  random-effects-model 

Diberikan matriks kovarians , bagaimana cara menghasilkan data sedemikian rupa sehingga memiliki sampel matriks kovarians \ hat {\ boldsymbol \ Sigma} = \ boldsymbol \ Sigma_s ?Σ = Σ sΣsΣs\boldsymbol \Sigma_sΣ^=ΣsΣ^=Σs\hat{\boldsymbol \Sigma} = \boldsymbol \Sigma_s Lebih umum: kita sering tertarik untuk menghasilkan data dari kepadatan f(x|θ)f(x|θ) f(x \vert \boldsymbol\theta) , …

22 correlation  sampling  random-generation  covariance-matrix 

Manakah plot terbaik, dari sudut pandang statistik, untuk menunjukkan tabel kontingensi , yang biasanya dianalisis dengan uji chi-square? Apakah itu barplot yang dihindari, barplot yang ditumpuk, peta panas, plot kontur, scatterplot jitterred, plot beberapa baris atau yang lainnya? Haruskah seseorang menunjukkan nilai atau persentase absolut? Sunting: Atau seperti yang @forecaster …

22 data-visualization  contingency-tables 

Saya bertanya-tanya apa perbedaan teoretis antara Tes Wilcoxon Rank-Sum dan Tes Wilcoxon Signed-Rank menggunakan observasi berpasangan. Saya tahu bahwa Uji Wilcoxon Rank-Sum memungkinkan untuk jumlah pengamatan yang berbeda dalam dua sampel yang berbeda, sedangkan uji Signed-Rank untuk sampel berpasangan tidak memungkinkan, namun keduanya tampaknya menguji hal yang sama menurut pendapat …

22 paired-data  wilcoxon-signed-rank  wilcoxon-mann-whitney 

Saya tertarik untuk memperkirakan kepadatan dari variabel acak kontinu XXX . Salah satu cara melakukan ini yang saya pelajari adalah penggunaan Kernel Density Estimation. Tapi sekarang saya tertarik pada pendekatan Bayesian yang mengikuti garis berikut. Saya awalnya percaya bahwa XXX mengikuti distribusi FFF . Aku mengambil nnn pembacaan . Apakah …

22 bayesian  pdf  nonparametric-bayes  dirichlet-process