Statistik dan Big Data

Saya memiliki pengalaman praktis yang cukup baik dengan sampel Metropolis-Hastings dan Gibbs, tetapi saya ingin mendapatkan pemahaman matematis yang lebih baik tentang algoritma ini. Apa saja buku teks atau artikel bagus yang membuktikan kebenaran sampler ini (lebih banyak algoritme juga bagus)?

10 bayesian  references  mcmc 

Pertimbangkan konteks pengelompokan dendrogram. Mari kita sebut perbedaan asli jarak antara individu. Setelah membuat dendrogram, kami mendefinisikan ketidaksamaan cophenetic antara dua individu sebagai jarak antara kelompok-kelompok di mana individu-individu ini berada. Beberapa orang menganggap bahwa korelasi antara perbedaan asli dan perbedaan cophenetic (disebut korelasi cophenetic ) adalah "indeks kesesuaian" dari …

10 clustering  classification 

Saya telah menemukan banyak formula yang menunjukkan bagaimana menemukan waktu bertahan hidup rata-rata untuk distribusi eksponensial atau Weibull, tetapi saya kurang beruntung untuk fungsi bertahan hidup normal-log. Diberi fungsi bertahan hidup sebagai berikut: S( t ) = 1 - ϕ [ ln( t ) - μσ]S(t)=1−ϕ[ln⁡(t)−μσ]S(t) = 1 - \phi …

10 survival 

Saya mencoba menemukan cara terbaik untuk memperkirakan jumlah pembayaran untuk agen penagihan. Variabel dependen hanya non-nol ketika pembayaran telah dilakukan. Dapat dimengerti, ada banyak sekali angka nol karena kebanyakan orang tidak dapat dihubungi atau tidak dapat membayar kembali utangnya. Ada juga korelasi negatif yang sangat kuat antara jumlah hutang dan …

10 regression  predictive-models  logistic 

Model koin bias biasanya memiliki satu parameter . Salah satu cara untuk memperkirakan dari serangkaian undian adalah dengan menggunakan beta sebelum dan menghitung distribusi posterior dengan kemungkinan binomial.θ=P(Head|θ)θ=P(Head|θ)\theta = P(\text{Head} | \theta)θθ\theta Dalam pengaturan saya, karena beberapa proses fisik yang aneh, sifat koin saya perlahan berubah dan menjadi fungsi waktu …

10 time-series  bayesian  kalman-filter 

Apakah ada alasan intuitif untuk efek acak menyusut menuju nilai yang diharapkan dalam model campuran linier umum?

10 mixed-model  random-effects-model 

Saya perhatikan bahwa ketika saya mencoba untuk menemukan nilai kritis untuk Mann-Whitney U menggunakan R, nilainya selalu 1 + nilai kritis. Misalnya, untuk , nilai kritis (berekor dua) adalah 8, sedangkan untuk , the (berekor dua) ) nilai kritis adalah 22 (periksa tabel ), tetapi:α=.05,n=10,m=5α=.05,n=10,m=5\alpha=.05, n = 10, m = …

10 r  hypothesis-testing  nonparametric  wilcoxon-mann-whitney 

Saya telah memasang model lognormal menggunakan R dengan satu set data. Parameter yang dihasilkan adalah: meanlog = 4.2991610 sdlog = 0.5511349 Saya ingin mentransfer model ini ke Scipy, yang belum pernah saya gunakan sebelumnya. Menggunakan Scipy, saya bisa mendapatkan bentuk dan skala 1 dan 3.1626716539637488e + 90 - angka yang …

10 r  python  numpy  scipy 

Saya melakukan ANOVA satu arah (per spesies) dengan kontras khusus. [,1] [,2] [,3] [,4] 0.5 -1 0 0 0 5 1 -1 0 0 12.5 0 1 -1 0 25 0 0 1 -1 50 0 0 0 1 di mana saya membandingkan intensitas 0,5 melawan 5, 5 melawan 12,5 …

10 r  anova  contrasts  generalized-least-squares 

Ini adalah data pelatihan saya: 200.000 Contoh x 10.000 Fitur. Jadi matriks data pelatihan saya adalah - 200.000 x 10.000. Saya berhasil menyimpan ini dalam file datar tanpa memiliki masalah memori dengan menyimpan setiap dataset satu per satu (satu contoh demi satu) karena saya menghasilkan fitur untuk setiap contoh. Tapi, …

10 machine-learning  dataset  algorithms  python 

Asumsikan saya memiliki 400 siswa (yang ada di universitas besar) yang harus melakukan proyek ilmu komputer, dan bahwa mereka harus bekerja sendiri (tidak ada kelompok siswa). Contoh proyek dapat membiarkan "menerapkan algoritma transformasi fourier cepat di fortran" (Saya tahu, itu tidak terdengar seksi tetapi itu membuat pertanyaan saya lebih sederhana). …

10 hypothesis-testing  clustering 

Model regresi Poisson nol meningkat didefinisikan untuk sampel oleh dan selanjutnya mengasumsikan bahwa parameter dan memenuhiY i = { 0 dengan probabilitas p i + ( 1 - p i ) e - λ i k dengan probabilitas ( 1 - p i ) e - λ i λ k …

10 generalized-linear-model  maximum-likelihood  poisson-distribution  expectation-maximization  latent-variable 

Pertanyaan : Bagaimana saya bisa membuat tes untuk menentukan apakah frekuensi "gunung" yang diamati (Gambar 1) secara signifikan lebih rendah di pegunungan pusat ke selatan daripada yang diperkirakan (Gambar 2) oleh model pemilihan ekologis ( lihat detail di bawah )? Masalah : Pikiran awal saya adalah untuk regresi residual model …

10 hypothesis-testing  statistical-significance  residuals  gam 

Saya mencoba menganalisis lead-lag antara time series dua harga saham. Dalam analisis deret waktu reguler, kita dapat melakukan Cross Correlaton, VECM (Granger Causality). Namun bagaimana seseorang menangani hal yang sama dalam rangkaian waktu yang tidak beraturan. Hipotesisnya adalah bahwa salah satu instrumen memimpin yang lain. Saya punya data untuk kedua …

10 r  time-series  cross-correlation  unevenly-spaced-time-series 

Saya ingin memodelkan dua variabel waktu yang berbeda, beberapa di antaranya sangat collinear dalam data saya (usia + kohort = periode). Melakukan ini saya mengalami beberapa masalah dengan lmerdan dan interaksi poly(), tetapi mungkin tidak terbatas lmer, saya mendapat hasil yang sama dengan nlmeIIRC. Jelas, pemahaman saya tentang apa fungsi …

10 r  lme4-nlme  polynomial