Statistik dan Big Data

Situasi Saya memiliki dataset dengan satu variabel dependen dan satu variabel bebas x . Saya ingin mencocokkan regresi linear piecewise berkelanjutan dengan k breakpoint diketahui / diperbaiki terjadi di ( a 1 , a 2 , ... , a k ) . Breakpoins dikenal tanpa ketidakpastian, jadi saya tidak ingin …

9 r  regression  standard-error  piecewise-linear 

Saya mencoba mengambil sampel dari posterior yang memiliki banyak mode, terutama yang saling berjauhan menggunakan MCMC. Tampaknya dalam kebanyakan kasus, hanya satu dari mode ini yang mengandung 95% hp yang saya cari. Saya mencoba menerapkan solusi berdasarkan simulasi tempered tetapi ini tidak memberikan hasil yang memuaskan karena dalam praktiknya dari …

9 sampling  mcmc  inference  convergence 

Saya mencoba menghitung kemungkinan marginal untuk model statistik dengan metode Monte Carlo: f( x ) = ∫f( x ∣ θ ) π( θ )dθf(x)=∫f(x∣θ)π(θ)dθf(x) = \int f(x\mid\theta) \pi(\theta)\, d\theta Kemungkinan berperilaku baik - halus, log-cekung - tetapi berdimensi tinggi. Saya sudah mencoba sampel penting, tetapi hasilnya tidak bagus dan sangat …

9 monte-carlo  likelihood  marginal 

EDIT: Sejak membuat posting ini, saya telah menindaklanjuti dengan posting tambahan di sini . Ringkasan teks di bawah ini: Saya sedang mengerjakan model dan telah mencoba regresi linier, transformasi Box Cox dan GAM tetapi belum membuat banyak kemajuan Dengan menggunakan R, saya saat ini sedang mengerjakan model untuk memprediksi keberhasilan …

9 r  multiple-regression  data-transformation  nonlinear-regression  gam 

Sebagian besar ini adalah latar belakang, lewati sampai akhir jika Anda sudah cukup tahu tentang campuran proses Dirichlet . Misalkan saya pemodelan beberapa data berasal dari campuran proses Dirichlet, yaitu membiarkan dan tergantung pada F mengasumsikan Y i i i d ~ ∫ f ( y | θ ) F …

9 bayesian  nonparametric-bayes 

Katakanlah saya sedang melakukan analisis melihat ukuran kesehatan tertentu. Saya tertarik pada perbedaan dalam ukuran antara pasien dan kontrol dan apakah perbedaannya berbeda dari 0. Ada penelitian di masa lalu yang melihat pertanyaan penelitian dan ukuran kesehatan saya yang sama, tetapi dalam sampel pasien yang berbeda. Dalam analisis Bayesian saya, …

9 bayesian  meta-analysis  case-control-study 

Saya ingin membahas topik ini tetapi belajar dari kertas putih dan tutorial sulit karena ada banyak celah yang biasanya diisi oleh buku pelajaran. Jika itu penting, saya memiliki latar belakang matematika yang relatif kuat seperti yang saya lakukan pada Ph.D. dalam matematika terapan (CFD menjadi lebih tepat).

9 bayesian  nonparametric  references  nonparametric-bayes 

Benarkah berdasarkan asumsi Gauss Markov, metode kuadrat terkecil memberikan estimasi yang efisien dan tidak bias? Begitu: E(ut)=0E(ut)=0E(u_t)=0 untuk semuattt E(utus)=σ2E(utus)=σ2E(u_tu_s)=\sigma^2 untukt=st=st=s E(utus)=0E(utus)=0E(u_tu_s)=0 untukt≠st≠st\neq s dimana adalah residu.uuu

9 regression  self-study  least-squares 

Saya menggunakan analisis kelas laten untuk mengelompokkan sampel pengamatan berdasarkan satu set variabel biner. Saya menggunakan R dan paket poLCA. Di LCA, Anda harus menentukan jumlah cluster yang ingin Anda temukan. Dalam praktiknya, orang biasanya menjalankan beberapa model, masing-masing menentukan jumlah kelas yang berbeda, dan kemudian menggunakan berbagai kriteria untuk …

9 data-visualization  mixture  latent-class 

Saya mencoba mempelajari model regresi linier. Namun, saya memiliki beberapa kebingungan terkait dengan normalisasi data. Saya telah menormalkan fitur / prediktor menjadi nol mean dan varian unit. Apakah saya perlu melakukan hal yang sama untuk target. Jika demikian mengapa?

9 regression  multiple-regression  normalization 

Di R, jika saya memanggil lm()fungsi dengan cara berikut: lm.1 = lm(response ~ var1 + var2 + var1 * var2) summary(lm.1) Ini memberi saya model linear dari variabel respons dengan var1, var2dan interaksi di antara mereka. Namun, bagaimana tepatnya kita menafsirkan istilah interaksi secara numerik? Dokumentasi mengatakan ini adalah "persilangan" …

9 r  regression 

Untuk tabel kontingensi 2 oleh 2, beberapa mengatakan uji eksak Fisher menggunakan hitung dalam (1,1) sel dalam tabel sebagai statistik uji, dan di bawah hipotesis nol, akan memiliki distribusi hipergeometrik. X 1 , 1X1,1X1,1X_{1,1}X1,1X1,1X_{1,1} Beberapa mengatakan statistik pengujiannya adalah di mana adalah rata-rata dari distribusi hypergeometric (disebutkan di atas) di …

9 hypothesis-testing  fishers-exact  hypergeometric 

Saya membaca teorema Guass-Markov di wikipedia , dan saya berharap seseorang dapat membantu saya mencari tahu poin utama teorema tersebut. Kami menganggap model linear, dalam bentuk matriks, diberikan oleh: dan kami sedang mencari BLUE, β .y=Xβ+ηy=Xβ+η y = X\beta +\eta βˆβ^ \widehat\beta Sesuai dengan ini , saya akan label yang …

9 regression  least-squares  mse  blue 

Saya hanya ingin tahu tentang hipotesis nol dari tes Mann-Whitney U. Saya sering melihatnya menyatakan bahwa hipotesis nol adalah bahwa dua populasi memiliki distribusi yang sama. Tapi saya berpikir - jika saya memiliki dua populasi normal dengan rata-rata yang sama tetapi sangat tidak sama, tes Mann-Whitney mungkin tidak akan mendeteksi …

9 hypothesis-testing  variance  wilcoxon-mann-whitney 

Saya memiliki model regresi linear dengan satu variabel kategoris (laki-laki & perempuan) dan satu variabel kontinu .BSEBUAHSEBUAHABBB Saya mengatur kode kontras dalam R dengan options(contrasts=c("contr.sum","contr.poly")). Dan sekarang saya memiliki tipe III jumlah kuadrat untuk , , dan interaksinya (A: B) menggunakan .BSEBUAHSEBUAHABBBdrop1(model, .~., test="F") Apa yang saya terjebak dengan adalah …

9 regression  anova  sums-of-squares