Statistik dan Big Data

Sebelum memposting pertanyaan ini, saya telah menelusuri pertanyaan-pertanyaan lain di Stack ini, dan ini mungkin akan menjadi jalan-jalan di taman untuk siapa saja yang membacanya! Tetapi deskripsi Stack ini termasuk analisis dan visualisasi data, jadi saya harap ini ada di tempat yang tepat! </preapology> Saya menggunakan Raspberry Pi dengan magnet …

8 data-visualization  dataset 

Katakanlah saya punya vektor acak Y∼N(Xβ,Σ)Y∼N(Xβ,Σ)Y\sim N(X\beta,\Sigma) dan Σ≠σ2IΣ≠σ2I\Sigma\neq\sigma^2 I. Yaitu, elemen dariYYY (diberikan XβXβX\beta) berkorelasi. Penaksir alami dari ββ\beta adalah (X′Σ−1X)−1X′Σ−1Y(X′Σ−1X)−1X′Σ−1Y(X'\Sigma^{-1}X)^{-1}X'\Sigma^{-1}Y, dan var(β^)=(X′Σ−1X)−1var(β^)=(X′Σ−1X)−1\text{var}(\hat{\beta})=(X'\Sigma^{-1}X)^{-1} Dalam konteks desain, eksperimen dapat mengutak-atik desain yang akan menghasilkan perbedaan XXX dan ΣΣ\Sigma dengan demikian berbeda var(β^)var(β^)\text{var}(\hat{\beta}). Untuk memilih desain yang optimal, saya melihat bahwa …

8 experiment-design  covariance-matrix  determinant 

Sebagai bagian dari mereproduksi model yang saya jelaskan sebagian dalam pertanyaan tentang Stack Overflow ini, saya ingin mendapatkan sebidang distribusi posterior. Model (spasial) menggambarkan harga jual beberapa properti sebagai distribusi Bernoulli tergantung pada apakah properti itu mahal (1) atau murah (0). Dalam persamaan: ysaya∼ Bernoulli (halsaya)ysaya∼Bernoulli(halsaya)y_{i} \sim \text{Bernoulli}(p_{i}) halsaya∼logit- 1(b0+b1LivingArea …

8 prediction  spatial  posterior  hierarchical-bayesian  pymc 

Saya mengalami masalah dengan memeriksa asumsi untuk variabel kontinu dalam model bahaya proporsional. Jika variabel adalah faktor dengan banyak level, maka saya bisa menggunakan tes logrank atau memeriksa apakah log (-log) transformasi kurva survival adalah paralel. Tetapi bagaimana jika suatu variabel kontinu? Apakah metode itu masih valid? Apakah tes Schoenfeld …

8 survival  cox-model  assumptions  hazard 

Saya mencoba membuktikan ketidaksetaraan berikut: EDIT: Hampir segera setelah saya memposting pertanyaan ini, saya menemukan bahwa ketidaksetaraan saya diminta untuk membuktikan disebut ketidaksetaraan Cantelli. Ketika saya menulis ini, saya tidak menyadari ketidaksetaraan khusus ini memiliki nama. Saya telah menemukan banyak bukti melalui Google, jadi saya tidak benar-benar membutuhkan solusi lagi. …

8 self-study  mathematical-statistics  probability-inequalities  indicator-function 

Saya mencari makalah atau contoh penelitian lain di mana analisis statistik dilakukan akan berada dalam genggaman seseorang yang telah melakukan kursus statistik pengantar. Idealnya dataset juga tersedia online. Idenya adalah untuk memberikan ini kepada siswa dan contoh yang dapat mereka ikuti dan buat kembali.

8 self-study  references 

Jika kita memilih nilai parameter yang berbeda λλ\lambda, kita bisa mendapatkan solusi dengan tingkat sparsity yang berbeda. Apakah ini berarti jalur regularisasi adalah bagaimana memilih koordinat yang bisa mendapatkan konvergensi lebih cepat? Saya agak bingung walaupun saya sering mendengar tentang sparsity. Selain itu, dapatkah Anda memberikan deskripsi sederhana tentang solusi …

8 lasso  regularization 

Apakah ada cara metodis untuk membandingkan arah, besaran, dll dari hasil PCA untuk sampel berbeda yang diambil dari populasi yang sama? Saya membiarkan sifat tes ini dengan sengaja tidak jelas karena saya ingin mendengar semua berbagai kemungkinan ... misalnya mungkin ada (dan saya berspekulasi di sini) tes yang membandingkan ukuran …

8 hypothesis-testing  pca  variance  inference 

Saya telah menemukan istilah keluarga eksponensial . Bernoulli, Gaussian, dan banyak lagi distribusi berada di bawah keluarga eksponensial ini. Apa yang akan menjadi kesamaan di antara mereka?

8 terminology  exponential-family 

Jadi saya menyadari ini telah ditanyakan sebelumnya: misalnya Apa kasus penggunaan terkait dengan analisis cluster metrik jarak yang berbeda? tetapi saya telah menemukan jawaban yang agak kontradiktif dengan apa yang disarankan harus dimungkinkan dalam literatur. Baru-baru ini saya telah membaca dua makalah yang menyebutkan menggunakan algoritma kmeans dengan metrik lain, …

8 clustering  k-means  metric 

Ketika saya menggunakan model-model regresi, saya merasa curiga untuk gagal dalam asumsi asosiasi linier; sebaliknya saya ingin mengeksplorasi bentuk fungsional hubungan antara variabel dependen dan penjelas menggunakan regresi smoothing nonparametric (misalnya model aditif umum , lowess / lowess , running line smoothers , dll.) sebelum memperkirakan model parametrik menggunakan, jika …

8 cross-validation  nonparametric-regression 

Saya membaca pertanyaan ini , dan berpikir untuk mensimulasikan jumlah yang diperlukan. Masalahnya adalah sebagai berikut: JikaAAA dan BBB apakah standar normal, apa E(A2|A+B)E(A2|A+B)E(A^2|A+B)? Jadi saya ingin mensimulasikanE(A2|A+B)E(A2|A+B)E(A^2|A+B). (untuk nilai yang dipilih dariA+BA+BA+B) Saya mencoba kode berikut untuk mencapai ini: n <- 1000000 x <- 1 # the sum of …

8 r  simulation  monte-carlo  conditional-expectation 

Pertama mari kita mensimulasikan beberapa data untuk regresi logistik dengan bagian-bagian tetap dan acak: set.seed(1) n <- 100 x <- runif(n) z <- sample(c(0,1), n, replace=TRUE) b <- rnorm(2) beta <- c(0.4, 0.8) X <- model.matrix(~x) Z <- cbind(z, 1-z) eta <- X%*%beta + Z%*%b pr <- 1/(1+exp(-eta)) y <- …

8 generalized-linear-model  maximum-likelihood  glmm  mixed-model  numerical-integration 

Saya mencoba memahami perbedaan antara menguji hipotesis nol (yaitu menguji bahwa probabilitas "tujuan" adalah sama di 2 populasi yang berbeda, mirip dengan prop.test dalam R) tes A / B menggunakan formula bayesian seperti dijelaskan di sini: http://www.evanmiller.org/bayesian-ab-testing.html Apakah ada perbedaan? Apakah yang lebih disukai? Masalah yang saya hadapi terlihat seperti …

8 hypothesis-testing  bayesian  proportion  ab-test 

Misalkan adalah -vektor yang tidak diketahui , dan seseorang mengamati . Saya ingin menghitung interval kepercayaan pada kuantitas acak , hanya berdasarkan pada diamati dan parameter yang diketahui . Yaitu, untuk , temukan sedemikian rupa sehingga .a⃗ a→\vec{a}pppb⃗ ∼N(a⃗ ,I)b→∼N(a→,I)\vec{b} \sim \mathcal{N}\left(\vec{a}, I\right)b⃗ ⊤a⃗ b→⊤a→\vec{b}^{\top} \vec{a}b⃗ b→\vec{b}pppα∈(0,1)α∈(0,1)\alpha \in (0,1)c(b⃗ ,p,α)c(b→,p,α)c(\vec{b}, …

8 confidence-interval  multivariate-analysis  chi-squared  non-central