Statistik dan Big Data

Terkunci . Pertanyaan ini dan jawabannya dikunci karena pertanyaannya di luar topik tetapi memiliki makna historis. Saat ini tidak menerima jawaban atau interaksi baru. Saya memiliki grafik seperti ini: Kode R untuk menghasilkannya adalah: DF <- data.frame(date = as.Date(runif(100, 0, 800),origin="2005-01-01"), outcome = rbinom(100, 1, 0.1)) DF <- DF[order(DF$DateVariable),] #Sort …

15 r  data-visualization  ggplot2 

Pertimbangkan deret waktu sederhana: > tp <- seq_len(10) > tp [1] 1 2 3 4 5 6 7 8 9 10 kita dapat menghitung matriks adjacency untuk deret waktu ini yang mewakili hubungan temporal antar sampel. Dalam menghitung matriks ini, kami menambahkan situs imajiner pada waktu 0 dan tautan antara …

15 time-series  matrix-decomposition  svd 

Misalkan saya memiliki sampel dari dua populasi yang berbeda. Jika saya mengukur berapa lama setiap anggota untuk melakukan tugas, saya dapat dengan mudah memperkirakan rata-rata dan varians dari setiap populasi. Jika sekarang saya berhipotesiskan pasangan acak dengan satu individu dari setiap populasi, dapatkah saya memperkirakan probabilitas bahwa yang pertama lebih …

15 probability  normal-distribution 

Bagaimana saya bisa menghasilkan deret waktu biner sehingga: Probabilitas rata-rata mengamati 1 ditentukan (misalnya 5%); Probabilitas kondisional untuk mengamati 1 pada waktu diberi nilai pada t - 1 (katakanlah 30% jika nilai t - 1 adalah 1)?tttt−1t−1t-1t−1t−1t-1

15 time-series  random-variable  simulation  random-generation 

Saya memiliki pemahaman yang kabur tentang apa metode penyampaian pesan: sebuah algoritma yang membangun perkiraan untuk suatu distribusi dengan secara iteratif membangun perkiraan masing-masing faktor distribusi yang tergantung pada semua perkiraan semua faktor lainnya. Saya percaya bahwa keduanya adalah contoh Kelulusan Pesan Variasi dan Propagasi Harapan . Apa yang dimaksud …

15 distributions  bayesian  references  algorithms 

Saya mencoba menggunakan fungsi ' density ' di R untuk melakukan estimasi kepadatan kernel. Saya mengalami beberapa kesulitan menafsirkan hasil dan membandingkan berbagai dataset karena tampaknya area di bawah kurva belum tentu 1. Untuk setiap fungsi kepadatan probabilitas (pdf) , kita perlu memiliki area ∫ ∞ - ∞ ϕ ( …

15 r  estimation  pdf  kernel-smoothing  auc 

Katakanlah saya memiliki percobaan faktorial 2x2 sederhana yang ingin saya lakukan ANOVA. Seperti ini, misalnya: d <- data.frame(a=factor(sample(c('a1','a2'), 100, rep=T)), b=factor(sample(c('b1','b2'), 100, rep=T))); d$y <- as.numeric(d$a)*rnorm(100, mean=.75, sd=1) + as.numeric(d$b)*rnorm(100, mean=1.2, sd=1) + as.numeric(d$a)*as.numeric(d$b)*rnorm(100, mean=.5, sd=1) + rnorm(100); Dengan tidak adanya interaksi yang signifikan, secara default (yaitu contr.treatment) output dari …

15 r  anova  contrasts 

Baru-baru ini saya telah melakukan beberapa analisis tentang efek reputasi pada upvote (lihat posting blog ), dan kemudian saya punya beberapa pertanyaan tentang analisis dan grafik yang mungkin lebih mencerahkan (atau lebih tepat). Jadi beberapa pertanyaan (dan jangan ragu untuk menanggapi siapa pun khususnya dan mengabaikan yang lain): Dalam inkarnasi …

15 data-visualization  large-data  fixed-effects-model 

Apa pro dan kontra dari belajar tentang sifat distribusi secara algoritmik (melalui simulasi komputer) versus matematis? Sepertinya simulasi komputer dapat menjadi metode pembelajaran alternatif, terutama bagi siswa baru yang tidak merasa kuat dalam kalkulus. Juga tampaknya bahwa simulasi pengkodean dapat menawarkan pemahaman konsep distribusi yang lebih awal dan lebih intuitif.

15 distributions  algorithms  teaching 

Apakah ada alasan apa yang dapat saya pikirkan, untuk mengubah data dengan akar kuadrat? Maksud saya yang selalu saya amati adalah bahwa R ^ 2 meningkat. Tapi ini mungkin hanya karena memusatkan data! Pikiran apa pun dihargai!

15 regression  data-transformation  variance-stabilizing 

Memilih parameter parameter distribusi gamma Γ(b,c)Γ(b,c)\Gamma(b,c) oleh pdf g(x;b,c)=1Γ(c)xc−1bce−x/bg(x;b,c)=1Γ(c)xc−1bce−x/bg(x;b,c) = \frac{1}{\Gamma(c)}\frac{x^{c-1}}{b^c}e^{-x/b} Perbedaan Kullback-Leibler antaraΓ(bq,cq)Γ(bq,cq)\Gamma(b_q,c_q)danΓ(bp,cp)Γ(bp,cp)\Gamma(b_p,c_p)diberikan oleh [1] sebagai KLGa(bq,cq;bp,cp)=(cq−1)Ψ(cq)−logbq−cq−logΓ(cq)+logΓ(cp)+cplogbp−(cp−1)(Ψ(cq)+logbq)+bqcqbpKLGa(bq,cq;bp,cp)=(cq−1)Ψ(cq)−log⁡bq−cq−log⁡Γ(cq)+log⁡Γ(cp)+cplog⁡bp−(cp−1)(Ψ(cq)+log⁡bq)+bqcqbp\begin{align} KL_{Ga}(b_q,c_q;b_p,c_p) &= (c_q-1)\Psi(c_q) - \log b_q - c_q - \log\Gamma(c_q) + \log\Gamma(c_p)\\ &\qquad+ c_p\log b_p - (c_p-1)(\Psi(c_q) + \log b_q) + \frac{b_qc_q}{b_p} \end{align} Saya menduga bahwa Ψ(x):=Γ′(x)/Γ(x)Ψ(x):=Γ′(x)/Γ(x)\Psi(x):= \Gamma'(x)/\Gamma(x) adalah fungsi digamma . …

15 kullback-leibler  gamma-distribution  exponential-family 

Ini semacam pertanyaan terbuka tapi saya ingin jelas. Mengingat populasi yang cukup Anda mungkin dapat belajar sesuatu (ini adalah bagian terbuka) tetapi apa pun yang Anda pelajari tentang populasi Anda, kapan itu bisa berlaku untuk anggota populasi? Dari apa yang saya pahami tentang statistik, itu tidak pernah berlaku untuk satu …

15 teaching  validity 

In gene expression studies using microarrays, intensity data has to be normalized so that intensities can be compared between individuals, between genes. Conceptually, and algorithmically, how does "quantile normalization" work, and how would you explain this to a non-statistician?

15 genetics  normalization  microarray 

Saya cukup akrab dengan model efek campuran (MEM), tetapi seorang rekan baru-baru ini bertanya kepada saya bagaimana perbandingannya dengan model pertumbuhan laten (LGM). Saya melakukan sedikit googling, dan tampaknya LGM adalah varian pemodelan persamaan struktural yang diterapkan pada keadaan di mana pengukuran berulang diperoleh dalam setiap level setidaknya satu efek …

15 mixed-model  panel-data 

Saya menemukan artikel oleh Hervé Abdi tentang SVD umum. Penulis menyebutkan: SVD umum (GSVD) menguraikan matriks persegi panjang dan memperhitungkan kendala akun yang dikenakan pada baris dan kolom matriks. GSVD memberikan estimasi kuadrat terkecil umum dari matriks yang diberikan oleh matriks peringkat yang lebih rendah dan karenanya, dengan pilihan kendala …

15 multivariate-analysis  svd