Statistik dan Big Data

Saya memiliki plot kotak dari 13 grup yang saya tampilkan dalam satu plot. Kelompok-kelompok tersebut memiliki populasi yang tidak seimbang dan tidak terdistribusi secara normal. Saya ingin menunjukkan pasangan mana yang secara statistik serupa (yaitu, memiliki nilai p kruskal.test <0,05) dengan meletakkan a, b, c, dll di atas kotak yang …

9 r  statistical-significance  boxplot 

Dalam R, bagaimana cara menentukan model lmer tanpa efek tetap global? Misalnya, jika saya mengatakan sesuatu seperti lmer(y ~ (1 | group) + (0 + x | group), data = my_df) model yang pas akan ysaya j= a +αsaya+βsayaxsaya jyij=a+αi+βixijy_{ij} = a + \alpha_{i} + \beta_{i} x_{ij} Bagaimana saya cocok …

9 r  mixed-model  lme4-nlme 

Pertanyaan ini sudah memiliki jawaban di sini : Informasi apa yang dimaksud dengan informasi Fisher? (3 jawaban) Ditutup 7 bulan lalu . Wikipedia memberi tahu kita bahwa skor memainkan peran penting dalam ketimpangan Cramér-Rao. Itu juga mengeluarkan definisi: V=∂∂θcatatanL ( θ ; X)V=∂∂θlog⁡L(θ;X)V = \frac{\partial}{\partial \theta} \log{L(\theta; X)} Namun, saya …

9 intuition  probability 

Apakah ada perbedaan di antara persyaratan berikut atau mereka sama? Bias Bias sistematik Kesalahan sistematis Jika ada beberapa perbedaan, mohon jelaskan. Bisakah kesalahan ini dikurangi ketika seseorang menambah ukuran sampel? UPDATE: Bidang minat saya adalah inferensi statistik. Maksud saya mengatakan bahwa bagaimana kita membedakan istilah ini sebagai ahli statistik.

9 measurement-error  bias 

Saya memiliki tipe data berikut. Saya telah mengevaluasi 10 orang yang masing-masing diulang 10 kali. Saya memiliki 10x10 matriks relasi (hubungan antara semua kombinasi individu). set.seed(1234) mydata <- data.frame (gen = factor(rep(1:10, each = 10)), repl = factor(rep(1:10, 10)), yld = rnorm(10, 5, 0.5)) Gen ini adalah varietas tanaman yang …

9 r  mixed-model 

Saya punya dua pertanyaan terkait dengan konsep "konsistensi belajar" bagi mereka yang akrab dengan teori pembelajaran statistik a la Vapnik. Pertanyaan 1. Proses pembelajaran disebut konsisten (untuk kelas fungsi dan distribusi probabilitas ) jikaFF\mathcal{F}PPP Re m p(f∗l)→Pinff∈ FR ( f) ,l → ∞Remp(fl∗)→Pinff∈FR(f),l→∞ R_{emp}(f^*_l) \buildrel P \over \to \inf_{f \in …

9 machine-learning 

Andrew Gelman, dalam buku yang ditulisnya dengan Jennifer Hill, menyatakan dalam Bab 9, (bagian 9.3), di halaman 177: Hanya tepat untuk mengontrol prediktor pra-perawatan, atau, lebih umum, prediktor yang tidak akan terpengaruh oleh perawatan (seperti ras atau usia). Poin ini akan diilustrasikan secara lebih konkret di Bagian 9.7 ... Dan …

9 clinical-trials 

Saya menggunakan uji dua sampel Kolmogorov-Smirnov untuk membandingkan distribusi, dan saya perhatikan nilai- sering dilaporkan sebagai statistik uji. Bagaimana nilai- ini ditentukan? Saya tahu ini probabilitas mendapatkan hasil setidaknya sebesar yang diperoleh, tetapi bagaimana nilai- ini ditentukan mengingat ini adalah tes nonparametrik? Yaitu, kita tidak dapat mengasumsikan fluktuasi Gaussian dalam …

9 kolmogorov-smirnov 

Pada gambar berikut di sebelah kiri dua realisasi proses titik dengan kepadatan (intensitas) dan yang berbeda sedang dicampur dengan pusat area yang dimiliki untuk membangun proses titik di tengah dengan intensitas . Kemudian poin yang dipilih secara acak sebagai dua set diekstraksi dari itu seperti yang ditunjukkan di sisi kanan. …

9 poisson-distribution  point-process 

Saya bekerja dengan cara saya (belajar sendiri) melalui buku ET Jaynes ' Probability Theory - The Logic of Science Masalah Asli Latihan 2.1 mengatakan: "Apakah mungkin untuk menemukan formula umum untukp(C|A+B)p(C|A+B)p(C|A+B) analog dengan [rumusnya p(A+B|C)=p(A|C)+p(B|C)−p(AB|C)p(A+B|C)=p(A|C)+p(B|C)−p(AB|C)p(A+B|C)=p(A|C)+p(B|C)-p(AB|C)] dari produk dan aturan penjumlahan. Jika demikian, turunkan; jika tidak, jelaskan mengapa ini tidak bisa …

9 probability  bayesian  self-study  conditional-probability 

Saya mengembangkan sistem perdagangan otomatis untuk pasar saham. Tantangan besar adalah overfitting. Dapatkah Anda merekomendasikan beberapa sumber yang menggambarkan metode untuk mengukur dan menghindari overfitting? Saya mulai dengan set pelatihan / validasi, tetapi set validasi selalu ternoda. Juga, data deret waktu selalu berubah karena pasar selalu berubah. Bagaimana Anda mengukur …

9 time-series  machine-learning  dataset  data-mining  validation 

Saya baru saja membaca bahwa Anda sekarang dapat membeli komputer kuantum (meskipun hanya ada satu yang terjual sejauh ini!). Apakah komputasi kuantum memiliki aplikasi dalam statistik? {sunting - untuk keperluan pertanyaan, mari kita asumsikan bahwa komputer kuantum akhirnya (dalam beberapa bentuk) akan berfungsi}

9 theory 

Saya menjalankan Tes AB pada halaman yang hanya menerima kunjungan 5k per bulan. Akan terlalu lama untuk mencapai tingkat lalu lintas yang diperlukan untuk mengukur perbedaan + -1% antara pengujian dan kontrol. Saya telah mendengar bahwa saya dapat menggunakan statistik Bayesian untuk memberi saya peluang bagus untuk menentukan apakah tesnya …

9 bayesian  hypothesis-testing  ab-test 

Misalkan, dalam penelitian terhadap 15 subjek, variabel respons (res) dimodelkan dengan dua variabel penjelas, satu (level) dikategorikan dengan 5 level dan lainnya (waktu respons: RT) kontinu. Dengan lmer dalam paket lme4 dari R, saya punya: fm1 <- lmer(res ~ level * RT + (level-1 | subject), data=mydata) anova(fm1) Df Sum …

9 mixed-model  lme4-nlme 

Merumuskan model matematika untuk suatu masalah adalah salah satu aspek statistik yang paling subyektif, tetapi juga salah satu yang paling penting. Apa referensi terbaik yang berhubungan dengan topik penting ini tetapi sering diabaikan? Dan ahli statistik terkenal mana yang mengatakan sesuatu, "Biarkan data memandu model?"

9 modeling  references