Statistik dan Big Data

Jumlah kecelakaan per hari adalah variabel acak Poisson dengan parameter , pada 10 hari yang dipilih secara acak jumlah kecelakaan diamati sebagai 1,0,1,1,2,0,2,0,0,1, apa yang akan menjadi penaksir yang tidak bias dari ?e λλλ\lambdaeλeλe^{\lambda} Saya mencoba mencoba dengan cara ini: Kita tahu bahwa , tetapi . Lalu apa yang akan …

9 self-study  estimation  poisson-distribution 

Seorang teman saya baru-baru ini bertanya apa yang begitu biasa, tentang kotak paling tidak biasa. Kami sepertinya tidak berhasil dalam diskusi. Kami berdua sepakat bahwa OLS adalah kasus khusus dari model linier, ia memiliki banyak kegunaan, diketahui dengan baik, dan merupakan kasus khusus dari banyak model lainnya. Tetapi apakah ini …

9 regression  linear-model  least-squares  terminology 

Hal ini juga diketahui bahwa variabel acak menjadi Gamma didistribusikan dengan bilangan bulat bentuk parameter setara dengan jumlah kuadrat dari terdistribusi normal variabel acak.kkkkkkk Tapi apa yang bisa saya katakan tentang variabel acak terdistribusi gamma dengan non-integer ? Apakah ada interpretasi lain selain distribusi Gamma?kkk

9 probability  gamma-distribution 

Singkatnya pertanyaan saya: apakah ada metode untuk meningkatkan waktu berjalan R MICE (data imputasi)? Saya bekerja dengan satu set data (30 variabel, 1,3 juta baris) yang berisi (secara acak) data yang hilang. Sekitar 8% dari pengamatan di sekitar 15 dari 30 variabel mengandung NAs. Untuk memasukkan data yang hilang, saya …

9 r  multiple-imputation  mice 

Dalam terkenal percobaan Fisher yang diamati adalah jumlah dikoreksi menduga cup memiliki dua jenis cup dan . Biasanya menarik untuk menghitung daerah kritis untuk menolak hipotesis nol (wanita itu menebak secara acak) mengingat ukuran tes . Ini mudah dilakukan dengan menggunakan distribusi hypergeometric. Dengan cara yang sama saya dapat menghitung …

9 hypothesis-testing  power  fishers-exact 

Saya terbiasa mengetahui "derajat kebebasan" sebagai n−rn−rn - r , di mana Anda memiliki model linier dengan , matriks desain dengan peringkat , , dengan , .y=Xβ+ϵy=Xβ+ϵ\mathbf{y} = \mathbf{X}\boldsymbol{\beta} + \boldsymbol{\epsilon}y∈Rny∈Rn\mathbf{y} \in \mathbb{R}^nX∈Mn×p(R)X∈Mn×p(R)\mathbf{X} \in M_{n \times p}(\mathbb{R})rrrβ∈Rpβ∈Rp\boldsymbol{\beta} \in \mathbb{R}^pϵ∈Rnϵ∈Rn\boldsymbol{\epsilon} \in \mathbb{R}^nϵ∼N(0,σ2In)ϵ∼N(0,σ2In)\boldsymbol{\epsilon} \sim \mathcal{N}(\mathbf{0}, \sigma^2 \mathbf{I}_n)σ2>0σ2>0\sigma^2 > 0 Dari apa yang …

9 t-test  degrees-of-freedom 

Dapatkah seseorang memberi tahu saya cara mensimulasikan , di mana , menggunakan lemparan koin (sebanyak yang Anda perlukan) dengan ?Bernoulli(ab)Bernoulli(ab)\mathrm{Bernoulli}\left({a\over b}\right)a,b∈Na,b∈Na,b\in \mathbb{N}P(H)=pP(H)=pP(H)=p Saya sedang berpikir untuk menggunakan sampel penolakan, tetapi tidak bisa mengatasinya.

9 probability  simulation  bernoulli-distribution  rejection-sampling 

Saya sedang mengerjakan pekerjaan rumah di Pohon Keputusan, dan salah satu pertanyaan yang harus saya jawab adalah "Mengapa estimator dibangun dari pohon yang bias, dan bagaimana mengantongi membantu mengurangi variansnya?". Sekarang, saya tahu bahwa model overfitted cenderung memiliki bias yang sangat rendah, karena mereka mencoba menyesuaikan semua poin data. Dan, …

9 cart  bias 

Apakah ada hubungan matematis antara: cosinus kesamaan sim ( A , B )sim(A,B)\operatorname{sim}(A, B) dari dua vektor AAA dan BBB , dan sim kesamaan siminus ( M A , M B )sim(MA,MB)\operatorname{sim}(MA, MB) dari AAA dan BBB , diskalakan secara tidak seragam melalui matriks M yang diberikan MM? Di sini …

9 linear-algebra  cosine-similarity 

Dalam mereka kertas autoencoders untuk klasifikasi teks Hinton dan Salakhutdinov menunjukkan plot yang dihasilkan oleh 2-dimensi LSA (yang berkaitan erat dengan PCA): . Menerapkan PCA ke data dimensi sedikit tinggi yang benar-benar berbeda, saya memperoleh plot yang mirip: (kecuali dalam hal ini saya benar-benar ingin tahu apakah ada struktur internal). …

9 data-visualization  pca 

Saat ini saya sedang melihat makalah dari model efek acak proses Dirichlet dan spesifikasi model adalah sebagai berikut: mana adalah parameter skala dan adalah ukuran dasar. Kemudian di makalah, disarankan agar kami mengintegrasikan fungsi di atas ukuran dasar seperti Apakah ukuran dasar dalam proses Dirichlet cdf atau itu pdf? Apa …

9 bayesian  dirichlet-distribution  dirichlet-process  nonparametric-bayes  measure-theory 

Pertimbangkan kerugian kuadratik , dengan diberikan sebelumnya mana . Misalkan kemungkinan. Temukan estimator Bayes .L(θ,δ)=(θ−δ)2L(θ,δ)=(θ−δ)2L(\theta,\delta)=(\theta-\delta)^2π(θ)π(θ)\pi(\theta)π(θ)∼U(0,1/2)π(θ)∼U(0,1/2)\pi(\theta)\sim U(0,1/2)f(x|θ)=θxθ−1I[0,1](x),θ>0f(x|θ)=θxθ−1I[0,1](x),θ>0f(x|\theta)=\theta x^{\theta-1}\mathbb{I}_{[0,1]}(x), \theta>0δπδπ\delta^\pi Pertimbangkan kehilangan kuadratik tertimbang mana dengan prior . Biarkan menjadi kemungkinannya. Temukan estimator Bayes .Lw(θ,δ)=w(θ)(θ−δ)2Lw(θ,δ)=w(θ)(θ−δ)2L_w(\theta,\delta)=w(\theta)(\theta-\delta)^2w(θ)=I(−∞,1/2)w(θ)=I(−∞,1/2)w(\theta)=\mathbb{I}_{(-\infty,1/2)}π1(θ)=I[0,1](θ)π1(θ)=I[0,1](θ)\pi_1(\theta)=\mathbb{I}_{[0,1]}(\theta)f(x|θ)=θxθ−1I[0,1](x),θ>0f(x|θ)=θxθ−1I[0,1](x),θ>0f(x|\theta)=\theta x^{\theta-1}\mathbb{I}_{[0,1]}(x), \theta>0δπ1δ1π\delta^\pi_1 Bandingkan danδπδπ\delta^\piδπ1δ1π\delta^\pi_1 Pertama saya perhatikan bahwa , dan saya berasumsi bahwa itu adalah kemungkinannya, kalau …

9 self-study  bayesian  estimation  hierarchical-bayesian  loss-functions 

Saya mencari sumber daya (tidak harus menjadi buku tunggal) yang akan mencakup beberapa kasus yang lebih menantang dari desain eksperimental dan analisis statistik. Beberapa kasus yang ingin saya bahas: 1. Kasus di mana unit pengacakan berbeda dari unit analisis Contoh: Saya menjalankan platform e-niaga dengan penjual M dan pembeli N …

9 references  experiment-design 

Sudah tertanam dalam pengajaran disiplin ilmu terapan, seperti kedokteran, bahwa pengukuran jumlah bio-medis dalam populasi mengikuti "kurva lonceng" yang normal. Pencarian Google pada string "kami mengasumsikan distribusi normal" menghasilkan hasil ! Mereka terdengar seperti, "mengingat sejumlah kecil titik data ekstrim, kami mengasumsikan distribusi normal untuk anomali suhu" dalam sebuah studi …

9 normal-distribution  assumptions  normality-assumption  lognormal 

Saya belajar tentang pembelajaran yang mendalam (khususnya CNN), dan bagaimana hal itu biasanya membutuhkan banyak data untuk mencegah overfitting. Namun, saya juga telah diberitahu bahwa semakin tinggi kapasitas / lebih banyak parameter model, semakin banyak data yang diperlukan untuk mencegah overfitting. Oleh karena itu, pertanyaan saya adalah: Mengapa Anda tidak …

9 machine-learning  neural-networks  deep-learning  conv-neural-network