Statistik dan Big Data

Ada asumsi normal ketika datang untuk mempertimbangkan model OLS dan itu adalah bahwa kesalahan didistribusikan secara normal. Saya telah menelusuri Cross Validated dan sepertinya Y dan X tidak harus normal agar kesalahan normal. Pertanyaan saya adalah mengapa ketika kita memiliki kesalahan yang tidak terdistribusi secara normal, apakah validitas pernyataan signifikansi …

10 regression  statistical-significance  assumptions  normality-assumption 

Saya menggunakan statistik GAP untuk memperkirakan k cluster di R. Namun saya tidak yakin apakah saya menafsirkannya dengan baik. Dari plot di atas saya berasumsi bahwa saya harus menggunakan 3 cluster. Dari plot kedua saya harus memilih 6 cluster. Benarkah interpretasi statistik GAP? Saya akan berterima kasih atas penjelasan apa …

10 clustering 

Dalam perhitungan VIF biasa untuk regresi linier, setiap variabel bebas / jelas diperlakukan sebagai variabel dependen dalam regresi kuadrat terkecil biasa. yaituXjXjX_j Xj=β0+∑i=1,i≠jnβiXiXj=β0+∑i=1,i≠jnβiXi X_j = \beta_0 + \sum_{i=1, i \neq j}^n \beta_i X_i The nilai disimpan untuk setiap regresi dan VIF ditentukan oleh nR2R2R^2nnn VsayaFj= 11 - R2jVIFj=11−Rj2 VIF_j = …

10 regression  variance  multicollinearity  gam  vif 

Saya memiliki beberapa pengalaman dengan pemodelan deret waktu, dalam bentuk model ARIMA sederhana dan sebagainya. Sekarang saya memiliki beberapa data yang menunjukkan pengelompokan volatilitas, dan saya ingin mencoba memulai dengan memasang model GARCH (1,1) pada data. Saya memiliki serangkaian data dan sejumlah variabel yang saya pikir mempengaruhinya. Jadi dalam istilah …

10 r  regression  garch 

Saya mencoba untuk melakukan pengujian A / B dengan cara Bayesian, seperti dalam Probabilistic Programming for Hackers dan Bayesian A / B tes . Kedua artikel berasumsi bahwa pembuat keputusan memutuskan varian mana yang lebih baik hanya berdasarkan probabilitas beberapa kriteria, misalnya , oleh karena itu, lebih baik. Probabilitas ini …

10 bayesian  beta-binomial 

Pertanyaan ini berkaitan dengan makalah Diferensial Geometri Keluarga Kurva Eksponensial-Lengkung dan Kehilangan Informasi oleh Amari. Teksnya sebagai berikut. Biarkan menjadi manifold dimensi dari distribusi probabilitas dengan sistem koordinat , di mana diasumsikan ...n θ = ( θ 1 , … , θ n ) p θ ( x ) > …

10 mathematical-statistics  statistical-learning  geometry  information-geometry 

Katakanlah saya memiliki model berikut: Poisson ( λ ) ∼ { λ1λ2jika t < τjika t ≥ τPoisson(λ)∼{λ1if t<τλ2if t≥τ\text{Poisson}(\lambda) \sim \begin{cases} \lambda_1 & \text{if } t \lt \tau \\ \lambda_2 & \text{if } t \geq \tau \end{cases} Dan saya menyimpulkan posisi untuk dan λ 2 ditunjukkan di bawah ini …

10 distributions  bayesian  poisson-distribution 

Setelah burn-in, bisakah kita langsung menggunakan iterasi MCMC untuk estimasi kepadatan, seperti dengan memplot histogram, atau estimasi kepadatan kernel? Kekhawatiran saya adalah bahwa iterasi MCMC belum tentu independen, meskipun paling banyak didistribusikan secara identik. Bagaimana jika kita menerapkan penjarangan lebih lanjut pada iterasi MCMC? Kekhawatiran saya adalah bahwa iterasi MCMC …

10 distributions  mcmc  asymptotics 

Modul online yang saya pelajari menyatakan bahwa seseorang tidak boleh menggunakan korelasi Pearson dengan data proporsi. Kenapa tidak? Atau, jika kadang-kadang OK atau selalu OK, mengapa?

10 correlation  proportion  compositional-data 

Saya memiliki serangkaian distribusi miring kiri / berat yang ingin saya perlihatkan. Ada 42 distribusi di tiga faktor (diberi label A, Bdan di Cbawah). Juga, variasi menyusut antar faktor B. Masalah yang saya miliki adalah bahwa distribusinya sulit dibedakan berdasarkan skala hasil (rasio atau lipat-perubahan): Loging data tampaknya terlalu menekankan …

10 data-visualization  multivariate-analysis  heteroscedasticity  skewness  boxplot 

Formula yang perlu ditentukan untuk pelatihan model bertingkat (menggunakan lmerdari lme4 Rperpustakaan) selalu membuat saya. Saya telah membaca banyak buku pelajaran dan tutorial, tetapi tidak pernah memahaminya dengan baik. Jadi, inilah contoh dari tutorial ini yang ingin saya lihat dirumuskan dalam persamaan. Kami mencoba memodelkan frekuensi suara sebagai fungsi gender …

10 r  multilevel-analysis  lme4-nlme 

Saya mendapatkan tiga model tereduksi dari model full asli yang menggunakan seleksi ke depan eliminasi mundur Teknik hukuman L1 (LASSO) Untuk model yang diperoleh dengan menggunakan seleksi maju / eliminasi mundur, saya memperoleh estimasi kesalahan prediksi prediksi yang digunakan CVlmdalam paket yang DAAGtersedia di R. Untuk model yang dipilih melalui …

10 cross-validation  model-selection  lasso  stepwise-regression 

Saya menguji independensi dua variabel, A dan B, dikelompokkan berdasarkan C. A dan B adalah variabel biner dan C adalah kategorikal (5 nilai). Menjalankan tes Fisher untuk A dan B (semua strata digabungkan), saya mendapatkan: ## (B) ## (A) FALSE TRUE ## FALSE 1841 85 ## TRUE 915 74 OR: …

10 categorical-data  interpretation  inference  contingency-tables  fishers-exact 

Saya telah melihat dua representasi yang berbeda dari penduga regresi regresi yang Q ( βq) = ∑i : ysaya≥ x′sayaβnq∣ ysaya- x′sayaβq∣ + ∑i : ysaya&lt; x′sayaβn( 1 - q) ∣ ysaya- x′sayaβq∣Q(βq)=∑saya:ysaya≥xsaya′βnq∣ysaya-xsaya′βq∣+∑saya:ysaya&lt;xsaya′βn(1-q)∣ysaya-xsaya′βq∣Q(\beta_{q}) = \sum^{n}_{i:y_{i}\geq x'_{i}\beta} q\mid y_i - x'_i \beta_q \mid + \sum^{n}_{i:y_{i}< x'_{i}\beta} (1-q)\mid y_i - x'_i \beta_q …

10 proof  quantile-regression  equivalence 

Saya telah mendengar sedikit tentang menggunakan jaringan saraf untuk memperkirakan deret waktu. Bagaimana saya bisa membandingkan, metode mana untuk meramalkan seri waktu saya (data ritel harian) yang lebih baik: auto.arima (x), ets (x) atau nnetar (x). Saya dapat membandingkan auto.arima dengan ets oleh AIC atau BIC. Tetapi bagaimana saya bisa …

10 r  neural-networks  forecasting  arima  exponential-smoothing