Statistik dan Big Data

Wikipedia mengatakan ukuran efek adalah ukuran kekuatan suatu fenomena atau perkiraan berbasis sampel dari kuantitas itu. Ukuran efek yang dihitung dari data adalah statistik deskriptif yang menyampaikan perkiraan besarnya suatu hubungan tanpa membuat pernyataan tentang apakah hubungan nyata dalam data mencerminkan hubungan yang benar dalam populasi. Untuk memahaminya dengan lebih …

12 effect-size 

Data Gaussian yang didistribusikan dalam dimensi tunggal memerlukan dua parameter untuk mengkarakterisasi (rata-rata, varians), dan rumor mengatakan bahwa sekitar 30 sampel yang dipilih secara acak biasanya cukup untuk memperkirakan parameter ini dengan kepercayaan yang cukup tinggi. Tetapi apa yang terjadi ketika jumlah dimensi bertambah? Dalam dua dimensi (mis. Tinggi, berat), …

12 normal-distribution  multivariate-analysis 

Saya mencoba memahami cara menggunakan pembelajaran mesin untuk memprediksi waktu keuangan 1 atau lebih langkah ke depan. Saya memiliki jadwal waktu keuangan dengan beberapa data deskriptif dan saya ingin membentuk model dan kemudian menggunakan model untuk memprediksi langkah-n ke depan. Apa yang telah saya lakukan sejauh ini adalah: getSymbols("GOOG") GOOG$sma …

12 r  time-series  machine-learning  random-forest  finance 

Tolong bantu saya untuk menemukan distribusi terbatas (seperti ) dari yang berikut: di mana adalah iid .U n =n→∞n→∞n \rightarrow \inftyXiN(0,1)Un=X1+X2+…+XnX31+X32+…X3n,Un=X1+X2+…+XnX13+X23+…Xn3, U_n = \frac{X_1 + X_2 + \ldots + X_n}{X_1^3 + X_2^3 + \ldots X_n^3},XiXiX_iN(0,1)N(0,1)N(0,1)

12 distributions  normal-distribution  asymptotics 

Dalam buku Andrew Gelman "Red State, Blue State" ia menganalisis fakta bahwa orang kaya di negara tertentu cenderung memilih lebih banyak Partai Republik daripada orang miskin, tetapi bahwa negara kaya cenderung memilih lebih demokratis daripada negara miskin. Apakah ada nama untuk paradoks ini? Sepertinya saya terkait dengan, tetapi tidak identik, …

12 paradox 

Saya memiliki model berikut: > model1<-lmer(aph.remain~sMFS1+sAG1+sSHDI1+sbare+season+crop +(1|landscape),family=poisson) ... dan ini adalah output ringkasan. > summary(model1) Generalized linear mixed model fit by the Laplace approximation Formula: aph.remain ~ sMFS1 + sAG1 + sSHDI1 + sbare + season + crop + (1 | landscape) AIC BIC logLik deviance 4057 4088 -2019 4039 …

12 r  poisson-distribution  lme4-nlme  glmm  overdispersion 

Saya melakukan model linear umum, di mana saya harus menentukan keluarga yang berbeda dari yang normal. Berapa distribusi residu yang diharapkan? Misalnya, apakah residu harus didistribusikan secara normal?

12 generalized-linear-model  residuals  normality-assumption 

Saya ingin membandingkan cara di tiga kelompok ukuran yang sama (ukuran sampel yang sama kecil, 21). Cara masing-masing kelompok yang terdistribusi normal, tetapi varians mereka tidak sama (diuji melalui Levene). Apakah transformasi merupakan rute terbaik dalam situasi ini? Haruskah saya mempertimbangkan hal lain terlebih dahulu?

12 anova  variance  heteroscedasticity 

Saya membuat purwarupa model tas naif Bayes saya sendiri, dan saya punya pertanyaan tentang menghitung probabilitas fitur. Katakanlah saya punya dua kelas, saya hanya akan menggunakan spam dan bukan-spam karena itulah yang digunakan semua orang. Dan mari kita ambil kata "viagra" sebagai contoh. Saya memiliki 10 email di set pelatihan …

12 classification  conditional-probability  naive-bayes 

Terkunci . Pertanyaan ini dan jawabannya dikunci karena pertanyaannya di luar topik tetapi memiliki signifikansi historis. Saat ini tidak menerima jawaban atau interaksi baru. Saya sangat baru di R. Saya belajar pembelajaran mesin sekarang. Maaf, jika pertanyaan ini tampaknya sangat mendasar. Saya mencoba menemukan paket pemilihan fitur yang bagus di …

12 r  feature-selection 

Apa yang menjelaskan perbedaan dalam nilai-p dalam hal berikut aovdan lmpanggilan? Apakah perbedaannya hanya karena berbagai jenis perhitungan jumlah kotak? set.seed(10) data=rnorm(12) f1=rep(c(1,2),6) f2=c(rep(1,6),rep(2,6)) summary(aov(data~f1*f2)) summary(lm(data~f1*f2))$coeff

12 r  regression  anova  linear-model  sums-of-squares 

Saya memiliki referensi yang menyarankan untuk mempertimbangkan ukuran sampel minimal 20 untuk distribusi pemasangan data. Apakah ada gunanya dalam hal ini? Terima kasih

12 sample-size 

Saya memiliki dataset dengan 8000 cluster dan 4 juta pengamatan. Sayangnya perangkat lunak statistik saya, Stata, berjalan agak lambat ketika menggunakan fungsi data panel untuk regresi logistik:, xtlogitbahkan dengan subsampel 10%. Namun, ketika menggunakan logitfungsi fungsi nonpanel muncul lebih cepat. Karena itu saya mungkin bisa mendapat manfaat dari menggunakan logitdata …

12 logistic  categorical-data  stata  fixed-effects-model 

Saya menjalankan classifier biner saat ini. Ketika saya memplot kurva ROC saya mendapatkan tumpangan yang baik di awal kemudian ia mengubah arah dan melintasi diagonal kemudian tentu saja kembali, membuat kurva bentuk S seperti miring. Apa yang bisa menjadi interpretasi / penjelasan untuk efek ini? Terima kasih

12 roc 

Saya memiliki histogram, kepadatan kernel dan distribusi normal pengembalian keuangan log, yang diubah menjadi kerugian (tanda-tanda diubah), dan plot QQ normal dari data ini: Plot QQ menunjukkan dengan jelas bahwa ekor tidak dipasang dengan benar. Tetapi jika saya melihat histogram dan distribusi normal yang dipasang (biru), bahkan nilai sekitar 0,0 …

12 data-visualization  normality-assumption  histogram  qq-plot