Statistik dan Big Data

Saya bertanya-tanya bagaimana CI bootstrap (dan BCa di barticular) melakukan pada data yang terdistribusi normal. Tampaknya ada banyak pekerjaan yang memeriksa kinerja mereka pada berbagai jenis distribusi, tetapi tidak dapat menemukan apa pun pada data yang didistribusikan secara normal. Karena tampaknya hal yang jelas untuk dipelajari pertama kali, saya kira …

12 confidence-interval  bootstrap  normality-assumption  resampling 

Saya memiliki dataset yang sangat besar dan sekitar 5% nilai acak hilang. Variabel-variabel ini berkorelasi satu sama lain. Contoh berikut dataset R hanyalah contoh mainan dengan data berkorelasi dummy. set.seed(123) # matrix of X variable xmat <- matrix(sample(-1:1, 2000000, replace = TRUE), ncol = 10000) colnames(xmat) <- paste ("M", 1:10000, …

12 r  random-forest  missing-data  data-imputation  multiple-imputation  large-data  definition  moving-window  self-study  categorical-data  econometrics  standard-error  regression-coefficients  normal-distribution  pdf  lognormal  regression  python  scikit-learn  interpolation  r  self-study  poisson-distribution  chi-squared  matlab  matrix  r  modeling  multinomial  mlogit  choice  monte-carlo  indicator-function  r  aic  garch  likelihood  r  regression  repeated-measures  simulation  multilevel-analysis  chi-squared  expected-value  multinomial  yates-correction  classification  regression  self-study  repeated-measures  references  residuals  confidence-interval  bootstrap  normality-assumption  resampling  entropy  cauchy  clustering  k-means  r  clustering  categorical-data  continuous-data  r  hypothesis-testing  nonparametric  probability  bayesian  pdf  distributions  exponential  repeated-measures  random-effects-model  non-independent  regression  error  regression-to-the-mean  correlation  group-differences  post-hoc  neural-networks  r  time-series  t-test  p-value  normalization  probability  moments  mgf  time-series  model  seasonality  r  anova  generalized-linear-model  proportion  percentage  nonparametric  ranks  weighted-regression  variogram  classification  neural-networks  fuzzy  variance  dimensionality-reduction  confidence-interval  proportion  z-test  r  self-study  pdf 

Data saya dijelaskan di sini Apa yang dapat menyebabkan "Error () model singular error" di aov saat memasang ANOVA tindakan berulang? Saya mencoba untuk melihat efek dari interaksi menggunakan lmersehingga kasus dasar saya adalah: my_null.model <- lmer(value ~ Condition+Scenario+ (1|Player)+(1|Trial), data = my, REML=FALSE) my.model <- lmer(value ~ Condition*Scenario+ (1|Player)+(1|Trial), …

12 r  lme4-nlme 

Saya telah membaca banyak diskusi hebat di situs tersebut mengenai interpretasi interval kepercayaan dan interval prediksi, tetapi satu konsep masih sedikit membingungkan: Pertimbangkan kerangka OLS dan kami telah memperoleh dipasang Model y = X β . Kami diberi x ∗ dan diminta untuk memprediksi jawabannya. Kami menghitung x * T …

12 regression  confidence-interval  prediction-interval 

Apa nilai p kritis yang digunakan oleh step()fungsi dalam R untuk regresi bertahap? Saya berasumsi 0,15, tetapi apakah asumsi saya benar? Bagaimana saya bisa mengubah nilai p kritis?

12 r  regression  p-value  stepwise-regression 

Kami sedang menyelidiki uji statistik Bayesian, dan menemukan fenomena aneh (bagi saya setidaknya). Pertimbangkan kasus berikut: kami tertarik untuk mengukur populasi mana, A atau B, yang memiliki tingkat konversi yang lebih tinggi. Untuk pemeriksaan kewarasan, kami menetapkan , yaitu probabilitas konversi sama di kedua grup. Kami menghasilkan data buatan menggunakan …

12 hypothesis-testing  bayesian  binomial  python  beta-distribution 

Model efek campuran linier tidak umum digunakan di sudut biologi saya, dan saya perlu melaporkan uji statistik yang saya gunakan dalam makalah yang saya coba tulis. Saya tahu bahwa kesadaran pemodelan multilevel mulai muncul di beberapa bidang biosains ( Solusi untuk ketergantungan: menggunakan analisis multilevel untuk mengakomodasi data bersarang ), …

12 mixed-model  repeated-measures  reporting 

Asumsikan kita memiliki model linier Model1dan vcov(Model1)memberikan matriks berikut: (Intercept) latitude sea.distance altitude (Intercept) 28.898100 -23.6439000 -34.1523000 0.50790600 latitude -23.643900 19.7032500 28.4602500 -0.42471450 sea.distance -34.152300 28.4602500 42.4714500 -0.62612550 altitude 0.507906 -0.4247145 -0.6261255 0.00928242 Untuk contoh ini, apa yang sebenarnya ditampilkan oleh matriks ini? Asumsi apa yang dapat kita buat dengan …

12 r  interpretation  multicollinearity  assumptions  covariance-matrix 

Ada podcast NPR yang disebut Intelligence Squared. Setiap episode adalah penyiaran debat langsung pada beberapa pernyataan kontroversial seperti "Amandemen ke-2 tidak lagi relevan" atau "Tindakan afirmatif di kampus tidak lebih berbahaya daripada kebaikan". Empat perwakilan berdebat - dua untuk mosi dan dua menentang. Untuk menentukan pihak mana yang menang, audiens …

12 bayesian  rating 

Saya memiliki dua sampel yang sangat miring dan saya mencoba menggunakan bootstrap untuk membandingkan cara mereka menggunakan t-statistik. Apa prosedur yang benar untuk melakukannya? Proses yang saya gunakan Saya khawatir tentang kesesuaian menggunakan kesalahan standar data asli / yang diamati pada langkah terakhir ketika saya tahu bahwa ini tidak terdistribusi …

12 hypothesis-testing  t-test  bootstrap 

Ini berbatasan dengan pertanyaan filosofis, tetapi saya tertarik pada bagaimana orang lain dengan pengalaman lebih banyak berpikir tentang pemilihan distribusi. Dalam beberapa kasus tampak jelas bahwa teori mungkin paling berhasil (panjang ekor tikus mungkin terdistribusi normal). Dalam banyak kasus, mungkin tidak ada teori untuk mendeskripsikan sekumpulan data, jadi Anda hanya …

12 distributions  overfitting  heuristic 

Makalah ini menggunakan model linier umum (distribusi kesalahan binomial dan negatif binomial) untuk menganalisis data. Tetapi kemudian di bagian analisis statistik metode, ada pernyataan ini: ... dan yang kedua dengan memodelkan data keberadaan menggunakan Model Regresi Logistik, dan data waktu pencarian makan menggunakan Generalized Linear Model (GLM). Distribusi binomial negatif …

12 generalized-linear-model  assumptions 

Jadi saya mengerti bahwa ketika Anda melatih HMM untuk klasifikasi, pendekatan standarnya adalah: Pisahkan set data Anda ke dalam set data untuk setiap kelas Latih satu HMM per kelas Pada set tes, bandingkan kemungkinan masing-masing model untuk mengklasifikasikan setiap jendela Tapi bagaimana cara melatih HMM di setiap kelas? Apakah saya …

12 classification  hidden-markov-model 

Saya bertanya-tanya bagaimana cara menyimpulkan varians dari variabel menggunakan boxplot. Apakah paling tidak mungkin untuk menyimpulkan jika dua variabel memiliki varians yang sama mengamati boxplot mereka?

12 variance  boxplot 

Nilai-P didefinisikan sebagai probabilitas untuk memperoleh uji-statistik paling tidak sama ekstrim dengan apa yang diamati, dengan asumsi hipotesis nol adalah benar. Dengan kata lain, Tetapi bagaimana jika uji-statistik bimodal dalam distribusi? Apakah nilai-p berarti dalam konteks ini? Sebagai contoh, saya akan mensimulasikan beberapa data bimodal di R:P(X≥t|H0)P(X≥t|H0)P( X \ge t …

12 hypothesis-testing  statistical-significance  p-value  descriptive-statistics  bimodal