Statistik dan Big Data

Saya baru saja (kembali) membaca Gelman's Why kita (biasanya) tidak perlu khawatir tentang beberapa perbandingan . Khususnya bagian "Berbagai hasil dan tantangan lain" menyebutkan menggunakan model hierarkis untuk situasi ketika ada beberapa tindakan terkait dari orang / unit yang sama pada waktu / kondisi yang berbeda. Tampaknya memiliki sejumlah properti …

10 multiple-comparisons  multilevel-analysis  lme4-nlme  jags  hierarchical-bayesian 

Saat ini saya sedang mengerjakan estimasi biomassa menggunakan citra satelit. Saya akan dengan cepat menentukan latar belakang pertanyaan saya, dan kemudian menjelaskan pertanyaan statistik yang saya kerjakan. Latar Belakang Masalah Saya mencoba memperkirakan biomassa di suatu daerah di Perancis. Tanggapan saya adalah kepadatan volume kayu bakar (dalam ), yang lebih …

10 bootstrap 

Saya mencoba membangun sebuah model di mana responsnya adalah proporsi (sebenarnya itu adalah bagian dari suara yang didapat partai di daerah pemilihan). Distribusi tidak normal, jadi saya memutuskan untuk memodelkannya dengan distribusi beta. Saya juga punya beberapa prediktor. Namun, saya tidak tahu bagaimana menulisnya dalam BUGS / JAGS / STAN …

10 bayesian  jags  bugs  beta-regression  stan 

Ini mungkin juga turun sebagai pertanyaan paling konyol yang pernah diajukan di forum ini, tetapi setelah menerima jawaban yang masuk akal dan bermakna untuk pertanyaan sebelumnya, saya pikir saya akan merentangkan keberuntungan saya lagi. Saya telah sangat bingung selama beberapa waktu tentang pentingnya distribusi statistik terutama karena berkaitan dengan pengembalian …

10 distributions 

Saya perlu menemukan tes statistik yang sesuai (uji rasio kemungkinan, uji-t, dll.) Pada hal-hal berikut: Biarkan menjadi sampel pertama dari vektor acak dan asumsikan ~ . Hipotesisnya adalah: ; { Xsaya; Ysaya}ni = 1{Xi;Yi}i=1n\{X_i;Y_i\}^n_{i=1}( Y X ) N [ ( μ 1 μ 2 ) , ( 1 .5 .5 …

10 hypothesis-testing  self-study 

Untuk distribusi Gaussian dengan mean dan varians tidak diketahui, statistik yang cukup dalam bentuk keluarga eksponensial standar adalah . Saya memiliki distribusi yang memiliki T ( x ) = ( x , x 2 , . . . , X 2 N )T(x)=(x,x2)T(x)=(x,x2)T(x)=(x,x^2)T(x)=(x,x2,...,x2N)T(x)=(x,x2,...,x2N)T(x)=(x,x^2,...,x^{2N}), di mana N adalah semacam parameter desain. …

10 normal-distribution  sampling  exponential-family 

Jika saya memiliki data kelangsungan hidup bebas penyakit (didefinisikan sebagai apakah atau tidak penyakit tertentu telah didiagnosis atau tidak bersamaan dengan waktu kejadian atau kehilangan untuk ditindaklanjuti) dan juga data kelangsungan hidup secara keseluruhan, bagaimana cara saya menangani kematian yang terjadi tanpa acara penyakit? Apakah ini disensor atau haruskah saya …

10 regression  survival  epidemiology 

Apakah mungkin untuk memiliki variabel yang bertindak sebagai pengubah efek (pengukuran) dan perancu untuk pasangan asosiasi risiko-hasil tertentu? Saya masih sedikit tidak yakin dengan perbedaan itu. Saya telah melihat notasi grafis untuk membantu saya memahami perbedaannya tetapi perbedaan dalam notasi membingungkan. Penjelasan grafis / visual dari keduanya dan kapan mereka …

10 interaction  causality  confounding 

Saya ingin melakukan analisis kekuatan untuk sampel tunggal dari data binomial, dengan H0:p=0H0:p=0H_0: p = 0 , vs H1:p=0.001H1:p=0.001H_1: p = 0.001 , di mana ppp adalah proporsi keberhasilan dalam populasi. Jika 0&lt;p&lt;10&lt;p&lt;10 < p <1 , saya bisa menggunakan aproksimasi normal ke binomial, atau χ2χ2\chi^2 -tes, tetapi dengan p=0p=0p …

10 hypothesis-testing  sample-size  power-analysis  power 

Saya memiliki GLMM formulir: lmer(present? ~ factor1 + factor2 + continuous + factor1*continuous + (1 | factor3), family=binomial) Ketika saya menggunakan drop1(model, test="Chi"), saya mendapatkan hasil yang berbeda daripada jika saya menggunakan Anova(model, type="III")dari paket mobil atau summary(model). Dua yang terakhir ini memberikan jawaban yang sama. Menggunakan banyak data yang …

10 r  anova  glmm  r  mixed-model  bootstrap  sample-size  cross-validation  roc  auc  sampling  stratification  random-allocation  logistic  stata  interpretation  proportion  r  regression  multiple-regression  linear-model  lm  r  cross-validation  cart  rpart  logistic  generalized-linear-model  econometrics  experiment-design  causality  instrumental-variables  random-allocation  predictive-models  data-mining  estimation  contingency-tables  epidemiology  standard-deviation  mean  ancova  psychology  statistical-significance  cross-validation  synthetic-data  poisson-distribution  negative-binomial  bioinformatics  sequence-analysis  distributions  binomial  classification  k-means  distance  unsupervised-learning  euclidean  correlation  chi-squared  spearman-rho  forecasting  excel  exponential-smoothing  binomial  sample-size  r  change-point  wilcoxon-signed-rank  ranks  clustering  matlab  covariance  covariance-matrix  normal-distribution  simulation  random-generation  bivariate  standardization  confounding  z-statistic  forecasting  arima  minitab  poisson-distribution  negative-binomial  poisson-regression  overdispersion  probability  self-study  markov-process  estimation  maximum-likelihood  classification  pca  group-differences  chi-squared  survival  missing-data  contingency-tables  anova  proportion 

Saya mengelompokkan dataset saya dari beberapa ribu rantai Markov orde pertama menjadi sekitar 10 cluster. Apakah ada beberapa cara yang direkomendasikan bagaimana saya dapat mengevaluasi kluster ini dan mencari tahu item apa yang ada di kluster dan bagaimana mereka berbeda dari kluster lain? Jadi saya dapat membuat pernyataan seperti "Proses …

10 data-visualization  clustering  markov-process 

The distribusi Soliton adalah distribusi probabilitas diskrit melalui serangkaian dengan fungsi massa probabilitas{1,…,N}{1,…,N}\{1,\dots, N\} p(1)=1N,p(k)=1k(k−1)for k∈{2,…,N}p(1)=1N,p(k)=1k(k−1)for k∈{2,…,N} p(1)=\frac{1}{N},\qquad p(k)=\frac{1}{k(k-1)}\quad\text{for }k\in\{2,\dots, N\} Saya ingin menggunakannya sebagai bagian dari implementasi kode LT , idealnya dalam Python di mana generator nomor acak seragam tersedia.

10 distributions  python 

Seringkali saya pernah mendengar data penambang di sini menggunakan istilah ini. Sebagai ahli statistik yang telah mengerjakan masalah klasifikasi, saya akrab dengan istilah "latihlah pengklasifikasi" dan saya menganggap "mempelajari model" berarti hal yang sama. Saya tidak keberatan dengan istilah "train a classifier". Itu tampaknya menggambarkan ide pemasangan model karena data …

10 classification  data-mining  terminology  model 

Saya punya pertanyaan tentang perbandingan model menggunakan faktor Bayes. Dalam banyak kasus, ahli statistik tertarik untuk menggunakan pendekatan Bayesian dengan prior yang tidak tepat (misalnya beberapa prior Jeffreys dan prior reference). Pertanyaan saya adalah, dalam kasus-kasus di mana distribusi posterior parameter model didefinisikan dengan baik, apakah valid untuk membandingkan model …

10 bayesian  model-selection  prior 

Saya memiliki percobaan yang dijalankan pada ratusan komputer yang didistribusikan di seluruh dunia yang mengukur kejadian peristiwa tertentu. Peristiwa masing-masing bergantung satu sama lain sehingga saya dapat memesannya dalam urutan yang meningkat dan kemudian menghitung perbedaan waktu. Peristiwa harus didistribusikan secara eksponensial tetapi ketika merencanakan histogram inilah yang saya dapatkan: …

10 error  measurement-error  exponential