Statistik dan Big Data

Sebagai contoh, perhatikan ChickWeightkumpulan data dalam R. Varians jelas tumbuh dari waktu ke waktu, jadi jika saya menggunakan regresi linier sederhana seperti: m <- lm(weight ~ Time*Diet, data=ChickWeight) Pertanyaan saya: Aspek mana dari model yang akan dipertanyakan? Apakah masalah terbatas pada ekstrapolasi di luar Timerentang? Seberapa tolerankah regresi linier terhadap …

28 r  regression  heteroscedasticity  assumptions 

Saya sedang menyelidiki suatu metode untuk pengecekan otomatis metode rantai Monte Carlo Markov, dan saya ingin beberapa contoh kesalahan yang dapat terjadi ketika membangun atau mengimplementasikan algoritma tersebut. Poin bonus jika metode yang salah digunakan dalam makalah yang diterbitkan. Saya terutama tertarik pada kasus-kasus di mana kesalahan berarti bahwa rantai …

28 mcmc 

Ada pertanyaan dengan maksud yang sama pada programmer.SE . Pertanyaan itu memiliki beberapa jawaban yang cukup bagus, tetapi tema umumnya adalah bahwa tanpa belajar sendiri, Anda tidak dapat kemana-mana. Jelas ada beberapa perbedaan utama antara pemrograman dan statistik - dengan pemrograman, Anda benar-benar hanya belajar beberapa logika dasar, dan kemudian …

28 self-study  references  teaching 

Google Prediction API adalah layanan cloud di mana pengguna dapat mengirimkan beberapa data pelatihan untuk melatih beberapa classifier misterius dan kemudian memintanya untuk mengklasifikasikan data yang masuk, misalnya untuk mengimplementasikan filter spam atau memprediksi preferensi pengguna. Tapi apa yang ada di balik layar?

28 machine-learning 

Apakah ada ukuran kesamaan atau jarak antara dua matriks kovarians simetris (keduanya memiliki dimensi yang sama)? Saya berpikir di sini analog dengan KL divergensi dari dua distribusi probabilitas atau jarak Euclidean antara vektor kecuali diterapkan pada matriks. Saya membayangkan akan ada beberapa pengukuran kesamaan. Idealnya saya juga ingin menguji hipotesis …

28 distributions  hypothesis-testing  covariance-matrix  kullback-leibler  information-theory 

Saya menggunakan paket "boot" untuk menghitung nilai p bootstrap 2-sisi yang diperkirakan tetapi hasilnya terlalu jauh dari nilai p menggunakan t.test. Saya tidak tahu apa yang saya lakukan salah dalam kode R. Dapatkah seseorang tolong beri saya petunjuk untuk ini time = c(14,18,11,13,18,17,21,9,16,17,14,15, 12,12,14,13,6,18,14,16,10,7,15,10) group=c(rep(1:2, each=12)) sleep = data.frame(time, group) …

28 r  hypothesis-testing  p-value  bootstrap  permutation-test 

Apa saja makalah bagus yang menggambarkan aplikasi statistik yang akan menyenangkan dan informatif untuk dibaca? Untuk lebih jelasnya, saya tidak benar-benar mencari makalah yang menjelaskan metode statistik baru (misalnya, makalah tentang regresi sudut terkecil), tetapi makalah yang menjelaskan cara mengatasi masalah dunia nyata. Sebagai contoh, satu kertas yang cocok dengan …

28 references  application 

Saya baru saja menemukan makalah ini , yang menjelaskan bagaimana menghitung pengulangan (alias reliabilitas, alias korelasi intraclass) dari pengukuran melalui pemodelan efek campuran. Kode R adalah: #fit the model fit = lmer(dv~(1|unit),data=my_data) #obtain the variance estimates vc = VarCorr(fit) residual_var = attr(vc,'sc')^2 intercept_var = attr(vc$id,'stddev')[1]^2 #compute the unadjusted repeatability R …

28 mixed-model  reliability  intraclass-correlation  repeatability  spss  factor-analysis  survey  modeling  cross-validation  error  curve-fitting  mediation  correlation  clustering  sampling  machine-learning  probability  classification  metric  r  project-management  optimization  svm  python  dataset  quality-control  checking  clustering  distributions  anova  factor-analysis  exponential  poisson-distribution  generalized-linear-model  deviance  machine-learning  k-nearest-neighbour  r  hypothesis-testing  t-test  r  variance  levenes-test  bayesian  software  bayesian-network  regression  repeated-measures  least-squares  change-scores  variance  chi-squared  variance  nonlinear-regression  regression-coefficients  multiple-comparisons  p-value  r  statistical-significance  excel  sampling  sample  r  distributions  interpretation  goodness-of-fit  normality-assumption  probability  self-study  distributions  references  theory  time-series  clustering  econometrics  binomial  hypothesis-testing  variance  t-test  paired-comparisons  statistical-significance  ab-test  r  references  hypothesis-testing  t-test  normality-assumption  wilcoxon-mann-whitney  central-limit-theorem  t-test  data-visualization  interactive-visualization  goodness-of-fit 

Bagaimana Anda memilih model dari berbagai model yang dipilih dengan metode yang berbeda (mis. Pemilihan mundur atau maju)? Juga apa yang dimaksud dengan model pelit?

28 regression  model-selection 

Bagaimana cara menghasilkan angka berdasarkan distribusi diskret arbitrer? Misalnya, saya memiliki satu set angka yang ingin saya hasilkan. Katakanlah mereka diberi label dari 1-3 sebagai berikut. 1: 4%, 2: 50%, 3: 46% Pada dasarnya, persentase adalah probabilitas bahwa mereka akan muncul di output dari generator nomor acak. Saya memiliki generator …

28 distributions 

Jika Anda berpikir kembali, ke saat Anda pertama kali memulai dengan analisis deret waktu. Alat apa, paket R, dan sumber daya internet yang Anda ingin ketahui? Yang ingin saya tanyakan adalah, di mana kita harus mulai? Secara khusus, apakah ada sumber daya untuk R yang benar-benar mendidih untuk orang yang …

28 r  time-series 

Saya menemukan formula untuk pseudo R2R2R^2 dalam buku Extending the Linear Model with R, Julian J. Faraway (hlm. 59). 1−ResidualDevianceNullDeviance1−ResidualDevianceNullDeviance1-\frac{\text{ResidualDeviance}}{\text{NullDeviance}} . Apakah ini formula umum untuk pseudo untuk GLM?R2R2R^2

28 r  regression  generalized-linear-model  r-squared 

Sangat membantu untuk mempelajari kode analisis data para ahli. Saya baru-baru ini meneliti github dan ada sejumlah orang yang berbagi kode analisis data di sana. Ini termasuk beberapa Paket R (yang tentu saja tersedia langsung dari CRAN), tetapi juga beberapa contoh penelitian yang dapat direproduksi, khususnya menggunakan R ( lihat …

28 r  reproducible-research 

Adakah saran untuk sumber yang bagus untuk mempelajari metode MCMC?

28 references  mcmc 

Sebagian besar distribusi standar dalam R memiliki keluarga perintah - pdf / pmf, cdf / cmf, quantile, penyimpangan acak (misalnya - dnorm, pnorm, qnorm, rnorm). Saya tahu itu cukup mudah untuk menggunakan beberapa perintah standar untuk mereproduksi fungsi-fungsi ini untuk distribusi seragam diskrit, tetapi apakah sudah ada keluarga fungsi bawaan …

28 r  distributions  uniform