Statistik dan Big Data

Saya akan menjelaskan masalah saya dengan sebuah contoh. Misalkan Anda ingin memprediksi penghasilan seseorang yang diberikan beberapa atribut: {Usia, Jenis Kelamin, Negara, Wilayah, Kota}. Anda memiliki dataset pelatihan seperti itu train <- data.frame(CountryID=c(1,1,1,1, 2,2,2,2, 3,3,3,3), RegionID=c(1,1,1,2, 3,3,4,4, 5,5,5,5), CityID=c(1,1,2,3, 4,5,6,6, 7,7,7,8), Age=c(23,48,62,63, 25,41,45,19, 37,41,31,50), Gender=factor(c("M","F","M","F", "M","F","M","F", "F","F","F","M")), Income=c(31,42,71,65, 50,51,101,38, 47,50,55,23)) …

29 regression  machine-learning  multilevel-analysis  correlation  dataset  spatial  paired-comparisons  cross-correlation  clustering  aic  bic  dependent-variable  k-means  mean  standard-error  measurement-error  errors-in-variables  regression  multiple-regression  pca  linear-model  dimensionality-reduction  machine-learning  neural-networks  deep-learning  conv-neural-network  computer-vision  clustering  spss  r  weighted-data  wilcoxon-signed-rank  bayesian  hierarchical-bayesian  bugs  stan  distributions  categorical-data  variance  ecology  r  survival  regression  r-squared  descriptive-statistics  cross-section  maximum-likelihood  factor-analysis  likert  r  multiple-imputation  propensity-scores  distributions  t-test  logit  probit  z-test  confidence-interval  poisson-distribution  deep-learning  conv-neural-network  residual-networks  r  survey  wilcoxon-mann-whitney  ranking  kruskal-wallis  bias  loss-functions  frequentist  decision-theory  risk  machine-learning  distributions  normal-distribution  multivariate-analysis  inference  dataset  factor-analysis  survey  multilevel-analysis  clinical-trials 

Saya pikir ini adalah topik yang menarik dan saya tidak sepenuhnya memahaminya. Apa hukum fisika dibuat sehingga begitu banyak fenomena alam memiliki distribusi normal? Tampaknya lebih intuitif bahwa mereka akan memiliki distribusi yang seragam. Sangat sulit bagi saya untuk memahami hal ini dan saya merasa saya kehilangan beberapa informasi. Adakah …

29 distributions  normal-distribution  normality-assumption  uniform 

Pengantar model grafis menggambarkan mereka sebagai "... perkawinan antara teori grafik dan teori probabilitas." Saya mendapatkan bagian teori probabilitas tetapi saya mengalami kesulitan memahami di mana tepatnya teori grafik cocok. Wawasan apa dari teori grafik yang telah membantu memperdalam pemahaman kita tentang distribusi probabilitas dan pengambilan keputusan di bawah ketidakpastian? …

29 graphical-model  graph-theory  distributions 

Di satu sisi, saya memiliki regresi ke mean dan di sisi lain saya memiliki kekeliruan penjudi . Kekeliruan Gambler didefinisikan oleh Miller dan Sanjurjo (2019) sebagai "keyakinan keliru bahwa urutan acak memiliki kecenderungan sistematis terhadap pembalikan, yaitu bahwa garis-garis hasil yang serupa lebih cenderung berakhir daripada berlanjut." Misalnya, koin yang …

29 regression  mean  fallacy  gambling 

Setelah mempelajari bootstrap baru-baru ini, saya muncul dengan pertanyaan konseptual yang masih membingungkan saya: Anda memiliki populasi, dan Anda ingin tahu atribut populasi, yaitu , di mana saya menggunakan untuk mewakili populasi. Ini bisa berarti populasi misalnya. Biasanya Anda tidak bisa mendapatkan semua data dari populasi. Jadi Anda menggambar sampel …

29 bootstrap  simulation  resampling 

Saya memiliki distribusi yang diamati secara eksperimental yang terlihat sangat mirip dengan gamma atau distribusi lognormal. Saya telah membaca bahwa distribusi lognormal adalah distribusi probabilitas entropi maksimum untuk varian acak yang rerata dan varians dari tetap. Apakah distribusi gamma memiliki sifat serupa?ln ( X )XXXln(X)ln⁡(X)\ln(X)

29 pdf  gamma-distribution  lognormal 

Saya ingin melakukan demonstrasi kelas di mana saya membandingkan interval-t dengan interval bootstrap dan menghitung probabilitas cakupan keduanya. Saya ingin data berasal dari distribusi miring jadi saya memilih untuk menghasilkan data sebagai exp(rnorm(10, 0, 2)) + 1, sampel ukuran 10 dari lognormal bergeser. Saya menulis sebuah skrip untuk menggambar 1000 …

29 bootstrap  diagnostic 

Saya ingin menggunakan GLM dan Elastic Net untuk memilih fitur-fitur yang relevan + membangun model regresi linier (yaitu, baik prediksi dan pemahaman, sehingga akan lebih baik dibiarkan dengan parameter yang relatif sedikit). Outputnya kontinu. Ini gen per 50 kasus. Saya telah membaca tentang paket tersebut, tetapi saya tidak 100% yakin …

29 r  regularization  glmnet  elastic-net  underdetermined 

Sementara secara formal menurunkan interval kepercayaan dari estimasi, saya berakhir dengan formula yang sangat mirip dengan cara ppp -value dihitung. Jadi pertanyaannya: apakah mereka secara formal setara? Yaitu menolak hipotesis H0=0H0=0H_0 = 0 dengan nilai kritis αα\alpha setara dengan 000 tidak termasuk dalam interval kepercayaan dengan nilai kritis αα\alpha ?

29 hypothesis-testing  confidence-interval  p-value 

Saya agak bingung dengan perbedaan antara SVM dan perceptron. Biarkan saya mencoba meringkas pengertian saya di sini, dan jangan ragu untuk memperbaiki di mana saya salah dan mengisi apa yang saya lewatkan. Perceptron tidak mencoba mengoptimalkan "jarak" pemisahan. Selama menemukan hyperplane yang memisahkan dua set, itu bagus. SVM di sisi …

29 machine-learning  svm  kernel-trick 

Saya sedikit bingung tentang Area Under Curve (AUC) dari ROC dan akurasi keseluruhan. Apakah AUC sebanding dengan akurasi keseluruhan? Dengan kata lain, ketika kita memiliki akurasi keseluruhan yang lebih besar apakah kita akan mendapatkan AUC yang lebih besar? Atau apakah menurut definisi mereka berkorelasi positif? Jika keduanya berkorelasi positif, mengapa …

29 classification  roc 

Saat Anda memperkirakan nilai yang cocok dari model regresi logistik, bagaimana kesalahan standar dihitung? Maksud saya untuk nilai-nilai yang dipasang , bukan untuk koefisien (yang melibatkan matriks informasi Fishers). Saya hanya menemukan cara mendapatkan angka R(misalnya, di sini di r-help, atau di sini di Stack Overflow), tetapi saya tidak dapat …

29 r  regression  logistic  mathematical-statistics  references 

Setiap dimensi fitur saya memiliki rentang nilai yang berbeda. Saya ingin tahu apakah penting untuk menormalkan dataset ini.

29 machine-learning  svm  random-forest  normalization 

Apakah mungkin untuk ANOVA satu arah (dengan grup, atau "level") melaporkan perbedaan yang signifikan ketika tidak ada uji-t berpasangan berpasangan?N> 2N>2N>2N( N- 1 ) / 2N(N-1)/2N(N-1)/2 Dalam jawaban ini @whuber menulis: Telah diketahui secara umum bahwa uji F ANOVA global dapat mendeteksi perbedaan rata-rata bahkan dalam kasus-kasus di mana tidak …

29 statistical-significance  anova  t-test  post-hoc 

Latar Belakang Misalkan kita memiliki model Ordinary Least Squares di mana kita memiliki koefisien dalam model regresi kita, kkky=Xβ+ϵy=Xβ+ϵ\mathbf{y}=\mathbf{X}\mathbf{\beta} + \mathbf{\epsilon} di mana adalah vektor dari koefisien, adalah matriks desain yang didefinisikan olehββ\mathbf{\beta}(k×1)(k×1)(k\times1)XX\mathbf{X} X=⎛⎝⎜⎜⎜⎜⎜⎜11⋮1x11x21xn1x12…⋱………x1(k−1)⋮⋮xn(k−1)⎞⎠⎟⎟⎟⎟⎟⎟X=(1x11x12…x1(k−1)1x21…⋮⋮⋱⋮1xn1……xn(k−1))\mathbf{X} = \begin{pmatrix} 1 & x_{11} & x_{12} & \dots & x_{1\;(k-1)} \\ 1 & x_{21} & …

29 regression  linear-model  least-squares  t-distribution