Statistik dan Big Data

Saya sedang menonton presentasi oleh spesialis ML dari pengecer besar, di mana mereka telah mengembangkan model untuk memprediksi kehabisan stok acara. Mari kita asumsikan sejenak bahwa dari waktu ke waktu, model mereka menjadi sangat akurat, bukankah itu entah bagaimana akan "mengalahkan diri sendiri"? Artinya, jika model tersebut benar-benar berfungsi dengan …

36 machine-learning  predictive-models 

Saya telah mencoba mempelajari metode MCMC dan telah menemukan Metropolis Hastings, Gibbs, Importance, dan Rejection sampling. Sementara beberapa perbedaan ini jelas, yaitu, bagaimana Gibbs adalah kasus khusus dari Metropolis Hastings ketika kita memiliki persyaratan penuh, yang lain kurang jelas, seperti ketika kita ingin menggunakan MH dalam sampler Gibbs, dll. Adakah …

36 mcmc  monte-carlo  gibbs  metropolis-hastings  importance-sampling 

Ini mungkin pertanyaan amatir, tetapi saya tertarik pada bagaimana para ilmuwan menghasilkan bentuk fungsi kepadatan probabilitas distribusi normal? Pada dasarnya yang menggangguku adalah bahwa bagi seseorang mungkin akan lebih intuitif bahwa fungsi probabilitas dari data yang terdistribusi secara normal memiliki bentuk segitiga sama kaki dan bukan kurva lonceng, dan bagaimana …

36 normal-distribution  history 

Ketika menggunakan validasi silang untuk melakukan pemilihan model (seperti misalnya penyetelan hyperparameter) dan untuk menilai kinerja model terbaik, seseorang harus menggunakan validasi silang bersarang . Loop luar adalah untuk menilai kinerja model, dan loop dalam adalah untuk memilih model terbaik; model dipilih pada setiap set latihan luar (menggunakan loop CV …

36 cross-validation  model-selection  ridge-regression 

Penyebut penduga varians (tidak bias) adalah n−1n−1n-1 karena ada nnn pengamatan dan hanya satu parameter yang diperkirakan. V(X)=∑ni=1(Xi−X¯¯¯¯)2n−1V(X)=∑i=1n(Xi−X¯)2n−1 \mathbb{V}\left(X\right)=\frac{\sum_{i=1}^{n}\left(X_{i}-\overline{X}\right)^{2}}{n-1} Dengan cara yang sama saya bertanya-tanya mengapa penyebut kovarians tidak menjadi n−2n−2n-2 ketika dua parameter diperkirakan? Cov(X,Y)=∑ni=1(Xi−X¯¯¯¯)(Yi−Y¯¯¯¯)n−1Cov(X,Y)=∑i=1n(Xi−X¯)(Yi−Y¯)n−1 \mathbb{Cov}\left(X, Y\right)=\frac{\sum_{i=1}^{n}\left(X_{i}-\overline{X}\right)\left(Y_{i}-\overline{Y}\right)}{n-1}

36 self-study  variance  covariance  descriptive-statistics  unbiased-estimator 

Saya mencoba untuk membungkus kepala saya di sekitar perbedaan statistik antara analisis diskriminan Linear dan regresi Logistik . Apakah pemahaman saya benar bahwa, untuk masalah klasifikasi dua kelas , LDA memprediksi dua fungsi kepadatan normal (satu untuk setiap kelas) yang menciptakan batas linier di mana mereka berpotongan, sedangkan regresi logistik …

36 regression  logistic  classification  discriminant-analysis 

Artikel ini " The Odds, Continuous Updated" dari NY Times kebetulan menarik perhatian saya. Singkatnya, ini menyatakan itu [Statistik Bayesian] terbukti sangat berguna dalam mendekati masalah kompleks, termasuk pencarian seperti yang digunakan Coast Guard pada 2013 untuk menemukan nelayan yang hilang, John Aldridge (meskipun tidak, sejauh ini, dalam perburuan untuk …

36 hypothesis-testing  statistical-significance  bayesian  p-value  reproducible-research 

Effectspaket menyediakan cara yang sangat cepat dan mudah untuk memplot hasil model efek campuran linier yang diperoleh melalui lme4paket . The effectinterval fungsi menghitung kepercayaan (CI) sangat cepat, tapi bagaimana dapat dipercaya adalah interval keyakinan ini? Sebagai contoh: library(lme4) library(effects) library(ggplot) data(Pastes) fm1 <- lmer(strength ~ batch + (1 | …

36 r  mixed-model  confidence-interval  effects  lme4-nlme 

Saya mencoba mencari tahu metode validasi silang mana yang terbaik untuk situasi saya. Data berikut ini hanyalah contoh untuk bekerja melalui masalah (dalam R), tetapi Xdata saya yang sebenarnya ( xmat) berkorelasi satu sama lain dan berkorelasi dengan derajat yang berbeda dengan yvariabel ( ymat). Saya memberikan kode R, tetapi …

36 r  regression  cross-validation  linear-model 

Benjamini dan Hochberg mengembangkan metode pertama (dan masih paling banyak digunakan, saya pikir) untuk mengendalikan tingkat penemuan palsu (FDR). Saya ingin memulai dengan sekelompok nilai P, masing-masing untuk perbandingan yang berbeda, dan memutuskan mana yang cukup rendah untuk disebut "penemuan", mengendalikan FDR ke nilai yang ditentukan (katakanlah 10%). Salah satu …

36 multiple-comparisons  non-independent  false-discovery-rate 

Saya mencoba membuat polinomial orde kedua untuk beberapa data yang saya miliki. Katakanlah saya merencanakan ini dengan ggplot(): ggplot(data, aes(foo, bar)) + geom_point() + geom_smooth(method="lm", formula=y~poly(x, 2)) Saya mendapat: Jadi, urutan kedua cocok dengan cukup baik. Saya menghitungnya dengan R: summary(lm(data$bar ~ poly(data$foo, 2))) Dan saya mendapatkan: lm(formula = data$bar …

36 r  regression  interpretation  regression-coefficients 

Saya belajar analisis bertahan hidup dari pos ini pada UCLA IDRE dan tersandung di bagian 1.2.1. Tutorial mengatakan: ... jika waktu bertahan hidup diketahui terdistribusi secara eksponensial , maka kemungkinan mengamati waktu bertahan hidup ... Mengapa waktu bertahan hidup diasumsikan terdistribusi secara eksponensial? Sepertinya sangat tidak alami bagi saya. Mengapa …

36 distributions  survival  assumptions  exponential 

Saya memiliki data dari 3 kelompok biomassa alga ( AAA , ,BBB ) yang berisi ukuran sampel yang tidak sama ( n A = 15 , n B = 13 , n C = 12 ) dan saya ingin membandingkan jika kelompok-kelompok ini berasal dari populasi yang sama .CCCnA=15nA=15n_A=15nB=13nB=13n_B=13nC=12nC=12n_C=12 ANOVA …

36 r  anova  data-transformation  heteroscedasticity 

Apa teknik terbaik untuk menghitung interval kepercayaan dari percobaan binomial, jika perkiraan Anda adalah (atau sama dengan ) dan ukuran sampel relatif kecil, misalnya ?p = 1 n = 25p = 0hal=0p=0p = 1hal=1p=1n = 25n=25n=25

36 confidence-interval  binomial 

Saya membaca buku tentang regresi linier dan mengalami kesulitan memahami matriks varians-kovarians dari :bb\mathbf{b} Item diagonal cukup mudah, tetapi item off-diagonal sedikit lebih sulit, yang membingungkan saya adalah σ( b0, b1) = E( b0b1) - E( b0) E( b1) = E( b0b1) - β0β1σ(b0,b1)=E(b0b1)-E(b0)E(b1)=E(b0b1)-β0β1 \sigma(b_0, b_1) = E(b_0 b_1) - …

36 regression