Statistik dan Big Data

Saya mengerti bahwa perbedaan di antara mereka terkait dengan apakah variabel pengelompokan dalam model diperkirakan sebagai efek tetap atau acak, tetapi tidak jelas bagi saya mengapa mereka tidak sama (jika mereka tidak sama). Saya secara khusus tertarik pada bagaimana ini bekerja ketika menggunakan estimasi area kecil, jika itu relevan, tetapi …

20 mixed-model  blue  blup  small-area-estimation 

Berikut ini adalah plot acf dan pacf dari seri data bulanan. Plot kedua adalah acf dengan ci.type = 'ma': Bertahannya nilai tinggi dalam petak acf mungkin mewakili tren positif jangka panjang. Pertanyaannya adalah apakah ini mewakili variasi musiman? Saya mencoba melihat berbagai situs tentang topik ini, tetapi saya tidak yakin …

20 time-series 

Saya tertarik untuk lebih memahami metode delta untuk mendekati kesalahan standar dari efek marginal rata-rata dari model regresi yang mencakup istilah interaksi. Saya telah melihat pertanyaan terkait di bawah metode delta tetapi tidak ada yang memberikan apa yang saya cari. Pertimbangkan contoh data berikut ini sebagai contoh yang memotivasi: set.seed(1) …

20 r  regression  standard-error  effect-size  delta-method 

Saya tahu bahwa melakukan penyetelan hyperparameter di luar validasi silang dapat menyebabkan estimasi bias eksternal yang tinggi, karena dataset yang Anda gunakan untuk mengukur kinerja adalah sama dengan yang Anda gunakan untuk menyetel fitur. Yang saya pikirkan adalah seberapa buruk masalah ini . Saya bisa mengerti bagaimana itu akan sangat …

20 cross-validation  validation  hyperparameter 

Saya tahu cara menghitung PCA dan SVD secara matematis, dan saya tahu bahwa keduanya dapat diterapkan pada regresi Linear Least Squares. Keuntungan utama dari SVD secara matematis adalah dapat diterapkan pada matriks non-kuadrat. Kedua fokus pada dekomposisi dari matriks. Selain keunggulan SVD yang disebutkan, apakah ada keuntungan atau wawasan tambahan …

20 pca  least-squares  svd 

Konsep "berarti" menjelajah jauh lebih luas daripada rata-rata aritmatika tradisional; Apakah itu membentang sejauh termasuk median? Dengan analogi, raw data⟶idraw data⟶meanraw mean⟶id−1arithmetic meanraw data⟶recipreciprocals⟶meanmean reciprocal⟶recip−1harmonic meanraw data⟶loglogs⟶meanmean log⟶log−1geometric meanraw data⟶squaresquares⟶meanmean square⟶square−1root mean squareraw data⟶rankranks⟶meanmean rank⟶rank−1medianraw data⟶idraw data⟶meanraw mean⟶id−1arithmetic meanraw data⟶recipreciprocals⟶meanmean reciprocal⟶recip−1harmonic meanraw data⟶loglogs⟶meanmean log⟶log−1geometric meanraw data⟶squaresquares⟶meanmean square⟶square−1root mean squareraw data⟶rankranks⟶meanmean …

20 mean  average  median 

Jika adalah vektor acak dan adalah matriks tetap, dapatkah seseorang menjelaskan mengapaZZ\mathbf {Z}SEBUAHSEBUAHAc o v [A Z ]=A c o v [ Z ] A⊤.cHaiv[SEBUAHZ]=SEBUAHcHaiv[Z]SEBUAH⊤.\mathrm{cov}[A \mathbf {Z}]= A \mathrm{cov}[\mathbf {Z}]A^\top.

20 covariance 

Biarkan model regresi linier yang diperoleh oleh fungsi R lm ingin tahu apakah mungkin diperoleh dengan perintah Mean Squared Error. Saya memiliki output BERIKUT dari contoh > lm <- lm(MuscleMAss~Age,data) > sm<-summary(lm) > sm Call: lm(formula = MuscleMAss ~ Age, data = data) Residuals: Min 1Q Median 3Q Max -16.1368 …

20 r  regression  error 

Dalam R, ketika saya memiliki (umum) model linier ( lm, glm, gls, glmm, ...), bagaimana saya bisa menguji koefisien (slope regresi) terhadap nilai selain 0? Dalam ringkasan model, hasil uji t dari koefisien secara otomatis dilaporkan, tetapi hanya untuk perbandingan dengan 0. Saya ingin membandingkannya dengan nilai lain. Saya tahu …

20 r  regression  t-test 

Saya baru saja melakukan beberapa bacaan pada Gibbs sampling dan algoritma Metropolis Hastings dan punya beberapa pertanyaan. Seperti yang saya pahami, dalam kasus pengambilan sampel Gibbs, jika kita memiliki masalah multivariat yang besar, kita sampel dari distribusi bersyarat yaitu sampel satu variabel sambil menjaga semua yang lain tetap sedangkan di …

20 bayesian  sampling  mcmc  gibbs  metropolis-hastings 

Sesuai pemahaman saya, di PCA berdasarkan korelasi kita mendapatkan faktor (= komponen utama dalam contoh ini) memuat yang tidak lain adalah korelasi antara variabel dan faktor. Sekarang ketika saya perlu menghasilkan skor faktor dalam SPSS, saya bisa langsung mendapatkan skor faktor setiap responden untuk setiap faktor. Saya juga mengamati bahwa …

20 spss  pca  factor-analysis 

Saya memiliki dataset yang terdiri dari 5 fitur: A, B, C, D, E. Mereka semua adalah nilai numerik. Alih-alih melakukan pengelompokan berbasis kepadatan, apa yang ingin saya lakukan adalah mengelompokkan data dengan cara seperti pohon keputusan. Pendekatan yang saya maksud adalah sesuatu seperti ini: Algoritme dapat membagi data ke dalam …

20 r  machine-learning  clustering  cart 

Pertimbangkan pengamatan yang disensor benar, dengan peristiwa pada waktu . Jumlah individu yang rentan pada waktu adalah , dan jumlah peristiwa pada saat adalah .t1,t2,…t1,t2,…t_1, t_2, \dotsiiininin_iiiididid_i Kaplan-Meier atau penaksir produk muncul secara alami sebagai MLE ketika fungsi bertahan hidup adalah fungsi langkah . Kemungkinannya adalah dan MLE adalah .S(t)=∏i:ti<tαiS(t)=∏i:ti<tαiS(t) …

20 bayesian  survival  kaplan-meier 

Regresi dihukum L1 (alias laso) disajikan dalam dua formulasi. Biarkan dua fungsi objektif menjadi Q1=12||Y−Xβ||22Q2=12||Y−Xβ||22+λ||β||1.Q1=12||Y−Xβ||22Q2=12||Y−Xβ||22+λ||β||1. Q_1 = \frac{1}{2}||Y - X\beta||_2^2 \\ Q_2 =\frac{1}{2}||Y - X\beta||_2^2 + \lambda ||\beta||_1. Kemudian dua formulasi yang berbeda adalah argminβQ1argminβQ1 \text{argmin}_\beta \; Q_1 tunduk ||β||1≤t,||β||1≤t, ||\beta||_1 \leq t, dan, ekuivalen dengan argminβQ2.argminβQ2. \text{argmin}_\beta \; Q_2. …

20 regression  lasso  penalized 

Dengan semua pembicaraan media dan hype tentang pembelajaran mendalam hari ini, saya membaca beberapa hal mendasar tentang hal itu. Saya baru saja menemukan bahwa itu hanyalah metode pembelajaran mesin untuk mempelajari pola dari data. Tetapi pertanyaan saya adalah: di mana dan mengapa metode ini bersinar? Kenapa semua pembicaraan tentang itu …

20 machine-learning  data-mining  deep-learning  deep-belief-networks