Statistik dan Big Data

Katakanlah saya dapat mengetahui SVD dari beberapa matriks : X = USV ^ TXXXX=USVTX=USVTX = USV^T Jika saya memiliki matriks ortogonal AAA (yaitu, AAA adalah persegi dan memiliki kolom ortonormal), maka SVD XAXAXA adalah XA=USWTXA=USWTXA = USW^T mana W=ATVW=ATVW = A^TV . Tetapi dapatkah dikatakan tentang SVD XBXBXB jika BBB …

9 pca  svd  matrix-decomposition 

Diberikan x2=2x1x2=2x1x_2 = 2 x_1, apa perilaku teoritis dari koefisien LASSO dan mengapa? Akan salah satu x1x1x_1 atau x2x2x_2 menyusut menjadi 000 atau keduanya? require(glmnet) x1 = runif(100, 1, 2) x2 = 2*x1 x_train = cbind(x1, x2) y = 100*x1 + 100 + runif(1) ridge.mod = cv.glmnet(x_train, y, alpha = …

9 lasso  multicollinearity 

Dalam studi psikologi saya belajar bahwa kita harus menggunakan metode Bonferroni untuk menyesuaikan tingkat signifikansi ketika menguji beberapa hipotesis pada satu dataset. Saat ini saya sedang bekerja dengan metode pembelajaran mesin seperti Support Vector Machines atau Random Forest untuk klasifikasi. Di sini saya memiliki satu set data yang digunakan dalam …

9 machine-learning  cross-validation  svm  overfitting  bonferroni 

The kertas pada Gans mengatakan diskriminator menggunakan gradien berikut untuk kereta: ∇θd1m∑i = 1m[ logD (x( i )) +log( 1 - D ( G (z( i )) ) ) ]∇θd1m∑saya=1m[catatan⁡D(x(saya))+catatan⁡(1-D(G(z(saya))))]\nabla _{\theta_d} \frac{1}{m}\sum^{m}_{i=1} [\log{D(x^{(i)})} + \log{(1-D(G(z^{(i)})))}] The nilai-nilai yang sampel, melewati generator untuk menghasilkan sampel data, dan kemudian diskriminator yang backpropogated …

9 machine-learning  neural-networks 

Jika X∼FX∼FX \sim F dimana dukungan dari XXX adalah RpRp\mathbb{R}^p. Begitu,X=(X1,X2,…,Xp)X=(X1,X2,…,Xp)X = (X_1, X_2, \dots, X_p). Lalu katakan saya berasumsiXXX telah kkkmomen yang terbatas. Kapanp=1p=1p = 1, Saya tahu itu artinya ∫Rxkf(x)dx&lt;∞,∫Rxkf(x)dx&lt;∞,\int_{\mathbb{R}} x^k\, f(x)\, dx < \infty, dimana f(x)f(x)f(x) adalah kepadatan terkait FFF. Apa yang setara dengan asumsi matematikaXXX telah …

9 probability  random-variable  expected-value  moments 

Diberi dua dataset multidimensi, XXX dan YYY, beberapa orang melakukan analisis multivariabel dengan membangun variabel dependen pengganti menggunakan analisis komponen utama (PCA). Yaitu, jalankan PCAYYY atur, ambil skor di sepanjang komponen pertama y′y′y', dan jalankan regresi berganda untuk skor tersebut di XXX: y′=βX+ϵy′=βX+ϵy' = \beta X+\epsilon. (Saya mendasarkan pertanyaan saya …

9 regression  multiple-regression  pca  canonical-correlation 

Saya punya pertanyaan berikut: Misalkan adalah variabel acak iid mengikuti Unif . apa distribusi kondisional dari diberikan ?U,VU,VU,V(0,1)(0,1)(0,1)UUUZ:=max(U,V)Z:=max(U,V)Z:=\max(U,V) Saya mencoba menulis Z=I⋅V+(1−I)⋅UZ=I⋅V+(1−I)⋅UZ=\Bbb{I}\cdot V+(1-\Bbb{I})\cdot U mana I={10U&lt;VU&gt;VI={1U&lt;V0U&gt;V\Bbb{I}=\begin{cases}1&U;V\end{cases} Tapi saya tidak mendapatkan apa-apa.

9 probability  distributions  uniform  conditioning 

Ada begitu banyak teknik regularisasi, tidak praktis untuk mencoba semua kombinasi: l1 / l2 norma maks keluar berhenti lebih awal ... Tampaknya sebagian besar orang senang dengan kombinasi putus sekolah + berhenti dini: apakah ada kasus di mana menggunakan teknik lain masuk akal? Misalnya, jika Anda menginginkan model yang jarang, …

9 neural-networks  regularization  dropout 

Misalkan adalah jumlah hari Anda yang tersisa untuk hidup. Dokter 1 mengevaluasi distribusi sebagai Gaussian: . Dokter independen lain 2 mengevaluasi . Kedua dokter sama-sama andal. Bagaimana cara menggabungkan kedua informasi tersebut?XXXXXXP(X)∼N(μ1,σ1)P(X)∼N(μ1,σ1)P(X)\sim\mathcal{N}(\mu_1,\sigma_1)P(X)∼N(μ2,σ2)P(X)∼N(μ2,σ2)P(X)\sim\mathcal{N}(\mu_2,\sigma_2) Dalam artikel blog ini , penulis mengatakan itu Jika kita memiliki dua probabilitas dan kita ingin tahu peluang …

9 probability  normal-distribution 

Saya selalu berlangganan kearifan rakyat bahwa mengurangi tingkat pembelajaran dalam gbm (gradient boosted tree model) tidak merusak kinerja sampel dari model. Hari ini, saya tidak begitu yakin. Saya memasang model (meminimalkan jumlah kesalahan kuadrat) ke dataset perumahan boston . Berikut adalah sebidang kesalahan dengan jumlah pohon pada 20 persen data …

9 machine-learning  boosting  out-of-sample 

Mengingat 3 variabel acak , dan . dan bersifat independen. dan bersifat independen. Secara intuitif saya akan berasumsi bahwa dan independen. Apakah ini masalahnya, dan bagaimana saya bisa membuktikannya secara formal?X1X1X_1X2X2X_2YYYYYYX1X1X_1YYYX2X2X_2YYYX1+X2X1+X2X_1+X_2

9 independence 

Apakah mungkin untuk menghitung ekspektasi fungsi dari variabel acak dengan hanya CDF rv? Katakanlah saya memiliki fungsi yang memiliki properti dan satu-satunya informasi yang saya miliki tentang variabel acak adalah CDF.g(x)g(x)g(x)∫∞−∞g(x)dx≤∞∫−∞∞g(x)dx≤∞\int_{-\infty}^{\infty}g(x)dx \leq \infty Sebagai contoh, saya memiliki skenario di mana ada tiga timer yang dapat dimodelkan sebagai variabel acak eksponensial …

9 random-variable  expected-value 

Saat ini saya memperkirakan model volatilitas stokastik dengan metode Markov Chain Monte Carlo. Dengan demikian, saya menerapkan metode pengambilan sampel Gibbs dan Metropolis. Dengan asumsi saya mengambil rata-rata distribusi posterior daripada sampel acak dari itu, apakah ini yang biasa disebut sebagai Rao-Blackwellization ? Secara keseluruhan, ini akan menghasilkan pengambilan rata-rata …

9 mcmc  monte-carlo  gibbs  point-estimation  rao-blackwell 

Pertimbangkan fungsinya r ( x ) = E ( Y∣ X= x )r(x)=E(Y∣X=x) r(x) = \mathbb{E}(Y \mid X = x) Ini telah disebut fungsi regresi dalam buku teks yang saya gunakan. Saya mencoba mencari tahu hubungan antara fungsi ini dan model regresi linier klasik. Jadi, saya tahu bahwa itu adalah …

9 regression  linear-model 

Pertanyaan ini muncul di tempat kerja ketika seseorang bertanya kepada saya apa hubungan antara persentil dan interval kepercayaan, dan saya mengalami kesulitan mengartikulasikan pikiran saya. Konteksnya adalah pertanyaan yang sangat sederhana mengenai memperkirakan interval kepercayaan 95% pada rata-rata sampel. Saya memahami bahwa teorema limit pusat menyatakan bahwa distribusi sampling dari …

9 confidence-interval  quantiles  mean