Statistik dan Big Data

Saya menggunakan adonis()fungsi dalam veganpaket untuk menentukan 1) jika spesies inang yang muncul secara bersamaan bervariasi dalam komunitas mikroba mereka di beberapa situs, dan 2) jika situs berbeda. Saya telah memeriksa semua posting di CV dan SO, dan tidak ada jawaban yang jelas tentang bagaimana menentukan signifikansi beberapa faktor menggunakan …

9 r  permutation-test  sums-of-squares  blocking 

Saya bekerja secara luas dengan model deret waktu keuangan, kebanyakan AR (I) MA, dan Kalman. Satu masalah yang terus saya hadapi adalah frekuensi pengambilan sampel. Awalnya saya berpikir jika menawarkan kemungkinan untuk sampel lebih sering dari proses yang mendasarinya, saya harus mengambil sampel sesering mungkin sehingga saya akan memiliki jumlah …

9 time-series  sampling  arima 

Koefisien korelasi Matthews ( ) adalah ukuran untuk mengukur kualitas klasifikasi biner ([Wikipedia] [1]). diberikan untuk klasifikasi biner yang menggunakan true positive ( ), false positive ( ), false negative ( ), dan nilai true negative ( ) seperti yang diberikan di bawah ini:MCCMCC\textrm{MCC}MCCMCC\textrm{MCC}TPTPTPFPFPFPFNFNFNTNTNTN MCC =TP× TN- FP× FN( TP+ …

9 machine-learning  classification  multi-class  agreement-statistics 

Kolega saya dan saya mencoba untuk membungkus kepala kami di sekitar perbedaan antara regresi logistik dan SVM. Jelas mereka mengoptimalkan fungsi tujuan yang berbeda. Apakah SVM sesederhana mengatakan itu adalah klasifikasi diskriminatif yang hanya mengoptimalkan kehilangan engsel? Atau lebih kompleks dari itu? Bagaimana vektor pendukung berperan? Bagaimana dengan variabel slack? …

9 regression  logistic  svm  max-margin 

Misalkan memiliki distribusi binomial di mana parameter sebelumnya seragam. Bagaimana saya bisa mendapatkan distribusi parameter posterior?

9 bayesian  posterior 

Saya mengamati bahwa fungsi laso di MATLAB relatif lambat. Saya menjalankan banyak masalah regresi, dengan biasanya 1 hingga 100 prediktor dan 200 hingga 500 pengamatan. Dalam beberapa kasus, laso ternyata sangat lambat (untuk menyelesaikan masalah regresi butuh beberapa menit). Saya menemukan bahwa ini adalah kasus ketika prediktor sangat berkorelasi (misalnya, …

9 regression  feature-selection  regularization 

Saya membaca makalah ini: penerjemah skype di mana mereka menggunakan CD-DNN-HMMs (Konteks bergantung pada Jaringan saraf dengan Model Hidden Markov). Saya dapat memahami ide proyek dan arsitektur yang telah mereka rancang tetapi saya tidak mengerti apa itu senones . Saya telah mencari definisi tetapi saya belum menemukan apa pun —Kami …

9 neural-networks  deep-learning  terminology  natural-language  hidden-markov-model 

Saya mencari penjelasan 1) mekanis dan 2) intuitif untuk bagaimana efek dari variabel individu ditentukan memegang variabel lain konstan. Dalam contoh menggunakan data survei, apa sebenarnya artinya mengatakan: "Dengan usia, jenis kelamin, dan penghasilan yang konstan, pengaruh pendidikan adalah ___" Pemahaman saya adalah bahwa dengan regresi kami berusaha untuk menciptakan …

9 regression  interpretation 

Saya sedikit bingung dengan formula yang disajikan dalam "Pengantar Pembelajaran Statistik" Hastie. Dalam Bab 6, halaman 212 (pencetakan keenam, tersedia di sini ), dinyatakan bahwa: AIC=RSSnσ^2+2dnAIC=RSSnσ^2+2dnAIC = \frac{RSS}{n\hat\sigma^2} + \frac{2d}{n} Untuk model linier dengan noise Gaussian, ddd menjadi jumlah prediktor dan σ^σ^\hat\sigmamenjadi estimasi varians kesalahan. Namun, σ^2=RSS(n−2)σ^2=RSS(n−2)\hat\sigma^2 = \frac{RSS}{(n-2)} Yang …

9 regression  machine-learning  aic 

misalkan adalah variabel acak yang didefinisikan pada ruang probabilitas yang sama dan biarkan kovarians dan menjadi terbatas, maka hukum rumus dekomposisi kovarian total / kovarian menyatakan: Apa interpretasi dari dan ?X,Y,ZX,Y,ZX,Y,ZXXXYYYCov(X,Y)=E[Cov(X,Y|Z)](i)+Cov[E(X|Z),E(Y|Z)](ii)Cov(X,Y)=E[Cov(X,Y|Z)]⏟(saya)+Cov[E(X|Z),E(Y|Z)]⏟(ii)\begin{align} \text{Cov}(X,Y)=\underbrace{\mathbb{E}\big[\text{Cov}(X,Y\lvert Z)\big]}_{\text{(i)}}+\underbrace{\text{Cov}\big[\mathbb{E}(X\lvert Z),\mathbb{E}(Y\lvert Z)\big]}_{\text{(ii)}} \end{align}(i)(saya)\text{(i)}(ii)(ii)\text{(ii)} Pikiran saya: dalam (ii) dua harapan bersyarat dapat dilihat sebagai variabel acak sendiri, saya …

9 probability  covariance  variance-decomposition 

Melakukan penelitian tentang algoritma xgboost saya membaca dokumentasi . Dalam pendekatan ini, pohon diatur menggunakan definisi kompleksitas mana dan adalah parameter, adalah jumlah daun terminal dan adalah skor di setiap daun.Ω(f)=γT+12λ∑j=1Tw2jΩ(f)=γT+12λ∑j=1Twj2 \Omega(f) = \gamma T + \frac12 \lambda \sum_{j=1}^T w_j^2 γγ\gammaλλ\lambdaTTTwjwjw_j Saya bertanya-tanya: bagaimana ini mendefinisikan kompleksitas? , jumlah node …

9 cart  regularization  boosting  gradient-descent  overfitting 

Saya telah ditanya pertanyaan tentang model linier yang dibuat dengan R's lm: "Apakah regresi menggunakan kuadrat terkecil linier atau non-linear?" Saya mencari sedikit dan [berpikir bahwa saya] memahami perbedaan antara keduanya, tetapi tidak dapat menemukan bukti penggunaan R dari linear kuadrat terkecil di lm(yang saya pikir itu menggunakan). Saya menyisir …

9 r  linear-model  lm 

Dalam CBOW dan skip-gram model word2vec, bagaimana cara memilih vektor kata dari (input word matrix) vs. memilih vektor kata dari (output word matrix) berdampak pada kualitas vektor kata yang dihasilkan?WWWW′W′W' CBOW: Lewati-gram:

9 neural-networks  natural-language  word2vec  word-embeddings 

Saya mencoba memahami definisi yang tepat dari parameter lokasi / skala / bentuk (mis Sebuahaa disebut parameter bentuk dan cccadalah parameter skala dalam Pareto Tipe I). Tetapi buku-buku yang saya maksudkan ( Kamus Statistik Cambridge , Pengantar HMC untuk Statistik Matematika , Pengantar Feller's An untuk Teori Probabilitas dan Penerapannya …

9 mathematical-statistics  nonparametric  definition 

Pertimbangkan proses acak yang berarti ada, dan konstan, untuk semua waktu , yaitu untuk semua waktu dan waktu bergeser (atau "lag") . Saya tidak memaksakan kondisi lebih lanjut pada momen yang lebih tinggi atau pada fungsi distribusi. Bagaimana saya bisa menggambarkan proses seperti itu? Ini hanya diam dalam arti lebih …

9 time-series  terminology  stationarity  stochastic-processes