Statistik dan Big Data

Majikan saya saat ini menjalankan survei di seluruh perusahaan tentang sikap terhadap kantor yaitu Sentimen. Di masa lalu, mereka membuka survei ke semua area bisnis (Mari kita asumsikan 10 departemen yang sangat berbeda) dan semua karyawan di dalamnya (Asumsikan total 1000 karyawan di seluruh perusahaan) Jumlah karyawan di setiap departemen …

13 survey  survey-sampling 

Saya menemukan bukti untuk salah satu sifat dari model ARCH yang mengatakan bahwa jika E(X2t)&lt;∞E(Xt2)&lt;∞\mathbb{E}(X_t^2) < \infty , maka {Xt}{Xt}\{X_t\} adalah stasioner iff ∑pi=1bi&lt;1∑i=1pbi&lt;1\sum_{i=1}^pb_i < 1 mana model ARCH adalah: Xt=σtϵtXt=σtϵtX_t = \sigma_t\epsilon_t σ2t=b0+b1X2t−1+...bpX2t−pσt2=b0+b1Xt−12+...bpXt−p2\sigma_t^2 = b_0 + b_1X_{t-1}^2 + ... b_pX_{t-p}^2 Gagasan utama buktinya adalah untuk menunjukkan bahwa dapat ditulis …

13 mathematical-statistics  stationarity  garch 

Sebuah L1L1L_1 norma adalah unik (setidaknya sebagian) karena p=1p=1p=1 adalah pada batas antara non-cembung dan cembung. Sebuah L1L1L_1 norma adalah 'yang paling jarang' cembung norma (kanan?). Saya mengerti bahwa p=2p=2p=2 norma Euclidean memiliki akar dalam geometri dan memiliki interpretasi yang jelas ketika dimensi memiliki unit yang sama. Tapi saya tidak …

13 regression  regularization  sparse 

Katakanlah kita memiliki masalah klasifikasi biner dengan sebagian besar fitur kategorikal. Kami menggunakan beberapa model non-linear (mis. XGBoost atau Random Forests) untuk mempelajarinya. Haruskah orang masih khawatir tentang multi-collinearity? Mengapa? Jika jawaban di atas benar, bagaimana seharusnya seseorang melawannya mengingat dia menggunakan jenis model non-linear ini?

13 classification  random-forest  multicollinearity  xgboost 

Saya tahu bahwa dalam regresi linier, variabel respons harus kontinu tetapi mengapa demikian? Saya tidak dapat menemukan apa pun di internet yang menjelaskan mengapa saya tidak dapat menggunakan data diskrit untuk variabel respons.

13 regression  linear 

Saya memiliki data mentah yang memiliki sekitar 20 kolom (20 fitur). Sepuluh di antaranya merupakan data kontinu dan 10 di antaranya bersifat kategorikal. Beberapa data kategorikal dapat memiliki seperti 50 nilai yang berbeda (Amerika Serikat). Setelah saya pra-proses data, 10 kolom kontinu menjadi 10 kolom yang disiapkan dan 10 nilai …

13 machine-learning  neural-networks  tensorflow  data-preprocessing  theano 

Dalam makalah DeepMind tahun 2015 tentang pembelajaran penguatan dalam, ia menyatakan bahwa "Upaya sebelumnya untuk menggabungkan RL dengan jaringan saraf sebagian besar gagal karena pembelajaran yang tidak stabil". Makalah ini kemudian mencantumkan beberapa penyebabnya, berdasarkan korelasi antar pengamatan. Tolong bisakah seseorang menjelaskan apa artinya ini? Apakah itu bentuk overfitting, di …

13 machine-learning  neural-networks  deep-learning  reinforcement-learning 

Karena saya yakin semua orang di sini sudah tahu, PDF dari distribusi Beta X∼B(a,b)X∼B(a,b)X \sim B(a,b) diberikan oleh f(x)=1B(a,b)xa−1(1−x)b−1f(x)=1B(a,b)xa−1(1−x)b−1f(x) = \frac{1}{B(a,b)}x^{a-1}(1-x)^{b-1} Saya telah berburu di seluruh tempat untuk penjelasan tentang asal-usul formula ini, tetapi saya tidak dapat menemukannya. Setiap artikel yang saya temukan pada distribusi Beta tampaknya memberikan formula ini, …

13 probability  mathematical-statistics  pdf  beta-distribution  history 

Dari apa yang saya pahami, pemilihan variabel berdasarkan nilai-p (setidaknya dalam konteks regresi) sangat cacat. Tampaknya pemilihan variabel berdasarkan AIC (atau serupa) juga dianggap cacat oleh beberapa, untuk alasan yang sama, meskipun ini tampaknya agak tidak jelas (mis. Lihat pertanyaan saya dan beberapa tautan pada topik ini di sini: Apa …

13 hypothesis-testing  multiple-regression  feature-selection  model-selection  aic 

Saya mencari referensi di mana terbukti bahwa rata-rata harmonik x¯h= n∑ni = 11xsayax¯h=n∑saya=1n1xsaya\bar{x}^h = \frac{n}{\sum_{i=1}^n \frac{1}{x_i}} meminimalkan (dalam zzz ) jumlah kesalahan relatif kuadrat ∑i = 1n( ( xsaya- z)2xsaya) .∑saya=1n((xsaya-z)2xsaya).\sum_{i=1}^n \left( \frac{(x_i - z)^2}{x_i}\right).

13 references  mean  error  weighted-regression  harmonic-mean 

Saya sedang membangun model ARIMA untuk beberapa data angin / gelombang. Saya sedang membangun model terpisah untuk setiap variabel. Dua variabel yang saya perlu model adalah arah gelombang dan angin. Nilai dalam derajat (0-360 °). Apakah mungkin untuk memodelkan tipe data ini di mana interval nilai melingkar? Jika tidak, kelas …

13 time-series  arima  circular-statistics 

Sedikit latar belakang saya bekerja pada interpretasi analisis regresi tetapi saya benar-benar bingung tentang arti r, r kuadrat dan standar deviasi residual. Saya tahu definisi: Penokohan r mengukur kekuatan dan arah hubungan linear antara dua variabel pada sebar scatter R-squared adalah ukuran statistik seberapa dekat data dengan garis regresi pas. …

13 r  regression  regression-coefficients  linear  pearson-r 

Saya mendapatkan beberapa hasil membingungkan untuk korelasi jumlah dengan variabel ketiga ketika kedua prediktor berkorelasi negatif. Apa yang menyebabkan hasil yang membingungkan ini? Contoh 1: Korelasi antara jumlah dua variabel dan variabel ketiga Pertimbangkan formula 16.23 di halaman 427 dari teks Guildford 1965, yang ditunjukkan di bawah ini. Temuan membingungkan: …

13 correlation  multiple-regression 

Objektif Konfirmasikan apakah pemahaman tentang KKT benar atau tidak. Cari penjelasan dan konfirmasi lebih lanjut tentang KKT. Latar Belakang Mencoba memahami kondisi KKT, terutama yang saling melengkapi, yang selalu muncul tiba-tiba dalam artikel SVM. Saya tidak perlu daftar formula abstrak tetapi perlu penjelasan konkret, intuitif, dan grafis. Pertanyaan Jika P, …

13 svm  optimization  lagrange-multipliers 

Dalam masalah khusus yang saya kerjakan dengan (kompetisi) saya memiliki pengaturan follwoing: 21 fitur (angka pada [0,1]) dan output biner. Saya memiliki sekitar 100 K baris. Pengaturan tampaknya sangat bising. Saya dan peserta lain menerapkan pembuatan fitur untuk sementara waktu dan penyematan stokastik tetangga t-didistribusikan ternyata lebih kuat dalam pengaturan …

13 machine-learning  dimensionality-reduction  unsupervised-learning  tsne