Statistik dan Big Data

Saya mencoba memahami seluruh varian / kesalahan std dari serangkaian waktu pengembalian keuangan, dan saya pikir saya terjebak. Saya memiliki serangkaian data pengembalian stok bulanan (sebut saja ), yang memiliki nilai yang diharapkan 1,00795, dan varians 0,000228 (std. Dev adalah 0,01512). Saya mencoba menghitung kasus terburuk dari pengembalian tahunan (katakanlah …

11 time-series  variance  independence  finance 

Apa metrik "terbaik" untuk matriks kovarian, dan mengapa? Jelas bagi saya bahwa Frobenius & c tidak tepat, dan sudut pandang memiliki masalah mereka juga. Secara intuitif seseorang mungkin menginginkan kompromi antara keduanya, tetapi saya juga ingin tahu apakah ada aspek lain yang perlu diingat dan mungkin standar yang sudah mapan. …

11 covariance  metric 

Saya memiliki satu set titik data dalam ruang dimensi N. Selain itu, saya juga memiliki centroid di ruang dimensi-N yang sama. Apakah ada pendekatan yang dapat memungkinkan saya untuk memproyeksikan titik data ini ke ruang dua dimensi sambil menjaga informasi jarak relatif mereka di ruang asli. Apakah PCA yang benar?

11 data-visualization  pca  multidimensional-scaling 

Saya sedang mengerjakan masalah bandit multi-bersenjata di mana kami tidak memiliki informasi tentang distribusi hadiah. Saya telah menemukan banyak makalah yang menjamin batas penyesalan untuk distribusi dengan batas yang diketahui, dan untuk distribusi umum dengan dukungan pada [0,1]. Saya ingin mencari tahu apakah ada cara untuk bekerja dengan baik di …

11 references  multiarmed-bandit 

Mari kita asumsikan kita memiliki dua parameter, dan . Kami juga memiliki dua penaksir kemungkinan maksimum dan dan dua interval kepercayaan untuk parameter ini. Apakah ada cara untuk membangun interval kepercayaan untuk ?p 2 ^ p 1 ^ p 2 p 1 p 2p1p1p_1p2p2p_2p1^p1^\hat{p_1}p2^p2^\hat{p_2}p1p2p1p2p_1p_2

11 confidence-interval 

Tolong beri saya ide bagaimana secara efisien mengode ulang variabel kategori (faktor) ke dalam set variabel kontras polinomial ortogonal. Untuk banyak jenis variabel kontras (mis. Penyimpangan, simpel, Helmert, dll.) Pass-nya adalah: Tulis matriks koefisien kontras sesuai dengan jenisnya. Membalikkan atau menggeneralisasi-membaliknya untuk mendapatkan matriks kode. Sebagai contoh: Suppose there is …

11 contrasts  polynomial 

Saya memiliki matriks kovariansi dan ingin variabel partisi ke k cluster menggunakan hirarki pengelompokan (misalnya, untuk memilah matriks kovarians).n × nn×nn \times nkkk Apakah ada fungsi jarak yang khas antara variabel (yaitu antara kolom / baris dari matriks kovarians kuadrat)? Atau jika ada lebih banyak, apakah ada referensi yang bagus …

11 clustering  covariance  distance-functions  distance 

Saya sebelumnya belajar tentang distribusi sampling yang memberikan hasil bagi estimator, dalam hal parameter yang tidak diketahui. Misalnya, untuk distribusi sampel dan dalam model regresi linier Y_i = \ beta_o + \ beta_1 X_i + \ varepsilon_iβ^0β^0\hat\beta_0β^1β^1\hat\beta_1Yi=βo+β1Xi+εiYi=βo+β1Xi+εiY_i = \beta_o + \beta_1 X_i + \varepsilon_i β^0∼N(β0, σ2(1n+x¯2Sxx))β^0∼N(β0, σ2(1n+x¯2Sxx)) \hat{\beta}_0 \sim \mathcal …

11 regression  self-study  bayesian  mathematical-statistics  sampling 

Apa yang diketahui batas atas pada seberapa sering norma Euclidean dari elemen yang dipilih secara seragam dari akan lebih besar dari ambang yang diberikan?{−n, −(n−1), ..., n−1, n}d{−n, −(n−1), ..., n−1, n}d\:\{-n,~-(n-1),~...,~n-1,~n\}^d\: Saya terutama tertarik pada batas yang konvergen secara eksponensial ke nol ketika jauh lebih kecil dari .dnnnddd

11 uniform  extreme-value  bounds 

Saya ingin mengevaluasi beberapa model berbeda yang memberikan prediksi perilaku di tingkat bulanan. Data seimbang, dan 100.000 dan 12. Hasilnya menghadiri konser di bulan tertentu, jadi nol untuk ~ 80% dari orang-orang di bulan apa pun, tetapi ada ekor panjang yang benar dari pengguna berat. Prediksi yang saya miliki tampaknya …

11 repeated-measures  predictive-models  stata  panel-data  validation 

Misalkan adalah sampel acak sederhana dari distribusi Normal .X1,X2,...,XnX1,X2,...,XnX_1, X_2, \, ... \, , X_n(μ,σ2)(μ,σ2)(\mu,\sigma^2) Saya tertarik melakukan tes hipotesis berikut: untuk konstanta yang diberikan .H0:|μ|≤cH1:|μ|>c,H0:|μ|≤cH1:|μ|>c, H_0: | \mu| \le c \\ H_1: |\mu| > c, c>0c>0c > 0 Saya berpikir untuk melakukan dua satu sisi -tests (TOST) dengan cara …

11 hypothesis-testing  biostatistics  equivalence  tost 

Saya sedang menulis skrip yang menganalisis waktu proses yang dijalankan. Saya tidak yakin distribusi mereka tetapi saya ingin tahu apakah suatu proses berjalan "terlalu lama". Sejauh ini saya telah menggunakan 3 standar deviasi dari waktu menjalankan terakhir (n> 30), tetapi saya diberitahu bahwa ini tidak memberikan sesuatu yang berguna jika …

11 outliers  reliability  average 

uji-t untuk menguji apakah rata-rata sampel yang berdistribusi normal sama dengan konstanta dikatakan sebagai uji Wald, dengan memperkirakan standar deviasi sampel dengan informasi nelayan dari distribusi normal pada mean sampel. Tetapi statistik uji dalam uji t memiliki distribusi t siswa, sedangkan uji statistik dalam uji Wald secara asimtotik memiliki distribusi …

11 hypothesis-testing  anova 

Saya memiliki masalah klasifikasi biner dan saya mencoba berbagai pengklasifikasi di dalamnya: Saya ingin membandingkan pengklasifikasi. mana yang merupakan ukuran AUC atau akurasi yang lebih baik? Dan mengapa? Raondom Forest: AUC: 0.828 Accuracy: 79.6667 % SVM: AUC: 0.542 Accuracy: 85.6667 %

11 machine-learning  classification  auc 

Saya berjuang untuk membuat koneksi matematis antara jaringan saraf dan model grafis. Dalam model grafis idenya sederhana: distribusi probabilitas memfaktorkan menurut klik dalam grafik, dengan potensi yang biasanya dari keluarga eksponensial. Apakah ada alasan yang setara untuk jaringan saraf? Bisakah seseorang mengungkapkan distribusi probabilitas atas unit (variabel) dalam mesin Boltzmann …

11 neural-networks  markov-process  graphical-model  deep-learning  deep-belief-networks