Statistik dan Big Data

Saya memiliki masalah yang sangat sederhana tetapi saya tidak dapat menemukan alat yang tepat untuk menyelesaikannya. Saya memiliki beberapa urutan vektor dengan panjang yang sama. Sekarang saya ingin melatih LSTM RNN pada sampel kereta dari urutan ini dan kemudian membuatnya untuk memprediksi urutan baru dari vektor panjang berdasarkan beberapa vektor …

19 neural-networks  python  lstm 

Saya mencoba untuk mendapatkan pemahaman intuitif tentang bagaimana analisis komponen utama (PCA) bekerja di ruang subjek (ganda) . Pertimbangkan dataset 2D dengan dua variabel, dan , dan titik data (matriks data adalah dan dianggap berpusat). Presentasi PCA yang umum adalah bahwa kami mempertimbangkan poin dalam , tulis matriks kovarian , …

19 pca  linear-algebra  intuition  geometry 

CrossValidated memiliki beberapa pertanyaan tentang kapan dan bagaimana menerapkan koreksi bias peristiwa langka oleh King dan Zeng (2001) . Saya mencari sesuatu yang berbeda: demonstrasi berbasis simulasi minimal bahwa bias ada. Secara khusus, Raja dan negara Zeng "... dalam data kejadian yang jarang, bias dalam probabilitas dapat secara substantif bermakna …

19 r  logistic  simulation  bias  rare-events 

Saya menggunakan dekomposisi Cholesky untuk mensimulasikan variabel acak berkorelasi diberi matriks korelasi. Masalahnya, hasilnya tidak pernah mereproduksi struktur korelasi seperti yang diberikan. Berikut ini adalah contoh kecil dalam Python untuk menggambarkan situasi. import numpy as np n_obs = 10000 means = [1, 2, 3] sds = [1, 2, 3] # …

19 correlation  random-generation  cholesky 

Berikut ini adalah plot glmnet dengan alpha default (1, karenanya laso) menggunakan mtcarsset data dalam R dengan mpgsebagai DV dan yang lainnya sebagai variabel prediktor. glmnet(as.matrix(mtcars[-1]), mtcars[,1]) Apa yang bisa kita simpulkan dari plot ini mengenai berbagai variabel, khususnya am, cyldan wt(garis merah, hitam dan biru muda)? Bagaimana kita akan …

19 regression  feature-selection  lasso  glmnet 

Tampaknya koefisien korelasi Pearson adalah parametrik dan Spearman rho adalah non-parametrik. Saya mengalami kesulitan memahami hal ini. Seperti yang saya pahami, Pearson dihitung sebagai dan Spearman dihitung dengan cara yang sama, kecuali kami mengganti semua nilai dengan peringkat mereka.rx y= c o v ( X, Y)σxσyrxy=cHaiv(X,Y)σxσy r_{xy} = \frac{cov(X,Y)}{\sigma_x\sigma_y} Wikipedia …

19 nonparametric  pearson-r  parametric  spearman-rho 

Saya telah membaca makalah hebat ini oleh David Colquhoun: Investigasi tingkat penemuan yang salah dan salah tafsir dari nilai-p (2014). Intinya, ia menjelaskan mengapa false discovery rate (FDR) bisa setinggi meskipun kami mengontrol kesalahan tipe I dengan α = 0,05 .30 %30%30\%α = 0,05α=0,05\alpha=0.05 Namun saya masih bingung apa yang …

19 hypothesis-testing  statistical-significance  p-value  multiple-comparisons  false-discovery-rate 

Pemahaman saya tentang t-SNE dan pendekatan Barnes-Hut adalah bahwa semua titik data diperlukan sehingga semua interaksi gaya dapat dihitung pada waktu yang sama dan setiap titik dapat disesuaikan dalam peta 2d (atau dimensi yang lebih rendah). Apakah ada versi t-sne yang secara efisien dapat menangani data streaming? Jadi jika pengamatan …

19 data-visualization  dimensionality-reduction  multidimensional-scaling  tsne 

Jika kita memiliki 2 variabel acak normal, tidak berkorelasi maka kita dapat membuat 2 variabel acak berkorelasi dengan rumusX1,X2X1,X2X_1, X_2 Y=ρX1+1−ρ2−−−−−√X2Y=ρX1+1−ρ2X2Y=\rho X_1+ \sqrt{1-\rho^2} X_2 dan kemudian akan memiliki korelasi dengan .ρ X 1YYYρρ\rhoX1X1X_1 Adakah yang bisa menjelaskan dari mana formula ini berasal?

19 correlation  normal-distribution  covariance 

Saya semakin tertarik dengan prosedur jaring elastis untuk penyusutan / pemilihan prediktor. Tampaknya sangat kuat. Tetapi dari sudut pandang ilmiah saya tidak tahu apa yang harus dilakukan setelah saya mendapatkan koefisien. Pertanyaan apa yang saya jawab? Ini adalah variabel yang paling mempengaruhi hasil itu dan ini adalah koefisien yang memberikan …

19 hypothesis-testing  prediction  inference  lasso  elastic-net 

RNN dapat digunakan untuk prediksi, atau pemetaan urutan ke urutan. Tetapi bagaimana RNN dapat digunakan untuk klasifikasi? Maksud saya, kami memberikan seluruh label satu urutan.

19 machine-learning  neural-networks  rnn 

Dalam buku teks dan ceramah youtube saya belajar banyak tentang model berulang seperti meningkatkan, tapi saya tidak pernah melihat apa pun tentang mendapatkan interval prediksi. Validasi silang digunakan untuk yang berikut: Pemilihan model : Coba model yang berbeda dan pilih yang paling cocok. Dalam hal meningkatkan, gunakan CV untuk memilih …

19 cross-validation  boosting  prediction-interval 

Kecuali fakta bahwa pengembalian bisa negatif sementara harga harus positif, apakah ada alasan lain di balik pemodelan harga saham sebagai log distribusi normal tetapi pemodelan pengembalian saham sebagai distribusi normal?

19 normal-distribution  lognormal  finance 

Kami biasanya diperkenalkan dengan metode penduga momen dengan "menyamakan momen populasi dengan sampel pendampingnya" hingga kami memperkirakan semua parameter populasi; sehingga, dalam kasus distribusi normal, kita hanya perlu momen pertama dan kedua karena mereka sepenuhnya menggambarkan distribusi ini. E(X)=μ⟹∑ni=1Xi/n=X¯E(X)=μ⟹∑i=1nXi/n=X¯E(X) = \mu \implies \sum_{i=1}^n X_i/n = \bar{X} E( X2) = μ2+ …

19 mathematical-statistics  lognormal  moments  method-of-moments 

Apa beberapa teorema yang mungkin menjelaskan (yaitu, secara umum) mengapa data dunia nyata mungkin diharapkan terdistribusi secara normal? Ada dua yang saya tahu: Theor Limit Limit Theorem (tentu saja), yang memberitahu kita bahwa jumlah dari beberapa variabel acak independen dengan mean dan varians (bahkan ketika mereka tidak terdistribusi secara identik) …

19 normal-distribution  central-limit-theorem