Statistik dan Big Data

Saya biasa menganalisis item dari sudut pandang psikometrik. Tetapi sekarang saya mencoba menganalisis jenis pertanyaan lain tentang motivasi dan topik lainnya. Semua pertanyaan ini ada di skala Likert. Pikiran awal saya adalah menggunakan analisis faktor, karena pertanyaan dihipotesiskan untuk mencerminkan beberapa dimensi yang mendasarinya. Tetapi apakah analisis faktor tepat? Apakah …

17 factor-analysis  scales  psychometrics  likert  psychology 

Karena faktorial dalam distribusi poisson, menjadi tidak praktis untuk memperkirakan model poisson (misalnya, menggunakan kemungkinan maksimum) ketika pengamatan besar. Jadi, misalnya, jika saya mencoba memperkirakan suatu model untuk menjelaskan jumlah kasus bunuh diri pada tahun tertentu (hanya data tahunan yang tersedia), dan mengatakan, ada ribuan kasus bunuh diri setiap tahun, …

17 modeling  poisson-distribution  large-data 

Kami dapat berasumsi bahwa kami memiliki file CSV dan kami ingin plot garis yang sangat mendasar dengan beberapa baris pada satu plot dan legenda sederhana.

17 data-visualization 

Berpikir tentang menggunakan jaringan saraf berulang untuk peramalan deret waktu. Mereka pada dasarnya menerapkan semacam regresi otomatis non-linier umum, dibandingkan dengan model ARMA dan ARIMA yang menggunakan regresi otomatis linier. Jika kita melakukan regresi otomatis non-linier, apakah masih perlu agar deret waktu tetap dan apakah kita perlu melakukan pembedaan seperti …

17 time-series  autoregressive  nonlinear  stationarity 

Pemahaman saya tentang algoritma adalah sebagai berikut: No U-Turn Sampler (NUTS) adalah Metode Monte Carlo Hamilton. Ini berarti bahwa itu bukan metode Rantai Markov dan dengan demikian, algoritma ini menghindari bagian berjalan acak, yang sering dianggap tidak efisien dan lambat untuk bertemu. Alih-alih melakukan jalan acak, NUTS melakukan lompatan panjang …

17 bayesian  monte-carlo  markov-process 

PCA yang kuat (seperti yang dikembangkan oleh Candes et al 2009 atau lebih baik dari Netrepalli et al 2014 ) adalah metode yang populer untuk deteksi outlier multivarian , tetapi jarak Mahalanobis juga dapat digunakan untuk deteksi outlier dengan memberikan estimasi yang kuat dan teratur dari matriks kovarians . Saya …

17 pca  outliers  covariance-matrix  robust  anomaly-detection 

Saya tahu tentang manfaat regularisasi ketika membangun model prediksi (bias vs varians, mencegah overfitting). Tapi, saya bertanya-tanya apakah itu ide yang baik untuk juga melakukan regularisasi (laso, ridge, elastis net) ketika tujuan utama dari model regresi adalah inferensi pada koefisien (melihat prediktor mana yang signifikan secara statistik). Saya ingin mendengar …

17 inference  lasso  ridge-regression  elastic-net  selectiveinference 

Saya menggunakan Lasso untuk pemilihan fitur dalam pengaturan dimensi yang relatif rendah (n >> p). Setelah memasang model Lasso, saya ingin menggunakan kovariat dengan koefisien bukan nol agar sesuai dengan model tanpa penalti. Saya melakukan ini karena saya ingin perkiraan yang tidak bias yang tidak dapat diberikan oleh Lasso kepada …

17 regression  feature-selection  lasso  unbiased-estimator 

Saya bekerja dengan banyak algoritma: RandomForest, DecisionTrees, NaiveBayes, SVM (kernel = linear dan rbf), KNN, LDA dan XGBoost. Semuanya cukup cepat kecuali untuk SVM. Saat itulah saya mengetahui bahwa perlu penskalaan fitur untuk bekerja lebih cepat. Kemudian saya mulai bertanya-tanya apakah saya harus melakukan hal yang sama untuk algoritma lainnya.

17 machine-learning  svm  random-forest  naive-bayes  xgboost 

Pertama, permintaan maaf karena memposting pertanyaan yang telah dibahas panjang lebar di sini , di sini , di sini , di sini , di sini, dan untuk memanaskan kembali topik lama. Saya tahu @DikranMarsupial telah menulis tentang topik ini secara panjang lebar di posting dan makalah jurnal, tapi saya masih …

17 machine-learning  cross-validation  model-selection  glmnet  hyperparameter 

Jika saya memiliki data, dan saya menjalankan klasifikasi (katakanlah hutan acak pada data ini) dengan validasi silang (katakanlah 5 kali lipat), dapatkah saya menyimpulkan bahwa tidak ada kelebihan dalam metode saya?

17 cross-validation  overfitting 

Pertanyaan: Apa gagasan dan intuisi di balik estimasi kemungkinan maksimum kuasi (QMLE; juga dikenal sebagai estimasi kemungkinan maksimum semu, PMLE)? Apa yang membuat estimator berfungsi ketika distribusi kesalahan yang sebenarnya tidak cocok dengan distribusi kesalahan yang diasumsikan? Situs Wikipedia untuk QMLE baik-baik saja (singkat, intuitif, to the point), tetapi saya …

17 maximum-likelihood  references  intuition  quasi-likelihood 

Seperti yang dinyatakan dalam pertanyaan ini , peringkat maksimum matriks kovarians adalah mana adalah ukuran sampel dan jadi jika dimensi matriks kovarians sama dengan ukuran sampel, itu akan tunggal. Saya tidak mengerti mengapa kita mengurangi dari peringkat maksimum dari matriks kovarians.n 1 nn−1n−1n-1nnn111nnn

17 covariance-matrix  linear-algebra 

Misalkan dan adalah standar yang terdistribusi secara seragam dalam , dan mereka independen, berapakah PDF dari ?XXXYYY[0,1][0,1][0, 1]Z=Y/XZ=Y/XZ = Y / X Jawaban dari beberapa buku teks teori probabilitas adalah fZ(z)=⎧⎩⎨1/2,1/(2z2),0,if 0≤z≤1if z>1otherwise.fZ(z)={1/2,if 0≤z≤11/(2z2),if z>10,otherwise. f_Z(z) = \begin{cases} 1/2, & \text{if } 0 \le z \le 1 \\ 1/(2z^2), & …

17 probability  derived-distributions 

Setelah saya membangun model hutan acak (regresi) dalam R, panggilan rf$importancememberi saya dua ukuran untuk setiap variabel prediktor, %IncMSEdan IncNodePurity. Apakah interpretasi bahwa variabel prediktor dengan %IncMSEnilai yang lebih kecil lebih penting daripada variabel prediktor dengan %IncMSEnilai yang lebih besar ? Bagaimana dengan untuk IncNodePurity?

17 r  feature-selection  random-forest