Statistik dan Big Data

Saya telah membaca bahwa estimator 2SLS masih konsisten bahkan dengan variabel endogen biner ( http://www.stata.com/statalist/archive/2004-07/msg00699.html ). Pada tahap pertama, model perawatan probit akan dijalankan alih-alih model linier. Apakah ada bukti formal untuk menunjukkan bahwa 2SLS masih konsisten bahkan ketika tahap 1 adalah model probit atau logit? Juga bagaimana jika hasilnya …

10 probit  instrumental-variables  endogeneity 

Saya telah membaca sedikit tentang meningkatkan algoritma untuk tugas klasifikasi dan Adaboost pada khususnya. Saya memahami bahwa tujuan Adaboost adalah untuk mengambil beberapa "pelajar yang lemah" dan, melalui serangkaian iterasi pada data pelatihan, mendorong pengklasifikasi untuk belajar memprediksi kelas yang modelnya berulang kali membuat kesalahan. Namun, saya bertanya-tanya mengapa begitu …

10 machine-learning  classification  algorithms  boosting 

Salah satu masalah penting yang dihadapi oleh peramal adalah apakah seri yang diberikan dapat diperkirakan atau tidak? Saya menemukan sebuah artikel berjudul " Entropi sebagai Indikator A Priori dari Kemampuan Prakiraan " oleh Peter Catt yang menggunakan Perkiraan Entropi (ApEn) sebagai ukuran relatif untuk menentukan seri waktu tertentu yang dapat …

10 time-series  forecasting  entropy  maximum-entropy  forecastability 

Saat ini saya menggunakan Scikit belajar dengan kode berikut: clf = svm.SVC(C=1.0, tol=1e-10, cache_size=600, kernel='rbf', gamma=0.0, class_weight='auto') dan kemudian cocok dan memprediksi untuk satu set data dengan 7 label berbeda. Saya mendapat hasil yang aneh. Tidak peduli teknik validasi silang mana yang saya gunakan label prediksi pada set validasi akan …

10 svm  scikit-learn  libsvm  multi-class  optunity 

Anggaplah saya memiliki -vektor dari variabel dependen, dan -vektor dari variabel independen. Ketika diplot terhadap , saya melihat bahwa ada hubungan linear (tren naik) di antara keduanya. Sekarang, ini juga berarti bahwa ada tren penurunan linear antara dan .Y N X Y 1NNNYYYNNNXXXYYY YX1X1X\frac{1}{X}YYYXXX Sekarang, jika saya menjalankan regresi: dan …

10 regression  data-transformation  linear-model 

Saya bermain-main dengan dataset kanker payudara dan membuat sebar semua atribut untuk mendapatkan ide yang paling berpengaruh dalam memprediksi kelas malignant(biru) dari benign(merah). Saya mengerti bahwa baris mewakili sumbu x dan kolom mewakili sumbu y tetapi saya tidak dapat melihat pengamatan apa yang dapat saya lakukan tentang data atau atribut …

10 r  data-visualization  interpretation  scatterplot 

Banyak buku teks statistik memberikan ilustrasi intuitif tentang apa vektor eigen dari matriks kovarians: Vektor u dan z membentuk vektor eigen (well, eigenaxes). Ini masuk akal. Tetapi satu hal yang membingungkan saya adalah bahwa kita mengekstrak vektor eigen dari matriks korelasi , bukan data mentah. Lebih lanjut, dataset mentah yang …

10 correlation  pca  covariance-matrix  eigenvalues 

Saya terjebak pada bagaimana mengatasi masalah ini. Jadi, kita memiliki dua urutan variabel acak, XiXiX_i dan YiYiY_i untuk i=1,...,ni=1,...,ni=1,...,n . Sekarang, XXX dan YYY adalah distribusi eksponensial independen dengan parameter λλ\lambda dan μμ\mu . Namun, alih-alih mengamati XXX dan YYY , kita amati bukan ZZZ dan WWW . W = …

10 self-study  maximum-likelihood  exponential  minimum 

Sebelum mengajukan pertanyaan ini, saya mencari di situs kami dan menemukan banyak pertanyaan serupa, (seperti di sini , di sini , dan di sini ). Tetapi saya merasa pertanyaan-pertanyaan terkait itu tidak ditanggapi atau didiskusikan dengan baik, sehingga ingin mengajukan pertanyaan ini lagi. Saya merasa harus ada banyak pendengar yang …

10 mixed-model  residuals  heteroscedasticity  diagnostic 

Saya menggunakan analisis semantik laten untuk mewakili kumpulan dokumen di ruang dimensi yang lebih rendah. Saya ingin mengelompokkan dokumen-dokumen ini menjadi dua kelompok menggunakan k-means. Beberapa tahun yang lalu, saya melakukan ini menggunakan gensim Python dan menulis algoritma k-means saya sendiri. Saya menentukan cluster centroid menggunakan jarak Euclidean, tetapi kemudian …

10 k-means  svd  lsa  cosine-distance  cosine-similarity 

Saya memiliki model berikut yang m_plotdilengkapi dengan lme4::lmerefek acak silang untuk peserta ( lfdn) dan item ( content): Random effects: Groups Name Variance Std.Dev. Corr lfdn (Intercept) 172.173 13.121 role1 62.351 7.896 0.03 inference1 24.640 4.964 0.08 -0.30 inference2 52.366 7.236 -0.05 0.17 -0.83 inference3 21.295 4.615 -0.03 0.22 0.86 …

10 mixed-model  lme4-nlme  intraclass-correlation 

Saya menyadari beberapa contoh yang bagus dari pasangan variabel acak berkorelasi yang secara normal normal tetapi tidak secara normal normal. Lihat jawaban ini oleh Dilip Sarwate , dan yang ini oleh Cardinal . Saya juga mengetahui contoh dua variabel acak normal yang jumlahnya tidak normal. Lihat jawaban ini oleh Makro …

10 correlation  normal-distribution  multivariate-analysis  bivariate 

Saya mendengar sebuah cerita baru-baru ini di mana seseorang mengatakan jika mereka ingin membunuh seseorang (dan lolos begitu saja) mereka akan melakukannya dengan mobil mereka. Mereka mengutip berbagai statistik tentang jumlah kematian terkait-otomatis (termasuk mobil-di-pejalan kaki) ditambah dengan statistik tambahan tentang jumlah pengemudi yang benar-benar dijatuhi hukuman untuk segala jenis …

10 statistical-significance 

Asumsikan saya memiliki ukuran sampel yang kecil, misalnya N = 100, dan dua kelas. Bagaimana saya harus memilih pelatihan, validasi silang, dan ukuran set tes untuk pembelajaran mesin? Saya akan memilih secara intuitif Pelatihan menetapkan ukuran 50 Validasi silang mengatur ukuran 25, dan Ukuran tes 25. Tapi mungkin ini lebih …

10 machine-learning  sampling  svm  cross-validation  sample-size 

Masalah Saya ingin menyesuaikan parameter model populasi campuran 2-Gaussian sederhana. Mengingat semua hype di sekitar metode Bayesian saya ingin mengerti jika untuk masalah ini kesimpulan Bayesian adalah alat yang lebih baik daripada metode pemasangan tradisional. Sejauh ini MCMC berkinerja sangat buruk dalam contoh mainan ini, tapi mungkin saya hanya mengabaikan …

10 bayesian  gaussian-mixture  frequentist  pymc  method-comparison