Statistik dan Big Data

Berdasarkan estimasi akurasi klasifikasi, saya ingin menguji apakah satu classifier secara statistik lebih baik pada set dasar daripada classifier lain. Untuk setiap classifier, saya memilih pelatihan dan pengujian sampel secara acak dari set dasar, melatih model, dan menguji model. Saya melakukan ini sepuluh kali untuk setiap classifier. Karena itu saya …

29 machine-learning  classification  t-test 

Saya telah melakukan kompetisi pembelajaran mesin di mana mereka menggunakan RMSLE (Root Mean Squared Logarithmic Error) untuk mengevaluasi kinerja memprediksi harga jual suatu kategori peralatan. Masalahnya adalah saya tidak yakin bagaimana menafsirkan keberhasilan hasil akhir saya. Sebagai contoh jika saya mencapai RMSLE dari bisa saya membesarkannya yang eksponensial kekuatan dan …

29 regression  machine-learning  interpretation  measurement-error  theory 

Saya mencoba mempelajari berbagai metode validasi silang, terutama dengan maksud untuk diterapkan pada teknik analisis multivariat yang diawasi. Dua yang saya temui adalah teknik validasi silang K-fold dan Monte Carlo. Saya telah membaca bahwa K-fold adalah variasi pada Monte Carlo tetapi saya tidak yakin saya sepenuhnya mengerti apa yang membentuk …

29 cross-validation  monte-carlo 

Untuk penduga kepadatan kernel (KDE) univariat, saya menggunakan aturan Silverman untuk menghitung :hhh 0.9min(sd,IQR/1.34)×n−0.20.9min(sd,IQR/1.34)×n−0.2\begin{equation} 0.9 \min(sd, IQR/1.34)\times n^{-0.2} \end{equation} Apa aturan standar untuk KDE multivarian (dengan asumsi kernel Normal).

29 smoothing  kernel-smoothing 

Tutup. Pertanyaan ini di luar topik . Saat ini tidak menerima jawaban. Ingin meningkatkan pertanyaan ini? Perbarui pertanyaan sehingga sesuai topik untuk Cross Validated. Ditutup 2 tahun yang lalu . Saya menggunakan tanda sisipan untuk menjalankan hutan acak lintas divalidasi atas dataset. Variabel Y adalah faktor. Tidak ada NaN, Inf, …

29 r  random-forest  caret  regression  prediction  fitting  social-science  poisson-distribution  distributions  characteristic-function  bayesian  prior  regression  normal-distribution  interaction  nonparametric  skewness  svm  standard-deviation  standard-error  regression-coefficients  igraph  natural-language  word2vec  word-embeddings  regression  machine-learning  sampling  r  regression  machine-learning  random-forest  ensemble  sampling  unbiased-estimator  proof  estimators  mse  probability  conditional-probability  bayes  anova  missing-data  neural-networks  recommender-system  r  confidence-interval  sample  multiple-imputation  r  time-series  forecasting  mase 

Saya belajar PCA dari kursus Andrew Ng's Coursera dan materi lainnya. Dalam tugas pertama Stanford NLP kursus cs224n , dan dalam video ceramah dari Andrew Ng , mereka melakukan dekomposisi nilai singular bukan dekomposisi vektor eigen dari matriks kovarians, dan Ng bahkan mengatakan bahwa SVD secara numerik lebih stabil daripada …

29 pca  linear-algebra  svd  eigenvalues  numerics 

Saya sedang melakukan kursus Machine Learning Stanford di Coursera. Dalam bab tentang Regresi Logistik, fungsi biaya adalah sebagai berikut: Kemudian, diturunkan di sini: Saya mencoba mendapatkan turunan dari fungsi biaya tetapi saya mendapatkan sesuatu yang sama sekali berbeda. Bagaimana derivatif diperoleh? Apa langkah perantara?

29 regression  logistic  gradient-descent  derivative 

Saya memiliki contoh di bawah ini yang saya ambil dari dokumentasi sklearn's sklearn.metrics.classification_report. Apa yang saya tidak mengerti adalah mengapa ada nilai f1, nilai presisi dan recall untuk setiap kelas di mana saya percaya kelas adalah label prediktor? Saya pikir skor f1 memberi tahu Anda keakuratan keseluruhan model. Juga, apa …

29 machine-learning  python  scikit-learn  precision-recall 

Saya punya pertanyaan tentang proses validasi silang. Saya berada di tengah-tengah kursus Pembelajaran Mesin di Cursera. Salah satu topiknya adalah tentang validasi silang. Saya merasa agak sulit untuk diikuti. Saya tahu mengapa kami membutuhkan CV karena kami ingin model kami bekerja dengan baik pada data (tidak diketahui) di masa depan …

29 machine-learning  cross-validation 

Saya menggunakan paket robustbase untuk menjalankan estimasi glm. Namun ketika saya melakukannya, saya mendapatkan kesalahan berikut: Error in solve.default(crossprod(X, DiagB * X)/nobs, EEq) : system is computationally singular: reciprocal condition number = 1.66807e-16 Apa artinya ini? Dan bagaimana saya bisa men-debug-nya? PS. Jika Anda membutuhkan sesuatu (rumus / spesifikasi atau …

29 r  generalized-linear-model  robust 

Saya memiliki dua pengklasifikasi A: jaringan Bayesian yang naif B: tree (terhubung sendiri) jaringan Bayesian Dalam hal akurasi dan langkah-langkah lain, A melakukan relatif lebih buruk daripada B. Namun, ketika saya menggunakan paket R ROCR dan AUC untuk melakukan analisis ROC, ternyata AUC untuk A lebih tinggi daripada AUC untuk …

29 machine-learning  classification  roc  auc  bayesian-network 

Saya mencoba membuat metrik untuk mengukur ketidaksamaan distribusi untuk percobaan yang saya jalankan. Saya memiliki variabel acak yang harus didistribusikan secara seragam dalam banyak kasus, dan saya ingin dapat mengidentifikasi (dan mungkin mengukur tingkat) contoh kumpulan data di mana variabel tidak terdistribusi secara seragam dalam margin tertentu. Contoh tiga seri …

28 distributions  variance  random-variable  uniform 

Statistics.com menerbitkan masalah minggu ini: Tingkat penipuan asuransi perumahan adalah 10% (satu dari sepuluh klaim adalah penipuan). Seorang konsultan telah mengusulkan sistem pembelajaran mesin untuk meninjau klaim dan mengklasifikasikannya sebagai penipuan atau tidak-penipuan. Sistem ini 90% efektif dalam mendeteksi klaim penipuan, tetapi hanya 80% efektif dalam mengklasifikasikan dengan benar klaim …

28 probability  bayesian  puzzle 

Saya telah belajar bahwa, ketika berhadapan dengan data menggunakan pendekatan berbasis model, langkah pertama adalah memodelkan prosedur data sebagai model statistik. Kemudian langkah selanjutnya adalah mengembangkan algoritma inferensi / pembelajaran yang efisien / cepat berdasarkan pada model statistik ini. Jadi saya ingin bertanya model statistik mana yang berada di belakang …

28 machine-learning  svm  modeling 

Di bawah campuran dua distribusi normal: https://en.wikipedia.org/wiki/Multimodal_distribution#Mixture_of_two_normal_distributions "Campuran dari dua distribusi normal memiliki lima parameter untuk diperkirakan: dua rata-rata, dua varian dan parameter pencampuran. Campuran dua distribusi normal dengan standar deviasi yang sama adalah bimodal hanya jika artinya berbeda setidaknya dua kali dari standar deviasi umum. . " Saya mencari …

28 bimodal