Statistik dan Big Data

Fungsi CDF empiris biasanya diperkirakan dengan fungsi langkah. Apakah ada alasan mengapa ini dilakukan sedemikian rupa dan tidak dengan menggunakan interpolasi linier? Apakah fungsi langkah memiliki sifat teoretis yang menarik yang membuat kita lebih menyukainya? Berikut adalah contoh keduanya: ecdf2 <- function (x) { x <- sort(x) n <- length(x) …

13 r  distributions  ecdf 

Saya telah menggunakan model tuning caret, tetapi kemudian menjalankan kembali model menggunakan gbmpaket. Ini adalah pemahaman saya bahwa caretpaket menggunakan gbmdan hasilnya harus sama. Namun, hanya menjalankan tes cepat menggunakan data(iris)menunjukkan perbedaan dalam model sekitar 5% menggunakan RMSE dan R ^ 2 sebagai metrik evaluasi. Saya ingin menemukan kinerja model …

13 r  caret  gbm  matrix  linear-algebra  logistic  modeling  logit  ordered-logit  r  confidence-interval  survival  population  weibull  classification  separation  hypothesis-testing  correlation  statistical-significance  p-value  python  r  data-visualization  r  regression  multiple-regression  chi-squared  multivariate-analysis  distributions  random-variable  experiment-design  distributions  poisson-regression  residuals  excel  time-series  garch  var  survival  modeling  cox-model  interaction  r  pca  normality-assumption 

Saya agak baru di bidang proses Gaussian dan bagaimana mereka diterapkan dalam pembelajaran mesin. Saya terus membaca dan mendengar tentang fungsi kovarian yang menjadi daya tarik utama dari metode ini. Jadi, adakah yang bisa menjelaskan secara intuitif apa yang terjadi dalam fungsi kovarian ini? Kalau tidak, jika Anda bisa menunjukkan …

13 machine-learning  probability  bayesian 

PENDAHULUAN: Saya tidak peduli tentang manfaat menggunakan cutoff atau tidak, atau bagaimana seseorang harus memilih cutoff. Pertanyaan saya murni matematika dan karena rasa ingin tahu. Regresi logistik memodelkan probabilitas bersyarat posterior kelas A versus kelas B dan cocok dengan hyperplane di mana probabilitas kondisional posterior sama. Jadi dalam teori, saya …

13 logistic  predictive-models  unbalanced-classes 

Apakah ada kelompok penelitian yang berupaya menggunakan pembelajaran yang mendalam untuk masalah optimisasi kombinatorial?

13 optimization  deep-learning 

Biarkan menjadi sampel acak dari distribusi seragam pada , di mana . Biarkan dan menjadi statistik pesanan terbesar dan terkecil. Tunjukkan bahwa statistik adalah statistik yang cukup lengkap untuk parameter . X=(x1,x2,…xn)X=(x1,x2,…xn)\mathbf{X}= (x_1, x_2, \dots x_n)(a,b)(a,b)(a,b)a&lt;ba&lt;ba < bY1Y1Y_1YnYnY_n(Y1,Yn)(Y1,Yn)(Y_1, Y_n)θ=(a,b)θ=(a,b)\theta = (a, b) Tidak masalah bagi saya untuk menunjukkan kecukupan menggunakan …

13 self-study  uniform  sufficient-statistics  complete-statistics 

Pertimbangkan model regresi linier ,y = X β+ uy=Xβ+u\mathbf{y}=\mathbf{X\beta}+\mathbf{u} ,u ∼N( 0 , σ2Saya )u∼N(0,σ2I)\mathbf{u}\sim N(\mathbf{0},\sigma^2\mathbf{I}) .E( u ∣ X ) = 0E(u∣X)=0E(\mathbf{u}\mid\mathbf{X})=\mathbf{0} Biarkan vs H 1 : σ 2 0 ≠ σ 2 .H0: σ20= σ2H0:σ02=σ2H_0: \sigma_0^2=\sigma^2H1: σ20≠ σ2H1:σ02≠σ2H_1: \sigma_0^2\neq\sigma^2 Kita dapat menyimpulkan bahwa , di manadim(X)=n×k. DanMXadalah notasi …

13 regression  hypothesis-testing  mathematical-statistics  inference 

Saya menyadari bahwa topik ini telah muncul beberapa kali sebelumnya, misalnya di sini , tetapi saya masih tidak yakin bagaimana cara terbaik untuk menafsirkan hasil regresi saya. Saya memiliki dataset yang sangat sederhana, terdiri dari kolom nilai x dan kolom nilai y , dibagi menjadi dua kelompok sesuai dengan lokasi …

13 regression  p-value  least-squares  aic 

Saya telah membaca bahwa grup laso digunakan untuk pemilihan variabel dan sparsity dalam kelompok variabel. Saya ingin tahu intuisi di balik klaim ini. Mengapa laso grup lebih disukai daripada laso? Mengapa jalur solusi laso grup tidak lurus linear?

13 regression  feature-selection  lasso  regularization 

Ini mungkin penjelasan sederhana (saya berharap sih). Saya telah melakukan beberapa analisis regresi di Matlab menggunakan kotak alat regresi. Namun, saya menemukan studi yang menyatakan ini: "Menggunakan analisis regresi, adalah mungkin untuk membuat model prediksi menggunakan hanya empat fitur sonik yang menjelaskan 60% dari varians" Tautan ke artikel ada di …

13 variance 

Saya pernah mendengar (maaf tidak dapat memberikan tautan ke teks, sesuatu yang telah saya ceritakan) bahwa kurtosis positif residu yang tinggi dapat menjadi masalah untuk pengujian hipotesis dan interval kepercayaan yang akurat (dan karena itu masalah dengan inferensi statistik). Apakah ini benar dan, jika ya, mengapa? Akankah kurtosis positif yang …

13 statistical-significance  p-value  assumptions  kurtosis 

Dalam komentar yang mengikuti jawaban saya untuk pertanyaan terkait, Pengguna ssdecontrol dan Glen_b bertanya apakah normalitas gabungan dan diperlukan untuk menyatakan normalitas jumlah X + Y ? Normalitas sendi itu sudah cukup , tentu saja, sudah terkenal. Pertanyaan tambahan ini tidak dibahas di sana, dan mungkin layak dipertimbangkan sendiri.XXXYYYX+YX+YX+Y Karena …

13 probability  normal-distribution  distributions  bivariate  multivariate-normal 

Saya telah menggunakan fungsi h2o.glm () di R yang memberikan tabel kontingensi dalam hasil bersama dengan statistik lainnya. Tabel kontingensi dipimpin " Palang Tab berdasarkan Ambang Batas Optimal F1 " Wikipedia mendefinisikan Skor F1 atau Skor F sebagai rata-rata harmonis dari presisi dan daya ingat. Tapi bukankah Precision dan Recall …

13 threshold 

Saya mencari di Google dan mencari di stats.stackexchange tetapi saya tidak dapat menemukan rumus untuk menghitung interval kepercayaan 95% untuk nilai untuk regresi linier. Adakah yang bisa menyediakannya?R2R2R^2 Bahkan lebih baik, katakanlah saya telah menjalankan regresi linier di bawah ini dalam R. Bagaimana saya menghitung interval kepercayaan 95% untuk nilai …

13 r  regression  confidence-interval  inference  r-squared 

Saya baru saja membahas Jaringan Syaraf Tiruan pada kursus Machine Learning Coursera dan saya ingin tahu lebih banyak teori di baliknya. Saya menemukan motivasi bahwa mereka meniru biologi agak tidak memuaskan. Pada permukaan tampak bahwa pada setiap level kita mengganti kovariat dengan kombinasi linier mereka. Dengan melakukannya berulang kali, kami …

13 machine-learning  neural-networks  theory