Statistik dan Big Data

Saya mencoba untuk memahami output dari fungsi tes Kolmogorov-Smirnov (dua sampel, dua sisi). Ini tes sederhana. x <- c(1,2,2,3,3,3,3,4,5,6) y <- c(2,3,4,5,5,6,6,6,6,7) z <- c(12,13,14,15,15,16,16,16,16,17) ks.test(x,y) # Two-sample Kolmogorov-Smirnov test # #data: x and y #D = 0.5, p-value = 0.1641 #alternative hypothesis: two-sided # #Warning message: #In ks.test(x, y) …

17 r  kolmogorov-smirnov  ties 

Pertanyaan Saya berjuang untuk memahami bagaimana prediksi disimpan dalam interval ketika melakukan klasifikasi biner dengan Gradient Boosting.[0,1][0,1][0,1] Asumsikan kita sedang mengerjakan masalah klasifikasi biner, dan fungsi tujuan kita adalah hilangnya log, , di mana adalah variabel target dan adalah model kami saat ini.y ∈ { 0 , 1 } H−∑yilog(Hm(xi))+(1−yi)log(1−Hm(xi))−∑yilog⁡(Hm(xsaya))+(1-ysaya)catatan⁡(1-Hm(xsaya))-\sum …

17 logistic  classification  boosting 

Tutup. Pertanyaan ini di luar topik . Saat ini tidak menerima jawaban. Ingin meningkatkan pertanyaan ini? Perbarui pertanyaan sehingga sesuai topik untuk Cross Validated. Ditutup 2 tahun yang lalu . Sejauh ini, saya telah menghapus variabel linier sebagai bagian dari proses persiapan data dengan melihat tabel korelasi dan menghilangkan variabel …

17 python  multicollinearity  scikit-learn 

Misalkan saya punya variabel suka Xdengan distribusi tidak dikenal. Dalam Mathematica, dengan menggunakan SmoothKernelDensityfungsi kita dapat memiliki fungsi kerapatan yang diperkirakan. Perkiraan fungsi kerapatan ini dapat digunakan bersama dengan PDFfungsi untuk menghitung probabilitas fungsi kerapatan dari suatu nilai seperti Xdalam bentuk PDF[density,X]asumsi bahwa "kerapatan" adalah hasil dari SmoothKernelDensity. Akan lebih …

17 r  pdf  cdf 

Random Forests (RFs) adalah metode pemodelan / penambangan data kompetitif. Model RF memiliki satu output - variabel output / prediksi. Pendekatan naif untuk memodelkan banyak keluaran dengan RF adalah membangun RF untuk setiap variabel keluaran. Jadi kita memiliki N model independen, dan di mana ada korelasi antara variabel output kita …

17 machine-learning  cart  random-forest  multilabel 

Adakah yang tahu artikel ulasan yang bagus untuk literatur statistik tentang regresi non-linear? Saya terutama tertarik pada hasil konsistensi dan asimptotik. Yang menarik adalah model yi t= m ( xi t, θ ) + ϵi t,ysayat=m(xsayat,θ)+ϵsayat,y_{it} = m(x_{it},\theta) + \epsilon_{it}, untuk data panel. Yang kurang menarik adalah metode non-parametrik. Saran …

17 regression  references  nonlinear-regression 

Apa perbedaan antara Support Vector Machines dan Linear Discriminant Analysis?

17 classification 

Saya baru saja selesai membaca diskusi ini . Mereka berpendapat bahwa PR AUC lebih baik daripada ROC AUC pada dataset yang tidak seimbang. Sebagai contoh, kami memiliki 10 sampel dalam dataset uji. 9 sampel positif dan 1 negatif. Kami memiliki model mengerikan yang memprediksi semuanya positif. Jadi, kita akan memiliki …

17 machine-learning  model-selection  roc  unbalanced-classes  precision-recall 

Pertanyaan saya mungkin konyol. Jadi saya akan minta maaf sebelumnya. Saya mencoba menggunakan model GLOVE yang sudah dilatih oleh Stanford NLP group ( tautan ). Namun, saya perhatikan bahwa hasil kesamaan saya menunjukkan beberapa angka negatif. Itu segera mendorong saya untuk melihat file data kata-vektor. Rupanya, nilai-nilai dalam kata vektor …

17 machine-learning  word2vec  cosine-similarity 

Bisakah kita memberikan gambar dengan ukuran variabel sebagai input ke jaringan saraf convolutional untuk deteksi objek? Jika memungkinkan, bagaimana kita bisa melakukan itu? Tetapi jika kita mencoba memotong gambar, kita akan kehilangan sebagian dari gambar dan jika kita mencoba untuk mengubah ukuran, maka, kejelasan gambar akan hilang. Apakah ini berarti …

17 deep-learning  tensorflow  keras  computer-vision  object-detection 

Saya bertemu dengan beberapa ahli statistik yang tidak pernah menggunakan model selain Regresi Linier untuk prediksi karena mereka percaya bahwa "model ML" seperti meningkatkan acak hutan atau gradien sulit untuk dijelaskan atau "tidak dapat ditafsirkan". Dalam Regresi Linier, mengingat bahwa kumpulan asumsi diverifikasi (normalitas kesalahan, homoskedastisitas, tidak ada multi-collinearity), uji-t …

16 regression  machine-learning  multiple-regression  model-interpretation 

Pertama-tama, saya tidak menanyakan ini: Mengapa nol korelasi tidak menyiratkan independensi? Ini ditujukan (agak baik) di sini: /math/444408/why-does-zero-correlation-not-imply-independence Yang saya tanyakan adalah kebalikannya ... katakanlah dua variabel sepenuhnya independen satu sama lain. Tidak bisakah mereka memiliki sedikit korelasi secara kebetulan? Bukankah seharusnya ... independensi menyiratkan korelasi SANGAT KECIL?

16 correlation  mathematical-statistics  covariance  independence 

Apa definisi matematis dari hubungan sebab akibat antara dua variabel acak? Diberikan sampel dari distribusi bersama dua variabel acak XXX dan YYY , kapan kita mengatakan XXX menyebabkan YYY ? Untuk konteks, saya membaca makalah ini tentang penemuan kausal .

16 machine-learning  causality 

Sepertinya definisi pembelajaran terawasi adalah subset dari pembelajaran penguatan, dengan jenis fungsi hadiah tertentu yang didasarkan pada data berlabel (sebagai lawan dari informasi lain di lingkungan). Apakah ini penggambaran yang akurat?

16 machine-learning  terminology  reinforcement-learning  supervised-learning  definition 

(Pertanyaan ini mungkin sepertinya lebih cocok untuk Philosophy SE. Saya berharap bahwa ahli statistik dapat mengklarifikasi kesalahpahaman saya tentang pernyataan Box dan Shmueli, maka saya mempostingnya di sini). George Box (dari ARIMA fame) berkata: "Semua model salah, tetapi beberapa berguna." Galit Shmueli dalam makalahnya yang terkenal "To Explain or Predict" …

16 predictive-models  aic  bic  philosophical  explanatory-models