Statistik dan Big Data

Algoritme bandit yang paling terkenal adalah UCB yang memopulerkan kelas algoritma ini. Sejak itu saya kira sekarang ada algoritma yang lebih baik. Apa algoritma terbaik saat ini (dalam hal kinerja empiris atau batas teoritis)? Apakah algoritma ini optimal dalam beberapa hal?

27 machine-learning  algorithms  theory  reinforcement-learning  multiarmed-bandit 

Karena konsensus umum tampaknya menggunakan model campuran melalui lmer()R daripada ANOVA klasik (untuk alasan yang sering dikutip, seperti desain yang tidak seimbang, efek acak silang dll.), Saya ingin mencobanya dengan data saya. Namun saya khawatir bahwa saya akan dapat "menjual" pendekatan ini kepada penyelia saya (yang mengharapkan analisis klasik dengan …

27 r  mixed-model  repeated-measures  lme4-nlme  references 

Meskipun saya tahu bahwa ada serangkaian fungsi untuk menghasilkan peta panas di R, masalahnya adalah bahwa saya tidak dapat menghasilkan peta yang menarik secara visual. Misalnya, gambar di bawah adalah contoh peta panas yang baik yang ingin saya hindari. Yang pertama jelas kurang detail, sedangkan yang lain (berdasarkan poin yang …

27 r  data-visualization  spatial 

Sudah terkenal, terutama dalam pemrosesan bahasa alami, bahwa pembelajaran mesin harus dilanjutkan dalam dua langkah, langkah pelatihan dan langkah evaluasi, dan mereka harus menggunakan data yang berbeda. Kenapa ini? Secara intuitif, proses ini membantu menghindari overfitting data, tetapi saya gagal melihat alasan (informasi-teoretis) inilah masalahnya. Terkait, saya telah melihat beberapa …

27 machine-learning  cross-validation 

Saya melihat berkali-kali klaim bahwa mereka harus lengkap (contoh-contoh dalam buku-buku seperti itu selalu diatur sedemikian rupa, bahwa mereka memang), di sisi lain saya juga melihat banyak kali buku-buku yang menyatakan mereka harus eksklusif ( misalnya sebagai dan sebagai ) tanpa mengklarifikasi masalah lengkap. Hanya sebelum mengetik pertanyaan ini, saya …

27 hypothesis-testing 

Tutup. Pertanyaan ini di luar topik . Saat ini tidak menerima jawaban. Ingin meningkatkan pertanyaan ini? Perbarui pertanyaan sehingga sesuai topik untuk Cross Validated. Ditutup tahun lalu . Apakah ada alat baris perintah yang menerima aliran angka (dalam format ascii) dari input standar dan memberikan statistik deskriptif dasar untuk aliran …

27 descriptive-statistics  computational-statistics  computing 

Dalam klasifikasi teks, saya memiliki satu set pelatihan dengan sekitar 800 sampel, dan satu set tes dengan sekitar 150 sampel. Set tes belum pernah digunakan, dan menunggu untuk digunakan sampai akhir. Saya menggunakan seluruh rangkaian pelatihan sampel 800, dengan cross 10 kali lipat memvalidasi sambil menyetel dan mengubah pengelompokan dan …

27 machine-learning  classification  cross-validation  text-mining 

Pertanyaan ini dimigrasikan dari Mathematics Stack Exchange karena dapat dijawab di Cross Validated. Bermigrasi 7 tahun yang lalu . Saya memiliki pertanyaan tentang sesuatu yang dikatakan oleh guru statistik saya tentang masalah berikut. Pertanyaan saya bahkan bukan tentang kemunculan paradoks Simpson dalam situasi ini. Pertanyaan saya hanyalah tentang desakan profesor …

27 self-study  confounding  simpsons-paradox 

Pertanyaan ini dimigrasikan dari Mathematics Stack Exchange karena dapat dijawab di Cross Validated. Bermigrasi 8 tahun yang lalu . Ketika saya melakukan regresi linier di beberapa paket perangkat lunak (misalnya Mathematica), saya mendapatkan nilai-p yang terkait dengan parameter individu dalam model. Misalnya, hasil dari regresi linier yang menghasilkan hasil akan …

27 probability  regression 

Terkunci . Pertanyaan ini dan jawabannya dikunci karena pertanyaannya di luar topik tetapi memiliki signifikansi historis. Saat ini tidak menerima jawaban atau interaksi baru. Saya bertanya-tanya apakah mungkin untuk melakukan perhitungan simbolik dalam R? Sebagai contoh, Saya berharap untuk mendapatkan kebalikan dari matriks kovarian simbolik dari distribusi Gaussian 3D. Dapatkah …

27 r 

Pertimbangkan Jeffrey sebelumnya di mana , di manasayaadalah informasi Fisher.p(θ)∝|i(θ)|−−−−√p(θ)∝|i(θ)|p(\theta) \propto \sqrt{|i(\theta)|}iii Saya terus melihat ini sebelum disebutkan sebagai sebelumnya tidak informatif, tetapi saya tidak pernah melihat argumen mengapa itu tidak informatif. Lagipula, ini bukan prior konstan, jadi harus ada argumen lain. Saya mengerti bahwa itu tidak tergantung pada reparametrization, …

27 bayesian  prior 

Saya menggunakan AIC (Kriteria Informasi Akaike) untuk membandingkan model non-linear dalam R. Apakah valid untuk membandingkan AIC dari berbagai jenis model? Secara khusus, saya membandingkan model yang dipasang oleh glm versus model dengan istilah efek acak yang dipasang oleh glmer (lme4). Jika tidak, adakah cara perbandingan seperti itu dapat dilakukan? …

27 lme4-nlme  model-selection  aic 

Ini adalah pertanyaan tentang terminologi. Apakah "prior samar" sama dengan prior non-informatif, atau adakah perbedaan di antara keduanya? Kesan saya adalah mereka sama (dari melihat bersama dan tidak informatif bersama-sama), tetapi saya tidak bisa memastikan.

27 bayesian  prior  terminology 

Ketika membangun model CART (khususnya pohon klasifikasi) menggunakan rpart (dalam R), seringkali menarik untuk mengetahui apa pentingnya berbagai variabel yang diperkenalkan pada model. Dengan demikian, pertanyaan saya adalah: Apa ukuran umum yang ada untuk menentukan peringkat / mengukur variabel kepentingan variabel yang berpartisipasi dalam model CART? Dan bagaimana ini bisa …

27 r  classification  model-selection  cart  rpart 

Saya baru mengenal R dan analisis deret waktu. Saya mencoba menemukan tren rangkaian waktu suhu harian yang panjang (40 tahun) dan mencoba perkiraan yang berbeda. Yang pertama hanyalah regresi linier sederhana dan yang kedua adalah Dekomposisi Musiman dari Time Series oleh Loess. Dalam yang terakhir tampak bahwa komponen musiman lebih …

27 r  time-series  trend