Statistik dan Big Data

Adakah yang tahu apakah yang berikut ini telah dijelaskan dan (bagaimanapun juga) apakah itu terdengar seperti metode yang masuk akal untuk mempelajari model prediksi dengan variabel target yang sangat tidak seimbang? Seringkali dalam aplikasi CRM data mining, kami akan mencari model di mana peristiwa positif (sukses) sangat jarang relatif terhadap …

13 data-mining  predictive-models 

Pertanyaan ini dimotivasi oleh pertanyaan ini . Saya mencari dua sumber dan inilah yang saya temukan. A. van der Vaart, Statistik Asimptotik: Jarang mungkin untuk menghitung kemungkinan profil secara eksplisit, tetapi evaluasi numeriknya seringkali layak. Kemudian kemungkinan profil dapat berfungsi untuk mengurangi dimensi fungsi kemungkinan. Fungsi kemungkinan profil sering digunakan …

13 estimation  maximum-likelihood  likelihood  asymptotics  profile-likelihood 

Misalkan saya telah mengukur beberapa variabel dalam saudara kandung, yang bersarang di dalam keluarga. Struktur data terlihat seperti ini: nilai saudara kandung ------ ------- ----- 1 1 y_11 1 2 y_12 2 1 y_21 2 2 y_22 2 3 y_23 ... ... ... Saya ingin tahu korelasi antara pengukuran yang …

13 mixed-model  intraclass-correlation 

Saya memiliki output regresi logistik berikut: Coefficients: Estimate Std. Error z value Pr(>|z|) (Intercept) 0.5716 0.1734 3.297 0.000978 *** R1 -0.4662 0.2183 -2.136 0.032697 * R2 -0.5270 0.2590 -2.035 0.041898 * Apakah pantas melaporkan ini dengan cara berikut: Koefisien beta, rasio Odds, Nilai Z, Nilai P. Jika ya, bagaimana saya …

13 logistic 

Pemahaman saya adalah bahwa rasio bahaya dari model bahaya proporsional Cox membandingkan efek pada tingkat bahaya faktor tertentu dengan kelompok referensi. Bagaimana Anda melaporkan hal itu kepada audiens yang tidak tahu statistik? Mari kita coba untuk memberikan contoh. Katakanlah kita mendaftarkan orang dalam sebuah penelitian tentang berapa lama sebelum mereka …

13 survival  cox-model 

Saya rasa saya mengerti bagaimana dasar-dasar bootstrap bekerja, tapi saya tidak yakin saya mengerti bagaimana saya bisa menggunakan bootstrap untuk pemilihan model atau untuk menghindari overfitting. Untuk pemilihan model, misalnya, apakah Anda hanya memilih model yang menghasilkan kesalahan terendah (mungkin varians?) Di seluruh sampel bootstrapnya? Apakah ada teks yang membahas …

13 model-selection  cross-validation  bootstrap 

Saya mengambil kursus probabilitas di universitas beberapa tahun yang lalu, tetapi saya akan melalui beberapa algoritma pembelajaran mesin sekarang dan beberapa matematika hanya membingungkan. Khususnya sekarang, saya sedang mempelajari algoritma EM (ekspektasi maksimisasi) dan tampaknya ada keterputusan yang besar antara apa yang diperlukan dan apa yang saya miliki. Saya tidak …

13 probability  machine-learning 

Dengan menggunakan kode berikut, saya mencoba menggambar empat plot pada grafik R. Saya tidak senang dengan gambar tersebut karena ada banyak ruang di antara plot, oleh karena itu lebar plot tidak cukup memadai untuk menganalisis plot. Bisakah seseorang membantu saya menghasilkan grafik yang bagus dengan empat plot? Bagaimana saya bisa …

13 r  data-visualization 

Tabel 18.1 dalam Elemen Pembelajaran Statistik merangkum kinerja beberapa pengklasifikasi pada set data 14 kelas. Saya membandingkan algoritma baru dengan laso dan jaring elastis untuk masalah klasifikasi multikelas. Menggunakan glmnetversi 1.5.3 (R 2.13.0) saya tidak dapat mereproduksi titik 7. (yang multinomial -penalized) pada tabel, di mana jumlah gen yang digunakan …

13 classification  lasso  glmnet 

Saya memiliki satu set besar titik data dalam bentuk (rata-rata, stdev). Saya ingin mengurangi ini menjadi rata-rata tunggal (lebih baik), dan (mudah-mudahan) standar deviasi yang lebih kecil. Jelas aku bisa hanya menghitung , namun hal ini tidak mengambil ke account fakta bahwa beberapa titik data secara signifikan lebih akurat daripada …

13 normal-distribution  repeated-measures  weighted-mean 

Tutup. Pertanyaan ini di luar topik . Saat ini tidak menerima jawaban. Ingin meningkatkan pertanyaan ini? Perbarui pertanyaan sehingga sesuai topik untuk Cross Validated. Ditutup 11 bulan lalu . Saya mengikuti kursus tentang statistik Bayesian menggunakan BUGS dan R. Sekarang, saya sudah tahu BUGS, bagus tapi saya tidak terlalu suka …

13 r  bayesian  bugs 

Terkunci . Pertanyaan ini dan jawabannya dikunci karena pertanyaannya di luar topik tetapi memiliki signifikansi historis. Saat ini tidak menerima jawaban atau interaksi baru. Saya sangat baru untuk R dan paket apa pun di R. Saya melihat dokumentasi ggplot2 tetapi tidak dapat menemukan ini. Saya ingin plot kotak variabel boxthissehubungan …

13 r  boxplot  ggplot2 

Misalkan kita memiliki dua penduga α1α1\alpha_1 dan α2α2\alpha_2 untuk beberapa parameter xxx . Untuk menentukan estimator mana yang "lebih baik" apakah kita melihat MSE (mean squared error)? Dengan kata lain kita melihat MSE=β2+σ2M.SE=β2+σ2MSE = \beta^2+ \sigma^2 mana ββ\beta adalah bias dari estimator dan σ2σ2\sigma^2 adalah varians dari estimator? Manakah yang …

13 estimation  mse 

Saya memiliki tabel dengan empat kelompok (4 kelompok BMI) sebagai variabel independen (faktor). Saya memiliki variabel dependen yaitu "persen ibu merokok dalam kehamilan". Apakah boleh menggunakan ANOVA untuk ini atau saya harus menggunakan chi-square atau tes lain?

13 anova 

Saya telah membaca tentang sejumlah algoritma untuk memecahkan masalah bandit n-bersenjata seperti -greedy, softmax, dan UCB1, tapi saya mengalami beberapa masalah memilah pendekatan apa yang terbaik untuk meminimalkan penyesalan.ϵϵ\epsilon Apakah ada algoritma optimal yang diketahui untuk memecahkan masalah bandit n-bersenjata? Apakah ada pilihan algoritma yang tampaknya berkinerja terbaik dalam praktik?

13 machine-learning  reinforcement-learning  multiarmed-bandit