Statistik dan Big Data

Saya mencoba memahami validasi silang untuk regresi logistik ordinal. Tujuan permainan ini adalah untuk memvalidasi model yang digunakan dalam analisis ... Saya pertama kali membuat kumpulan data mainan: set.seed(1) N <- 10000 # predictors x1 <- runif(N) x2 <- runif(N) x3 <- runif(N) # coeffs in the model a <- …

12 regression  cross-validation  ordered-logit  rms 

Seberapa signifikan suatu nilai dibandingkan dengan daftar nilai? Dalam kebanyakan kasus pengujian statistik melibatkan membandingkan set sampel dengan populasi. Dalam kasus saya, sampel dibuat dengan satu nilai dan kami membandingkannya dengan populasi. Saya seorang dilettante dalam pengujian hipotesis statistik dihadapkan dengan mungkin masalah paling mendasar. Bukan hanya satu tes tetapi …

12 hypothesis-testing  statistical-significance 

Ini juga ditanyakan di Computational Science. Saya mencoba menghitung perkiraan Bayesian dari beberapa koefisien untuk autoregresi, dengan 11 sampel data: mana adalah Gaussian dengan rerata 0 dan varians Distribusi sebelumnya pada vektor adalah Gaussian dengan rerata dan matriks kovarians diagonal dengan entri diagonal sama dengan .Yi=μ+α⋅Yi−1+ϵiYi=μ+α⋅Yi−1+ϵi Y_{i} = \mu + …

12 bayesian  mathematical-statistics  posterior 

Saya memiliki beberapa pertanyaan tentang notasi yang digunakan dalam Bagian 9.2. Kurangnya Keunggulan Inheren dari Setiap Klasifikasi di Duda, Hart dan Stork's Pattern Classification . Pertama-tama izinkan saya mengutip beberapa teks yang relevan dari buku ini: Untuk kesederhanaan pertimbangkan masalah dua kategori, di mana set pelatihan terdiri dari pola x …

12 machine-learning 

Saya mencoba untuk mengklasifikasikan pesan ke dalam kategori yang berbeda menggunakan SVM. Saya telah menyusun daftar kata / simbol yang diinginkan dari set pelatihan. Untuk setiap vektor, yang mewakili pesan, saya mengatur baris yang sesuai 1jika kata tersebut ada: "corpus" adalah: [mary, little, lamb, star, twinkle] pesan pertama: "mary had …

12 classification  svm  sparse 

Rekayasa fitur sering merupakan komponen penting untuk pembelajaran mesin (itu digunakan sangat banyak untuk memenangkan Piala KDD pada 2010 ). Namun, saya menemukan bahwa sebagian besar teknik teknik fitur baik hancurkan makna intuitif dari fitur yang mendasarinya atau sangat spesifik untuk domain tertentu atau bahkan tipe fitur tertentu. Contoh klasik …

12 predictive-models  feature-selection  feature-construction 

Dalam kursus Pembelajaran Mesin Stanford, Andrew Ng menyebut penerapan ML di bidang TI. Beberapa waktu kemudian ketika saya mendapat ukuran sedang (sekitar 20k bot) DDoS di situs kami, saya memutuskan untuk melawannya menggunakan classifier Neural Network sederhana. Saya telah menulis skrip python ini dalam waktu sekitar 30 menit: https://github.com/SaveTheRbtz/junk/tree/master/neural_networks_vs_ddos Menggunakan …

12 classification  neural-networks  unsupervised-learning 

Saya ingin tahu literatur statistik apa yang relevan untuk masalah berikut ini, dan mungkin bahkan sebuah ide tentang bagaimana menyelesaikannya. Bayangkan masalah berikut ini: Kami memiliki 4 kemungkinan perawatan untuk beberapa penyakit. Untuk memeriksa perawatan mana yang lebih baik, kami melakukan uji coba khusus. Dalam uji coba, kita mulai dengan …

12 hypothesis-testing  chi-squared  p-value  multiple-comparisons  sequential-analysis 

Saya mencari program (dalam R atau SAS atau mandiri, jika gratis atau murah) yang akan melakukan analisis daya untuk regresi logistik ordinal.

12 logistic  power-analysis  ordered-logit 

Misalkan saya sedang membangun model prediksi di mana saya mencoba untuk memprediksi beberapa peristiwa (misalnya, gulungan dadu dan lemparan koin). Sebagian besar algoritma yang saya kenal bekerja dengan hanya satu target, jadi saya bertanya-tanya apakah ada pendekatan standar untuk hal semacam ini. Saya melihat dua opsi yang memungkinkan. Mungkin pendekatan …

12 machine-learning  classification  predictive-models  multi-class 

Apa yang diungkapkan oleh istilah zeroth-, pertama, kedua, ketiga, dll. Urutan korelasi? Terima kasih!

12 correlation 

Saya punya 2 pertanyaan teoretis umum / lebih. 1) Saya ingin tahu bagaimana SVM menangani interaksi variabel ketika membangun model prediksi. Misalnya, jika saya memiliki dua fitur f1 dan f2 dan target tergantung pada f1, f2, dan katakan f1 * f2 (atau beberapa fungsi h (f1, f2)), apakah SVM cocok …

12 machine-learning  predictive-models  svm  interaction 

Pertanyaan kemarin Menentukan akurasi model yang memperkirakan probabilitas acara membuat saya ingin tahu tentang penilaian probabilitas. The Brier skor adalah rata-rata kuadrat error ukuran. Apakah pengukuran kinerja kesalahan absolut rata-rata analog punya nama juga?1N∑i=1N(predictioni−referencei)21N∑i=1N(predictioni−referencei)2\frac{1}{N}\sum\limits _{i=1}^{N}(prediction_i - reference_i)^2 1N∑i=1N|predictioni−referencei|1N∑i=1N|predictioni−referencei|\frac{1}{N}\sum\limits _{i=1}^{N}|prediction_i - reference_i|

12 classification  error  validation  scoring-rules  brier-score 

Saya memodelkan suatu acara dengan dua hasil, a dan b. Saya telah membuat model yang memperkirakan probabilitas bahwa a atau b akan terjadi (yaitu model akan menghitung bahwa a akan terjadi dengan peluang 40% dan b akan terjadi dengan peluang 60%). Saya memiliki catatan besar hasil uji coba dengan perkiraan …

12 predictive-models  scoring-rules 

Adakah yang bisa memberi tahu saya cara melakukan pemodelan recency, frekuensi & nilai moneter (RFM) & pemodelan nilai pelanggan di R? Juga, dapatkah seseorang merujuk saya beberapa literatur tentangnya?

12 r  references  marketing