Statistik dan Big Data

Saya memiliki data 2-kelas berlabel di mana saya melakukan klasifikasi menggunakan beberapa pengklasifikasi. Dan datasetnya seimbang. Ketika menilai kinerja pengklasifikasi, saya perlu mempertimbangkan seberapa akurat pengklasifikasi dalam menentukan tidak hanya positif sejati, tetapi juga negatif sebenarnya. Oleh karena itu, jika saya menggunakan akurasi, dan jika pengklasifikasi cenderung positif dan mengklasifikasikan …

9 classification  roc  model-evaluation  sensitivity-specificity 

Saya mengajar kelas pertama saya musim gugur ini (Pengantar Biostatistik). Adakah yang punya saran untuk mengajar statistik dengan lebih baik? Mungkin beberapa contoh Anda ingin guru pertama Anda telah digunakan? Saya menggunakan Principles of Biostatistics oleh Pagano dan Gauvreau. Sunting: Detail Kelas ini adalah kelas online yang bertemu dua kali …

9 biostatistics  teaching 

Ada lebih banyak fenomena di mana desain eksperimental dapat diterapkan daripada ada strategi desain alternatif yang valid. Ini harus benar, meskipun ada banyak cara untuk merancang percobaan dengan benar. Apa "masalah" terbaik yang benar-benar menunjukkan nilai dan nuansa untuk berbagai jenis desain percobaan optimal? (A, D, E, C, V, phi, …

9 experiment-design  references  optimal 

Dalam data saya, saya memiliki variabel kelas, dilambangkan sebagai . Nilai variabel kelas ini adalah (biner). Hampir semua pengamatan adalah 0 (mendekati 100%, lebih tepatnya, 97%). Saya ingin tes "kinerja" pada model klasifikasi yang berbeda (bisa jadi akurasi). Apa yang saya takutkan terjadi adalah bahwa jika saya memiliki model klasifikasi …

9 classification  binary-data  model-evaluation 

Saya menemukan artikel ini di mana dikatakan bahwa dalam pengambilan sampel Gibbs setiap sampel diterima. Saya sedikit bingung. Bagaimana jika setiap sampel yang diterima itu konvergen ke distribusi stasioner. Secara umum Algoritma Metropolis kami terima sebagai min (1, p (x *) / p (x)) di mana x * adalah titik …

9 mcmc  gibbs  metropolis-hastings 

Saya berpikir tentang masalah yang memprediksi log (menghabiskan) pelanggan menggunakan regresi linier. Saya sedang mempertimbangkan fitur apa yang akan digunakan sebagai input dan bertanya-tanya apakah akan baik-baik saja untuk menggunakan persentil variabel sebagai input. Misalnya saya bisa menggunakan pendapatan perusahaan sebagai input. Yang saya pikirkan adalah apakah saya bisa menggunakan …

9 regression  linear-model  quantiles  predictor 

Saya menggunakan versi standar regresi logistik agar sesuai dengan variabel input saya ke variabel output biner. Namun dalam masalah saya, output negatif (0s) jauh lebih banyak daripada output positif (1s). Rasionya adalah 20: 1. Jadi ketika saya melatih classifier, tampaknya bahkan fitur yang sangat menyarankan kemungkinan output positif masih memiliki …

9 regression  logistic  weighted-regression 

Ini mungkin pertanyaan yang konyol, tetapi ketika membuat model dengan tanda sisipan dan menggunakan sesuatu seperti LOOCVatau (bahkan lebih tepatnya) LGOCV, apa manfaat membagi data ke dalam kereta dan set tes jika ini pada dasarnya merupakan langkah validasi silang ngomong-ngomong Saya membaca beberapa pertanyaan terkait dan mereka menyarankan bahwa beberapa …

9 r  machine-learning  cross-validation  caret 

Saya punya model seperti ini: require(nlme) set.seed(123) n <- 100 k <- 5 cat <- as.factor(rep(1:k, n)) cat_i <- 1:k # intercept per kategorie x <- rep(1:n, each = k) sigma <- 0.2 alpha <- 0.001 y <- cat_i[cat] + alpha * x + rnorm(n*k, 0, sigma) plot(x, y) m1 …

9 r  mixed-model  aic 

Saya menjalankan analisis regresi hirarkis dan saya memiliki sedikit keraguan: Apakah kita menghitung istilah interaksi menggunakan variabel terpusat? Apakah kita harus memusatkan SEMUA variabel kontinu yang kita miliki dalam dataset, kecuali variabel dependen? Ketika kita harus mencatat beberapa variabel (karena sdnya jauh lebih tinggi dari rata-rata), apakah kita kemudian memusatkan …

9 interaction  multicollinearity  centering 

Katakanlah saya telah menjalankan regresi yang sama untuk 100 orang yang berbeda secara terpisah. Koefisien minat saya positif (dan sangat berbeda satu sama lain) tetapi secara statistik tidak signifikan dalam semua 100 hasil (misalkan setiap p-value = 0,11). Apakah ada cara untuk menggabungkan nilai-p ini untuk menyimpulkan "setidaknya 80 hasil …

9 hypothesis-testing  multiple-comparisons 

Saya mencoba untuk merasakan bagaimana LDA 'cocok' dengan teknik pembelajaran lainnya yang diawasi. Saya sudah membaca beberapa posting LDA-esque di sini tentang LDA. Saya sudah terbiasa dengan perceptron, tetapi baru belajar LDA sekarang. Bagaimana LDA 'cocok' ke dalam keluarga algoritma pembelajaran yang diawasi? Apa yang mungkin menjadi kelemahannya dibandingkan dengan …

9 machine-learning  classification  discriminant-analysis  supervised-learning 

Saya mempelajari berbagai metode estimasi titik dan membaca bahwa ketika menggunakan estimasi MAP vs ML, ketika kami menggunakan "uniform uniform", perkiraannya sama. Adakah yang bisa menjelaskan apa itu "seragam" sebelumnya dan memberikan beberapa contoh (sederhana) tentang kapan penduga MAP dan ML akan sama?

9 machine-learning  probability  bayesian  estimation  maximum-likelihood 

Saya melakukan meta-analisis ukuran efek d dalam R menggunakan paket metafor. d mewakili perbedaan dalam skor memori antara pasien dan sehat. Namun beberapa penelitian melaporkan hanya subskala ukuran minat d (misalnya beberapa skor memori yang berbeda atau skor dari tiga blok pengujian memori yang terpisah). Silakan lihat kumpulan data dummy …

9 r  meta-analysis  effect-size  meta-regression 

Saya mencoba memahami konsep dasar deviasi standar. Dari rumus σ=∑i=1n(xi−μ)2N−−−−−−−−−−⎷σ=∑i=1n(xi−μ)2N\sigma= \sqrt{ \dfrac{ \sum\limits_{i=1}^n (x_i-\mu)^2} N } Saya tidak mengerti mengapa kita harus membagi dua populasi "N" yaitu mengapa kita ingin mengambil N−−√N\sqrt{N} ketika kita tidak melakukanN2N2{N^2} ? Bukankah itu membuat populasi kita condong? Seharusnya formula tidak menjadi σ=∑i=1n(xi−μ)2−−−−−−−−−√Nσ=∑i=1n(xi−μ)2N\sigma= \dfrac{ \sqrt{ …

9 standard-deviation