Statistik dan Big Data

Dulu saya belajar bahwa distribusi normal diperlukan untuk menggunakan dua sampel T-test. Hari ini seorang kolega memberi tahu saya bahwa dia tahu bahwa untuk N> 50 distribusi normal tidak diperlukan. Benarkah itu? Jika benar apakah itu karena teorema limit pusat?

77 normal-distribution  t-test  central-limit-theorem 

Jika Anda bisa kembali ke masa lalu dan berkata pada diri sendiri untuk membaca buku tertentu di awal karier Anda sebagai ahli statistik, buku apa itu?

77 references 

Matematika memiliki Masalah Milenium yang terkenal (dan, secara historis, Hilbert's 23 ), pertanyaan yang membantu membentuk arah bidang. Tapi saya tidak tahu apa itu Hipotesis Riemann dan P vs NP. Jadi, apa pertanyaan terbuka menyeluruh dalam statistik? Diedit untuk menambahkan: Sebagai contoh semangat umum (jika tidak cukup spesifik) dari jawaban …

77 history 

Saya tahu orang-orang suka menutup duplikat jadi saya tidak meminta referensi untuk mulai belajar statistik (seperti di sini ). Saya memiliki gelar doktor dalam matematika tetapi tidak pernah belajar statistik. Apa rute terpendek ke pengetahuan yang setara ke tingkat statistik BS kedudukan tertinggi dan bagaimana cara mengukur ketika saya telah …

77 references  careers 

Bagaimana Anda menggambarkan validasi silang kepada seseorang tanpa latar belakang analisis data?

77 cross-validation 

Saya memiliki dataset dengan sekitar 30 variabel independen dan ingin membangun model linier umum (GLM) untuk mengeksplorasi hubungan antara mereka dan variabel dependen. Saya sadar bahwa metode yang saya ajarkan untuk situasi ini, regresi bertahap, sekarang dianggap sebagai dosa statistik . Metode pemilihan model modern apa yang harus digunakan dalam …

76 regression  generalized-linear-model  model-selection  stepwise-regression 

"Pada dasarnya, semua model salah, tetapi beberapa berguna." --- Box, George EP; Norman R. Draper (1987). Permukaan Model-Bangunan dan Permukaan Respons, p. 424, Wiley. ISBN 0471810339. Apa sebenarnya arti frasa di atas?

76 modeling 

Saya baru-baru ini banyak membaca di situs ini (@Aniko, @Dikran Marsupial, @Erik) dan di tempat lain tentang masalah overfitting yang terjadi dengan validasi silang - (Smialowski dkk 2010 Bioinformatika, Hastie, Elemen pembelajaran statistik). Sarannya adalah bahwa setiap pemilihan fitur yang diawasi (menggunakan korelasi dengan label kelas) dilakukan di luar estimasi …

76 cross-validation  feature-selection 

Saya memahami dasar-dasar apa tujuan Support Vector Machines dalam hal mengklasifikasikan set input ke beberapa kelas yang berbeda, tetapi apa yang saya tidak mengerti adalah beberapa detail seluk beluk. Sebagai permulaan, saya agak bingung dengan penggunaan Slack Variables. Apa tujuan mereka Saya melakukan masalah klasifikasi di mana saya menangkap pembacaan …

76 machine-learning  classification  svm 

Saya agak bingung tentang pemilihan fitur dan pembelajaran mesin dan saya bertanya-tanya apakah Anda dapat membantu saya. Saya memiliki dataset microarray yang diklasifikasikan ke dalam dua kelompok dan memiliki ribuan fitur. Tujuan saya adalah mendapatkan sejumlah kecil gen (fitur saya) (10-20) dalam tanda tangan yang secara teori saya akan dapat …

76 machine-learning  classification  cross-validation  feature-selection  genetics 

Saya telah membaca Elemen Pembelajaran Statistik , dan saya ingin tahu mengapa Lasso menyediakan pemilihan variabel dan regresi ridge tidak. Kedua metode meminimalkan jumlah residu kuadrat dan memiliki batasan pada nilai yang mungkin dari parameter ββ\beta . Untuk Lasso, batasannya adalah ||β||1≤t||β||1≤t||\beta||_1 \le t , sedangkan untuk punggungan adalah ||β||2≤t||β||2≤t||\beta||_2 …

76 regression  feature-selection  lasso  regularization 

Karena Regresi Logistik adalah model klasifikasi statistik yang berhubungan dengan variabel dependen kategorikal, mengapa tidak disebut Klasifikasi Logistik ? Bukankah seharusnya nama "Regresi" dicadangkan untuk model yang berhubungan dengan variabel dependen kontinu?

75 regression  machine-learning  logistic  classification  terminology 

Saya menggunakan algoritma hutan acak sebagai penggolong kuat dari dua kelompok dalam studi microarray dengan ribuan fitur. Apa cara terbaik untuk menyajikan hutan acak sehingga ada cukup informasi untuk membuatnya dapat diproduksi ulang di kertas? Apakah ada metode plot dalam R untuk benar-benar plot pohon, jika ada sejumlah kecil fitur? …

75 r  machine-learning  classification  random-forest  microarray 

Beberapa tahun yang lalu saya merancang detektor radiasi yang bekerja dengan mengukur interval antara peristiwa daripada menghitungnya. Asumsi saya adalah, bahwa ketika mengukur sampel yang tidak berdekatan, rata-rata saya akan mengukur setengah dari interval yang sebenarnya. Namun ketika saya menguji rangkaian dengan sumber yang dikalibrasi, bacaan adalah faktor dua terlalu …

75 poisson-process  paradox 

Saya mencoba memahami perbedaan antara metode resampling yang berbeda (simulasi Monte Carlo, bootstrap parametrik, bootstrap non-parametrik, jackknifing, validasi silang, tes pengacakan, dan tes permutasi) dan implementasinya dalam konteks saya sendiri menggunakan R. Katakanlah saya memiliki situasi berikut - Saya ingin melakukan ANOVA dengan variabel Y ( Yvar) dan variabel X …

75 r  bootstrap  resampling  jackknife  permutation-test