Statistik dan Big Data

Saya mencoba untuk mencocokkan data dengan GLM (regresi poisson) di R. Ketika saya merencanakan residual vs nilai-nilai yang dipasang, plot membuat beberapa (hampir linier dengan kurva cekung kecil) "garis". Apa artinya ini? library(faraway) modl <- glm(doctorco ~ sex + age + agesq + income + levyplus + freepoor + freerepa …

25 r  self-study  generalized-linear-model  poisson-regression 

Saya menghitung filter Kalman yang sangat sederhana (random walk + noise model). Saya menemukan bahwa output dari filter sangat mirip dengan moving average. Apakah ada persamaan di antara keduanya? Jika tidak, apa bedanya?

25 kalman-filter 

ketika mengintegrasikan fungsi atau dalam simulasi yang kompleks, saya telah melihat metode Monte Carlo banyak digunakan. Saya bertanya pada diri sendiri mengapa orang tidak menghasilkan kisi poin untuk mengintegrasikan fungsi alih-alih menggambar titik acak. Bukankah itu membawa hasil yang lebih tepat?

25 monte-carlo 

Dalam sebuah artikel baru-baru ini yang membahas kerugian bergantung pada nilai-p untuk inferensi statistik, yang disebut "Matrixx v. Siracusano dan Student v. Fisher signifikansi statistik pada percobaan" (DOI: 10.1111 / j.1740-9713.2011.00511.x), Stephen T. Ziliak menentang penggunaan nilai-p. Dalam paragraf penutup dia berkata: Data adalah satu hal yang sudah kita ketahui, …

25 r  hypothesis-testing  statistical-significance  bayesian  p-value 

Saya mengerti logika pengkodean untuk analisis data. Pertanyaan saya di bawah ini adalah tentang penggunaan kode tertentu. Apakah ada alasan mengapa gender sering dikodekan sebagai 0 untuk wanita dan 1 untuk pria? Mengapa pengkodean ini dianggap 'standar'? Bandingkan ini dengan Wanita = 1 dan Pria = 2. Apakah ada masalah …

25 data-transformation  binary-data  categorical-encoding  units 

Saya menulis tesis PhD saya dan saya menyadari bahwa saya sangat mengandalkan plot kotak untuk membandingkan distribusi. Alternatif lain apa yang Anda sukai untuk mencapai tugas ini? Saya juga ingin bertanya apakah Anda tahu sumber daya lain sebagai galeri R di mana saya dapat menginspirasi diri saya dengan berbagai ide …

25 r  distributions  data-visualization  boxplot  relative-distribution 

Saya bertanya-tanya bagaimana orang Bayesian di komunitas CrossValidated melihat masalah ketidakpastian model dan bagaimana mereka lebih suka menghadapinya? Saya akan mencoba mengajukan pertanyaan saya dalam dua bagian: Seberapa penting (dalam pengalaman / pendapat Anda) berurusan dengan ketidakpastian model? Saya belum menemukan makalah yang menangani masalah ini di komunitas pembelajaran mesin, …

25 machine-learning  bayesian  model-selection 

Dalam kursus statistik dasar saya, saya belajar bagaimana membangun interval kepercayaan 95% seperti rata-rata populasi, μμ\mu , berdasarkan normalitas asimptotik untuk ukuran sampel "besar". Terlepas dari metode resampling (seperti bootstrap), ada pendekatan lain berdasarkan "kemungkinan profil" . Bisakah seseorang menjelaskan pendekatan ini? Dalam situasi apa, CI 95% yang dibangun berdasarkan …

25 confidence-interval  profile-likelihood 

Saya telah menemukan beberapa panduan yang menyarankan agar saya menggunakan R's nlm untuk estimasi kemungkinan maksimum. Tetapi tidak satu pun dari mereka (termasuk dokumentasi R ) yang memberikan banyak petunjuk teoritis tentang kapan harus menggunakan atau tidak menggunakan fungsi tersebut. Sejauh yang saya tahu, nlm hanya melakukan gradient descent di …

25 r  maximum-likelihood 

Selain itu karakteristik classifier jelas seperti biaya komputasi, tipe data yang diharapkan dari fitur / label dan kesesuaian untuk ukuran dan dimensi set data tertentu, apa lima (atau 10, 20?) pengklasifikasi teratas untuk dicoba pertama kali pada kumpulan data baru yang belum diketahui banyak orang (mis. semantik dan korelasi fitur …

25 machine-learning  classification  methodology 

Apa cara terbaik untuk mendefinisikan proses white noise sehingga intuitif dan mudah dipahami?

25 time-series 

Ini adalah posting pertama saya, jadi tolong tenangkan saya jika saya tidak mengikuti beberapa standar! Saya melakukan pencarian untuk pertanyaan saya dan tidak ada yang muncul. Pertanyaan saya sebagian besar berkaitan dengan perbedaan praktis antara pemodelan linier umum (GLM) dan pemodelan linier umum (GZLM). Dalam kasus saya ini akan menjadi …

25 modeling  linear-model 

Misalkan saya akan melakukan regresi logistik univariat pada beberapa variabel independen, seperti ini: mod.a <- glm(x ~ a, data=z, family=binominal("logistic")) mod.b <- glm(x ~ b, data=z, family=binominal("logistic")) Saya melakukan perbandingan model (uji rasio kemungkinan) untuk melihat apakah model lebih baik daripada model nol dengan perintah ini 1-pchisq(mod.a$null.deviance-mod.a$deviance, mod.a$df.null-mod.a$df.residual) Lalu saya …

25 r  logistic  diagnostic 

Saya tahu bahwa dalam situasi regresi, jika Anda memiliki satu set variabel yang sangat berkorelasi ini biasanya "buruk" karena ketidakstabilan dalam koefisien yang diperkirakan (varians menuju infinity sebagai determinan menuju nol). Pertanyaan saya adalah apakah "kejahatan" ini tetap ada dalam situasi PCA. Apakah vektor koefisien / beban / bobot / …

25 pca  multicollinearity 

Sebagai seorang ahli biologi, banyak dari proyek penelitian yang saya kerjakan pada titik tertentu melibatkan kolaborasi dengan ahli statistik, apakah itu untuk saran sederhana atau untuk menerapkan dan menguji model untuk data saya. Rekan-rekan statistik saya mengakui bahwa mereka melakukan sejumlah besar kolaborasi, sedemikian rupa sehingga proses tinjauan tenurial hanya …

25 academia