Statistik dan Big Data

Saya punya beberapa data dan berusaha menyesuaikan kurva yang halus dengannya. Namun, saya tidak ingin menegakkan terlalu banyak kepercayaan sebelumnya atau pra-konsepsi yang terlalu kuat (kecuali yang tersirat oleh sisa pertanyaan saya) di atasnya, atau distribusi tertentu. Saya hanya ingin mencocokkannya dengan beberapa kurva yang halus (atau memiliki perkiraan yang …

10 estimation  nonparametric  references 

Saya memiliki persamaan untuk memprediksi berat manatee dari usia mereka, dalam beberapa hari (dias, dalam bahasa Portugis): R <- function(a, b, c, dias) c + a*(1 - exp(-b*dias)) Saya telah memodelkannya dalam R, menggunakan nls (), dan mendapatkan gambar ini: Sekarang saya ingin menghitung interval kepercayaan 95% dan memplotnya dalam …

10 confidence-interval  nonlinear-regression 

Dalam regresi logistik, rasio odds 2 berarti bahwa kejadian tersebut 2 kali lebih mungkin diberikan peningkatan satu unit dalam prediktor. Dalam regresi Cox, rasio bahaya 2 berarti peristiwa tersebut akan terjadi dua kali lebih sering pada setiap titik waktu mengingat peningkatan satu unit dalam prediktor. Apakah ini secara praktis tidak …

10 logistic  cox-model  odds-ratio  hazard 

Misalkan ahli masing-masing diminta untuk memberi peringkat satu set objek dalam urutan atau preferensi. Biarkan ikatan dalam peringkat.kkknnn John Kemeny dan Laurie Snell dalam buku 1962 tahun mereka "model matematika dalam Ilmu Sosial" mengusulkan untuk memecahkan masalah berikutnya: PROYEK . Mengembangkan ukuran keandalan peringkat konsensus oleh ahli . Sebagai contoh, …

10 reliability  ranking  order-statistics 

Bagaimana struktur varians-kovarians default untuk efek acak dalam glmeratau lmerdalam lme4paket? Bagaimana cara menentukan struktur varians-kovarians lain untuk efek-acak dalam kode? Saya tidak dapat menemukan informasi mengenai ini di lme4dokumentasi.

10 mixed-model  lme4-nlme  covariance-matrix 

Saya melakukan analisis deret waktu menggunakan R. Saya harus menguraikan data saya menjadi komponen tren, musiman dan acak. Saya memiliki data mingguan selama 3 tahun. Saya telah menemukan dua fungsi di R - stl()dan decompose(). Saya telah membaca bahwa stl()ini tidak baik untuk dekomposisi multiplikasi. Adakah yang bisa memberi tahu …

10 r  time-series 

Saya sedang membaca buku teks statistik tingkat entri. Dalam bab tentang estimasi kemungkinan maksimum proporsi keberhasilan dalam data dengan distribusi binomial, itu memberikan formula untuk menghitung interval kepercayaan dan kemudian dengan santai disebutkan. Pertimbangkan probabilitas cakupan aktualnya, yaitu probabilitas bahwa metode tersebut menghasilkan interval yang menangkap nilai parameter sebenarnya. Ini …

10 confidence-interval  terminology  coverage-probability 

Dari Quick-R Robert Kabacoff yang saya miliki # Bootstrap 95% CI for regression coefficients library(boot) # function to obtain regression weights bs <- function(formula, data, indices) { d <- data[indices,] # allows boot to select sample fit <- lm(formula, data=d) return(coef(fit)) } # bootstrapping with 1000 replications results <- boot(data=mtcars, …

10 r  regression  p-value  bootstrap 

Berikut ini contohnya: Saya memiliki populasi 10.000 item. Setiap item memiliki id unik. Saya secara acak memilih 100 item dan mencatat id Saya memasukkan 100 item ke dalam populasi Saya secara acak mengambil 100 item lagi, mencatat id dan ganti. Secara total, saya ulangi sampling acak ini sebanyak 5 kali …

10 probability  hypergeometric 

Perbandingan dua sampel proporsi, estimasi ukuran sampel: R vs Stata Saya mendapat hasil berbeda untuk ukuran sampel, sebagai berikut: Dalam R power.prop.test(p1 = 0.70, p2 = 0.85, power = 0.90, sig.level = 0.05) Hasil: (jadi 161) untuk setiap kelompok.n=160.7777n=160.7777n = 160.7777 Di Stata sampsi 0.70 0.85, power(0.90) alpha(0.05) Hasil: untuk …

10 r  stata  sample-size  power-analysis  jmp 

ESL bab 2.4 tampaknya mengklasifikasikan regresi linier sebagai "berbasis model", karena mengasumsikan , sedangkan tidak ada perkiraan serupa yang dinyatakan untuk k-tetangga terdekat. Tapi bukankah kedua metode membuat asumsi tentang ?f ( x )f( x ) ≈ x ⋅ βf(x)≈x⋅βf(x) \approx x\cdot\betaf( x )f(x)f(x) Kemudian di 2.4 bahkan dikatakan: Kuadrat …

10 machine-learning  model  k-nearest-neighbour 

Saya belum menemukan literatur tentang penerapan Hutan Acak untuk MNIST, CIFAR, STL-10, dll. Jadi saya pikir saya akan mencobanya sendiri dengan permutasi MNIST invarian . Di R , saya mencoba: randomForest(train$x, factor(train$y), test$x, factor(test$y), ntree=500) Ini berjalan selama 2 jam dan mendapat 2,8% kesalahan pengujian. Saya juga mencoba scikit-belajar , …

10 r  machine-learning  classification  random-forest  scikit-learn 

Saya mencoba memahami apa model jenuh itu. AFAIK itu ketika Anda memiliki banyak fitur pengamatan. Bisakah kita mengatakan model jenuh adalah kasus khusus dari model yang sangat dilengkapi?

10 overfitting 

Saya mengajar kursus statistik dasar dan hari ini saya akan membahas uji independensi chi-kuadrat untuk dua kategori dan tes untuk homogenitas. Dua skenario ini secara konseptual berbeda, tetapi dapat menggunakan statistik uji dan distribusi yang sama. Dalam uji homogenitas, total marginal untuk salah satu kategori diasumsikan menjadi bagian dari desain …

10 chi-squared  independence  heteroscedasticity  teaching 

Dalam klasifikasi sederhana, kami memiliki dua kelas: kelas-0 dan kelas-1. Dalam beberapa data saya hanya memiliki nilai untuk kelas-1, jadi tidak ada untuk kelas-0. Sekarang saya berpikir untuk membuat model untuk memodelkan data untuk kelas-1. Jadi, ketika data baru datang, model ini diterapkan pada data baru dan menemukan probabilitas yang …

10 machine-learning  one-class