Statistik dan Big Data

Misalkan kita memiliki tes kumpulan data : 1 8 12 14 . . 19 The . Menandakan hilang nilai-nilai. Kapan akan lebih baik menggunakan rata-rata dari nilai yang tidak hilang untuk menentukan nilai yang hilang daripada mengasumsikan bahwa data tersebut berasal dari distribusi normal?

9 missing-data 

Zuur 2013 Beginners Guide to GLM & GLMM menyarankan validasi regresi Poisson dengan memplot residu Pearsons terhadap nilai yang dipasang. Zuur menyatakan kita seharusnya tidak melihat residu mengembang saat nilai pas meningkat, seperti plot yang dilampirkan (digambar tangan). Tapi saya pikir karakteristik utama dari distribusi Poisson adalah varians meningkat dengan …

9 residuals  poisson-regression 

Saya telah melihat sejumlah literatur yang masuk akal tentang bagaimana memilih kernel dan bandwidth ketika menghitung estimasi kepadatan kernel, tetapi saya saat ini tertarik pada bagaimana meningkatkan waktu yang diperlukan untuk mengevaluasi KDE yang dihasilkan pada jumlah titik yang berubah-ubah. Dalam kasus saya, saya menggunakan kernel Gaussian multidimensi (2D atau …

9 kernel-smoothing 

Saya mencoba mengembangkan model prediksi untuk variabel dependen sudut (pada menggunakan beberapa pengukuran independen - juga variabel sudut, pada - sebagai prediktor. Setiap prediktor secara signifikan tetapi tidak berkorelasi sangat kuat dengan variabel dependen. Bagaimana saya bisa menggabungkan prediktor untuk menentukan model prediksi untuk variabel dependen yang optimal dalam beberapa …

9 regression  multiple-regression  circular-statistics 

Berikut datanya: > tires <- data.frame(Wear = c(17, 14, 12, 13, 14, 14, 12, 11, 13, 13, 10, 11, 13, 8, 9, 9), Brand = rep(LETTERS[1:4], 4), Car = as.character(as.roman(rep(1:4, each = 4)))) > tires Wear Brand Car 1 17 A I 2 14 B I 3 12 C I …

9 r  anova  dataset  degrees-of-freedom 

Saat menggunakan algoritme pembelajaran CD persisten untuk Mesin Bolzmann Terbatas, kami memulai rantai pengambilan sampel Gibbs kami pada iterasi pertama pada titik data, tetapi bertentangan dengan CD normal, dalam mengikuti iterasi kami tidak memulai rantai kami. Alih-alih, kita mulai dari mana rantai sampel Gibbs dalam iterasi sebelumnya berakhir. Dalam algoritma …

9 machine-learning  neural-networks  rbm 

Katakanlah saya sedang melakukan meta-analisis, melihat kinerja grup A dan grup B sehubungan dengan konstruk tertentu. Sekarang, beberapa studi yang akan saya temui akan melaporkan bahwa tidak ada perbedaan statistik yang dapat ditemukan antara kedua kelompok tetapi tidak ada statistik uji yang pasti dan / atau data mentah yang akan …

9 hypothesis-testing  power-analysis  meta-analysis  effect-size  group-differences 

R in Action (Kabacoff, 2011) menyarankan rutinitas berikut untuk menguji penyebaran berlebihan dalam regresi logistik: Fit regresi logistik menggunakan distribusi binomial: model_binom <- glm(Species=="versicolor" ~ Sepal.Width, family=binomial(), data=iris) Fit regresi logistik menggunakan distribusi quasibinomial: model_overdispersed <- glm(Species=="versicolor" ~ Sepal.Width, family=quasibinomial(), data=iris) Gunakan chi-squared untuk menguji penyebaran berlebihan: pchisq(summary(model_overdispersed)$dispersion * model_binom$df.residual, …

9 r  regression  distributions  logistic  overdispersion 

Dalam halaman Wikipedia ini di sub-bagian untuk validasi silang K-fold dikatakan "Dalam validasi silang k-fold, sampel asli dipartisi secara acak menjadi k sebagai subsampel dengan ukuran yang sama. Dari sampel k, subsampel tunggal dipertahankan sebagai data validasi untuk menguji model, dan sisa sampel k - 1 digunakan sebagai data pelatihan …

9 cross-validation 

Saya mengambil kursus tentang metode Monte Carlo dan kami belajar metode Sampling Penolakan (atau Sampling Terima-Tolak) dalam kuliah terakhir. Ada banyak sumber daya di web yang menunjukkan bukti metode ini, tetapi entah bagaimana saya tidak yakin dengan mereka. Jadi, dalam Sampel Penolakan, kami memiliki distribusi f( x )f(x)f(x)yang sulit untuk …

9 sampling  monte-carlo  rejection-sampling 

Untuk masalah klasifikasi saya telah menggunakan Neural Networks dan mengukur kesalahan Tipe I dan II menggunakan matriks kebingungan dan ukurannya sesuai sumber daya ini ( mirror ), yang cukup mudah. Ketika dihadapkan dengan masalah estimasi, bagaimana seseorang menilai kinerja model? Dengan asumsi bahwa tidak ada kelas dan output ditafsirkan dalam …

9 regression  machine-learning  estimation  model-evaluation 

Buku teks saya tentang validasi silang adalah Elemen Pembelajaran Statistik oleh Hastie et al. (2nd ed.). Di bagian 7.10.1 dan 7.12, mereka berbicara tentang perbedaan antara kesalahan pengujian bersyarat dan tes yang diharapkan kesalahan Di sini adalah kumpulan data pelatihan, adalah fungsi kerugian, adalah model yang dilatih pada . adalah …

9 cross-validation  definition 

Saya memiliki blok intuitif dengan ini. Untuk masalah binomial, standar deviasi hitungan adalahn p ( 1 - p )--------√nhal(1-hal)\sqrt{np(1-p)}. Sebaliknya, standar deviasi proporsi sampel menurun dengan meningkatnyannn dan p ( 1 - p )n-----√hal(1-hal)n\sqrt{\frac{p(1-p)}{n}}. Saya dapat melakukan pembagian dengannnn tapi saya tidak punya perasaan mengapa standar deviasi bergerak berlawanan arah.

9 binomial  standard-deviation 

Definisi statistik yang memadai adalah: Biarkan X1,...,XnX1,...,XnX_1,...,X_n menjadi sampel acak dari distribusi yang diindeks oleh parameter θθ\theta. MembiarkanTTTmenjadi statistik. Misalkan, untuk setiapθθ\theta dan setiap nilai yang mungkin ttt dari TTT, distribusi bersama bersyarat dari X1,...,XnX1,...,XnX_1,...,X_n mengingat bahwa T=tT=tT=t hanya bergantung pada ttt tapi tidak menyala θθ\theta. Kemudian,TTT adalah statistik yang …

9 regression  sufficient-statistics 

Saya membaca buku GPML dan dalam Bab 2 (halaman 15) , buku ini menceritakan cara melakukan regresi menggunakan Proses Gaussian (GP), tetapi saya mengalami kesulitan mencari cara kerjanya. Dalam inferensi Bayesian untuk model parametrik, pertama-tama kita memilih prior pada parameter model θθ\theta, itu adalah p(θ)p(θ)p(\theta); kedua, diberikan data pelatihanDDD, kami …

9 machine-learning  gaussian-process