Statistik dan Big Data

Jika sebelumnya dan kemungkinan sangat berbeda satu sama lain, maka kadang-kadang terjadi situasi di mana posterior mirip dengan keduanya. Lihat misalnya gambar ini, yang menggunakan distribusi normal. Meskipun secara matematis ini benar, tampaknya itu tidak sesuai dengan intuisi saya - jika data tidak sesuai dengan keyakinan atau data yang saya …

21 bayesian  prior  posterior  likelihood 

Saya ingin tahu cara memeriksa set data untuk normalitas di Excel, hanya untuk memverifikasi bahwa persyaratan untuk menggunakan uji-t terpenuhi . Untuk ekor kanan, apakah tepat untuk hanya menghitung mean dan standar deviasi, tambahkan 1, 2 & 3 standar deviasi dari rata-rata untuk membuat rentang kemudian membandingkannya dengan normal 68/95 …

21 normal-distribution  excel 

Pemahaman saya adalah bahwa statistik deskriptif menggambarkan fitur sampel data secara kuantitatif, sementara statistik inferensial membuat kesimpulan tentang populasi dari mana sampel diambil. Namun, halaman wikipedia untuk status inferensi statistik : Sebagian besar, kesimpulan statistik membuat proposisi tentang populasi, menggunakan data yang diambil dari populasi yang diminati melalui beberapa bentuk …

21 terminology  descriptive-statistics  inference 

Saya menulis sebuah algoritma di mana, diberikan model, saya menghitung kemungkinan untuk daftar dataset dan kemudian perlu menormalkan (untuk probabilitas) masing-masing kemungkinan. Jadi sesuatu seperti [0,00043, 0,00004, 0,00321] mungkin dikonversi menjadi seperti [0,2, 0,03, 0,77]. Masalah saya adalah kemungkinan log, saya bekerja dengan, cukup kecil (misalnya, dalam ruang log, nilainya …

21 probability  normalization  likelihood  c++  arithmetic 

Saya telah meninjau satu set makalah, masing-masing melaporkan rata-rata yang diamati dan SD pengukuran dalam masing-masing sampel dengan ukuran yang diketahui, . Saya ingin membuat tebakan terbaik tentang kemungkinan distribusi ukuran yang sama dalam studi baru yang saya rancang, dan seberapa besar ketidakpastian dalam tebakan itu. Saya senang menganggap ).XXXnnnX∼ …

21 bayesian  normal-distribution  meta-analysis 

Saya punya dua pertanyaan tentang kapan harus menggunakan penyesuaian Bonferroni: Apakah pantas menggunakan penyesuaian Bonferroni dalam semua kasus pengujian berganda? Jika seseorang melakukan tes pada set data, maka seseorang membagi data itu set ke tingkat yang lebih baik (misalnya membagi data berdasarkan gender) dan melakukan tes yang sama, bagaimana hal …

21 multiple-comparisons  bonferroni  type-i-and-ii-errors 

Saya menjalankan model regresi OLS pada kumpulan data dengan 5 variabel independen. Variabel independen dan variabel dependen keduanya kontinu dan terkait linier. R Square adalah sekitar 99,3%. Tetapi ketika saya menjalankan hal yang sama menggunakan hutan acak di R hasil saya adalah '% Var menjelaskan: 88,42'. Mengapa hasil hutan acak …

21 r  regression  random-forest 

Apakah mungkin untuk mengontrol biaya kesalahan klasifikasi dalam paket R randomForest ? Dalam pekerjaan saya sendiri, negatif palsu (mis., Hilang karena kesalahan bahwa seseorang mungkin menderita penyakit) jauh lebih mahal daripada positif palsu. Paket rpart memungkinkan pengguna untuk mengontrol biaya kesalahan klasifikasi dengan menentukan matriks kerugian misclassifications berat badan berbeda. …

21 r  classification  random-forest  loss-functions  metric 

Beberapa distribusi memiliki prior konjugat dan beberapa tidak. Apakah perbedaan ini hanya kecelakaan? Artinya, Anda melakukan perhitungan, dan itu berhasil dengan satu atau lain cara, tetapi tidak benar-benar memberi tahu Anda sesuatu yang penting tentang distribusi kecuali untuk fakta itu sendiri? Atau apakah ada atau tidak adanya konjugat sebelum mencerminkan …

21 bayesian  mathematical-statistics  conjugate-prior 

Saya memiliki apa yang saya anggap naif sebagai masalah yang cukup lurus ke depan yang melibatkan deteksi outlier untuk banyak set data penghitungan yang berbeda. Secara khusus, saya ingin menentukan apakah satu atau lebih nilai dalam serangkaian data jumlah lebih tinggi atau lebih rendah dari yang diharapkan relatif terhadap sisa …

21 outliers  count-data  fitting 

Ketika saya sedang mengkode simulasi Monte Carlo untuk beberapa masalah, dan modelnya cukup sederhana, saya menggunakan buku sampel Gibbs yang sangat dasar. Ketika tidak mungkin menggunakan sampling Gibbs, saya memberi kode pada buku teks Metropolis-Hastings yang telah saya pelajari bertahun-tahun yang lalu. Satu-satunya pemikiran yang saya berikan adalah memilih distribusi …

21 bayesian  mcmc  gibbs  metropolis-hastings 

Beberapa imputasi cukup mudah ketika Anda memiliki model linear apriori yang ingin Anda perkirakan. Namun, hal-hal tampaknya menjadi sedikit lebih rumit ketika Anda benar-benar ingin melakukan pemilihan model (misalnya menemukan variabel prediktor "terbaik" dari variabel kandidat yang lebih besar - saya sedang berpikir secara khusus tentang LASSO dan polinomial pecahan …

21 multiple-regression  multiple-imputation 

Saya tertarik pada contoh sumber (kode R, paket R, buku, bab buku, artikel, tautan dll) untuk mempelajari konsep statistik dan matematika melalui R (bisa juga melalui bahasa lain, tetapi R adalah cita rasa favorit saya). Tantangannya adalah bahwa pembelajaran materi bergantung pada pemrograman, bukan hanya pada bagaimana menjalankan kode yang …

21 r  references  mathematical-statistics 

Ada gambar di halaman 204, bab 4 "pengenalan pola dan pembelajaran mesin" oleh Bishop di mana saya tidak mengerti mengapa solusi Least square memberikan hasil yang buruk di sini: Paragraf sebelumnya adalah tentang fakta bahwa solusi kuadrat-kurang kurang kekokohan terhadap outlier seperti yang Anda lihat pada gambar berikut, tapi saya …

21 classification  least-squares 

Saya tertarik untuk membandingkan jumlah variabilitas dalam 8 sampel berbeda (masing-masing dari populasi yang berbeda). Saya sadar bahwa ini dapat dilakukan dengan beberapa metode dengan data rasio: F-test kesetaraan varian, uji Levene, dll. Namun, data saya adalah sirkuler / terarah (yaitu data yang menunjukkan periodisitas seperti arah angin dan data …

21 variance  matlab  f-test  circular-statistics