Statistik dan Big Data

Mengapa menggunakan Root Mean Squared Error (RMSE) alih-alih Mean Absolute Error (MAE) ?? Hai Saya telah menyelidiki kesalahan yang dihasilkan dalam perhitungan - Saya awalnya menghitung kesalahan sebagai Root Mean Normalized Squared Error. Melihat sedikit lebih dekat, saya melihat efek kuadrat kesalahan memberikan bobot lebih besar untuk kesalahan yang lebih …

59 least-squares  mean  rms  mae 

Apa alasan bahwa fungsi kemungkinan bukan pdf (probabilitas kepadatan fungsi)?

59 likelihood  pdf 

Kutipan berikut berasal dari entri, Apa perbedaan antara tes satu-ekor dan dua-ekor? , di situs bantuan statistik UCLA. ... pertimbangkan konsekuensi dari kehilangan efek ke arah lain. Bayangkan Anda telah mengembangkan obat baru yang Anda yakini merupakan peningkatan dibandingkan obat yang sudah ada. Anda ingin memaksimalkan kemampuan Anda untuk mendeteksi …

58 hypothesis-testing  statistical-significance  inference 

Teknik apa yang tersedia untuk mengelompokkan (atau mengelompokkan) banyak kategori menjadi beberapa, untuk tujuan menggunakannya sebagai input (prediktor) dalam model statistik? Pertimbangkan variabel seperti jurusan mahasiswa (disiplin yang dipilih oleh mahasiswa sarjana). Itu tidak teratur dan kategorikal, tetapi berpotensi memiliki lusinan tingkat yang berbeda. Katakanlah saya ingin menggunakan jurusan sebagai …

58 regression  categorical-data  dimensionality-reduction  feature-construction  many-categories 

Apa perbedaan antara umpan-maju dan jaringan saraf berulang ? Mengapa Anda menggunakan salah satunya? Apakah topologi jaringan lain ada?

58 machine-learning  neural-networks  terminology  rnn  topologies 

Ini adalah pertanyaan yang saya temukan di Glassdoor : Bagaimana cara menghasilkan 7 bilangan bulat dengan probabilitas yang sama menggunakan koin yang memiliki ?P r ( Head ) = p ∈ ( 0 , 1 )Pr(Kepala)=hal∈(0,1)\mathbb{Pr}(\text{Head}) = p\in(0,1) Pada dasarnya, Anda memiliki koin yang mungkin atau mungkin tidak adil, dan …

58 probability  binomial  random-generation 

Saya menemukan dua pertanyaan di sini dan di sini tentang masalah ini tetapi belum ada jawaban atau penjelasan yang jelas. Saya menegakkan masalah yang sama di mana kesalahan validasi kurang dari kesalahan pelatihan di Jaringan Neural Konvolusi saya. Apa artinya?

58 machine-learning  mathematical-statistics  neural-networks  cross-validation 

Saya punya plot yang saya buat di ggplot2 untuk merangkum data yang berasal dari dataset sel 2 x 4 x 3. Saya sudah bisa membuat panel untuk variabel 2-leveled menggunakan facet_grid(. ~ Age)dan untuk mengatur sumbu x dan y menggunakan aes(x=4leveledVariable, y=DV). Saya dulu aes(group=3leveledvariable, lty=3leveledvariable)memproduksi plot sejauh ini. Ini …

58 r  data-visualization  ggplot2 

Saya mengalami kesulitan memahami kurva ROC. Apakah ada keuntungan / peningkatan di area di bawah kurva ROC jika saya membangun model yang berbeda dari setiap subset unik dari set pelatihan dan menggunakannya untuk menghasilkan probabilitas? Sebagai contoh, jika memiliki nilai-nilai { a , a , a , a , b …

57 r  roc 

Bagaimana cara trik reparameterisasi untuk variabel autoencoder (VAE) bekerja? Apakah ada penjelasan yang intuitif dan mudah tanpa menyederhanakan matematika yang mendasarinya? Dan mengapa kita membutuhkan 'tipuan'?

57 mathematical-statistics  autoencoders  variational-bayes  generative-models 

Saya berasumsi bahwa yang berikut ini benar: mengasumsikan koin yang adil, mendapatkan 10 kepala berturut-turut sementara melempar koin tidak meningkatkan peluang lemparan koin berikutnya menjadi ekor , tidak peduli berapa jumlah probabilitas dan / atau jargon statistik yang dilemparkan ke sekitar (permisi permainan kata-kata). Dengan asumsi itu yang terjadi, pertanyaan …

57 probability  independence  intuition  games  bernoulli-process 

Sering disarankan untuk mengambil akar kuadrat ketika Anda memiliki data hitungan. (Untuk beberapa contoh pada CV, lihat jawaban @ HarveyMotulsky di sini , atau jawaban @ whuber di sini .) Di sisi lain, ketika memasang model linear umum dengan variabel respons yang didistribusikan sebagai Poisson, log adalah tautan kanonik . …

57 generalized-linear-model  data-transformation  poisson-distribution  count-data  variance-stabilizing 

Penaksir kemungkinan maksimum (MLE) efisien secara asimptotik; kami melihat hasil praktis dalam hal mereka sering melakukan lebih baik daripada estimasi metode saat (MoM) (ketika mereka berbeda), bahkan pada ukuran sampel kecil Di sini 'lebih baik daripada' berarti dalam arti biasanya memiliki varians yang lebih kecil ketika keduanya tidak bias, dan …

57 estimation  maximum-likelihood  mse  method-of-moments  efficiency 

Saya memiliki model (campuran) di mana salah satu prediktor saya harus apriori hanya terkait secara kuadratik dengan prediktor (karena manipulasi eksperimental). Oleh karena itu, saya hanya ingin menambahkan istilah kuadrat ke model. Dua hal yang membuat saya tidak melakukannya: Saya pikir saya membaca di mana Anda harus selalu menyertakan polinomial …

57 regression  polynomial 

Saya telah menganalisis data saya apa adanya. Sekarang saya ingin melihat analisis saya setelah mengambil log semua variabel. Banyak variabel mengandung banyak nol. Karena itu saya menambahkan jumlah kecil untuk menghindari mengambil log nol. Sejauh ini saya telah menambahkan 10 ^ -10, tanpa alasan apa pun, hanya karena saya merasa …

57 data-transformation  chemometrics