Statistik dan Big Data

Saya sangat menikmati mendengar penjelasan sederhana untuk masalah yang kompleks. Apa analogi atau anekdot favorit Anda yang menjelaskan konsep statistik yang sulit? Favorit saya adalah penjelasan Murray tentang kointegrasi menggunakan pemabuk dan anjingnya. Murray menjelaskan bagaimana dua proses acak (mabuk berkeliaran dan anjingnya, Oliver) dapat memiliki unit root tetapi masih …

36 teaching  communication 

Saya mencoba untuk menyesuaikan model regresi linier multivariat dengan sekitar 60 variabel prediktor dan 30 pengamatan, jadi saya menggunakan paket glmnet untuk regresi yang diatur karena p> n. Saya telah melalui dokumentasi dan pertanyaan lain tetapi saya masih belum dapat menginterpretasikan hasilnya, berikut ini contoh kode (dengan 20 prediktor dan …

36 r  regression  regularization  glmnet 

Dalam algoritma model topik LDA, saya melihat asumsi ini. Tapi saya tidak tahu mengapa memilih distribusi Dirichlet? Saya tidak tahu apakah kita bisa menggunakan distribusi Uniform melalui Multinomial sebagai pasangan?

36 bayesian  dirichlet-distribution  conjugate-prior 

T: Apakah ada bukti eksperimental yang mendukung visualisasi data-gaya Tufte, minimalis, data-bicara di atas visualisasi yang dibuang bagan, katakanlah, Nigel Holmes ? Saya bertanya bagaimana cara menambahkan sampah-bagan ke plot R di sini dan para responden melemparkan sejumlah besar snark kepada saya. Jadi, tentu saja, harus ada beberapa bukti eksperimental, …

36 data-visualization 

Saya tidak pernah mengikuti kursus statistik, jadi saya harap saya bertanya di tempat yang tepat di sini. Misalkan saya hanya memiliki dua data yang menggambarkan distribusi normal: mean dan varians σ 2 . Saya ingin menggunakan komputer untuk secara acak mengambil sampel dari distribusi ini sehingga saya menghormati dua statistik …

36 normal-distribution  sampling  computing 

Variabel instrumental menjadi semakin umum dalam ekonomi terapan dan statistik. Untuk yang belum tahu, dapatkah kita mendapatkan jawaban non-teknis untuk pertanyaan berikut: Apa itu variabel instrumental? Kapan seseorang ingin menggunakan variabel instrumental? Bagaimana seseorang menemukan atau memilih variabel instrumental?

36 regression  econometrics  instrumental-variables 

Saya tidak yakin bagaimana ini harus disebut, jadi tolong perbaiki saya jika Anda tahu istilah yang lebih baik. Saya punya dua daftar. Salah satu dari 55 item (misalnya: vektor string), yang lain dari 92. Nama-nama item serupa tetapi tidak identik. Saya berharap untuk menemukan yang terbaik kandidat s di 92 …

36 r  text-mining 

Apa ide-ide utama, yaitu, konsep-konsep yang terkait dengan teorema Bayes ? Saya tidak meminta derivasi notasi matematika yang kompleks.

36 probability  bayesian  theory 

Jika saya ingin mendapatkan probabilitas 9 keberhasilan dalam 16 percobaan dengan setiap percobaan memiliki probabilitas 0,6 saya bisa menggunakan distribusi binomial. Apa yang bisa saya gunakan jika masing-masing dari 16 percobaan memiliki probabilitas keberhasilan yang berbeda?

36 distributions  probability  binomial 

Pertama-tama, saya menyadari jika saya perlu melakukan prediksi biner, saya harus membuat setidaknya dua kelas melalui melakukan satu-hot-encoding. Apakah ini benar? Namun, apakah binary cross entropy hanya untuk prediksi dengan hanya satu kelas? Jika saya menggunakan kerugian entropi lintas kategoris yang biasanya ditemukan di sebagian besar perpustakaan (seperti TensorFlow), apakah …

36 machine-learning  neural-networks  loss-functions  tensorflow  cross-entropy 

Fungsi biaya jaringan saraf adalah , dan diklaim non-cembung . Saya tidak begitu mengerti mengapa seperti itu, karena seperti yang saya lihat itu sangat mirip dengan fungsi biaya dari regresi logistik, kan?J(W,b)J(W,b)J(W,b) Jika non-cembung, maka turunan urutan kedua , kan?∂J∂W&lt;0∂J∂W&lt;0\frac{\partial J}{\partial W} < 0 MEMPERBARUI Berkat jawaban di bawah ini …

36 neural-networks  loss-functions 

Apa intuisi di balik fakta bahwa SVM dengan Kernel Gaussian memiliki ruang fitur dimensi tak terbatas?

36 svm  feature-selection  kernel-trick 

Saya hanya ingin tahu mengapa masalah regresi disebut masalah "regresi". Apa kisah di balik nama itu? Satu definisi untuk regresi: "Kambuh ke kondisi yang kurang sempurna atau maju."

36 regression  terminology  history  etymology 

Saya pikir saya mendapatkan ide umum baik VI dan MCMC termasuk berbagai rasa MCMC seperti sampling Gibbs, Metropolis Hastings dll. Makalah ini memberikan paparan yang luar biasa dari kedua metode. Saya punya pertanyaan berikut: Jika saya ingin melakukan inferensi Bayesian, mengapa saya memilih satu metode daripada yang lain? Apa pro …

36 machine-learning  bayesian  mcmc  variational-bayes  approximate-inference 

Saya telah melihat rumus normalisasi min-max tetapi itu menormalkan nilai antara 0 dan 1. Bagaimana saya akan menormalkan data antara -1 dan 1? Saya memiliki nilai negatif dan positif dalam matriks data saya.

36 dataset  normalization