Statistik dan Big Data

Apa cara termudah untuk memahami peningkatan? Mengapa itu tidak meningkatkan penggolong yang sangat lemah "hingga tak terbatas" (kesempurnaan)?

23 machine-learning  boosting 

(Saya seorang pemula di statistik. Saya seorang ahli matematika dan seorang programmer dan saya mencoba untuk membangun sesuatu seperti filter spam Bayesian yang naif.) Saya perhatikan di banyak tempat bahwa orang cenderung menjabarkan penyebut dalam persamaan dari Teorema Bayes. Jadi alih-alih ini: P( A | B ) ⋅ P( B …

23 bayesian 

Metode apa yang dapat saya gunakan untuk menyimpulkan distribusi jika saya hanya tahu tiga persen? Misalnya, saya tahu bahwa dalam kumpulan data tertentu, persentil kelima adalah 8.135, persentil ke-50 adalah 11.259, dan persentil ke-95 adalah 23.611. Saya ingin dapat beralih dari angka lain ke persentilnya. Ini bukan data saya, dan …

23 r  regression  quantiles 

Bagaimana saya bisa menemukan PDF (fungsi kerapatan probabilitas) dari suatu distribusi yang diberikan CDF (fungsi distribusi kumulatif)?

23 distributions  pdf  cdf 

Saya agak tersesat dalam proses regresi WLS. Saya telah diberikan dataset dan tugas saya adalah untuk menguji apakah ada heteroskedascity, dan jika demikian saya harus menjalankan regresi WLS. Saya telah melakukan tes dan menemukan bukti untuk heteroskedascity, jadi saya perlu menjalankan WLS. Saya telah diberitahu bahwa WLS pada dasarnya adalah …

23 regression  heteroscedasticity  weighted-regression 

Apa penduga kemungkinan maksimum untuk parameter t-distribusi Student? Apakah mereka ada dalam bentuk tertutup? Pencarian Google cepat tidak memberi saya hasil apa pun. Hari ini saya tertarik pada kasus univariat, tetapi mungkin saya harus memperluas model ke beberapa dimensi. EDIT: Saya sebenarnya lebih tertarik pada parameter lokasi dan skala. Untuk …

23 estimation  maximum-likelihood  t-distribution 

Dalam regresi linier berganda dengan regresi yang sangat berkorelasi, apa strategi terbaik untuk digunakan? Apakah ini pendekatan yang sah untuk menambahkan produk dari semua regressor yang berkorelasi?

23 regression  multicollinearity 

Seringkali, dalam studi statistik (mandiri) saya, saya telah bertemu dengan terminologi " aljabar yang dihasilkan oleh variabel acak". Saya tidak mengerti definisi di Wikipedia , tetapi yang paling penting saya tidak mendapatkan intuisi di baliknya. Mengapa / kapan kita membutuhkan aljabar yang dihasilkan oleh variabel acak? Apa artinya mereka Saya …

23 probability  random-variable  sigma-algebra 

Bisakah seseorang tolong jelaskan statistik yang cukup dalam istilah yang sangat mendasar? Saya berasal dari latar belakang teknik, dan saya telah melalui banyak hal tetapi gagal menemukan penjelasan yang intuitif.

23 machine-learning  mathematical-statistics  intuition 

Saya telah mencoba untuk memahami ide konjugasi prior dalam statistik Bayesian untuk sementara waktu tetapi saya tidak mengerti. Adakah yang bisa menjelaskan ide dalam istilah yang paling sederhana, mungkin menggunakan "Gaussian prior" sebagai contoh?

23 bayesian  conditional-probability  conjugate-prior 

Saya mencoba belajar penguatan dan topik ini benar-benar membingungkan saya. Saya telah mengambil pengantar statistik, tetapi saya tidak bisa memahami topik ini secara intuitif.

22 variance  simulation  monte-carlo  unbiased-estimator  importance-sampling 

Mengapa autokorelasi sangat penting? Saya sudah mengerti prinsipnya (saya kira ..) tetapi karena ada juga contoh di mana tidak ada autokorelasi, saya bertanya-tanya: Bukankah segala sesuatu di alam entah bagaimana autokorelasi? Aspek terakhir lebih mengarah pada pemahaman umum tentang autokorelasi itu sendiri karena, seperti yang saya sebutkan, tidak setiap negara …

22 autocorrelation 

(Permintaan maaf sebelumnya untuk penggunaan bahasa awam daripada bahasa statistik.) Jika saya ingin mengukur peluang menggelindingkan masing-masing sisi dari die enam sisi fisik tertentu ke sekitar +/- 2% dengan keyakinan yang wajar akan kepastian, berapa banyak gulungan sampel yang dibutuhkan? yaitu Berapa kali saya harus melempar dadu, menghitung setiap hasil, …

22 probability  inference  pdf  dice 

Ada utas serupa di sini ( Fungsi biaya jaringan saraf adalah non-cembung? ) Tapi saya tidak dapat memahami poin-poin dalam jawaban di sana dan alasan saya untuk bertanya lagi berharap ini akan menjelaskan beberapa masalah: Jika saya menggunakan jumlah fungsi biaya selisih kuadrat, saya akhirnya mengoptimalkan sesuatu dari bentuk mana …

22 machine-learning  neural-networks  optimization  loss-functions  convex 

Bagian 1.7.2 dari Menemukan Statistik Menggunakan R oleh Andy Fields, dkk, sambil mendaftar nilai rata-rata vs median, menyatakan: ... rerata cenderung stabil pada sampel yang berbeda. Ini setelah menjelaskan banyak kebajikan median, misalnya ... Median relatif tidak terpengaruh oleh skor ekstrem di kedua ujung distribusi ... Mengingat bahwa median relatif …

22 mean  median