Statistik dan Big Data

Ada layanan web di mana saya dapat meminta informasi tentang item acak. Untuk setiap permintaan, setiap item memiliki peluang yang sama untuk dikembalikan. Saya dapat terus meminta barang dan mencatat jumlah duplikat dan unik. Bagaimana saya bisa menggunakan data ini untuk memperkirakan jumlah item?

14 probability  population  coupon-collector-problem 

Sebagai judul, apakah ada yang seperti ini? Saya tahu cara menghitung CI untuk rata-rata aritmatika, tetapi bagaimana dengan rata-rata geometrik? Terima kasih.

14 confidence-interval  mean 

Saya mengutak-atik metode PCA dan LDA dan saya terjebak pada suatu titik, saya punya perasaan bahwa itu sangat sederhana sehingga saya tidak bisa melihatnya. Matriks sebar dalam kelas ( SWSWS_W ) dan antara kelas ( SBSBS_B ) didefinisikan sebagai: SW=∑i=1C∑t=1N(xit−μi)(xit−μi)TSW=∑i=1C∑t=1N(xti−μi)(xti−μi)T S_W = \sum_{i=1}^C\sum_{t=1}^N(x_t^i - \mu_i)(x_t^i - \mu_i)^T SB=∑i=1CN(μi−μ)(μi−μ)TSB=∑i=1CN(μi−μ)(μi−μ)T S_B = …

14 discriminant-analysis 

Database (populasi, area, bentuk) dapat digunakan untuk memetakan kepadatan populasi dengan menetapkan nilai konstan populasi / area untuk setiap bentuk (yang merupakan poligon seperti blok Sensus, traktat, county, state, apa pun). Namun, populasi biasanya tidak terdistribusi secara seragam dalam poligonnya. Pemetaan Dasymetric adalah proses menyempurnakan estimasi kepadatan ini dengan menggunakan …

14 modeling  unbiased-estimator  spatial 

Membaca tentang metode dan hasil analisis statistik, terutama dalam epidemiologi, saya sangat sering mendengar tentang penyesuaian atau pengendalian model. Bagaimana Anda menjelaskan, kepada non-ahli statistik, tujuan dari hal itu? Bagaimana Anda menginterpretasikan hasil Anda setelah mengendalikan variabel tertentu? Jalan-jalan kecil di Stata atau R, atau pointer ke online, akan menjadi …

14 regression  modeling  epidemiology 

Saya butuh bantuan tentang ANOVA pengukuran berulang. Kami sedang menyelidiki efek dari beberapa intervensi pada mengurangi tingkat infeksi aliran darah (BSI) di beberapa bangsal. Kami berencana untuk menangkap informasi tingkat BSI setiap bulan, 12 bulan tanpa intervensi terlebih dahulu, kemudian 12 bulan dengan intervensi. Kami berpikir untuk melakukan deret waktu …

14 anova  repeated-measures  sample-size  power 

Mengapa kita berusaha meminimalkan x^2bukannya meminimalkan |x|^1.95atau |x|^2.05. Adakah alasan mengapa jumlahnya harus tepat dua atau itu hanya sebuah konvensi yang memiliki keuntungan menyederhanakan matematika?

14 standard-deviation  least-squares 

The entropi dari suatu distribusi kontinu dengan fungsi densitas fff didefinisikan sebagai negatif dari harapan catatan( f) ,log⁡(f),\log(f), dan karena itu sama Hf= - ∫∞- ∞catatan( f( x ) ) f( x ) d x .Hf=−∫−∞∞log⁡(f(x))f(x)dx.H_f = -\int_{-\infty}^{\infty} \log(f(x)) f(x)\mathrm{d}x. Kami juga mengatakan bahwa setiap variabel acak XXX yang distribusinya …

14 distributions  data-transformation  entropy 

Pertanyaan ini terinspirasi oleh game-mini dari Pokemon Soulsilver: Bayangkan ada 15 bom tersembunyi di area 5x6 ini (EDIT: maksimum 1 bom / sel): Sekarang, bagaimana Anda memperkirakan probabilitas untuk menemukan bom di bidang tertentu, mengingat total baris / kolom? Jika Anda melihat kolom 5 (total bom = 5), maka Anda …

14 probability  estimation  chi-squared  independence  games 

Saya memiliki dataset yang berisi, katakanlah, beberapa pengukuran untuk posisi, kecepatan dan akselerasi. Semua berasal dari "lari" yang sama. Saya bisa membangun sistem linier dan sesuai polinomial untuk semua pengukuran itu. Tetapi bisakah saya melakukan hal yang sama dengan splines? Apa cara 'R' dalam melakukan ini? Berikut adalah beberapa data …

14 r  model  fitting  splines  derivative 

Hutan acak adalah kumpulan pohon keputusan yang mengikuti konsep pengemasan. Ketika kita berpindah dari satu pohon keputusan ke pohon keputusan selanjutnya, lalu bagaimana informasi yang dipelajari oleh pohon keputusan terakhir bergerak maju ke yang berikutnya? Karena, sesuai pemahaman saya, tidak ada yang seperti model terlatih yang dibuat untuk setiap pohon …

14 machine-learning  random-forest  cart  bagging 

Apakah interpretasi Bayesian tentang REML tersedia? Untuk intuisi saya, REML memiliki kemiripan yang kuat dengan apa yang disebut prosedur estimasi Bayes empiris , dan saya ingin tahu apakah beberapa jenis kesetaraan asimptotik (di bawah beberapa kelas prior, katakanlah) telah ditunjukkan. Baik Bayes empiris dan REML tampak seperti pendekatan estimasi 'dikompromikan' …

14 bayesian  asymptotics  reml 

Saya memiliki satu set uji 100 kasus dan dua pengklasifikasi. Saya menghasilkan prediksi dan menghitung ROC AUC, sensitivitas dan spesifisitas untuk kedua pengklasifikasi. Pertanyaan 1: Bagaimana saya bisa menghitung nilai-p untuk memeriksa apakah satu secara signifikan lebih baik daripada yang lain sehubungan dengan semua skor (ROC AUC, sensitivitas, spesifisitas)? Sekarang, …

14 machine-learning  statistical-significance  roc  auc  sensitivity-specificity 

Saya akan melalui sebuah makalah yang menggunakan ketimpangan oracle untuk membuktikan sesuatu tetapi saya tidak dapat memahami apa yang bahkan coba dilakukan. Ketika saya mencari secara online tentang 'Oracle Inequality', beberapa sumber mengarahkan saya ke artikel "Candes, Emmanuel J. 'Estimasi statistik modern melalui ketidaksetaraan oracle." "yang dapat ditemukan di sini …

14 mathematical-statistics  estimation  probability-inequalities  inequality  oracle 

Saya mengalami kesulitan memahami mengapa kami peduli jika proses MA tidak dapat dibalik atau tidak. Tolong perbaiki saya jika saya salah, tapi saya bisa mengerti mengapa kita peduli apakah proses AR itu kausal atau tidak, yaitu jika kita dapat "menulis ulang," bisa dikatakan, sebagai jumlah dari beberapa parameter dan white …

14 time-series  mathematical-statistics  autoregressive  moving-average