Statistik dan Big Data

Adakah yang bisa menyarankan di mana untuk mendapatkan hasil dari 10.000 koin terbalik (yaitu, semua 10.000 kepala dan ekor) yang dilakukan oleh John Kerrich selama Perang Dunia II?

12 probability 

Apakah ada perbedaan eksplisit antara perkiraan dalam-sampel dan perkiraan out-of-sampel pseudo . Keduanya dimaksudkan dalam konteks mengevaluasi dan membandingkan model peramalan.

12 forecasting  model-comparison  out-of-sample  in-sample 

Saya kesulitan menemukan cara untuk menghitung nilai-p untuk area di bawah karakteristik operator penerima (ROC). Saya memiliki variabel kontinu dan hasil tes diagnostik. Saya ingin melihat apakah AUROC signifikan secara statistik. Saya menemukan banyak paket yang berhubungan dengan kurva ROC: pROC, ROCR, caTools, verifikasi, Epi. Tetapi bahkan setelah berjam-jam menghabiskan …

12 r  p-value  roc 

Saya mengumpulkan sampel kategori data yang sangat besar (> 1.000.000) setiap hari dan ingin melihat data yang terlihat "berbeda" secara signifikan antar hari untuk mendeteksi kesalahan dalam pengumpulan data. Saya pikir menggunakan tes good-of-fit (khususnya, G-test) akan menjadi cocok (pun intended) untuk ini. Distribusi yang diharapkan diberikan oleh distribusi hari …

12 goodness-of-fit  large-data 

Saya bingung dengan pernyataan berikut: "Untuk meningkatkan deviasi standar dari satu set angka, Anda harus menambahkan nilai yang lebih dari satu deviasi standar dari rata-rata" Apa buktinya ? Tentu saja saya tahu bagaimana kita mendefinisikan standar deviasi tetapi bagian itu sepertinya saya lewatkan. Ada komentar?

12 standard-deviation 

Jika kita memiliki rangkaian waktu yang panjang dan beresolusi tinggi, dengan banyak suara, seringkali masuk akal untuk menggabungkan data ke resolusi yang lebih rendah (misalnya, nilai harian hingga bulanan) untuk mendapatkan pemahaman yang lebih baik tentang apa yang terjadi, secara efektif menghilangkan beberapa dari kebisingan. Saya telah melihat setidaknya satu …

12 time-series  aggregation 

Saya menguji sensor posisi throttle (TPS) yang dijual oleh bisnis saya dan saya mencetak plot respons tegangan terhadap rotasi poros throttle. TPS adalah sensor rotasi dengan kisaran 90 ° dan outputnya seperti potensiometer dengan keterbukaan penuh 5V (atau nilai input sensor) dan bukaan awal berupa beberapa nilai antara 0 dan …

12 terminology 

Saya telah mengkorelasikan data dan saya menggunakan model efek campuran regresi logistik untuk memperkirakan efek tingkat individu (kondisional) untuk prediktor minat. Saya tahu bahwa untuk model marginal standar, kesimpulan tentang parameter model menggunakan uji Wald konsisten untuk rasio kemungkinan dan tes skor. Mereka biasanya kurang lebih sama. Karena Wald mudah …

12 logistic  mixed-model  inference 

Ketika menggunakan splines kubik alami (yaitu dibatasi), fungsi dasar yang dibuat sangat linier, dan ketika digunakan dalam regresi tampaknya menghasilkan statistik VIF (variance inflation factor) yang sangat tinggi, menandakan multikolinieritas. Ketika seseorang mempertimbangkan kasus model untuk tujuan prediksi, apakah ini masalah? Sepertinya itu akan selalu menjadi masalah karena sifat dari …

12 multiple-regression  generalized-linear-model  predictive-models  multicollinearity  splines 

Lebih khusus lagi, mengapa tes rasio kemungkinan memiliki asimtotik jika model bersarang, tetapi ini tidak lagi berlaku untuk model tidak bersarang? Saya mengerti bahwa ini mengikuti dari teorema Wilks, tetapi sayangnya, saya tidak mengerti buktinya .χ2χ2\chi^2

12 likelihood-ratio  nested-models 

Misalkan menunjukkan risiko Bayes dari estimator terhadap sebelumnya , misalkan menunjukkan himpunan semua prior pada ruang parameter , dan biarkan menunjukkan himpunan semua aturan keputusan (mungkin acak).δ π Π Θ Δr(π,δ)r(π,δ)r(\pi, \delta)δδ\deltaππ\piΠΠ\PiΘΘ\ThetaΔΔ\Delta Interpretasi statistik dari ketimpangan minimal John von Neumann menyatakan bahwa supπ∈Πinfδ∈Δr(π,δ)≤infδ∈Δsupπ∈Πr(π,δ),supπ∈Πinfδ∈Δr(π,δ)≤infδ∈Δsupπ∈Πr(π,δ), \sup_{\pi\in\Pi} \inf_{\delta\in\Delta} r(\pi, \delta) \leq \inf_{\delta\in\Delta}\sup_{\pi\in\Pi} r(\pi, …

12 bayesian  decision-theory  risk 

Saya mendapat kesan bahwa fungsi lmer()dalam lme4paket tidak menghasilkan nilai-p (lihat lmer, nilai-p dan semua itu ). Saya telah menggunakan MCMC menghasilkan nilai p sebagai per pertanyaan ini: Efek signifikan dalam lme4model campuran dan pertanyaan ini: Tidak dapat menemukan nilai-p dalam output dari lmer()dalam lm4paket diR . Baru-baru ini saya …

12 r  mixed-model  p-value  mcmc  lme4-nlme 

Jika tes nonparametrik dianggap memiliki kekuatan lebih kecil dari alternatif parametriknya, apakah ini menyiratkan bahwa jika ada tes parametrik yang tidak menolak nol, maka alternatif nonparametriknya juga tidak menolak nol? Bagaimana ini bisa berubah jika asumsi uji parametrik tidak terpenuhi dan tes itu tetap digunakan?

12 hypothesis-testing  nonparametric  parametric 

Saya punya beberapa kode dan keluaran, dan saya ingin membuat model. Saya tidak tahu bagaimana membangun model menggunakan output ini: require("splines") x <- c(0.2, 0.23, 0.26, 0.29, 0.33, 0.46, 0.53 ) y <- c(0.211, 0.2026, 0.2034, 0.2167, 0.2177, 0.19225, 0.182) fit <- lm(y ~ ns(x,3)) summary(fit) Perhatikan bahwa ns()menghasilkan matriks …

12 r  splines 

Dalam semangat pertanyaan Memahami bukti lemma yang digunakan dalam ketidaksetaraan Hoeffding , saya mencoba memahami langkah-langkah yang mengarah pada ketidaksetaraan Hoeffding. Apa yang memegang misteri paling bagi saya dalam buktinya adalah bagian di mana momen eksponensial dihitung untuk jumlah variabel iid, setelah mana ketimpangan Markov diterapkan. Tujuan saya adalah untuk …

12 probability  probability-inequalities