Statistik dan Big Data

Saya merujuk pada artikel ini: http://www.nytimes.com/2011/01/11/science/11esp.html Pertimbangkan eksperimen berikut. Misalkan ada alasan untuk percaya bahwa koin sedikit berbobot ke kepala. Dalam sebuah tes, koin muncul kepala 527 kali dari 1.000. Apakah ini bukti penting bahwa koin itu tertimbang? Analisis klasik mengatakan ya. Dengan koin yang adil, peluang mendapatkan 527 atau …

20 hypothesis-testing  bayesian  statistics-in-media 

Katakanlah kita memiliki dua faktor (A dan B), masing-masing dengan dua level (A1, A2 dan B1, B2) dan variabel respons (y). Saat melakukan ANOVA dua arah dari jenis: y~A+B+A*B Kami menguji tiga hipotesis nol: Tidak ada perbedaan dalam faktor faktor A Tidak ada perbedaan dalam faktor faktor B Tidak ada …

20 hypothesis-testing  anova 

Dalam upaya saya untuk memerangi kekacauan spreadsheet, saya sering evangelis dalam mendorong alat yang lebih kuat seperti perangkat lunak statistik yang benar (R, Stata, dan sejenisnya). Baru-baru ini, saya ditantang pada pandangan ini oleh seseorang yang menyatakan bahwa mereka tidak akan belajar memprogram. Saya ingin memberi mereka alat analisis data …

20 data-visualization  software 

Logika multiple imputation (MI) adalah untuk menghitung nilai yang hilang tidak hanya sekali tetapi beberapa kali (biasanya M = 5) kali, menghasilkan set data selesai M. Kumpulan data M lengkap kemudian dianalisis dengan metode data lengkap tempat estimasi M dan kesalahan standarnya digabungkan menggunakan rumus Rubin untuk mendapatkan taksiran "keseluruhan" …

20 modeling  confidence-interval  mixed-model  data-imputation 

Saya menjalankan eksperimen untuk makalah dan saya mencari buku / situs web yang menarik untuk memahami dengan benar bagaimana ANOVA dan ANCOVA bekerja. Saya memiliki latar belakang matematika yang baik sehingga saya tidak perlu penjelasan yang tidak jelas. Saya juga ingin tahu cara menentukan kapan harus menggunakan ANOVA daripada ANCOVA.

20 anova  references  ancova 

Saya membaca Blog Christian Robert hari ini dan cukup menyukai algoritma Metropolis-Hastings yang baru ia diskusikan. Tampaknya sederhana dan mudah diimplementasikan. Setiap kali saya membuat kode MCMC, saya cenderung tetap dengan algoritma MH yang sangat dasar, seperti gerakan independen atau jalan acak pada skala log. Algoritma MH apa yang digunakan …

20 mcmc  metropolis-hastings 

The Trik kernel yang digunakan dalam beberapa model pembelajaran mesin (misalnya SVM ). Ini pertama kali diperkenalkan dalam makalah "Fondasi teoretis dari metode fungsi potensial dalam pembelajaran pengenalan pola" pada tahun 1964. Definisi wikipedia mengatakan itu metode untuk menggunakan algoritma classifier linier untuk memecahkan masalah non-linear dengan memetakan pengamatan non-linear …

20 machine-learning  kernel-trick 

Presisi didefinisikan sebagai: p = true positives / (true positives + false positives) Apakah benar bahwa, sebagai true positivesdan false positivespendekatan 0, presisi mendekati 1? Pertanyaan yang sama untuk diingat: r = true positives / (true positives + false negatives) Saat ini saya sedang menerapkan tes statistik di mana saya …

20 precision-recall  data-visualization  logarithm  references  r  networks  data-visualization  standard-deviation  probability  binomial  negative-binomial  r  categorical-data  aggregation  plyr  survival  python  regression  r  t-test  bayesian  logistic  data-transformation  confidence-interval  t-test  interpretation  distributions  data-visualization  pca  genetics  r  finance  maximum  probability  standard-deviation  probability  r  information-theory  references  computational-statistics  computing  references  engineering-statistics  t-test  hypothesis-testing  independence  definition  r  censoring  negative-binomial  poisson-distribution  variance  mixed-model  correlation  intraclass-correlation  aggregation  interpretation  effect-size  hypothesis-testing  goodness-of-fit  normality-assumption  small-sample  distributions  regression  normality-assumption  t-test  anova  confidence-interval  z-statistic  finance  hypothesis-testing  mean  model-selection  information-geometry  bayesian  frequentist  terminology  type-i-and-ii-errors  cross-validation  smoothing  splines  data-transformation  normality-assumption  variance-stabilizing  r  spss  stata  python  correlation  logistic  logit  link-function  regression  predictor  pca  factor-analysis  r  bayesian  maximum-likelihood  mcmc  conditional-probability  statistical-significance  chi-squared  proportion  estimation  error  shrinkage  application  steins-phenomenon 

Sebuah pertanyaan yang mengganggu saya selama beberapa waktu, yang saya tidak tahu bagaimana mengatasinya: Setiap hari, petugas cuaca saya memberikan persentase kemungkinan hujan (mari kita anggap itu dihitung hingga 9000 digit dan dia tidak pernah mengulangi angka). Setiap hari berikutnya, hujan atau hujan. Saya memiliki data bertahun-tahun - peluang persen …

20 hypothesis-testing  forecasting 

Saya pernah mendengar bahwa ketika banyak spesifikasi model regresi (katakanlah, dalam OLS) dianggap sebagai kemungkinan untuk dataset, ini menyebabkan beberapa masalah perbandingan dan nilai-p dan interval kepercayaan tidak lagi dapat diandalkan. Salah satu contoh ekstrem dari hal ini adalah regresi bertahap. Kapan saya bisa menggunakan data itu sendiri untuk membantu …

20 regression  frequentist  multiple-comparisons 

Saya bukan ahli hutan acak tapi saya jelas mengerti bahwa masalah utama dengan hutan acak adalah generasi pohon (acak). Bisakah Anda jelaskan bagaimana pohon itu dihasilkan? (mis. Apa distribusi yang digunakan untuk pembuatan pohon?) Terima kasih sebelumnya !

20 machine-learning  r  algorithms  cart  random-forest 

Apa metode yang disukai untuk melakukan post-hocs untuk dalam tes mata pelajaran? Saya telah melihat karya yang diterbitkan di mana Tukey's HSD digunakan tetapi review dari Keppel dan Maxwell & Delaney menunjukkan bahwa kemungkinan pelanggaran kebulatan dalam desain ini membuat istilah kesalahan salah dan pendekatan ini bermasalah. Maxwell & Delaney …

20 r  repeated-measures  multiple-comparisons  post-hoc  sphericity 

Dalam masalah klasik Kupon Kolektor , diketahui bahwa waktu diperlukan untuk menyelesaikan satu set kupon yang dipilih secara acak memenuhi , , dan .TTTnnnE[ T] ∼ n lnnE[T]∼ndalam⁡nE[T] \sim n \ln n Va r ( T) ∼ n2VSebuahr(T)∼n2Var(T) \sim n^2Pr ( T> n lnn + c n ) < e- …

20 probability  probability-inequalities  coupon-collector-problem 

Apakah ada perbedaan konseptual atau prosedural antara pemasangan model ke data dan fitting data ke model? Contoh dari kata-kata pertama dapat dilihat di https://courses.washington.edu/matlab1/ModelFitting.html , dan yang kedua di https://reference.wolfram.com/applications/eda/FittingDataToLinearModelsByLeast-SquaresTechniques.html .

20 terminology 

Saya telah mencurahkan banyak waktu untuk pengembangan metode dan perangkat lunak untuk memvalidasi model prediktif dalam domain statistik frequentist tradisional. Dalam menerapkan lebih banyak gagasan Bayes ke dalam praktik dan pengajaran, saya melihat beberapa perbedaan utama yang harus dianut. Pertama, pemodelan prediktif Bayesian meminta analis untuk berpikir keras tentang distribusi …

20 bayesian  cross-validation  predictive-models  validation  regression-strategies