Statistik dan Big Data

Pertanyaan ini merupakan tindak lanjut teknis dari pertanyaan ini . Saya mengalami kesulitan memahami dan mereplikasi model yang disajikan dalam Raftery (1988): Inferensi untuk parameter binomial NNN: pendekatan hirarkis Bayes di WinBUGS / OpenBUGS / JAGS. Ini bukan hanya tentang kode, jadi itu harus sesuai topik di sini. Latar Belakang …

16 bayesian  binomial  hierarchical-bayesian  winbugs 

Yang digunakan oleh opsi "ward.D" (setara dengan satu-satunya pilihan Ward "ward" dalam versi R <= 3.0.3) tidak menerapkan kriteria pengelompokan Ward (1963), sedangkan opsi "ward.D2" menerapkan kriteria tersebut ( Murtagh dan Legendre 2014). ( http://stat.ethz.ch/R-manual/R-patched/library/stats/html/hclust.html ) Rupanya bangsal.D tidak menerapkan kriteria Ward dengan benar. Meskipun demikian tampaknya melakukan pekerjaan yang …

16 r  clustering  ward 

Seperti yang saya pahami, jaringan saraf tiruan perceptron / single-layer dengan fungsi aktivasi sigmoid logistik adalah model yang sama dengan regresi logistik. Kedua model diberikan oleh persamaan: F(x)=11−e−βXF(x)=11−e−βXF(x) = \frac{1}{1-e^{-\beta X}} Algoritma pembelajaran perceptron bersifat online dan digerakkan oleh kesalahan, sedangkan parameter untuk regresi logistik dapat dipelajari dengan menggunakan berbagai …

16 logistic  communication 

Apa perbedaan antara classifier, model, dan estimator? Dari apa yang bisa saya katakan: estimator adalah prediktor yang ditemukan dari algoritma regresi classifier adalah prediktor yang ditemukan dari algoritma klasifikasi suatu model dapat berupa estimator atau classifier Tetapi dari melihat online, tampaknya saya mungkin memiliki definisi ini campur aduk. Lantas, apa …

16 machine-learning 

Dalam beberapa bulan terakhir saya telah membaca secara intensif tentang regresi kuantil dalam persiapan untuk tesis master saya musim panas ini. Secara khusus saya telah membaca sebagian besar buku 2005 Roger Koenker pada topik ini. Sekarang saya ingin memperluas pengetahuan yang ada ini ke teknik regresi kuantil yang memungkinkan untuk …

16 regression  references  econometrics  instrumental-variables  quantile-regression 

Saya perlu mempresentasikan proyek kepada non-ahli statistik dalam konferensi mendatang dan saya ingin memasukkan kutipan yang saya baca di satu titik yang membuat perbandingan antara statistik dan mesin yang memproses bijih. Alasannya adalah saya ingin menekankan hubungan tertentu antara kemampuan statistik dan tujuan audiens. Saya tidak dapat menemukan kutipan, dan …

16 references  quotation 

Saya memiliki latar belakang sedang dalam peramalan seri waktu. Saya telah melihat beberapa buku peramalan, dan saya tidak melihat pertanyaan-pertanyaan berikut ini dialaminya. Saya punya dua pertanyaan: Bagaimana saya menentukan secara obyektif (melalui uji statistik) jika seri waktu tertentu memiliki: Musim Stochastic atau Musim Deterministik Tren Stochastic atau Tren Deterministik …

16 time-series  forecasting  arima  stochastic-processes 

Saya baru di halaman dan cukup baru dalam statistik dan R. Saya sedang mengerjakan proyek untuk kuliah dengan tujuan menemukan korelasi antara hujan dan tingkat aliran air di sungai. Setelah korelasinya terbukti, saya ingin memperkirakan / memprediksinya. Data yang saya punya satu set data beberapa tahun (diambil setiap 5 menit) …

16 r  time-series  forecasting  cross-correlation  lags 

Saya menggunakan glmerfungsi dari lme4paket dalam R, dan saya menggunakan bobyqapengoptimal (yaitu default dalam kasus saya). Saya mendapat peringatan, dan saya ingin tahu apa artinya. Warning message: In optwrap(optimizer, devfun, start, rho$lower, control = control, : convergence code 3 from bobyqa: bobyqa -- a trust region step failed to reduce …

16 r  optimization  lme4-nlme  convergence  glmm 

Saya mencoba mempelajari cara menggunakan Bidang Acak Markov untuk mengelompokkan wilayah dalam gambar. Saya tidak mengerti beberapa parameter dalam MRF atau mengapa maksimisasi ekspektasi yang saya lakukan gagal konvergen ke solusi kadang-kadang. Mulai dari teorema Bayes, saya memiliki , di mana adalah nilai skala abu-abu piksel dan adalah label kelas. …

16 expectation-maximization  image-processing  classification 

Saya memiliki beberapa keraguan tentang ukuran kinerja yang digunakan, area di bawah kurva ROC (TPR sebagai fungsi FPR) atau area di bawah kurva recall-presisi (presisi sebagai fungsi recall). Data saya tidak seimbang, yaitu jumlah instance negatif jauh lebih besar daripada instance positif. Saya menggunakan prediksi keluaran weka, sampelnya adalah: inst#,actual,predicted,prediction …

16 r  machine-learning  roc  precision-recall  auc 

Misalkan YYY menunjukkan median dan misalkan ˉ XX¯\bar{X} menunjukkan rata-rata, dari sampel acak berukuran n = 2 k + 1n=2k+1n=2k+1 dari distribusi yaitu N ( μ , σ 2 )N(μ,σ2)N(\mu,\sigma^2) . Bagaimana saya bisa menghitung E ( Y | ˉ X = ˉ x )E(Y|X¯=x¯)E(Y|\bar{X}=\bar{x}) ? Secara intuitif, karena asumsi …

16 self-study  normal-distribution  mathematical-statistics  expected-value  conditional-expectation 

Saya sedang memikirkan masalah ini. http://en.wikipedia.org/wiki/Two_envelopes_problem Saya percaya solusinya dan saya pikir saya memahaminya, tetapi jika saya mengambil pendekatan berikut saya benar-benar bingung. Masalah 1: Saya akan menawarkan Anda game berikut ini. Anda membayar saya $ 10 dan saya akan melempar koin yang adil. Kepala saya memberi Anda $ 5 …

16 probability  paradox  puzzle 

Saya mencoba menentukan apakah dataset data kontinu saya mengikuti distribusi gamma dengan parameter shape 1.7 dan rate 0.000063.====== Masalahnya adalah ketika saya menggunakan R untuk membuat plot QQ dari dataset saya terhadap gamma distribusi teoritis (1,7, 0,000063), saya mendapatkan plot yang menunjukkan bahwa data empiris secara kasar setuju dengan distribusi …

16 pdf  kolmogorov-smirnov  cdf  qq-plot 

Saya belajar sendiri beberapa statistik untuk bersenang-senang dan saya memiliki kebingungan mengenai statistik yang cukup . Saya akan menuliskan kebingungan saya dalam format daftar: Jika distribusi memiliki nnn parameter maka akan ia memiliki statistik yang cukup?nnn Apakah ada korespondensi langsung antara statistik yang cukup dan parameter? Atau apakah statistik yang …

16 mathematical-statistics  sufficient-statistics