Statistik dan Big Data

Saya sebenarnya ragu untuk menanyakan hal ini, karena saya khawatir saya akan dirujuk ke pertanyaan lain atau Wikipedia di Gibbs sampling, tetapi saya tidak merasa mereka menggambarkan apa yang ada di tangan. Diberikan probabilitas bersyarat : p ( x | y ) y = y 0 y = y 1 …

11 sampling  mcmc  gibbs 

Studi peristiwa tersebar luas di bidang ekonomi dan keuangan untuk menentukan pengaruh suatu peristiwa terhadap harga saham, tetapi hampir selalu didasarkan pada alasan yang sering. Regresi OLS - selama periode referensi yang berbeda dari jendela peristiwa - biasanya digunakan untuk menentukan parameter yang diperlukan untuk memodelkan pengembalian normal untuk suatu …

11 bayesian  econometrics  finance 

Saya punya dua set data: Dataset pertama saya adalah nilai investasi (dalam miliaran dolar) terhadap waktu, setiap satuan waktu menjadi seperempat sejak Q1 tahun 1947. Waktu tersebut meluas hingga Q3 tahun 2002. Dataset kedua saya adalah "hasil mentransformasikan nilai-nilai investasi dalam [dataset pertama] ke proses yang hampir stasioner". Set data …

11 r  self-study  data-visualization  autocorrelation 

Saya membayangkan bahwa mengendalikan variabel dalam desain studi Anda lebih efektif dalam mengurangi kesalahan daripada mengendalikannya setelah-hoc dalam model regresi Anda. Akankah ada orang yang menjelaskan secara formal bagaimana dua contoh "mengendalikan" ini berbeda? Seberapa efektif mereka dalam mengurangi kesalahan dan menghasilkan prediksi yang lebih tepat?

11 regression  experiment-design  controlling-for-a-variable 

Saya membuat histogram untuk Usia Responden dan berhasil mendapatkan kurva berbentuk lonceng yang sangat bagus, dari mana saya menyimpulkan bahwa distribusinya normal. Kemudian saya menjalankan tes normalitas di SPSS, dengan n = 169. Nilai p (Sig.) Dari tes Kolmogorov-Smirnov kurang dari 0,05 sehingga data telah melanggar asumsi normalitas. Mengapa tes …

11 normality-assumption  kolmogorov-smirnov  histogram  eda 

Ketika saya membaca buku Wassermann, All of Statistics, saya melihat kehalusan dalam definisi nilai-p, yang tidak dapat saya pahami. Secara informal, Wassermann mendefinisikan p-value sebagai [..] probabilitas (di bawah ) untuk mengamati nilai statistik uji sama atau lebih ekstrim dari apa yang sebenarnya diamati.H0H0H_0 Penekanan ditambahkan. Hal yang sama secara …

11 hypothesis-testing  chi-squared  p-value 

Saya mencoba menyelesaikan latihan berikut ini tetapi saya sebenarnya tidak tahu bagaimana memulai melakukan ini. Saya telah menemukan beberapa kode dalam buku saya yang terlihat seperti itu tetapi ini adalah latihan yang sama sekali berbeda dan saya tidak tahu bagaimana menghubungkannya satu sama lain. Bagaimana saya bisa mulai mensimulasikan kedatangan …

11 r  monte-carlo  queueing 

Saya mencoba untuk mengotomatisasi deteksi outlier dalam time-series dan saya menggunakan modifikasi dari solusi yang diusulkan oleh Rob Hyndman di sini . Katakanlah, saya mengukur kunjungan harian ke situs web dari berbagai negara. Untuk beberapa negara di mana kunjungan hariannya beberapa hundrend atau ribuan, metode saya tampaknya cukup berhasil. Namun, …

11 time-series  outliers  computational-statistics 

Saya sedang mengembangkan aplikasi peramalan yang tujuannya adalah untuk memungkinkan importir meramalkan permintaan untuk produk-produknya dari jaringan pelanggan distributornya. Angka penjualan adalah proksi permintaan yang cukup bagus, selama ada persediaan yang cukup untuk memenuhi permintaan. Namun, ketika persediaan ditarik ke nol (situasi yang kami cari untuk membantu pelanggan kami menghindari), …

11 r  regression  machine-learning  censoring 

Mengapa generator angka acak seperti runif()di R tidak menghasilkan hasil yang sama setiap waktu? Sebagai contoh: X <- runif(100) X menghasilkan output yang berbeda setiap saat. Apa alasan untuk menghasilkan keluaran yang berbeda setiap saat? Fungsionalitas apa yang terjadi di latar belakang untuk melakukan ini?

11 r  algorithms  random-generation  uniform 

Masalah berikut: Saya ingin memprediksi variabel respons kategoris dengan satu (atau lebih) variabel kategorikal menggunakan glmnet (). Namun, saya tidak dapat memahami output yang diberikan glmnet kepada saya. Ok, pertama mari kita buat dua variabel kategori terkait: Hasilkan Data p <- 2 #number variables mu <- rep(0,p) sigma <- matrix(rep(0,p^2), …

11 categorical-data  multinomial  glmnet 

Saya mencoba melakukan regresi laso, yang memiliki bentuk sebagai berikut: Minimalkan dalam( Y - X w ) ′ ( Y - X w ) + λwww( Y- Xw )′( Y- Xw ) + λ| w |1(Y−Xw)′(Y−Xw)+λ|w|1(Y - Xw)'(Y - Xw) + \lambda \;|w|_1 Diberikan , saya disarankan untuk mencari optimal …

11 regression  lasso  quadratic-form 

Setiap pernyataan yang saya temukan dari estimator James-Stein mengasumsikan bahwa variabel acak yang diperkirakan memiliki varians yang sama (dan satuan). Tetapi semua contoh ini juga menyebutkan bahwa estimator JS dapat digunakan untuk memperkirakan jumlah yang tidak ada hubungannya satu sama lain. Contoh wikipedia adalah kecepatan cahaya, konsumsi teh di Taiwan, …

11 estimation  shrinkage  steins-phenomenon 

Saya menyesuaikan regresi pada . Apakah valid untuk mendukung estimasi titik transformasi (dan interval kepercayaan / prediksi) dengan eksponensial? Saya tidak percaya begitu, karena tetapi menginginkan pendapat orang lain.E [ f ( X ) ] ≠ f ( E [ X ] )catatan( y)log⁡(y)\log(y)E[ f( X) ] ≠ f( E[ …

11 regression  back-transformation 

Misalkan Anda memiliki variabel penjelas X=(X(s1),…,X(sn))X=(X(s1),…,X(sn)){\bf{X}} = \left(X(s_{1}),\ldots,X(s_{n})\right) mana sss mewakili koordinat yang diberikan. Anda juga memiliki variabel respons Y=(Y(s1),…,Y(sn))Y=(Y(s1),…,Y(sn)){\bf{Y}} = \left(Y(s_{1}),\ldots,Y(s_{n})\right) . Sekarang, kita dapat menggabungkan kedua variabel sebagai: W(s)=(X(s)Y(s))∼N(μ(s),T)W(s)=(X(s)Y(s))∼N(μ(s),T){\bf{W}}({\bf{s}}) = \left( \begin{array}{ccc}X(s) \\ Y(s) \end{array} \right) \sim N(\boldsymbol{\mu}(s), T) Dalam hal ini, kita cukup memilih dan adalah matriks …

11 probability  bayesian  conditional-probability  gibbs