Statistik dan Big Data

[Pada pertanyaan baru-baru ini saya sedang mencari untuk menghasilkan vektor acak dalam R , dan saya ingin membagikan "penelitian" itu sebagai tanya jawab independen pada titik tertentu.] Menghasilkan data acak dengan korelasi dapat dilakukan dengan menggunakan dekomposisi Cholesky dari matriks korelasi sini , sebagaimana tercermin pada posting sebelumnya di sini …

8 r  correlation  sampling  random-variable  random-generation 

Mari kita memiliki matriks simetris kuadrat dari jarak euclide kuadrat antara titik dan vektor memanjang menunjukkan keanggotaan kelompok atau klaster ( k cluster) dari titik-titik tersebut; sebuah cluster dapat terdiri dari \ ge1 point.DD\bf Dnnnnnnkkk≥ 1≥1\ge1 Apa cara yang paling efisien atau sangat efisien (dalam hal kecepatan) untuk menghitung jarak …

8 clustering  mean  distance  euclidean 

Misalkan saya tahu cara membuat Variabel Acak Binomial independen. Bagaimana saya bisa menghasilkan dua variabel acakXXX dan YYY seperti yang X∼Bin(8,23),Y∼Bin(18,23) and Corr(X,Y)=0.5X∼Bin(8,23),Y∼Bin(18,23) and Corr(X,Y)=0.5X\sim \text{Bin}(8,\dfrac{2}{3}),\quad Y\sim \text{Bin}(18,\dfrac{2}{3})\ \text{ and }\ \text{Corr}(X,Y)=0.5 Saya berpikir untuk mencoba menggunakan fakta itu XXX dan Y−ρXY−ρXY-\rho X independen di mana ρ=Corr(X,Y)ρ=Corr(X,Y)\rho=Corr(X,Y) tapi saya tidak …

8 self-study  correlation  multivariate-analysis  binomial  simulation 

Saya ingin bertanya - Saya menggunakan logit untuk menyelidiki, jika beberapa variabel meningkatkan risiko krisis mata uang. Saya memiliki data tahunan dari 1980 untuk banyak negara (panel tidak seimbang), variabel dummy adalah 1 jika krisis mata uang dimulai (menurut definisi saya), 0 sebaliknya. Variabel penjelas sesuai dengan beberapa teori, seperti …

8 logit  probit 

Saya memiliki 3 dataset dari sistem yang sama. Tetapi untuk yang pertama, saya memiliki 21 pengukuran. Untuk yang kedua dan ketiga saya hanya memiliki 9 pengukuran. Sekarang saya membuat model menggunakan 3 dataset ini (jadi 3 model, 1 per dataset). Ketika saya ingin membandingkan kesalahan antara dua dataset ini. Apakah …

8 least-squares  sums-of-squares 

Saya mencoba untuk menulis tesis sarjana di mana saya menguji kekuatan prediksi model ekonometrik yang diberikan pada serangkaian waktu keuangan tertentu. Saya butuh nasihat tentang bagaimana saya harus melakukan ini. Untuk memasukkan masalah ke dalam konteks, saya memiliki ekonometrika yang dipelajari sendiri; satu-satunya kursus saya mengambil subjek berhenti menggali model-model …

8 time-series  forecasting  econometrics  arima  garch 

Saya dapat membangun dan menerapkan model ML klasik pada pelatihan / set tes tradisional di R, tetapi bagaimana jika seorang mitra ingin mendapatkan model ini untuk menerapkan sistemnya sendiri (apa pun)? Menyimpan dan mengirim struktur model-R tidak membantu, tentu saja; dan mencari tahu mekanisme prediksi tidak bekerja dalam banyak kasus …

8 r  machine-learning 

Mari X=(x1,x2,...x20)X=(x1,x2,...x20)X=(x_1, x_2,...x_{20}) dimana xi∼N(0,1)xi∼N(0,1)x_i\sim N(0,1) dan xi,xjxi,xjx_i, x_j independen ∀i≠j∀i≠j\forall i\neq j. Berapa probabilitas untuk mendapatkan sampel XXX di mana setidaknya ada dua nilai berturut-turut xixix_i dan xi+1xi+1x_{i+1} seperti yang ⎧⎩⎨|xi||xi+1|xixi+1&gt;&gt;&lt;1.51.50{|xi|&gt;1.5|xi+1|&gt;1.5xixi+1&lt;0 \begin{cases} |x_{i}| & > & 1.5 \\ |x_{i+1}| & > & 1.5 \\ x_i x_{i+1} & < & …

8 probability  markov-chain 

Sebuah aturan skoring adalah sarana mengevaluasi menebak sebuah agen dari probabilitas yang terkait dengan acara kategoris, diberi (kategoris) hasil dari acara tersebut. Bergantung pada tebakan dan hasil yang diamati, aturan pemberian skor memberi nilai pada agen (angka sebenarnya). Aturan penilaian seharusnya menetapkan skor sedemikian rupa sehingga, rata-rata, agen dengan skor …

8 scales  scoring-rules 

Saya mencoba memahami mengapa fungsi softmax didefinisikan seperti itu: ezjΣKk=1ezk=σ(z)ezjΣk=1Kezk=σ(z)\frac{e^{z_{j}}} {\Sigma^{K}_{k=1}{e^{z_{k}}}} = \sigma(z) Saya mengerti bagaimana ini menormalkan data dan memetakan dengan benar untuk beberapa rentang (0, 1) tetapi perbedaan antara probabilitas berat bervariasi secara eksponensial daripada linear. Apakah ada alasan mengapa kita menginginkan perilaku ini? Juga persamaan ini tampaknya …

8 probability  neural-networks  softmax 

Baru-baru ini, sebuah proyek yang saya gunakan menggunakan perceptron linier untuk regresi berganda (21 prediktor). Dulu stokastik GD. Apa bedanya dengan regresi linier OLS?

8 regression  machine-learning 

Untuk kurva distribusi normal 'berbentuk lonceng', orang akan berpikir bahwa ketinggian harus memiliki nilai ideal. Mengetahui nilai ini dapat menjadi salah satu indikator cepat untuk memeriksa apakah data terdistribusi secara normal. Namun, saya tidak dapat menemukan nilai formalnya. Sebagian besar tempat, bentuknya ditampilkan tetapi tidak pengukuran sumbu y. http://www.stat.yale.edu/Courses/1997-98/101/normal.htm Dalam …

8 normal-distribution 

Ini adalah kelanjutan langsung dari pertanyaan terakhir saya . Hal yang sebenarnya ingin saya dapatkan adalah distribusi , di mana seragam dalam . Sekarang, distribusi berhasil dihitung di utas yang disebutkan , dan sebut saja . Distribusi hanyalah . Langkah terakhir adalah menghitung distribusi jumlah dan dengan cara yang mirip …

8 distributions  random-variable  pdf  uniform  mathematica 

Sejujurnya, saya telah membaca banyak situs web dan jawaban mengenai pertanyaan ini, dan tidak ada yang menjelaskannya dengan kata-kata sederhana yang dapat dimengerti. Yang ingin saya lakukan adalah memahami apa yang dilakukan dengan berjalan secara acak, dan bagaimana hal itu dapat digunakan untuk Analisis Pengayaan Gene Set. Ada makalah yang …

8 time-series  biostatistics  bioinformatics 

Saya mendapat pertanyaan tentang pemodelan seri waktu dalam R. data saya terdiri dari matriks berikut: 1 0.03333333 0.01111111 0.9555556 2 0.03810624 0.02309469 0.9387991 3 0.00000000 0.03846154 0.9615385 4 0.03776683 0.03119869 0.9310345 5 0.06606607 0.01201201 0.9219219 6 0.03900325 0.02058505 0.9404117 7 0.03125000 0.01562500 0.9531250 8 0.00000000 0.00000000 1.0000000 9 0.04927885 0.01802885 …

8 r  time-series  forecasting  compositional-data