Statistik dan Big Data

Saya menganalisis dataset yang berisi pengamatan dari n sejumlah upaya oleh pemain dalam sebuah permainan. Jika saya membangun model regresi untuk memprediksi hasil dari setiap upaya yang diberikan 1 atau lebih deskriptor mengenai upaya masing-masing pemain , bagaimana cara mengukur berapa banyak upaya pemain harus sebelum deskriptor tertentu menjadi "bermakna" …

8 regression  statistical-significance  bayesian  p-value  sequence-analysis 

Saya baru saja melihat pertanyaan ini dan jawaban yang diterima dengan indah di forum ini. Saya kemudian dipicu untuk mencoba memahami secara intuitif mengapa pembagian menormalkan kovarians:SxSySxSyS_xS_y COV(X,Y)SxSy∈[−1,1]COV⁡(X,Y)SxSy∈[−1,1]\frac{\operatorname{COV}(X,Y)}{S_xS_y} \in [-1,1] Saya pikir ini akan sangat membantu jika saya hanya mengerti mengapa menormalkan menjadi . Tentu saja saya mengerti bahwa menurut …

8 correlation  variance  covariance  intuition 

Sebagai pemanasan dengan jaringan saraf berulang, saya mencoba memprediksi gelombang sinus dari gelombang sinus lain dari frekuensi lain. Model saya adalah RNN sederhana, forward pass-nya dapat dinyatakan sebagai berikut: rtzt=σ(Win⋅xt+Wrec⋅rt−1))=Wout⋅rtrt=σ(Win⋅xt+Wrec⋅rt−1))zt=Wout⋅rt \begin{aligned} r_t &= \sigma(W_{in} \cdot x_t + W_{rec} \cdot r_{t-1}))\\ z_t &= W_{out} \cdot r_t \end{aligned} di mana adalah fungsi …

8 regression  time-series  neural-networks  deep-learning  rnn 

Aku punya model yang berjalan: Single parameter -> Complex likelihood function -> Log-likelihood. Saya mengeksekusi rantai MCMC (menggunakan pymc) dan merencanakan jejak parameter dan log-likelihood. Estimasi parameter akhirnya masuk akal, tetapi plot log-likelihood tampak aneh bagi saya. Kemungkinan log tidak pernah melampaui nilai tertentu. Saya kira ini masuk akal, jika …

8 mcmc  likelihood 

Plot di bawah ini menunjukkan saturasi jalan terhadap dampak pada waktu perjalanan (dinormalisasi menjadi waktu perjalanan aliran bebas). Kurva biru (fungsi BPR) menyajikan model standar yang digunakan di lapangan untuk menghubungkan waktu perjalanan dan saturasi. Untuk data empiris yang saya kumpulkan, saya merencanakan polinomial urutan ketiga, yang ditunjukkan dengan warna …

8 regression  chi-squared  r-squared 

Saya bertanya-tanya mengapa kesalahan standar (sangat) bias ke bawah ketika Anda menggunakan penaksir variabel (umum) instrumental atau metode umum penaksir momen (gmm).

8 estimation  instrumental-variables  generalized-moments 

Biarkan f [x] menjadi Gaussian Mixture pdf dengan n syarat bobot seragam, berarti , dan varians yang sesuai :{μ1, . . . ,μn}{μ1,...,μn}\{\mu_{1},...,\mu_{n}\}{σ1, . . . ,σn}{σ1,...,σn}\{\sigma_{1},...,\sigma_{n}\} f( x ) ≡1n∑i = 1n12 πσ2saya----√e-( x -μsaya)22σ2sayaf(x)≡1n∑saya=1n12πσsaya2e-(x-μsaya)22σsaya2f(x)\equiv\frac{1}{n}\sum_{i=1}^{n}\frac{1}{\sqrt{2\pi\sigma_{i}^{2}}}e^{-\frac{(x-\mu_{i})^{2}}{2\sigma_{i}^{2}}} Tampaknya intuitif bahwa kemungkinan log yang diambil sampel di pusat Gaussian akan lebih besar …

8 machine-learning  gaussian-mixture 

Saya memiliki data yang memiliki dua perilaku mendasar. Pertama ada periodisitas di dalamnya. Itu terlihat seperti kurva sinus. Kedua titik data memiliki pertumbuhan yang konstan di dalamnya. Jadi, jika saya memiliki 100 titik data tanpa pertumbuhan apa pun, itu akan terlihat seperti kurva sinus. Tetapi karena tingkat pertumbuhan di dalamnya. …

8 time-series  seasonality  trend  fourier-transform 

Mengapa kita menggunakan peluang bukan probabilitas ketika melakukan regresi logistik?

8 regression  logistic  odds 

Secara asimptotik, meminimalkan AIC setara dengan meminimalkan MSE validasi silang keluar-keluar untuk data cross-sectional [ 1 ]. Jadi ketika kita memiliki AIC, mengapa orang menggunakan metode membagi data menjadi pelatihan, validasi dan set tes untuk mengukur sifat prediktif model? Apa manfaat khusus dari praktik ini? Saya dapat memikirkan satu alasan: …

8 predictive-models  aic 

Saya telah membaca komentar yang bagus mengenai bagaimana menangani nilai yang hilang sebelum menerapkan SVD, tetapi saya ingin tahu cara kerjanya dengan contoh sederhana: Movie1 Movie2 Movie3 User1 5 4 User2 2 5 5 User3 3 4 User4 1 5 User5 5 1 5 Mengingat matriks di atas, jika saya …

8 r  missing-data  data-imputation  svd  sampling  matlab  mcmc  importance-sampling  predictive-models  prediction  algorithms  graphical-model  graph-theory  r  regression  regression-coefficients  r-squared  r  regression  modeling  confounding  residuals  fitting  glmm  zero-inflation  overdispersion  optimization  curve-fitting  regression  time-series  order-statistics  bayesian  prior  uninformative-prior  probability  discrete-data  kolmogorov-smirnov  r  data-visualization  histogram  dimensionality-reduction  classification  clustering  accuracy  semi-supervised  labeling  state-space-models  t-test  biostatistics  paired-comparisons  paired-data  bioinformatics  regression  logistic  multiple-regression  mixed-model  random-effects-model  neural-networks  error-propagation  numerical-integration  time-series  missing-data  data-imputation  probability  self-study  combinatorics  survival  cox-model  statistical-significance  wilcoxon-mann-whitney  hypothesis-testing  distributions  normal-distribution  variance  t-distribution  probability  simulation  random-walk  diffusion  hypothesis-testing  z-test  hypothesis-testing  data-transformation  lognormal  r  regression  agreement-statistics  classification  svm  mixed-model  non-independent  observational-study  goodness-of-fit  residuals  confirmatory-factor  neural-networks  deep-learning 

Apa yang dimaksud dengan "validitas instrumen"? Dalam kursus ekonometrik saya, kami baru saja menetapkan validitas instrumen sebagaiE[Z|u]=0E[Z|u]=0E[Z|u]=0dimana ZZZ adalah variabel instrumental dan uuuadalah istilah kesalahan dari model regresi univariat. Kemudian, kami juga berbicara tentang kekuatan suatu instrumen, tetapi saya cukup yakin saya telah memahami dengan benar bahwa itu adalah persyaratan …

8 econometrics  instrumental-variables 

Apakah kemiringan suatu distribusi? Saya bertanya mengapa indeks tertentu tampak tidak pasti tentang simetri, dan dalam beberapa kasus juga tentang asimetri.

8 interpretation  terminology  skewness  definition 

Saya sudah mulai membaca tentang Jaringan Syaraf Berulang (RNNs) dan Memori Jangka Pendek (LSTM) ... (... oh, tidak cukup poin rep di sini untuk daftar referensi ...) Satu hal yang tidak saya dapatkan: Tampaknya selalu ada neuron di setiap instance dari lapisan tersembunyi yang "sepenuhnya terhubung" dengan setiap neuron pada …

8 machine-learning  neural-networks  backpropagation 

Saya bertanya-tanya tentang perbedaannya. Berdasarkan pemahaman saya, MLP adalah salah satu jenis jaringan saraf, di mana fungsi aktivasi sigmoid, dan istilah kesalahan adalah kesalahan lintas-entropi (logistik). Mencari bantuan, terima kasih!

8 neural-networks  perceptron