Statistik dan Big Data

Apa sajakah teknik untuk mengambil sampel dua variabel acak berkorelasi: jika distribusi probabilitasnya parameter (mis., log-normal) jika mereka memiliki distribusi non-parametrik. Data adalah dua deret waktu yang dapat digunakan untuk menghitung koefisien korelasi non-nol. Kami ingin mensimulasikan data ini di masa depan, dengan asumsi korelasi historis dan deret waktu CDF …

16 correlation  sampling  monte-carlo  stochastic-processes  copula 

Apakah ini hanya konvensi gaya (miring atau non-miring), atau adakah perbedaan substansial dalam arti dari notasi ini? Apakah ada notasi lain yang berarti " probabilitas " yang harus dipertimbangkan dalam pertanyaan ini?

16 probability  notation 

Apa perbedaan antara intuisi di balik distribusi Gamma dan Weibull? Apakah ada hubungan antara dua kepadatan? Mohon bantuannya.

16 gamma-distribution  weibull 

Dengan variabel yang diprediksi (P), efek acak (R) dan efek tetap (F), orang dapat memuat dua * model efek campuran ( sintaks lme4 ): m1 = lmer( P ~ (1|R) + F ) m2 = lmer( P ~ (1+F|R) + F) Seperti yang saya pahami, model kedua adalah model yang …

16 mixed-model 

http://www.chioka.in/differences-between-l1-and-l2-as-loss-function-and-regularization/ Jika Anda melihat bagian atas tulisan ini, penulis menyebutkan bahwa norma L2 memiliki solusi yang unik dan norma L1 memiliki banyak solusi. Saya mengerti ini dalam hal regularisasi, tetapi tidak dalam hal menggunakan norma L1 atau norma L2 dalam fungsi kerugian. Jika Anda melihat grafik fungsi skalar x (x …

16 regression  lasso  regularization 

Saya mencoba memahami fungsi kehilangan Yolo v2: λcoord∑i=0S2∑j=0B1objij[(xi−x^i)2+(yi−y^i)2]+λcoord∑i=0S2∑j=0B1objij[(wi−−√−w^i−−√)2+(hi−−√−h^i−−√)2]+∑i=0S2∑j=0B1objij(Ci−C^i)2+λnoobj∑i=0S2∑j=0B1noobjij(Ci−C^i)2+∑i=0S21obji∑c∈classes(pi(c)−p^i(c))2λcoord∑i=0S2∑j=0B1ijobj[(xi−x^i)2+(yi−y^i)2]+λcoord∑i=0S2∑j=0B1ijobj[(wi−w^i)2+(hi−h^i)2]+∑i=0S2∑j=0B1ijobj(Ci−C^i)2+λnoobj∑i=0S2∑j=0B1ijnoobj(Ci−C^i)2+∑i=0S21iobj∑c∈classes(pi(c)−p^i(c))2\begin{align} &\lambda_{coord} \sum_{i=0}^{S^2}\sum_{j=0}^B \mathbb{1}_{ij}^{obj}[(x_i-\hat{x}_i)^2 + (y_i-\hat{y}_i)^2 ] \\&+ \lambda_{coord} \sum_{i=0}^{S^2}\sum_{j=0}^B \mathbb{1}_{ij}^{obj}[(\sqrt{w_i}-\sqrt{\hat{w}_i})^2 +(\sqrt{h_i}-\sqrt{\hat{h}_i})^2 ]\\ &+ \sum_{i=0}^{S^2}\sum_{j=0}^B \mathbb{1}_{ij}^{obj}(C_i - \hat{C}_i)^2 + \lambda_{noobj}\sum_{i=0}^{S^2}\sum_{j=0}^B \mathbb{1}_{ij}^{noobj}(C_i - \hat{C}_i)^2 \\ &+ \sum_{i=0}^{S^2} \mathbb{1}_{i}^{obj}\sum_{c \in classes}(p_i(c) - \hat{p}_i(c))^2 \\ \end{align} Jika ada orang yang bisa memerinci fungsinya.

16 neural-networks  loss-functions  object-detection  yolo 

Bisakah nilai AUC-ROC antara 0-0,5? Apakah model pernah menampilkan nilai antara 0 dan 0,5?

16 roc  model-evaluation  auc 

Apakah ada video atau buku / catatan lain yang pernah ditemui orang yang mengikuti Pengenalan Pola dan Pembelajaran Mesin oleh Chris Bishop? Saya membeli buku ini untuk belajar Machine Learning dan saya mengalami kesulitan melewatinya.

16 machine-learning  references  pattern-recognition 

Katakanlah kita punya model mod <- Y ~ X*Condition + (X*Condition|subject) # Y = logit variable # X = continuous variable # Condition = values A and B, dummy coded; the design is repeated # so all participants go through both Conditions # subject = random effects for different subjects …

16 mixed-model  lme4-nlme  overfitting  singular 

Presisi didefinisikan sebagai: p = true positive / (true positive + false positive) Berapa nilai presisi jika (true positive + false positive) = 0? Apakah itu hanya tidak terdefinisi? Pertanyaan yang sama untuk diingat: r = true positive / (true positive + false negative) Dalam hal ini, berapakah nilai recall …

16 precision-recall 

Sudah ada posting di situs ini yang membicarakan masalah yang sama: Mengapa penyusutan berfungsi? Tetapi, meskipun jawabannya populer, saya tidak percaya inti dari pertanyaan itu benar-benar ditanggapi. Cukup jelas bahwa memperkenalkan beberapa bias dalam estimasi membawa pengurangan varians dan dapat meningkatkan kualitas estimasi. Namun: 1) Mengapa kerusakan yang dilakukan dengan …

15 regularization  ridge-regression  shrinkage 

Marginal umumnya mengacu pada sesuatu yang efeknya kecil, sesuatu yang ada di luar sistem yang lebih besar. Itu cenderung mengurangi pentingnya apa pun yang digambarkan sebagai "marginal". Jadi, bagaimana hal itu berlaku untuk probabilitas subset variabel acak? Dengan asumsi bahwa kata-kata yang digunakan karena maknanya dapat menjadi proposisi yang berisiko …

15 probability  terminology 

Pertanyaan Umum Katakanlah kita memiliki data id x1x1x_1 , x2x2x_2 , ... ∼f(x|θ)∼f(x|θ)\sim f(x\,|\,\boldsymbol{\theta})θθ\boldsymbol{\theta}θ^n−1=argmaxθ∈Rp∏i=1n−1f(xi|θ),θ^n−1=arg⁡maxθ∈Rp∏i=1n−1f(xi|θ),\hat{\boldsymbol{\theta}}_{n-1}=\underset{\boldsymbol{\theta}\in\mathbb{R}^p}{\arg\max}\prod_{i=1}^{n-1}f(x_i\,|\,\boldsymbol{\theta}),xnxnx_nθ n - 1 ,θ^n−1,xn→θ^nθ^n−1,xn→θ^n\hat{\boldsymbol{\theta}}_{n-1},\,x_n \to \hat{\boldsymbol{\theta}}_{n} tanpa harus memulai dari awal. Apakah ada algoritma umum untuk ini? Contoh mainan Jika , , ... , maka jadi x1x1x_1x2x2x_2∼N(x|μ,1)∼N(x|μ,1)\sim N(x\,|\,\mu, 1)μ n - 1 = 1μ^n−1=1n−1∑i=1n−1xiandμ^n=1n∑i=1nxi,μ^n−1=1n−1∑i=1n−1xiandμ^n=1n∑i=1nxi,\hat{\mu}_{n-1} = \frac{1}{n-1}\sum\limits_{i=1}^{n-1}x_i\quad\text{and}\quad\hat{\mu}_n …

15 maximum-likelihood  online 

The regresi linier Model membuat sekelompok asumsi yang regresi kuantil tidak dan, jika asumsi regresi linier terpenuhi, maka saya intuisi (dan beberapa pengalaman yang sangat terbatas) adalah bahwa regresi median akan memberikan hasil yang hampir sama sebagai regresi linier. Jadi, apa kelebihan yang dimiliki regresi linier? Ini tentu lebih akrab, …

15 regression  multiple-regression  quantile-regression 

Saya mencoba memodelkan beberapa data pada waktu kedatangan kereta. Saya ingin menggunakan distribusi yang menangkap "semakin lama saya menunggu, semakin besar kemungkinan kereta akan muncul" . Sepertinya distribusi seperti itu harus terlihat seperti CDF, sehingga P (kereta muncul | menunggu 60 menit) dekat dengan 1. Distribusi apa yang sesuai untuk …

15 distributions  modeling