Statistik dan Big Data

Pertanyaan saya adalah tentang pengelompokan tetangga terdekat 1 dan tentang pernyataan yang dibuat dalam buku The Elements of Statistics Learning, karya Hastie, Tibshirani, dan Friedman. Pernyataannya adalah (hlm. 465, bagian 13.3): "Karena hanya menggunakan titik pelatihan yang paling dekat dengan titik kueri, bias dari estimasi tetangga 1-terdekat sering rendah, tetapi …

9 classification  k-nearest-neighbour 

Dalam pembelajaran penguatan, kami memiliki fungsi hadiah yang menginformasikan agen seberapa baik tindakan dan negara saat ini dilakukan. Dalam beberapa pengaturan umum fungsi hadiah adalah fungsi dari tiga variabel: Keadaan saat iniSSS Tindakan saat ini pada kondisi saat iniπ(s)=aπ(s)=a\pi(s) = a Keadaan selanjutnyaS′S′S' Jadi terlihat seperti: R(S,a,S′)R(S,a,S′)R(S, a, S') Apa …

9 machine-learning  reinforcement-learning 

Saya berurusan dengan masalah yang berkaitan dengan menemukan gradien fungsi Cross entropy loss wrt parameter θθ\theta dimana: CE(θ)=−∑iyi∗log(y^i)CE(θ)=−∑iyi∗log(y^i)CE(\theta) = -\sum\nolimits_{i}{y_i*log({\hat{y}_{i}})} Dimana, y^i=softmax(θi)y^i=softmax(θi)\hat{y}_{i} = softmax(\theta_i) dan θiθi\theta_i adalah input vektor. Juga, yyy adalah satu vektor panas dari kelas yang benar dan y^y^\hat{y} adalah prediksi untuk setiap kelas menggunakan fungsi softmax. Oleh …

9 machine-learning  neural-networks 

Kita tahu bahwa jika , maka mana adalah fungsi Digamma. Apakah ada formulir yang mudah untuk ?p∼Beta(α,β)p∼Beta(α,β)p \sim Beta(\alpha, \beta)E[lnp]=ψ(α)−ψ(α+β)E[ln⁡p]=ψ(α)−ψ(α+β) \mathbb{E}[\ln p] = \psi(\alpha) - \psi(\alpha + \beta) ψ(.)ψ(.)\psi(.)E [ln( 1 - p ) ]E[ln⁡(1−p)] \mathbb{E}[\ln (1-p)]

9 probability  distributions  beta-distribution 

Saya sedang belajar 'Pengantar Pembelajaran Statistik' oleh James, Witten, Hastie, Tibshirani. Di halaman 139, dari buku mereka, mereka mulai dengan memperkenalkan Teorema Bayes pk(X)=P(Y=k|X=x)=πkfk(x)∑kl=1πlfl(x)pk(X)=P(Y=k|X=x)=πkfk(x)∑l=1kπlfl(x)p_k(X)=P(Y=k|X=x) = \dfrac{\pi_kf_k(x)}{\sum_{l=1}^k \pi_l f_l(x)}. ππ\pibukan konstanta matematika, tetapi menunjukkan probabilitas sebelumnya. Tidak ada yang aneh dalam persamaan ini. Buku itu mengklaim bahwa ia ingin mendapatkan taksiran …

9 self-study  classification 

Saya belajar tentang regresi. Saya telah melakukan beberapa regresi cross sectional yang baik-baik saja. Saya baru-baru ini melakukan regresi deret waktu sederhana. Jadi saya memiliki vektor ay & x masing-masing berisi 1000 pengamatan. Saya melakukan regresi sederhana di excel yang saya pikir baik-baik saja. Namun tutor online saya mengirim email …

9 regression  time-series  descriptive-statistics 

Guru saya membuktikan bahwa turunan kedua dari cross-entropy selalu positif, sehingga fungsi biaya jaringan saraf menggunakan cross entropy adalah cembung. Apakah ini benar? Saya cukup bingung tentang ini karena saya selalu belajar bahwa fungsi biaya JST adalah non-cembung. Adakah yang bisa mengkonfirmasi ini? Terima kasih banyak! http://z0rch.com/2014/06/05/cross-entropy-cost-function

9 neural-networks  convex 

\def\l{|\!|} Diberikan regresi net elastis minb12||y−Xb||2+αλ||b||22+(1−α)λ||b||1minb12||y−Xb||2+αλ||b||22+(1−α)λ||b||1\min_b \frac{1}{2}\l y - Xb \l^2 + \alpha\lambda \l b\l_2^2 + (1 - \alpha) \lambda \l b\l_1 bagaimana rentang λλ\lambda dapat dipilih untuk validasi silang? Dalam α=1α=1\alpha=1 kasus (regresi ridge) rumus dof=∑js2js2j+λdof=∑jsj2sj2+λ\textrm{dof} = \sum_j \frac{s_j^2}{s_j^2+\lambda} dapat digunakan untuk memberikan derajat kebebasan yang setara untuk setiap …

9 least-squares  lasso  regularization  ridge-regression  elastic-net 

Misalkan dalam analisis regresi dalam R, saya memiliki jenis variabel variabel independen dengan 3 level dalam dataset kereta saya. Tetapi dalam data uji mengatur bahwa variabel faktor yang sama memiliki 5 level. Oleh karena itu saya tidak dapat memprediksi nilai respons untuk dataset uji. Apa yang harus dilakukan dalam kasus …

9 r  regression  categorical-data  cross-validation  rare-events 

Saya sedang melakukan proyek yang melibatkan penggantian nilai yang hilang dalam satu set data (pertama kali melakukan ini). Ini melibatkan menggunakan dua metode replacement by meandan replacement by medianuntuk mengisi nilai-nilai yang hilang. Tidak ada banyak perbedaan antara hasil minimum, median, maksimum, rata-rata dan standar deviasi data menggunakan kedua metode …

9 mean  median  data-imputation 

Saya ingin mensimulasikan sampel dari distribusi normal campuran p×N(μ1,σ21)+(1−p)×N(μ2,σ22)p×N(μ1,σ12)+(1−p)×N(μ2,σ22)p\times\mathcal{N}(\mu_1,\sigma_1^2) + (1-p)\times\mathcal{N}(\mu_2,\sigma_2^2) terbatas pada interval [0,1][0,1][0,1] dari pada RR\mathbb{R}. Ini berarti saya ingin mensimulasikan campuran terpotong dari distribusi normal. Saya tahu bahwa ada beberapa algoritma untuk mensimulasikan sebuah terpotong normal (yaitu dari pertanyaan ini ) dan paket yang sesuai dalam R …

9 simulation  random-generation  cdf  mixture  gaussian-mixture 

Saya tahu bahwa varians perbedaan dua variabel independen adalah jumlah varians, dan saya bisa membuktikannya. Saya ingin tahu kemana perginya kovarians dalam kasus lain.

9 variance  covariance  independence  non-independent 

Saya mensimulasikan uji coba Bernoulli dengan acak logitθ∼N(logitθ0,12)logitθ∼N(logitθ0,12)\text{logit}\, \theta \sim {\cal N}(\text{logit}\, \theta_0, 1^2)antara kelompok dan kemudian saya cocokkan dengan model yang sesuai dengan lme4paket: library(lme4) library(data.table) I <- 30 # number of groups J <- 10 # number of Bernoulli trials within each group logit <- function(p) log(p)-log(1-p) expit …

9 mixed-model  generalized-linear-model  binomial  random-effects-model  lme4-nlme 

Saya memiliki variabel dependen yang dapat berkisar dari 0 hingga tak terbatas, dengan 0s sebenarnya pengamatan yang benar. Saya mengerti menyensor dan model Tobit hanya berlaku ketika nilai sebenarnya dari adalah sebagian tidak diketahui atau hilang, di mana data kasus dikatakan terpotong. Beberapa informasi lebih lanjut tentang data yang disensor …

9 regression  censoring  truncation  tobit-regression 

Data mentah saya terdiri dari seri waktu 60 hari dengan tren menurun. Data mingguan sehingga frekuensi diatur ke 7. Saya menghitung selisih data yang terlihat seperti ini Ketika saya menjalankan plot ACF dan PACF pada perbedaannya, saya sepertinya mendapatkan hasil yang kontradiktif? ACF menunjukkan dampak positif dari term lagged pertama …

9 r  time-series  autocorrelation