Statistik dan Big Data

Bisakah Anda memberikan contoh penduga MLE dari mean yang bias? Saya tidak mencari contoh yang merusak penduga MLE secara umum dengan melanggar kondisi keteraturan. Semua contoh yang dapat saya lihat di internet merujuk pada varians, dan sepertinya saya tidak dapat menemukan apa pun yang terkait dengan mean. EDIT @MichaelHardy memberikan …

17 maximum-likelihood  mean  bias 

Apa dimensi VC dari pohon keputusan dengan k terbagi dalam dua dimensi? Katakanlah modelnya adalah CART dan satu-satunya pemisahan yang dibiarkan sejajar dengan sumbu. Jadi untuk satu split kita dapat memesan 3 poin dalam segitiga dan kemudian untuk setiap pelabelan poin kita bisa mendapatkan prediksi sempurna (yaitu: poin hancur) Tapi …

17 cart  vc-dimension 

Pertanyaan yang Divalidasi Lintas ini menanyakan tentang mensimulasikan sampel dengan syarat jumlah tetap mengingatkan saya pada masalah yang dibuat oleh George Casella . f(x|θ)f(x|θ)f(x|\theta)(X1,…,Xn)(X1,…,Xn)(X_1,\ldots,X_n)θθ\thetaθ^(x1,…,xn)=argmin∑i=1nlogf(xi|θ)θ^(x1,…,xn)=arg⁡min∑i=1nlog⁡f(xi|θ)\hat{\theta}(x_1,\ldots,x_n)=\arg\min \sum_{i=1}^n \log f(x_i|\theta)θθ\theta θ (X1,...,Xn)(X1,…,Xn)(X1,…,Xn)(X_1,\ldots,X_n)θ^(X1,…,Xn)θ^(X1,…,Xn)\hat{\theta}(X_1,\ldots,X_n) Misalnya, ambil distribusi , dengan parameter lokasi , yang densitasnya adalah Jika bagaimana kita bisa mensimulasikan tergantung pada \ hat {\ …

17 maximum-likelihood  conditional-probability  random-variable  simulation  t-distribution 

Untuk norma vektor, norma L2 atau "Euclidean distance" adalah definisi yang banyak digunakan dan intuitif. Tetapi mengapa definisi norma "paling sering digunakan" atau "standar" untuk sebuah matriks adalah norma spektral , tetapi bukan norma Frobenius (yang mirip dengan norma L2 untuk vektor)? Apakah itu ada hubungannya dengan algoritma iteratif / …

17 matrix  linear-algebra 

Saya mengerti apa itu "kutukan dimensi", dan saya telah melakukan beberapa masalah optimasi dimensi tinggi dan mengetahui tantangan dari kemungkinan eksponensial. Namun, saya ragu apakah "kutukan dimensi" ada di sebagian besar data dunia nyata (yah mari kita kesampingkan gambar atau video sejenak, saya berpikir tentang data seperti data demografi pelanggan …

17 clustering  dimensionality-reduction  high-dimensional 

Saya menjalankan LASSO yang memiliki beberapa prediktor variabel variabel dan beberapa yang kontinu. Saya punya pertanyaan tentang variabel kategori. Langkah pertama yang saya mengerti adalah memecah mereka masing-masing menjadi boneka, membakukan mereka untuk hukuman yang adil, dan kemudian mundur. Beberapa opsi muncul untuk merawat variabel dummy: Masukkan semua kecuali satu …

17 categorical-data  regression-coefficients  lasso  intercept  categorical-encoding 

Saya membaca tentang Jeffreys sebelum di wikipedia: Jeffreys Prior dan melihat bahwa setelah setiap contoh, ini menggambarkan bagaimana transformasi penstabilan varian mengubah Jeffrey sebelum menjadi seragam sebelumnya. Sebagai contoh, untuk kasus Bernoulli, menyatakan bahwa untuk koin yang kepala dengan probabilitas γ∈[0,1]γ∈[0,1]\gamma \in [0,1] , Bernoulli Model uji coba hasil bahwa …

17 bayesian  prior  jeffreys-prior 

Pertanyaan ini adalah tindak lanjut atau upaya untuk menjernihkan kemungkinan kebingungan mengenai topik yang saya dan banyak orang lain temukan agak sulit, mengenai perbedaan antara AIC dan BIC. Dalam jawaban yang sangat bagus oleh @Dave Kellen tentang topik ini ( /stats//a/767/30589 ) kita membaca: Pertanyaan Anda menyiratkan bahwa AIC dan …

17 model-selection  aic  bic 

Saya telah membangun classifier regresi logistik yang sangat akurat pada data saya. Sekarang saya ingin lebih mengerti mengapa itu bekerja dengan baik. Secara khusus, saya ingin memberi peringkat fitur mana yang memberikan kontribusi terbesar (fitur mana yang paling penting) dan, idealnya, menghitung seberapa banyak setiap fitur berkontribusi pada akurasi model …

17 machine-learning  logistic  feature-selection  importance 

Seseorang dapat melakukan regresi logit di R menggunakan kode seperti: > library(MASS) > data(menarche) > glm.out = glm(cbind(Menarche, Total-Menarche) ~ Age, + family=binomial(logit), data=menarche) > coefficients(glm.out) (Intercept) Age -21.226395 1.631968 Sepertinya algoritme pengoptimalan telah terkonvergensi - ada informasi tentang jumlah langkah algoritme penilaian skor: Call: glm(formula = cbind(Menarche, Total - …

17 r  generalized-linear-model  optimization  algorithms  logit 

Misalkan saya memiliki matriks padat AA \textbf{A} dari m×nm×nm \times n ukuran, dengan SVD dekomposisiDalam Aku dapat menghitung SVD sebagai berikut: .A=USV⊤.A=USV⊤.\mathbf{A}=\mathbf{USV}^\top.Rsvd(A) Jika baris baru ditambahkan ke , dapatkah seseorang menghitung dekomposisi SVD baru berdasarkan yang lama (yaitu dengan menggunakan , , dan ), tanpa menghitung ulang SVD dari awal?A …

17 algorithms  svd  linear-algebra  matrix-decomposition  numerics 

Pertanyaan Varian dari distribusi binomial negatif (NB) selalu lebih besar dari rata-rata. Ketika rata-rata sampel lebih besar dari variansnya, mencoba menyesuaikan parameter NB dengan kemungkinan maksimum atau dengan estimasi momen akan gagal (tidak ada solusi dengan parameter hingga). Namun, ada kemungkinan bahwa sampel yang diambil dari distribusi NB memiliki rata-rata …

17 estimation  maximum-likelihood  negative-binomial 

Saya sudah berpikir tentang menulis posting blog tentang analisis yang menarik ini oleh Kleinberg (2002) yang mengeksplorasi kesulitan pengelompokan. Kleinberg menguraikan tiga desiderata yang tampaknya intuitif untuk fungsi pengelompokan dan kemudian membuktikan bahwa tidak ada fungsi tersebut. Ada banyak algoritma pengelompokan yang memuaskan dua dari tiga kriteria; Namun, tidak ada …

17 mathematical-statistics  clustering  intuition  hierarchical-clustering 

Saya membaca di sini bahwa diberi sampel dari distribusi kontinu dengan cdf , sampel yang sesuai dengan mengikuti distribusi seragam standar.F X U i = F X ( X i )X1,X2,...,XnX1,X2,...,Xn X_1,X_2,...,X_n FXFX F_X Ui=FX(Xi)Ui=FX(Xi) U_i = F_X(X_i) Saya telah memverifikasi ini menggunakan simulasi kualitatif dengan Python, dan saya dengan …

17 pdf  uniform  cdf  intuition 

Apa perbedaan antara LOESS dan LOWESS? Dari Wikipedia saya hanya bisa melihat bahwa LOESS adalah generalisasi dari LOWESS. Apakah mereka memiliki parameter yang sedikit berbeda?

17 nonparametric  loess