Statistik dan Big Data

Latar belakang : Saya memiliki gelar PhD dalam psikologi sosial, di mana statistik teoretis dan matematika nyaris tidak tercakup dalam kursus kuantitatif saya. Melalui sarjana dan pascasarjana, saya diajar (seperti banyak dari Anda juga dalam ilmu sosial, mungkin) melalui kerangka kerja kerap kali "klasik". Sekarang, saya juga suka R dan …

11 probability  bayesian  simulation  monte-carlo  frequentist 

Saya memiliki fungsi kemungkinan untuk kemungkinan data saya memberikan beberapa parameter model , yang ingin saya perkirakan. Dengan asumsi prior prior pada parameter, kemungkinan proporsional dengan probabilitas posterior. Saya menggunakan metode MCMC untuk sampel probabilitas ini.L (d| θ)L(d|θ)\mathcal{L}(d | \theta)dddθ ∈ RNθ∈RN\theta \in \mathbf{R}^N Melihat rantai konvergen yang dihasilkan, saya …

11 bayesian  maximum-likelihood  optimization  inference  mcmc 

Distribusi normal tampaknya tidak intuitif sampai Anda mempelajari CLT, yang menjelaskan mengapa begitu lazim dalam kehidupan nyata. Tetapi apakah itu pernah muncul sebagai distribusi "alami" untuk jumlah tertentu?

11 normal-distribution  central-limit-theorem 

Menurut referensi Buku 1 , Buku 2 dan kertas . Telah disebutkan bahwa ada kesetaraan antara regresi yang diatur (Ridge, LASSO dan Elastic Net) dan rumus kendala mereka. Saya juga telah melihat Cross Validated 1 , dan Cross Validated 2 , tetapi saya tidak bisa melihat jawaban yang jelas menunjukkan …

11 regression  optimization  lasso  ridge-regression  elastic-net 

Jika Uniform , dan Bin , maka rata-rata posterior diberikan oleh .p∼p∼p \sim(0,1)(0,1)(0,1)X∼X∼X \sim(n,p)(n,p)(n, p)pppX+ 1n + 2X+1n+2\frac{X+1}{n+2} Apakah ada nama umum untuk penaksir ini? Saya telah menemukannya memecahkan banyak masalah orang dan saya ingin dapat mengarahkan orang ke referensi, tetapi belum dapat menemukan nama yang tepat untuk itu. Samar-samar …

11 bayesian  terminology  laplace-smoothing 

Latar Belakang Dalam ilmu komputer, matematika, dan kadang-kadang di bidang lain, contoh "esoteris" tidak hanya menghibur, tetapi juga membantu menggambarkan konsep-konsep tertentu, misalnya: Bogosort dan Slowsort adalah algoritma penyortiran yang sangat tidak efisien yang dapat digunakan untuk memahami sifat-sifat algoritma, khususnya bila dibandingkan dengan algoritma penyortiran lainnya. Bahasa pemrograman esoterik …

11 hypothesis-testing  teaching  humor 

Baru-baru ini saya menjadi sadar akan metode 'bebas-kemungkinan' yang dibicarakan dalam literatur. Namun saya tidak jelas apa artinya inferensi atau metode optimasi menjadi bebas kemungkinan . Dalam pembelajaran mesin, tujuannya biasanya untuk memaksimalkan kemungkinan beberapa parameter agar sesuai dengan suatu fungsi misalnya bobot pada jaringan saraf. Jadi apa sebenarnya filosofi …

11 machine-learning  deep-learning  maximum-likelihood  generative-models  abc 

Dalam statistik frequentist, interval kepercayaan 95% adalah prosedur penghasil interval yang, jika diulang berkali-kali, akan mengandung parameter sebenarnya 95% dari waktu. Mengapa ini berguna? Interval kepercayaan sering disalahpahami. Mereka bukan interval yang kita dapat yakin 95% parameter dalam (kecuali jika Anda menggunakan interval kredibilitas Bayesian serupa). Interval kepercayaan diri terasa …

11 hypothesis-testing  bayesian  mathematical-statistics  confidence-interval  frequentist 

Saya sering berbicara tentang peminjaman informasi atau berbagi informasi dalam model hirarki Bayesian. Saya sepertinya tidak bisa mendapatkan jawaban langsung tentang apa arti sebenarnya ini dan apakah itu unik untuk model hierarkis Bayesian. Saya mendapatkan semacam ide: beberapa level dalam hierarki Anda berbagi parameter umum. Saya tidak tahu bagaimana ini …

11 machine-learning  bayesian  multilevel-analysis  terminology  hierarchical-bayesian 

Sejauh yang saya mengerti, itulah (setidaknya, itulah yang didefinisikan oleh Wikipedia ). Tetapi saya telah menemukan pernyataan ini oleh Efron * (penekanan ditambahkan): Rantai Markov Monte Carlo (MCMC) adalah kisah sukses besar statistik Bayesian modern. MCMC, dan metode saudaranya "Gibbs sampling," memungkinkan perhitungan numerik distribusi posterior dalam situasi yang terlalu …

11 mcmc  gibbs 

(Pertanyaan ini terinspirasi oleh komentar dari Xi'an ini .) Diketahui bahwa jika distribusi sebelumnya tepat dan kemungkinan terdefinisi dengan baik, maka distribusi posterior tepat hampir pasti.π(θ)π(θ)\pi(\theta)L(θ|x)L(θ|x)L(\theta | x)π(θ|x)∝π(θ)L(θ|x)π(θ|x)∝π(θ)L(θ|x)\pi(\theta|x)\propto \pi(\theta) L(\theta|x) Dalam beberapa kasus, kami menggunakan kemungkinan temper atau eksponen, yang mengarah ke pseudo-posterior π~(θ|x)∝π(θ)L(θ|x)απ~(θ|x)∝π(θ)L(θ|x)α\tilde\pi(\theta|x)\propto \pi(\theta) L(\theta|x)^\alphaα>0 untuk beberapa (misalnya, ini …

11 bayesian  prior  posterior 

Saya ingin menguji model saya yang terlatih pada dataset yang tidak seimbang. Apakah ada algoritma yang tersedia untuk menghasilkan data sintetis dari dataset berlabel seimbang (spam / non-spam)?

11 unbalanced-classes  synthetic-data 

Mengapa simbol dipilih untuk menunjukkan korelasi momen produk Pearson?rrr

11 correlation  history 

Dari pemahaman saya, CNN terdiri dari dua bagian. Bagian pertama (lapisan conv / pool) yang melakukan ekstraksi fitur dan bagian kedua (lapisan fc) yang melakukan klasifikasi dari fitur. Karena jaring saraf yang terhubung penuh bukan pengklasifikasi terbaik (yaitu, mereka dikalahkan oleh SVM dan RF sebagian besar waktu), mengapa CNN menyimpulkan …

11 neural-networks  svm  random-forest  conv-neural-network 

Jika XXX mengikuti distribusi Cauchy maka Y= X¯= 1n∑ni = 1XsayaY=X¯=1n∑i=1nXiY = \bar{X} = \frac{1}{n} \sum_{i=1}^n X_ijuga mengikuti persis distribusi yang sama sepertiXXX; lihatutas ini. Apakah properti ini punya nama? Apakah ada distribusi lain yang benar? EDIT Cara lain untuk mengajukan pertanyaan ini: misalkan XXX adalah variabel acak dengan kerapatan …

11 distributions  expected-value  central-limit-theorem  cauchy