Pertanyaan yang diberi tag «prior»

Saya melihat-lihat literatur tentang regularisasi, dan sering melihat paragraf yang menghubungkan L2 regulatization dengan Gaussian sebelumnya, dan L1 dengan Laplace berpusat pada nol. Saya tahu bagaimana rupa prior ini, tetapi saya tidak mengerti, bagaimana ini diterjemahkan menjadi, misalnya, bobot dalam model linier. Di L1, jika saya mengerti dengan benar, kami …

22 regression  bayesian  prior  regularization  laplace-distribution 

Kita tahu bahwa dalam hal distribusi sebelumnya yang tepat, P(θ∣X)=P(X∣θ)P(θ)P(X)P(θ∣X)=P(X∣θ)P(θ)P(X)P(\theta \mid X) = \dfrac{P(X \mid \theta)P(\theta)}{P(X)} ∝P(X∣θ)P(θ)∝P(X∣θ)P(θ) \propto P(X \mid \theta)P(\theta) . Pembenaran biasa untuk langkah ini adalah bahwa distribusi marginal , , konstan terhadap dan dengan demikian dapat diabaikan ketika menurunkan distribusi posterior.XXXP(X)P(X)P(X)θθ\theta Namun, dalam kasus prior yang tidak …

22 distributions  bayesian  prior  posterior 

Jika sebelumnya dan kemungkinan sangat berbeda satu sama lain, maka kadang-kadang terjadi situasi di mana posterior mirip dengan keduanya. Lihat misalnya gambar ini, yang menggunakan distribusi normal. Meskipun secara matematis ini benar, tampaknya itu tidak sesuai dengan intuisi saya - jika data tidak sesuai dengan keyakinan atau data yang saya …

21 bayesian  prior  posterior  likelihood 

Saya telah menggunakan distribusi log normal sebagai distribusi sebelumnya untuk parameter skala (untuk distribusi normal, distribusi t, dll.) Ketika saya memiliki gagasan kasar tentang apa skala seharusnya, tetapi ingin berbuat salah di sisi mengatakan saya tidak tahu banyak tentang itu. Saya menggunakannya karena penggunaan itu masuk akal bagi saya, tetapi …

21 distributions  bayesian  modeling  prior  maximum-entropy 

Adakah yang bisa menjelaskan interpretasi alami untuk hiperparameter LDA? ALPHAdan BETAmerupakan parameter dari distribusi Dirichlet untuk masing-masing topik (per dokumen) dan (per topik) kata. Namun bisakah seseorang menjelaskan apa artinya memilih nilai yang lebih besar dari hiperparameter ini dibandingkan nilai yang lebih kecil? Apakah itu berarti menempatkan kepercayaan sebelumnya dalam …

21 interpretation  prior  topic-models  hyperparameter 

Latar Belakang Salah satu yang paling umum digunakan sebelum varian adalah invers-gamma dengan parameter (Gelman 2006) .α=0.001,β=0.001α=0.001,β=0.001\alpha =0.001, \beta=0.001 Namun, distribusi ini memiliki 90% CI sekitar .[3×1019,∞][3×1019,∞][3\times10^{19},\infty] library(pscl) sapply(c(0.05, 0.95), function(x) qigamma(x, 0.001, 0.001)) [1] 3.362941e+19 Inf Dari sini, saya menafsirkan bahwa memberikan probabilitas rendah bahwa varians akan sangat tinggi, …

21 bayesian  multilevel-analysis  prior 

Saya pernah mendengar gagasan bahwa Jaynes mengklaim sering beroperasi dengan "sebelumnya implisit". Apa itu prior implisit? Apakah ini berarti model frequentist semua kasus khusus model Bayesian menunggu untuk ditemukan?

19 bayesian  prior  posterior  frequentist 

Dalam literatur saya kadang-kadang menemukan komentar, bahwa memilih prior yang bergantung pada data itu sendiri (misalnya Zellners g-prior) dapat dikritik dari sudut pandang teoretis. Di mana sebenarnya masalahnya jika prior tidak dipilih independen dari data?

18 bayesian  prior  hierarchical-bayesian 

Sering diperdebatkan bahwa kerangka bayesian memiliki keuntungan besar dalam interpretasi (lebih sering), karena ia menghitung probabilitas parameter yang diberikan data - daripada seperti pada kerangka kerja frequentist. Sejauh ini baik.p(θ|x)p(θ|x)p(\theta|x)p(x|θ)p(x|θ)p(x|\theta) Tapi, seluruh persamaan itu didasarkan pada: p(θ|x)=p(x|θ).p(θ)p(x)p(θ|x)=p(x|θ).p(θ)p(x)p(\theta|x) = {p(x|\theta) . p(\theta) \over p(x)} menurut saya sedikit mencurigakan karena 2 alasan: …

18 bayesian  interpretation  prior  likelihood  posterior 

Ini juga diketahui bahwa regresi linier dengan penalti setara dengan menemukan perkiraan MAP diberi Gaussian sebelumnya pada koefisien. Demikian pula, menggunakan l 1 penalti setara dengan menggunakan distribusi Laplace sebagai sebelumnya.l2l2l^2l1l1l^1 Tidak jarang menggunakan kombinasi tertimbang dari regularisasi dan l 2 . Bisakah kita mengatakan bahwa ini setara dengan beberapa …

17 regression  bayesian  regularization  prior  elastic-net 

Saya membaca tentang Jeffreys sebelum di wikipedia: Jeffreys Prior dan melihat bahwa setelah setiap contoh, ini menggambarkan bagaimana transformasi penstabilan varian mengubah Jeffrey sebelum menjadi seragam sebelumnya. Sebagai contoh, untuk kasus Bernoulli, menyatakan bahwa untuk koin yang kepala dengan probabilitas γ∈[0,1]γ∈[0,1]\gamma \in [0,1] , Bernoulli Model uji coba hasil bahwa …

17 bayesian  prior  jeffreys-prior 

Jika kita memiliki ukuran sampel yang kecil, apakah distribusi sebelumnya akan banyak mempengaruhi distribusi posterior?

17 bayesian  sample-size  prior 

Robby McKilliam mengatakan dalam komentar untuk posting ini : Harus ditunjukkan bahwa, dari sudut pandang sering, tidak ada alasan bahwa Anda tidak dapat memasukkan pengetahuan sebelumnya ke dalam model. Dalam hal ini, tampilan sering lebih sederhana, Anda hanya memiliki model dan beberapa data. Tidak perlu memisahkan informasi sebelumnya dari model …

17 bayesian  prior  regularization  frequentist 

Pertanyaan ini terinspirasi oleh dua interaksi terakhir yang saya miliki, satu di sini di CV , yang lain di economics.se. Di sana, saya telah mengirimkan jawaban ke terkenal "Envelope Paradox" (pikiran Anda, bukan sebagai yang "jawaban yang benar" tetapi sebagai jawaban mengalir dari asumsi tertentu tentang struktur situasi). Setelah beberapa …

16 bayesian  mathematical-statistics  prior  theory  philosophical 

Dalam makalahnya yang dikutip secara luas, distribusi Prior untuk parameter varians dalam model hierarkis (916 kutipan sejauh ini di Google Cendekia) Gelman mengusulkan bahwa distribusi sebelumnya yang tidak informatif untuk varian dalam model Bayesian hirarkis adalah distribusi seragam dan distribusi t setengah. Jika saya memahami hal-hal yang benar ini berfungsi …

16 bayesian  variance  prior  jags  hierarchical-bayesian