Pertanyaan yang diberi tag «maximum-likelihood»

metode estimasi parameter model statistik dengan memilih nilai parameter yang mengoptimalkan probabilitas mengamati sampel yang diberikan.

2
Memperbarui MLE secara rekursif saat streaming pengamatan baru masuk
Pertanyaan Umum Katakanlah kita memiliki data id x1x1x_1 , x2x2x_2 , ... ∼f(x|θ)∼f(x|θ)\sim f(x\,|\,\boldsymbol{\theta})θθ\boldsymbol{\theta}θ^n−1=argmaxθ∈Rp∏i=1n−1f(xi|θ),θ^n−1=arg⁡maxθ∈Rp∏i=1n−1f(xi|θ),\hat{\boldsymbol{\theta}}_{n-1}=\underset{\boldsymbol{\theta}\in\mathbb{R}^p}{\arg\max}\prod_{i=1}^{n-1}f(x_i\,|\,\boldsymbol{\theta}),xnxnx_nθ n - 1 ,θ^n−1,xn→θ^nθ^n−1,xn→θ^n\hat{\boldsymbol{\theta}}_{n-1},\,x_n \to \hat{\boldsymbol{\theta}}_{n} tanpa harus memulai dari awal. Apakah ada algoritma umum untuk ini? Contoh mainan Jika , , ... , maka jadi x1x1x_1x2x2x_2∼N(x|μ,1)∼N(x|μ,1)\sim N(x\,|\,\mu, 1)μ n - 1 = 1μ^n−1=1n−1∑i=1n−1xiandμ^n=1n∑i=1nxi,μ^n−1=1n−1∑i=1n−1xiandμ^n=1n∑i=1nxi,\hat{\mu}_{n-1} = \frac{1}{n-1}\sum\limits_{i=1}^{n-1}x_i\quad\text{and}\quad\hat{\mu}_n …

5
Bisakah Hessian empiris dari penaksir-M menjadi tidak terbatas?
Jeffrey Wooldridge dalam Analisis Ekonometrik dari Cross Section dan Panel Data (halaman 357) mengatakan bahwa Hessian empiris "tidak dijamin pasti positif, atau bahkan semidefinit positif, untuk sampel tertentu yang sedang kami kerjakan.". Ini kelihatannya salah bagi saya sebagai (masalah numerik terpisah) Hessian harus semidefinit positif sebagai hasil dari definisi M-estimator …

6
Apakah kita pernah menggunakan estimasi kemungkinan maksimum?
Saya bertanya-tanya apakah estimasi kemungkinan maksimum pernah digunakan dalam statistik. Kami belajar konsep itu tetapi saya bertanya-tanya kapan itu benar-benar digunakan. Jika kita mengasumsikan distribusi data, kita menemukan dua parameter, satu untuk mean dan satu untuk varians, tetapi apakah Anda benar-benar menggunakannya dalam situasi nyata? Adakah yang bisa memberi tahu …

2
Untuk model apa bias MLE jatuh lebih cepat dari varians?
θ^θ^\hat\thetaθ∗θ∗\theta^*nnn∥θ^−θ∗∥‖θ^−θ∗‖\lVert\hat\theta-\theta^*\rVertO(1/n−−√)O(1/n)O(1/\sqrt n)∥Eθ^−θ∗∥‖Eθ^−θ∗‖\lVert \mathbb E\hat\theta - \theta^*\rVert∥Eθ^−θ^∥‖Eθ^−θ^‖\lVert \mathbb E\hat\theta - \hat\theta\rVertO(1/n−−√)O(1/n)O(1/\sqrt{n}) Saya tertarik pada model yang memiliki bias yang menyusut lebih cepat dari O(1/n−−√)O(1/n)O(1/\sqrt n) , tetapi di mana kesalahan tidak menyusut pada tingkat yang lebih cepat ini karena penyimpangan masih menyusut sebagai O(1/n−−√)O(1/n)O(1/\sqrt n) . Secara khusus, saya ingin mengetahui …

1
Kemungkinan maksimum terbatas dengan pangkat
Pertanyaan ini berkaitan dengan estimasi kemungkinan maksimum terbatas (REML) dalam versi tertentu dari model linier, yaitu: Y=X(α)β+ϵ,ϵ∼Nn(0,Σ(α)),Y=X(α)β+ϵ,ϵ∼Nn(0,Σ(α)), Y = X(\alpha)\beta + \epsilon, \\ \epsilon\sim N_n(0, \Sigma(\alpha)), di mana adalah matriks ( ) yang diparameterisasi oleh , seperti . adalah vektor yang tidak diketahui dari parameter gangguan; minatnya adalah dalam mengestimasi …

1
Mengapa kita harus membahas perilaku konvergensi dari penduga yang berbeda dalam topologi yang berbeda?
Dalam bab pertama buku Algebraic Geometry dan Statistical Learning Theory yang berbicara tentang konvergensi estimasi dalam ruang fungsional yang berbeda, disebutkan bahwa estimasi Bayesian sesuai dengan topologi distribusi Schwartz, sedangkan estimasi kemungkinan maksimum sesuai dengan topologi sup-norm. (di halaman 7): Misalnya, sup-norm, LpLpL^p -norm, topologi lemah ruang Hilbert L2L2L^2 , …

1
Caret glmnet vs cv.glmnet
Tampaknya ada banyak kebingungan dalam perbandingan menggunakan di glmnetdalam caretuntuk mencari lambda yang optimal dan menggunakan cv.glmnetuntuk melakukan tugas yang sama. Banyak pertanyaan diajukan, misalnya: Klasifikasi model train.glmnet vs. cv.glmnet? Apa cara yang tepat untuk menggunakan glmnet dengan caret? Validasi silang `glmnet` menggunakan` caret` tetapi tidak ada jawaban yang diberikan, …

6
Estimasi MLE vs MAP, kapan harus menggunakan yang mana?
MLE = Estimasi Kemungkinan Maksimum MAP = Maksimum a posteriori MLE bersifat intuitif / naif karena MLE hanya dimulai dengan probabilitas pengamatan yang diberikan parameter (yaitu fungsi kemungkinan) dan mencoba menemukan parameter terbaik sesuai dengan pengamatan . Tapi itu tidak mempertimbangkan pengetahuan sebelumnya. MAP tampaknya lebih masuk akal karena mempertimbangkan …

1
Apakah regresi logistik memaksimalkan kemungkinan juga juga memaksimalkan AUC dari model linier?
Diberikan set data dengan hasil biner y∈{0,1}ny∈{0,1}ny\in\{0,1\}^n dan beberapa matriks prediktor X∈Rn×pX∈Rn×pX\in\mathbb{R}^{n\times p} , model regresi logistik standar memperkirakan koefisien βMLEβMLE\beta_{MLE} yang memaksimalkan kemungkinan binomial. Ketika XXX adalah peringkat penuh βMLEβMLE\beta_{MLE} adalah unik; ketika pemisahan sempurna tidak ada, itu terbatas. Apakah model kemungkinan maksimum ini juga memaksimalkan ROC AUC (alias …

1
Mengapa MLE masuk akal, mengingat probabilitas sampel individu adalah 0?
Ini semacam pemikiran aneh yang saya miliki ketika meninjau beberapa statistik lama dan untuk beberapa alasan saya sepertinya tidak bisa memikirkan jawabannya. PDF kontinu memberi tahu kita kepadatan nilai pengamatan dalam rentang tertentu. Yaitu, jika X∼N(μ,σ2)X∼N(μ,σ2)X \sim N(\mu,\sigma^2) , misalnya, maka probabilitas bahwa realisasi jatuh antara aaa dan bbb hanyalah …

1
Apakah inferensi kondisional frequentist masih digunakan dalam praktik?
Saya baru-baru ini meninjau beberapa makalah lama oleh Nancy Reid, Barndorff-Nielsen, Richard Cox dan, ya, sedikit Ronald Fisher tentang konsep "inferensi kondisional" dalam paradigma frequentist, yang tampaknya berarti bahwa kesimpulan didasarkan hanya dengan mempertimbangkan "subset yang relevan" dari ruang sampel, bukan seluruh ruang sampel. Sebagai contoh utama, diketahui bahwa interval …

1
Apakah ANOVA mengandalkan metode momen dan bukan pada kemungkinan maksimum?
Saya melihat disebutkan di berbagai tempat bahwa ANOVA melakukan estimasi menggunakan metode momen. Saya bingung dengan pernyataan itu karena, meskipun saya tidak terbiasa dengan metode momen, pemahaman saya adalah bahwa itu adalah sesuatu yang berbeda dan tidak setara dengan metode kemungkinan maksimum; di sisi lain, ANOVA dapat dilihat sebagai regresi …

3
Regresi linier: apakah ada distribusi tidak normal yang memberikan identitas OLS dan MLE?
Pertanyaan ini terinspirasi dari diskusi panjang dalam komentar di sini: Bagaimana regresi linier menggunakan distribusi normal? Dalam model regresi linier biasa, untuk kesederhanaan di sini ditulis dengan hanya satu prediktor: Yi=β0+β1xi+ϵiYi=β0+β1xi+ϵi Y_i = \beta_0 + \beta_1 x_i + \epsilon_i mana xixix_i dikenal konstanta dan ϵiϵi\epsilon_i adalah istilah kesalahan independen nol-rata. …

3
Yang mana yang kemungkinan lebih baik atau kemungkinan marginal yang lebih baik dan mengapa?
Saat melakukan regresi jika kita menggunakan definisi dari: Apa perbedaan antara kemungkinan parsial, kemungkinan profil dan kemungkinan marginal? itu, Kemungkinan Maksimum Temukan β dan θ yang memaksimalkan L (β, θ | data). Sementara, Marginal Likelihood Kami mengintegrasikan θ dari persamaan kemungkinan dengan mengeksploitasi fakta bahwa kami dapat mengidentifikasi distribusi probabilitas …

1
MLE dari parameter lokasi dalam distribusi Cauchy
Setelah pemusatan, dua pengukuran x dan −x dapat diasumsikan sebagai pengamatan independen dari distribusi Cauchy dengan fungsi kerapatan probabilitas: f(x:θ)=f(x:θ)=f(x :\theta) = 1π(1+(x−θ)2)1π(1+(x−θ)2)1\over\pi (1+(x-\theta)^2) ,−∞&lt;x&lt;∞,−∞&lt;x&lt;∞, -∞ < x < ∞ Tunjukkan bahwa jika MLE dari θ adalah 0, tetapi jika x 2 &gt; 1 ada dua MLE's dari θ , …

Dengan menggunakan situs kami, Anda mengakui telah membaca dan memahami Kebijakan Cookie dan Kebijakan Privasi kami.
Licensed under cc by-sa 3.0 with attribution required.