Pertanyaan yang diberi tag «maximum-likelihood»

Saya membaca halaman ini: http://neuralnetworksanddeeplearning.com/chap3.html dan dikatakan bahwa lapisan keluaran sigmoid dengan cross-entropy cukup mirip dengan lapisan keluaran softmax dengan kemungkinan log. apa yang terjadi jika saya menggunakan sigmoid dengan log-likelihood atau softmax dengan cross entropy pada layer output? itu baik? karena saya melihat hanya ada sedikit perbedaan dalam persamaan …

31 neural-networks  maximum-likelihood  softmax 

Misalkan kita memiliki variabel acak X∼f(x|θ)X∼f(x|θ)X \sim f(x|\theta) . Jika θ0θ0\theta_0 adalah parameter sebenarnya, fungsi kemungkinan harus dimaksimalkan dan turunannya sama dengan nol. Ini adalah prinsip dasar di balik estimator kemungkinan maksimum. Seperti yang saya pahami, informasi Fisher didefinisikan sebagai I(θ)=E[(∂∂θf(X|θ))2]I(θ)=E[(∂∂θf(X|θ))2]I(\theta) = \Bbb E \Bigg[\left(\frac{\partial}{\partial \theta}f(X|\theta)\right)^2\Bigg ] Jadi, jika θ0θ0\theta_0 …

29 bayesian  maximum-likelihood  likelihood  intuition  fisher-information 

Saya akan menjelaskan masalah saya dengan sebuah contoh. Misalkan Anda ingin memprediksi penghasilan seseorang yang diberikan beberapa atribut: {Usia, Jenis Kelamin, Negara, Wilayah, Kota}. Anda memiliki dataset pelatihan seperti itu train <- data.frame(CountryID=c(1,1,1,1, 2,2,2,2, 3,3,3,3), RegionID=c(1,1,1,2, 3,3,4,4, 5,5,5,5), CityID=c(1,1,2,3, 4,5,6,6, 7,7,7,8), Age=c(23,48,62,63, 25,41,45,19, 37,41,31,50), Gender=factor(c("M","F","M","F", "M","F","M","F", "F","F","F","M")), Income=c(31,42,71,65, 50,51,101,38, 47,50,55,23)) …

29 regression  machine-learning  multilevel-analysis  correlation  dataset  spatial  paired-comparisons  cross-correlation  clustering  aic  bic  dependent-variable  k-means  mean  standard-error  measurement-error  errors-in-variables  regression  multiple-regression  pca  linear-model  dimensionality-reduction  machine-learning  neural-networks  deep-learning  conv-neural-network  computer-vision  clustering  spss  r  weighted-data  wilcoxon-signed-rank  bayesian  hierarchical-bayesian  bugs  stan  distributions  categorical-data  variance  ecology  r  survival  regression  r-squared  descriptive-statistics  cross-section  maximum-likelihood  factor-analysis  likert  r  multiple-imputation  propensity-scores  distributions  t-test  logit  probit  z-test  confidence-interval  poisson-distribution  deep-learning  conv-neural-network  residual-networks  r  survey  wilcoxon-mann-whitney  ranking  kruskal-wallis  bias  loss-functions  frequentist  decision-theory  risk  machine-learning  distributions  normal-distribution  multivariate-analysis  inference  dataset  factor-analysis  survey  multilevel-analysis  clinical-trials 

Saya telah mendengar tentang kemungkinan empiris Owen, tetapi sampai saat ini tidak menghiraukannya sampai saya menemukannya di kertas yang menarik ( Mengersen et al. 2012 ). Dalam upaya saya untuk memahaminya, saya telah mengumpulkan bahwa kemungkinan data yang diamati diwakili sebagai L=∏ipi=∏iP(Xi=x)=∏iP(Xi≤x)−P(Xi<x)L=∏ipi=∏iP(Xi=x)=∏iP(Xi≤x)−P(Xi<x)L = \prod_i p_i = \prod_i P(X_i=x) = \prod_i …

28 bayesian  maximum-likelihood  nonparametric  likelihood  empirical-likelihood 

Pertimbangkan sampel independen diperoleh dari variabel acak yang diasumsikan mengikuti distribusi terpotong (mis. Distribusi terpotong ) dari nilai minimum dan maksimum yang diketahui (hingga) dan tetapi dari parameter yang tidak diketahui dan . Jika mengikuti distribusi non-terpotong, estimator kemungkinan maksimum dan untuk dan dari akan menjadi rata-rata sampelS XNNNSSSXXXb μ …

28 distributions  estimation  mathematical-statistics  maximum-likelihood  truncation 

Estimasi kemungkinan maksimum seringkali menghasilkan estimasi bias (mis. Estimasi untuk varians sampel bias untuk distribusi Gaussian). Lalu apa yang membuatnya begitu populer? Mengapa persisnya itu digunakan begitu banyak? Juga, apa yang secara khusus membuatnya lebih baik daripada pendekatan alternatif - metode momen? Juga, saya perhatikan bahwa untuk Gaussian, penskalaan sederhana …

25 normal-distribution  maximum-likelihood  method-of-moments 

Saya bingung tentang penaksir bias kemungkinan maksimum (ML). Matematika dari seluruh konsep cukup jelas bagi saya, tetapi saya tidak dapat menemukan alasan intuitif di baliknya. Mengingat dataset tertentu yang memiliki sampel dari distribusi, yang dengan sendirinya merupakan fungsi dari parameter yang ingin kami perkirakan, estimator ML menghasilkan nilai untuk parameter …

25 maximum-likelihood  bias 

Saya telah menemukan beberapa panduan yang menyarankan agar saya menggunakan R's nlm untuk estimasi kemungkinan maksimum. Tetapi tidak satu pun dari mereka (termasuk dokumentasi R ) yang memberikan banyak petunjuk teoritis tentang kapan harus menggunakan atau tidak menggunakan fungsi tersebut. Sejauh yang saya tahu, nlm hanya melakukan gradient descent di …

25 r  maximum-likelihood 

Saya baru mulai belajar tentang statistik dan model barang. Saat ini, pemahaman saya adalah bahwa kami menggunakan MLE untuk memperkirakan parameter terbaik untuk suatu model. Namun, ketika saya mencoba memahami cara kerja jaringan saraf, sepertinya mereka biasanya menggunakan pendekatan lain untuk memperkirakan parameter. Mengapa kita tidak menggunakan MLE atau mungkinkah …

23 maximum-likelihood  neural-networks 

Saya ingin tahu apakah selalu ada maximizer untuk masalah estimasi kemungkinan maksimum (log-)? Dengan kata lain, apakah ada beberapa distribusi dan beberapa parameternya, di mana masalah MLE tidak memiliki maximizer? Pertanyaan saya berasal dari klaim seorang insinyur bahwa fungsi biaya (kemungkinan atau log-kemungkinan, saya tidak yakin yang dimaksudkan) di MLE …

23 maximum-likelihood  optimization 

Apa penduga kemungkinan maksimum untuk parameter t-distribusi Student? Apakah mereka ada dalam bentuk tertutup? Pencarian Google cepat tidak memberi saya hasil apa pun. Hari ini saya tertarik pada kasus univariat, tetapi mungkin saya harus memperluas model ke beberapa dimensi. EDIT: Saya sebenarnya lebih tertarik pada parameter lokasi dan skala. Untuk …

23 estimation  maximum-likelihood  t-distribution 

Saya tahu untuk masalah reguler, jika kita memiliki penaksir tidak bias reguler terbaik, itu harus penaksir kemungkinan maksimum (MLE). Tetapi secara umum, jika kita memiliki MLE yang tidak bias, apakah itu juga akan menjadi penaksir tidak bias yang terbaik (atau mungkin saya harus menyebutnya UMVUE, asalkan memiliki varian terkecil)?

22 mathematical-statistics  maximum-likelihood  unbiased-estimator 

Menurut Miller dan Freund's Probability and Statistics for Engineers, 8ed (hal.217-218), fungsi kemungkinan dimaksimalkan untuk distribusi binomial (uji coba Bernoulli) diberikan sebagai L(p)=∏ni=1pxi(1−p)1−xiL(p)=∏i=1npxi(1−p)1−xsayaL(p) = \prod_{i=1}^np^{x_i}(1-p)^{1-x_i} Bagaimana cara mencapai persamaan ini? Tampaknya cukup jelas bagi saya mengenai distribusi lainnya, Poisson dan Gaussian; L(θ)=∏ni=1PDF or PMF of dist.L(θ)=∏i=1nPDF or PMF of dist.L(\theta) …

22 estimation  maximum-likelihood  bernoulli-distribution  point-estimation 

Diberikan keluaran dari optim dengan matriks hessian, bagaimana cara menghitung interval kepercayaan parameter menggunakan matriks hessian? fit<-optim(..., hessian=T) hessian<-fit$hessian Saya sebagian besar tertarik pada konteks analisis kemungkinan maksimum, tetapi saya ingin tahu apakah metode ini dapat diperluas.

22 r  maximum-likelihood 

Misalkan saya memiliki model berikut ysaya= f( xsaya, θ ) + εsayayi=f(xi,θ)+εiy_i=f(x_i,\theta)+\varepsilon_i di mana ysaya∈ RKysaya∈RKy_i\in \mathbb{R}^K , xsayaxsayax_i adalah vektor dari variabel penjelas, θθ\theta adalah parameter fungsi non-linear fff dan εsaya∼ N( 0 , Σ )εsaya∼N(0,Σ)\varepsilon_i\sim N(0,\Sigma) , di mana ΣΣ\Sigma alami adalah K× KK×KK\times K matriks. Tujuannya adalah …

22 maximum-likelihood  optimization  covariance