Pertanyaan yang diberi tag «fisher-information»

Saya tidak nyaman dengan informasi Fisher, apa yang diukur dan bagaimana itu membantu. Juga hubungannya dengan Cramer-Rao terikat tidak jelas bagi saya. Bisakah seseorang tolong berikan penjelasan intuitif tentang konsep-konsep ini?

59 estimation  intuition  fisher-information 

Ok, ini pertanyaan yang cukup mendasar, tapi saya agak bingung. Dalam tesis saya, saya menulis: Kesalahan standar dapat ditemukan dengan menghitung kebalikan dari akar kuadrat dari elemen diagonal dari (Informasi) matriks Informasi Fisher: Sejak perintah optimasi di meminimalkan R-logLyang (diamati) Informasi Fisher matriks dapat ditemukan dengan menghitung kebalikan dari Hessian: …

54 maximum-likelihood  fisher-information 

Misalkan kita memiliki variabel acak X∼f(x|θ)X∼f(x|θ)X \sim f(x|\theta) . Jika θ0θ0\theta_0 adalah parameter sebenarnya, fungsi kemungkinan harus dimaksimalkan dan turunannya sama dengan nol. Ini adalah prinsip dasar di balik estimator kemungkinan maksimum. Seperti yang saya pahami, informasi Fisher didefinisikan sebagai I(θ)=E[(∂∂θf(X|θ))2]I(θ)=E[(∂∂θf(X|θ))2]I(\theta) = \Bbb E \Bigg[\left(\frac{\partial}{\partial \theta}f(X|\theta)\right)^2\Bigg ] Jadi, jika θ0θ0\theta_0 …

29 bayesian  maximum-likelihood  likelihood  intuition  fisher-information 

Dapatkah seseorang membuktikan hubungan berikut antara metrik informasi Fisher dan entropi relatif (atau divergensi KL) dengan cara yang benar-benar ketat secara matematis? D(p(⋅,a+da)∥p(⋅,a))=12gi,jdaidaj+(O(∥da∥3)D(p(⋅,a+da)∥p(⋅,a))=12gi,jdaidaj+(O(‖da‖3)D( p(\cdot , a+da) \parallel p(\cdot,a) ) =\frac{1}{2} g_{i,j} \, da^i \, da^j + (O( \|da\|^3) where a=(a1,…,an),da=(da1,…,dan)a=(a1,…,an),da=(da1,…,dan)a=(a^1,\dots, a^n), da=(da^1,\dots,da^n), gi,j=∫∂i(logp(x;a))∂j(logp(x;a)) p(x;a) dxgi,j=∫∂i(log⁡p(x;a))∂j(log⁡p(x;a)) p(x;a) dxg_{i,j}=\int \partial_i (\log p(x;a)) …

20 mathematical-statistics  kullback-leibler  fisher-information 

Diberikan model hirarkis berikut, dan, μ ∼ L a p l a c e ( 0 , c ) di mana N ( ⋅ , ⋅ ) adalah distribusi normal. Apakah ada cara untuk mendapatkan ekspresi yang tepat untuk informasi Fisher dari distribusi marginal X yang diberikan c . Yaitu, …

20 multilevel-analysis  information  fisher-information 

Biarkan . Matriks Informasi Fisher didefinisikan sebagai:θ ∈ Rnθ∈Rn\theta \in R^{n} saya( θ )saya , j= - E[ ∂2catatan( f( X| θ))∂θsaya∂θj∣∣∣θ ]I(θ)i,j=−E[∂2log⁡(f(X|θ))∂θi∂θj|θ]I(\theta)_{i,j} = -E\left[\frac{\partial^{2} \log(f(X|\theta))}{\partial \theta_{i} \partial \theta_{j}}\bigg|\theta\right] Bagaimana saya bisa membuktikan Matriks Informasi Fisher adalah semidefinit positif?

18 inference  linear-algebra  fisher-information 

Saya mengepos ulang "jawaban" untuk pertanyaan yang saya berikan sekitar dua minggu yang lalu di sini: Mengapa Jeffrey dulu bermanfaat? Itu benar-benar sebuah pertanyaan (dan saya juga tidak punya hak untuk mengirim komentar pada saat itu), jadi saya harap tidak apa-apa untuk melakukan ini: Dalam tautan di atas dibahas bahwa …

17 bayesian  mathematical-statistics  fisher-information  jeffreys-prior  invariance 

Dalam pengaturan kemungkinan maksimum standar (sampel I Y1,…,YnY1,…,YnY_{1}, \ldots, Y_{n} dari beberapa distribusi dengan kepadatan fy(y|θ0fy(y|θ0f_{y}(y|\theta_{0} )) dan dalam kasus model yang ditentukan dengan benar, informasi Fisher diberikan oleh I(θ)=−Eθ0[∂2θ2lnfy(θ)]I(θ)=−Eθ0[∂2θ2ln⁡fy(θ)]I(\theta) = -\mathbb{E}_{\theta_{0}}\left[\frac{\partial^{2}}{\theta^{2}}\ln f_{y}(\theta) \right] di mana harapan diambil sehubungan dengan kepadatan sebenarnya yang menghasilkan data. Saya telah membaca informasi Fisher …

17 maximum-likelihood  fisher-information 

Saya mencoba untuk membuktikan bahwa matriks informasi yang diamati dievaluasi pada estimator kemungkinan maksimum yang konsisten (MLE) yang lemah, adalah estimator yang lemah konsisten dari matriks informasi yang diharapkan. Ini adalah hasil yang dikutip secara luas tetapi tidak ada yang memberikan referensi atau bukti (saya sudah kelelahan saya pikir 20 …

16 maximum-likelihood  expected-value  asymptotics  information  fisher-information 

Tes permutasi (juga disebut tes pengacakan, uji pengacakan ulang, atau tes yang tepat) sangat berguna dan berguna ketika asumsi distribusi normal yang diperlukan misalnya, t-testtidak terpenuhi dan ketika transformasi nilai dengan peringkat dari tes non-parametrik seperti Mann-Whitney-U-testakan menyebabkan lebih banyak informasi hilang. Namun, satu dan hanya satu asumsi yang tidak …

15 hypothesis-testing  permutation-test  exchangeability  r  statistical-significance  loess  data-visualization  normal-distribution  pdf  ggplot2  kernel-smoothing  probability  self-study  expected-value  normal-distribution  prior  correlation  time-series  regression  heteroscedasticity  estimation  estimators  fisher-information  data-visualization  repeated-measures  binary-data  panel-data  mathematical-statistics  coefficient-of-variation  normal-distribution  order-statistics  regression  machine-learning  one-class  probability  estimators  forecasting  prediction  validation  finance  measurement-error  variance  mean  spatial  monte-carlo  data-visualization  boxplot  sampling  uniform  chi-squared  goodness-of-fit  probability  mixture  theory  gaussian-mixture  regression  statistical-significance  p-value  bootstrap  regression  multicollinearity  correlation  r  poisson-distribution  survival  regression  categorical-data  ordinal-data  ordered-logit  regression  interaction  time-series  machine-learning  forecasting  cross-validation  binomial  multiple-comparisons  simulation  false-discovery-rate  r  clustering  frequency  wilcoxon-mann-whitney  wilcoxon-signed-rank  r  svm  t-test  missing-data  excel  r  numerical-integration  r  random-variable  lme4-nlme  mixed-model  weighted-regression  power-law  errors-in-variables  machine-learning  classification  entropy  information-theory  mutual-information 

Buku pelajaran yang berbeda mengutip kondisi yang berbeda untuk keberadaan matriks informasi Fisher. Beberapa kondisi seperti tercantum di bawah ini, masing-masing muncul dalam beberapa, tetapi tidak semua, definisi "matriks informasi Fisher". Apakah ada standar, serangkaian kondisi minimal? Dari 5 kondisi di bawah ini, mana yang bisa dilakukan? Jika salah satu …

13 fisher-information 

(Saya memposting pertanyaan serupa di math.se. ) Dalam geometri informasi, penentu matriks informasi Fisher adalah bentuk volume alami pada manifold statistik, sehingga memiliki interpretasi geometris yang bagus. Fakta bahwa itu muncul dalam definisi sebelumnya Jeffreys, misalnya, terkait dengan invariannya di bawah reparametrizations, yang (imho) properti geometris. Tapi apa yang menentukan …

12 variance  information-theory  fisher-information  information-geometry 

Pertimbangkan variabel acak Bernoulli dengan parameter (probabilitas keberhasilan). Fungsi kemungkinan dan informasi Fisher ( matriks ) adalah:X∈{0,1}X∈{0,1}X\in\{0,1\}θθ\theta1×11×11 \times 1 L1(θ;X)I1(θ)=p(X|θ)=θX(1−θ)1−X=detI1(θ)=1θ(1−θ)L1(θ;X)=p(X|θ)=θX(1−θ)1−XI1(θ)=detI1(θ)=1θ(1−θ) \begin{align} \mathcal{L}_1(\theta;X) &= p(\left.X\right|\theta) = \theta^{X}(1-\theta)^{1-X} \\ \mathcal{I}_1(\theta) &= \det \mathcal{I}_1(\theta) = \frac{1}{\theta(1-\theta)} \end{align} Sekarang pertimbangkan versi "over-parameterized" dengan dua parameter: probabilitas keberhasilan θ1θ1\theta_1 dan probabilitas kegagalan θ0θ0\theta_0 . (Perhatikan …

10 bernoulli-distribution  parameterization  fisher-information  determinant 

Contoh: Saya memiliki kalimat dalam deskripsi pekerjaan: "Java senior engineer in UK". Saya ingin menggunakan model pembelajaran yang mendalam untuk memperkirakannya sebagai 2 kategori: English dan IT jobs. Jika saya menggunakan model klasifikasi tradisional, hanya dapat memprediksi 1 label dengan softmaxfungsi di lapisan terakhir. Dengan demikian, saya dapat menggunakan 2 …

9 machine-learning  deep-learning  natural-language  tensorflow  sampling  distance  non-independent  application  regression  machine-learning  logistic  mixed-model  control-group  crossover  r  multivariate-analysis  ecology  procrustes-analysis  vegan  regression  hypothesis-testing  interpretation  chi-squared  bootstrap  r  bioinformatics  bayesian  exponential  beta-distribution  bernoulli-distribution  conjugate-prior  distributions  bayesian  prior  beta-distribution  covariance  naive-bayes  smoothing  laplace-smoothing  distributions  data-visualization  regression  probit  penalized  estimation  unbiased-estimator  fisher-information  unbalanced-classes  bayesian  model-selection  aic  multiple-regression  cross-validation  regression-coefficients  nonlinear-regression  standardization  naive-bayes  trend  machine-learning  clustering  unsupervised-learning  wilcoxon-mann-whitney  z-score  econometrics  generalized-moments  method-of-moments  machine-learning  conv-neural-network  image-processing  ocr  machine-learning  neural-networks  conv-neural-network  tensorflow  r  logistic  scoring-rules  probability  self-study  pdf  cdf  classification  svm  resampling  forecasting  rms  volatility-forecasting  diebold-mariano  neural-networks  prediction-interval  uncertainty 

Dari "Dalam Semua Kemungkinan: Pemodelan Statistik dan Inferensi Menggunakan Kemungkinan" oleh Y. Pawitan, kemungkinan parameterisasi ulang θ↦g(θ)=ψθ↦g(θ)=ψ\theta\mapsto g(\theta)=\psi didefinisikan sebagai L∗(ψ)=max{θ:g(θ)=ψ}L(θ)L∗(ψ)=max{θ:g(θ)=ψ}L(θ) L^*(\psi)=\max_{\{\theta:g(\theta)=\psi\}} L(\theta) sehingga jika ggg adalah satu- ke-satu, lalu L∗(ψ)=L(g−1(ψ))L∗(ψ)=L(g−1(ψ))L^*(\psi)=L(g^{-1}(\psi)) (hlm. 45). Saya mencoba untuk menunjukkan Latihan 2.20 yang menyatakan bahwa jika θθ\theta adalah skalar (dan saya menganggap bahwa …

9 mathematical-statistics  inference  likelihood  fisher-information