Apakah ada penaksir yang tidak bias tentang jarak Hellinger antara dua distribusi?

Dalam pengaturan di mana seseorang mengamati didistribusikan dari distribusi dengan kepadatan , saya ingin tahu apakah ada penduga yang tidak bias (berdasarkan ) dari jarak Hellinger ke distribusi lain dengan kepadatan , yaitu $X_1,\ldots,X_n$ $f$ $X_i$ $f_0$

H (f, f_{0}) = {1 - \int_{X} \sqrt{f (x) f_{0} (x)} d x}^{1 / 2} .

$\mathfrak{H}(f,f_0) = \left\{ 1 - \int_\mathcal{X} \sqrt{f(x)f_0(x)} \text{d}x \right\}^{1/2}\,.$

— Xi'an
sumber

Jadi f0 dikenal dan diperbaiki. Tetapi apakah f diketahui atau dari keluarga parametrik atau sedang melakukan ini dalam kerangka nonparametrik dengan semua yang Anda ketahui tentang f berasal dari sampel Anda? Saya pikir itu membuat perbedaan ketika mencoba jawaban.

— Michael R. Chernick

@MichaelChernick: asumsikan semua yang Anda ketahui tentang

f

$f$ adalah sampel

X_{1}, \dots, X_{n}

$X_1,\ldots,X_n$ .

— Xi'an

Saya tidak berpikir itu telah dihitung (jika ada). Jika ada, maka AIC memiliki saudara yang hilang.

Serangan pada masalah ini terlihat layak jika Anda menganggap

f

$f$ dan

f_{0}

$f_0$ adalah diskrit. Ini mengarah ke penduga yang jelas (menghitung jarak Hellinger antara EDF dan

f_{0}

$f_0$ ). Bootstrapping (secara teoritis, bukan melalui simulasi!) Akan memberi kita pegangan pada kemungkinan bias serta cara untuk mengurangi (atau bahkan menghilangkan) bias. Saya mengulurkan harapan untuk berhasil dengan jarak kuadrat daripada jarak itu sendiri, karena secara matematis lebih mudah ditelusuri. Asumsi diskrit

f

$f$ tidak ada masalah dalam aplikasi; ruang diskrit

f

$f$ adalah subset padat pula.

— whuber

Terlintas dalam benak Rosenblatt's bukti bahwa tidak ada estimator yang "bonafide" yang tidak bias dari

. Bolehkah kita mengatasinya dan mendapatkan estimator

tidak di-padamkan

? Saya tidak tahu

f

$f$

H (f, f_{0})

$H(f,f_0)$

— Zen

Jawaban:

Tidak ada estimator berisi salah satu dari atau ada untuk dari setiap kelas nonparametrik cukup luas distribusi. $\mathfrak{H}$ $\mathfrak{H}^2$ $f$

Kita dapat menunjukkan ini dengan argumen sederhana yang indah

Bickel dan Lehmann (1969). Perkiraan tidak sesuai dalam keluarga cembung . The Annals of Statistics Matematika, 40 (5) 1523-1535. ( proyek euclid )

Perbaiki beberapa distribusi , , dan , dengan kepadatan yang sesuai , , dan . Mari masing menunjukkan , dan biarkan akan beberapa estimator dari berdasarkan sampel iid . $F_0$ $F$ $G$ $f_0$ $f$ $g$ $H(F)$ $\mathfrak{H}(f, f_0)$ $\hat H(\mathbf X)$ $H(F)$ $n$ $X_i \sim F$

Misalkan adalah berisi sampel dari setiap distribusi dari bentuk Tapi kemudian $\hat H$

M_{α} := α F + (1 - α) G .

$M_\alpha := \alpha F + (1 - \alpha) G .$

sehingga

harus polinomial dalam

dari gelar paling banyak

\begin{aligned} Q (α) & = H (M_{α}) \\ = \int_{x_{1}} \dots \int_{x_{n}} \hat{H} (X) d M_{α} (x_{1}) \dots d M_{α} (x_{n}) \\ = \int_{x_{1}} \dots \int_{x_{n}} \hat{H} (X) [α d F (x_{1}) + (1 - α) d G (x_{1})] \dots [α d F (x_{n}) + (1 - α) d G (x_{n})] \\ = α^{n} E_{X \sim F^{n}} [\hat{H} (X)] + \dots + (1 - α)^{n} E_{X \sim G^{n}} [\hat{H} (X)], \end{aligned}

$\begin{align} Q(\alpha) &= H(M_\alpha) \\&= \int_{x_1} \cdots \int_{x_n} \hat H(\mathbf X) \,\mathrm{d}M_\alpha(x_1) \cdots\mathrm{d}M_\alpha(x_n) \\&= \int_{x_1} \cdots \int_{x_n} \hat H(\mathbf X) \left[ \alpha \mathrm{d}F(x_1) + (1-\alpha) \mathrm{d}G(x_1) \right] \cdots \left[ \alpha \mathrm{d}F(x_n) + (1-\alpha) \mathrm{d}G(x_n) \right] \\&= \alpha^n \operatorname{\mathbb{E}}_{\mathbf X \sim F^n}[ \hat H(\mathbf X)] + \dots + (1 - \alpha)^n \operatorname{\mathbb{E}}_{\mathbf X \sim G^n}[ \hat H(\mathbf X)] ,\end{align}$

Q (α)

$Q(\alpha)$

α

$\alpha$

n

$n$

Sekarang, mari kita mengkhususkan diri pada kasus yang masuk akal dan menunjukkan bahwa sesuai bukanlah polinomial. $Q$

Misalkan adalah beberapa distribusi yang memiliki kerapatan konstan pada : untuk semua . (Perilakunya di luar rentang itu tidak masalah.) Misalkan adalah distribusi yang hanya didukung pada , dan beberapa distribusi hanya didukung pada . $F_0$ $[-1, 1]$ $f_0(x) = c$ $\lvert x \rvert \le 1$ $F$ $[-1, 0]$ $G$ $[0, 1]$

Sekarang mana

\begin{aligned} Q (α) & = H (m_{α}, f_{0}) \\ = \sqrt{1 - \int_{R} \sqrt{m_{α} (x) f_{0} (x)} d x} \\ = \sqrt{1 - \int_{- 1}^{0} \sqrt{c α f (x)} d x - \int_{0}^{1} \sqrt{c (1 - α) g (x)} d x} \\ = \sqrt{1 - \sqrt{α} B_{F} - \sqrt{1 - α} B_{G}}, \end{aligned}

$\begin{align} Q(\alpha) &= \mathfrak{H}(m_\alpha, f_0) \\&= \sqrt{1 - \int_{\mathbb R} \sqrt{m_\alpha(x) f_0(x)} \mathrm{d}x} \\&= \sqrt{1 - \int_{-1}^0 \sqrt{c \, \alpha f(x)} \mathrm{d}x - \int_{0}^1 \sqrt{c \, (1 - \alpha) g(x)} \mathrm{d}x} \\&= \sqrt{1 - \sqrt{\alpha} B_F - \sqrt{1 - \alpha} B_G} ,\end{align}$

dan juga untuk

. Perhatikan bahwa

untuk setiap distribusi

yang memiliki kerapatan.

B_{F} := \int_{R} \sqrt{f (x) f_{0} (x)} d x

$B_F := \int_{\mathbb R} \sqrt{f(x) f_0(x)} \mathrm{d}x$

B_{G}

$B_G$

B_{F} > 0

$B_F > 0$

B_{G} > 0

$B_G > 0$

F

$F$

G

$G$

tidak polinomial dari setiap tingkat yang terbatas. Dengan demikian, tidak ada estimator dapat berisi untukpada semua distribusidengan finitely banyak sampel. $\sqrt{1 - \sqrt{\alpha} B_F - \sqrt{1 - \alpha} B_G}$ $\hat H$ $\mathfrak{H}$ $M_\alpha$

Demikian juga, karena juga tidak polinomial, tidak ada estimator untukyang berisi tentang semua distribusidengan finitely banyak sampel. $1 - \sqrt{\alpha} B_F - \sqrt{1 - \alpha} B_G$ $\mathfrak{H}^2$ $M_\alpha$

Ini mengecualikan hampir semua kelas distribusi nonparametrik yang masuk akal, kecuali untuk kelas dengan kepadatan yang dibatasi di bawah ini (asumsi analisis nonparametrik kadang-kadang dibuat). Anda mungkin bisa membunuh kelas-kelas itu juga dengan argumen serupa dengan hanya membuat kepadatan konstan atau sesuatu.

— Dougal
sumber

Saya tidak tahu bagaimana membangun (jika ada) penduga yang tidak bias dari jarak Hellinger. Tampaknya mungkin untuk membuat penduga yang konsisten. Kami memiliki beberapa kepadatan dikenal tetap , dan sampel acak dari kepadatan . Kami ingin memperkirakan $f_0$ $X_1,\dots,X_n$ $f>0$

H (f, f_{0}) = \sqrt{1 - \int_{X} \sqrt{f (x) f_{0} (x)} d x} = \sqrt{1 - \int_{X} \sqrt{\frac{f_{0} (x)}{f (x)}} f (x) d x}

$H(f,f_0) = \sqrt{1 - \int_\mathscr{X} \sqrt{f(x)f_0(x)}\,dx} = \sqrt{1 - \int_\mathscr{X} \sqrt{\frac{f_0(x)}{f(x)}}\;\;f(x)\,dx}$

mana

. Oleh SLLN, kita tahu itu

= \sqrt{1 - E [\sqrt{\frac{f_{0} (X)}{f (X)}}]},

$= \sqrt{1 - \mathbb{E}\left[\sqrt{\frac{f_0(X)}{f(X)}}\;\;\right] }\, ,$

X \sim f

$X\sim f$

\sqrt{1 - \frac{1}{n} \sum_{i = 1}^{n} \sqrt{\frac{f_{0} (X_{i})}{f (X_{i})}}} \to H (f, f_{0}),

$\sqrt{1 - \frac{1}{n} \sum_{i=1}^n \sqrt{\frac{f_0(X_i)}{f(X_i)}}} \quad \rightarrow H(f,f_0) \, ,$

n \to \infty

$n\to\infty$

H (f, f_{0})

$H(f,f_0)$

\hat{f_{n}}

$\hat{f_n}$

f

$f$

\hat{H} = \sqrt{1 - \frac{1}{n} \sum_{i = 1}^{n} \sqrt{\frac{f_{0} (X_{i})}{\hat{f_{n}} (X_{i})}}} .

$\hat{H}=\sqrt{1 - \frac{1}{n} \sum_{i=1}^n \sqrt{\frac{f_0(X_i)}{\hat{f_n}(X_i)}}} \, .$

— Zen
sumber

@Zen: Good point! I consider this answer as the answer because it made me realise

H

$H$ sounds very much like a standard deviation, for which there exists no unbiased estimator. As for the variance of

{\hat{H}}_{n}^{2}

$\hat H^2_n$ , no worries:

E [(\sqrt{f_{0} (X) / f (X)})^{2}] = 1

$\mathbb{E}[(\sqrt{f_0(X)/f(X)})^2]=1$ implies that this estimator has a finite variance.

— Xi'an

Thanks for the clarification about the variance of the estimator, Xi'an!

— Zen

Some work on other consistent estimators: (a) arxiv.org/abs/1707.03083 and related work based on

k

$k$ -NN density estimators; (b) arxiv.org/abs/1402.2966 based on correcting kernel density estimates; (c) ieeexplore.ieee.org/document/5605355 based on a connection to classification. (Many of these are based on samples from both

f

$f$ and

f_{0}

$f_0$ , because that's the work I knew about offhand, but I think there are variants for known

f_{0}

$f_0$ .)

— Dougal