Alternatif distribusi empiris

KARUNIA:

Hadiah penuh akan diberikan kepada seseorang yang memberikan referensi ke makalah yang diterbitkan yang menggunakan atau menyebutkan estimator bawah ini.$\tilde{F}$

Motivasi:

Bagian ini mungkin tidak penting bagi Anda dan saya kira itu tidak akan membantu Anda mendapatkan hadiah, tetapi karena seseorang bertanya tentang motivasi, inilah yang saya kerjakan.

Saya sedang mengerjakan masalah teori grafik statistik. Objek pembatas grafik padat standar adalah fungsi simetris dalam arti bahwa . Pengambilan sampel grafik pada simpul dapat dianggap sebagai sampling nilai seragam pada satuan interval ( untuk ) dan kemudian probabilitas suatu edge adalah . Biarkan matriks ketetanggaan yang dihasilkan disebut .$W : [0,1]^2 \to [0,1]$$W(u,v) = W(v,u)$$n$$n$$U_i$$i = 1, \dots, n$$(i,j)$$W(U_i, U_j)$$A$

Kita dapat memperlakukan sebagai kepadatan seandainya \ iint W> 0 . Jika kami memperkirakan f berdasarkan A tanpa kendala f , maka kami tidak dapat memperoleh estimasi yang konsisten. Saya menemukan hasil yang menarik tentang memperkirakan secara konsisten f ketika f berasal dari sekumpulan fungsi yang mungkin dibatasi. Dari estimator ini dan \ sum A , kita dapat memperkirakan W .$W$$f = W / \iint W$$\iint W > 0$$f$$A$$f$$f$$f$$\sum A$$W$

Sayangnya, metode yang saya temukan menunjukkan konsistensi ketika kami sampel dari distribusi dengan kepadatan . Cara dikonstruksi mengharuskan saya mencicipi kisi-kisi poin (sebagai lawan dari pengambilan undian dari asli ). Dalam pertanyaan stats.SE ini, saya menanyakan masalah 1 dimensi (lebih sederhana) dari apa yang terjadi ketika kita hanya dapat sampel Bernoullis sampel pada kotak seperti ini daripada benar-benar mengambil sampel dari distribusi secara langsung.$f$$A$$f$

referensi untuk batas grafik:

L. Lovasz dan B. Szegedy. Batas urutan grafik padat ( arxiv ).

C. Borgs, J. Chayes, L. Lovasz, V. Sos, dan K. Vesztergombi. Urutan konvergen grafik padat i: Frekuensi subgraph, sifat metrik, dan pengujian. ( arxiv ).

Notasi:

Pertimbangkan distribusi berkelanjutan dengan cdf dan pdf yang memiliki dukungan positif pada interval . Misalkan tidak memiliki pointmass, mana-mana dapat dibedakan, dan juga bahwa adalah supremum dari pada interval . Mari berarti bahwa variabel acak adalah sampel dari distribusi . adalah variabel acak seragam iid pada .$F$$f$$[0,1]$$f$$F$$\sup_{z \in [0,1]} f(z) = c < \infty$$f$$[0,1]$$X \sim F$$X$$F$$U_i$$[0,1]$

Masalah pengaturan:

Seringkali, kita dapat membiarkan menjadi variabel acak dengan distribusi dan bekerja dengan fungsi distribusi empiris yang biasa sebagai mana adalah fungsi indikator. Perhatikan bahwa distribusi empiris ini itu sendiri acak (di mana diperbaiki).$X_1, \dots, X_n$$F$

$$\hat{F}_n(t) = \frac{1}{n} \sum_{i=1}^n I\{X_i \leq t\}$$ $I$$\hat{F}_n(t)$$t$

Sayangnya, saya tidak mampu mengambil contoh langsung dari . Namun, saya tahu bahwa memiliki dukungan positif hanya pada , dan saya dapat menghasilkan variabel acak mana adalah variabel acak dengan distribusi Bernoulli dengan probabilitas keberhasilan mana dan didefinisikan di atas. Jadi, . Satu cara yang jelas bahwa saya dapat memperkirakan dari nilai - nilai ini adalah dengan mengambil dimana$F$$f$$[0,1]$$Y_1, \dots, Y_n$$Y_i$

$$p_i = f((i-1+U_i)/n)/c$$ $c$$U_i$$Y_i \sim \text{Bern}(p_i)$$F$$Y_i$ $$\tilde{F}_n(t) = \frac{1}{\sum_{i=1}^n Y_i} \sum_{i=1}^{\lceil tn \rceil} Y_i$$ $\lceil \cdot \rceil$ adalah fungsi plafon (yaitu, hanya membulatkan ke bilangan bulat terdekat), dan menggambar ulang jika (untuk menghindari pembagian dengan nol dan membuat alam semesta runtuh) . Perhatikan bahwa juga merupakan variabel acak karena adalah variabel acak.$\sum_{i=1}^n Y_i = 0$$\tilde{F}(t)$$Y_i$

Pertanyaan:

Dari (apa yang saya pikir seharusnya) termudah hingga yang paling sulit.

1. Adakah yang tahu jika ini (atau yang serupa) memiliki nama? Bisakah Anda memberikan referensi di mana saya bisa melihat beberapa propertinya?$\tilde{F}_n$

2. Sebagai , apakah penduga yang konsisten untuk (dan dapatkah Anda membuktikannya)?$n \to \infty$$\tilde{F}_n(t)$$F(t)$

3. Apa distribusi pembatas dari sebagai ?$\tilde{F}_n(t)$$n \to \infty$

4. Idealnya, saya ingin mengikat yang berikut ini sebagai fungsi dari - misalnya, , tetapi saya tidak tahu apa yang sebenarnya. The singkatan Big O di probabilitas$n$$O_P(\log(n) /\sqrt{n})$$O_P$

$$\sup_{C \subset [0,1]} \int_C |\tilde{F}_n(t) - F(t)| \, dt$$

Beberapa ide dan catatan:

1. Ini sangat mirip sampling penerimaan-penolakan dengan stratifikasi berbasis grid. Perhatikan bahwa itu bukan karena di sana kami tidak menarik sampel lain jika kami menolak proposal.

2. Saya cukup yakin ini bias. Saya pikir alternatif tidak bias, tetapi memiliki properti tidak menyenangkan yang .$\tilde{F}_n$

   $$\tilde{F^*}_n(t) = \frac{c}{n} \sum_{i=1}^{\lceil tn \rceil} Y_i$$ $\mathbb{P}\left(\tilde{F^*}(1) = 1\right) < 1$

3. Saya tertarik menggunakan sebagai estimator plug-in . Saya tidak berpikir ini adalah informasi yang berguna, tetapi mungkin Anda tahu beberapa alasan mengapa itu mungkin.$\tilde{F}_n$

Contoh dalam R

Berikut adalah beberapa kode R jika Anda ingin membandingkan distribusi empiris dengan . Maaf beberapa indentasi salah ... Saya tidak melihat cara memperbaikinya.$\tilde{F}_n$

# sample from a beta distribution with parameters a and b
a <- 4 # make this > 1 to get the mode right
b <- 1.1 # make this > 1 to get the mode right
qD <- function(x){qbeta(x, a, b)} # inverse
dD <- function(x){dbeta(x, a, b)} # density
pD <- function(x){pbeta(x, a, b)} # cdf
mD <- dbeta((a-1)/(a+b-2), a, b) # maximum value sup_z f(z)


# draw samples for the empirical distribution and \tilde{F}
draw <- function(n){ # n is the number of observations
  u <- sort(runif(n)) 
  x <- qD(u) # samples for empirical dist
  z <- 0 # keep track of how many y_i == 1
  # take bernoulli samples at the points s
  s <- seq(0,1-1/n,length=n) + runif(n,0,1/n) 
  p <- dD(s) # density at s
  while(z == 0){ # make sure we get at least one y_i == 1
    y <- rbinom(rep(1,n), 1, p/mD) # y_i that we sampled
    z <- sum(y)
  }
  result <- list(x=x, y=y, z=z)
  return(result)
}

sim <- function(simdat, n, w){
  # F hat -- empirical dist at w
  fh <- mean(simdat$x < w) 
  # F tilde
  ft <- sum(simdat$y[1:ceiling(n*w)])/simdat$z
  # Uncomment this if we want an unbiased estimate.
  # This can take on values > 1 which is undesirable for a cdf.
  ### ft <- sum(simdat$y[1:ceiling(n*w)]) * (mD / n)
  return(c(fh, ft))
}


set.seed(1) # for reproducibility

n <- 50 # number observations
w <- 0.5555 # some value to test this at (called t above)
reps <- 1000 # look at this many values of Fhat(w) and Ftilde(w)
# simulate this data
samps <- replicate(reps, sim(draw(n), n, w))

# compare the true value to the empirical means
pD(w) # the truth 
apply(samps, 1, mean) # sample mean of (Fhat(w), Ftilde(w))
apply(samps, 1, var)  # sample variance of (Fhat(w), Ftilde(w))
apply((samps - pD(w))^2, 1, mean) # variance around truth


# now lets look at what a single realization might look like
dat <- draw(n)
plot(NA, xlim=0:1, ylim=0:1, xlab="t", ylab="empirical cdf",
     main="comparing ECDF (red), Ftilde (blue), true CDF (black)")
s <- seq(0,1,length=1000)
lines(s, pD(s), lwd=3) # truth in black
abline(h=0:1)
lines(c(0,rep(dat$x,each=2),Inf),
     rep(seq(0,1,length=n+1),each=2),
     col="red")
lines(c(0,rep(which(dat$y==1)/n, each=2),1),
      rep(seq(0,1,length=dat$z+1),each=2),
      col="blue")

EDIT:

EDIT 1 -

Saya mengedit ini untuk menanggapi komentar @ whuber.

EDIT 2 -

Saya menambahkan kode R dan membersihkannya sedikit lebih banyak. Saya sedikit mengubah notasi untuk keterbacaan, tetapi pada dasarnya sama. Saya berencana memberikan hadiah untuk hal ini segera setelah saya diizinkan, jadi tolong beri tahu saya jika Anda ingin klarifikasi lebih lanjut.

EDIT 3 -

Saya pikir saya berbicara dengan pernyataan @ kardinal. Saya memperbaiki kesalahan ketik dalam variasi total. Saya menambahkan hadiah.

EDIT 4 -

Menambahkan bagian "motivasi" untuk @ cardinal.

Sementara referensi ini

EDIT: TAMBAHAN REFERENSI UNTUK STATISTIK YANG SANGAT SEDERHANA "Estimasi Nonparametrik dari Pengamatan Tidak Lengkap" EL Kaplan dan Paul Meier, Jurnal Asosiasi Statistik Amerika, Vol. 53, No. 282 (Juni, 1958), hlm. 457-481

tidak untuk penaksir seperti ECDF Anda di Saya percaya ini setara dengan penaksir Kaplan-Meier (alias. penaksir batas produk) seperti yang digunakan dalam Analisis Kelangsungan Hidup, meskipun itu diterapkan pada rentang waktu .$[0,1]$$[0,\infty)$

Memperkirakan bias akan mungkin terjadi setelah Anda memiliki estimasi distribusi yang wajar melalui perataan kernel jika berperilaku cukup baik (lihat, misalnya, transformasi Khmaladze di Wikipedia).

Dalam kasus bivariat dalam masalah grafik Anda, memperkirakan dari meskipun dengan kendala simetri sepele tampaknya mirip dengan pendekatan dalam Jean-David Fermanian, Dragan Radulovic, dan Marten Wegkamp (2004), Konvergensi lemah kopula empiris proses , Bernoulli , vol. 10, tidak. 5, 847–860, seperti yang ditunjukkan @cardinal "Metode Delta Multivariat".$f = W / \iint W$$A$

Ini menjawab pertanyaan 2 dan 3 di atas. Saya masih sangat menginginkan referensi (dari pertanyaan 1).

Ini belum memperhitungkan kapan .$\sum Y_i = 0$

Pertimbangkan , lalu mana subscript menunjukkan turunannya. Ingat . Mari Jadi perhatikan bahwa dan . Juga, $g(A,B) = A/(A+B)$

$$\begin{align} g_A(A,B) &= (A+B)^{-1} + A(A+B)^{-2}\\ g_B(A,B) &= -A(A+B)^{-2}\\ g_{AA}(A,B) &= 2B(A+B)^{-3}\\ g_{AB}(A,B) &= (A-B)(A+B)^{-3}\\ g_{BB}(B,B) &= 2A(A+B)^{-3} \end{align}$$ $p_i = f((i-1+U_i)/n)/c$ $$\begin{align} R = \frac{1}{n}\sum_{i=1}^{\lceil nt \rceil} Y_i, \quad& \mu_R = \mathbb{E}(R) = \int_0^t p(u) \, d u = c^{-1}F(t)\\ S = \frac{1}{n}\sum_{\lceil nt \rceil +1}^n Y_i, \quad& \mu_S = \mathbb{E}(S) = \int_t^1 p(u) \, d u = c^{-1}(1-F(t)) \end{align}$$ $\mu_R + \mu_S = c^{-1}F(t) + c^{-1}(1-F(t)) = c^{-1}$$g(\mu_R, \mu_S) = F(t)$ $$\begin{align} \text{ Var}(R) &= \frac{1}{n^2} \sum_{i=1}^{\lceil nt \rceil} \text{ Var}(Y_i) = \frac{1}{n} \int_0^t f(u)/c(1-f(u)/c) \, d u = \frac{1}{nc^2} \int_0^t f(u)(c-f(u)) \, d u\\ \text{ Var}(S) &= \frac{1}{nc^2} \int_t^1 f(u)(c-f(u)) \, d u \end{align}$$ Perhatikan bahwa oleh independensi s.$\text{ Cov}(R,S) = 0$$Y_i$

Sekarang, kami menggunakan ekspansi taylor untuk mendapatkan

$$\begin{align} &\mathbb{E}\left(\tilde{F}_n(t)\right) =\mathbb{E}\left( \frac{1}{\sum_{i=1}^n Y_i} \sum_{i=1}^{\lceil tn \rceil} Y_i \right) =\mathbb{E}\left(\frac{nR}{nR+nS}\right) =\mathbb{E}\left(\frac{R}{R+S}\right) =\mathbb{E}\left(g(R,S)\right)\\ &=g(\mu_R,\mu_S) + \frac{1}{2}\mathbb{E}((R - \mu_R)^2)g_{RR}(\mu_R, \mu_S) \nonumber\\ &\quad + \mathbb{E}((R - \mu_R)(S-\mu_S))g_{RS}(\mu_R, \mu_S) + \frac{1}{2}\mathbb{E}((S - \mu_S)^2)g_{SS}(\mu_R, \mu_S) + \dots \\ &= F(t) + \frac{1}{2}\mathbb{E}((R - \mu_R)^2)2\mu_S(\mu_R+\mu_S)^{-3} \nonumber\\ &\quad + \mathbb{E}((R - \mu_R)(S-\mu_S))(\mu_R-\mu_S)(\mu_R+\mu_S)^{-3} \nonumber\\ &\quad + \frac{1}{2}\mathbb{E}((S - \mu_S)^2) 2\mu_R(\mu_R+\mu_S)^{-3} + \dots\\ &= F(t) + (\mu_R+\mu_S)^{-3} \bigg( \mathbb{E}((R - \mu_R)^2)\mu_S + \mathbb{E}((R - \mu_R)(S-\mu_S))(\mu_R-\mu_S) \nonumber\\ &\quad + \mathbb{E}((S - \mu_S)^2) \mu_R \bigg) + \dots \\ &= F(t) + c^3 \left( \text{ Var}(R)c(1-F(t)) \right. \nonumber\\ &\quad + \left.\text{ Cov}(R,S)(cF(t) - c(1-F(t))) + \text{ Var}(S) cF(t) \right) + \dots \\ &= F(t) + c^4 \left( \left(\frac{1}{n} \int_0^t f(u)(c-f(u)) \, d u\right) (1-F(t)) \right. \nonumber\\ &\quad \left. + \left(\frac{1}{n} \int_t^1 f(u)(c-f(u)) \, d u \right) F(t) \right) + \dots\\ &= F(t) + \tilde{V}_{F(t)}/n + \dots\\ &= F(t) + {\cal O}(n^{-1}) \end{align}$$ di mana Secara khusus, kita mendapatkan $$\begin{align} \tilde{V}_{F(t)} &= c^2\left(\int_0^t f(u)(c-f(u)) \, d u\right) (1-F(t)) + c^2\left(\int_t^1 f(u)(c-f(u)) \, d u \right) F(t)\\ &< c^2\left( \int_0^t cf(u) \, d u\right)(1 - F(t)) + c^2\left( \int_t^1 cf(u) \, d u\right)F(t)\\ &< c^3 2F(t)(1-F(t)) \end{align}$$ $$\begin{align} \sqrt{n}\left(\tilde{F}_n(t) - F(t)\right) \overset{d}{\to} N(0,V_{F(t)}) \end{align}$$

Berikan komentar jika Anda melihat ada yang salah dengan ini.

EDIT:

Edit 1 -

Memperbaiki salah ketik di . Terima kasih @ cardinal atas saran Anda di komentar tentang pertanyaan 4.$V_{F(t)}$

Edit 2 -

Memperbaiki banyak kesalahan ketik: Saya memiliki mana saya seharusnya memiliki di banyak tempat. Saya masih perlu menjawab tanggapan @ cardinal tentang .$c^{-1}$$c$$\sum Y_i = 0$