Perkiraan statistik pesanan untuk variabel acak normal

38

Adakah formula terkenal untuk statistik urutan distribusi acak tertentu? Khususnya statistik urutan pertama dan terakhir dari variabel acak normal, tetapi jawaban yang lebih umum juga akan dihargai.

Sunting: Untuk memperjelas, saya mencari rumus perkiraan yang dapat lebih atau kurang dievaluasi secara eksplisit, bukan ekspresi integral yang tepat.

Sebagai contoh, saya telah melihat dua perkiraan berikut untuk statistik orde pertama (yaitu minimum) dari rv normal:

$e_{1:n} \geq \mu - \frac{n-1}{\sqrt{2n-1}}\sigma$

dan

$e_{1:n} \approx \mu + \Phi^{-1} \left( \frac{1}{n+1} \right)\sigma$

Yang pertama, untuk $n=200$ , memberikan sekitar $e_{1:200} \geq \mu - 10\sigma$ yang tampak seperti ikatan yang sangat longgar.

Yang kedua memberi $e_{1:200} \approx \mu - 2.58\sigma$ sedangkan Monte Carlo yang cepat memberi , jadi itu bukan perkiraan yang buruk tapi tidak bagus juga, dan yang lebih penting aku tidak ' Saya tidak memiliki intuisi tentang dari mana asalnya. $e_{1:200} \approx \mu - 2.75\sigma$

Ada bantuan?

— Chris Taylor
sumber

4

Jika Anda menggunakan R, lihat fungsi ppoints .

— kardinal

1

@probabilityislogic telah memberikan intuisi yang bagus untuk perkiraan yang Anda daftarkan. Apakah akan membantu sama sekali jika saya memberi lebih banyak dari sudut pandang alternatif, atau apakah Anda sudah memuaskan rasa ingin tahu Anda tentang masalah ini?

— kardinal

31

Referensi klasik adalah Royston (1982) [1] yang memiliki algoritma melampaui rumus eksplisit. Ini juga mengutip formula terkenal oleh Blom (1958): $E(r:n) \approx \mu + \Phi^{-1}(\frac{r-\alpha}{n-2\alpha+1})\sigma$ dengan $\alpha=0.375$ . Formula ini memberikan pengali -2,73 untuk $n=200, r=1$ .

[1]: Algoritma AS 177: Statistik Orde Normal yang Diharapkan (Tepat dan Perkiraan) JP Royston. Jurnal Masyarakat Statistik Kerajaan. Seri C (Statistik Terapan) Vol. 31, No. 2 (1982), hlm. 161-165

— Aniko
sumber

21

$\newcommand{\Pr}{\mathrm{Pr}}\newcommand{\Beta}{\mathrm{Beta}}\newcommand{\Var}{\mathrm{Var}}$ Distribusi statistik urutan ke-i dari setiap variabel acak kontinu dengan PDF diberikan oleh distribusi senyawa "beta-F". Cara intuitif untuk berpikir tentang distribusi ini, adalah untuk mempertimbangkan urutan engan statistik dalam sampel

. Sekarang agar nilai statistik urutan ke-i dari variabel acak

menjadi sama dengan

kita membutuhkan 3 kondisi:

N

$N$

X

$X$

x

$x$

bawah , ini memiliki probabilitas untuk setiap pengamatan, di mana adalah CDF dari variabel acak X. $i-1$ $x$ $F_{X}(x)$ $F_X(x)=\Pr(X<x)$
atas , ini memiliki probabilitas $N-i$ $x$ $1-F_{X}(x)$
1 nilai di dalam interval sangat kecil yang mengandung , ini memiliki probabilitas mana adalah PDF dari variabel acak $x$ $f_{X}(x)dx$ $f_{X}(x)dx=dF_{X}(x)=\Pr(x<X<x+dx)$ $X$

Ada cara untuk membuat pilihan ini, jadi kami memiliki: ${N \choose 1}{N-1 \choose i-1}$

f_{i} (x_{i}) = \frac{N!}{(i - 1)! (N - i)!} f_{X} (x_{i}) {[1 - F_{X} (x_{i})]}^{N - i} {[F_{X} (x_{i})]}^{i - 1} d x

$f_{i}(x_{i})=\frac{N!}{(i-1)!(N-i)!}f_{X}(x_{i})\left[1-F_{X}(x_{i})\right]^{N-i}\left[F_{X}(x_{i})\right]^{i-1}dx$

Sunting di posting asli saya, saya melakukan upaya yang sangat buruk untuk melangkah lebih jauh dari titik ini, dan komentar di bawah mencerminkan ini. Saya telah berusaha untuk memperbaikinya di bawah ini

Jika kita mengambil nilai rata-rata dari pdf ini, kita mendapatkan:

E (X_{i}) = \int_{- \infty}^{\infty} x_{i} f_{i} (x_{i}) d x_{i}

$E(X_{i})=\int_{-\infty}^{\infty} x_{i}f_{i}(x_{i})dx_{i}$

Dan dalam integral ini, kami membuat perubahan berikut variabel (mengambil petunjuk @ henry), dan integral menjadi: $p_{i}=F_{X}(x_{i})$

E (X_{i}) = \int_{0}^{1} F_{X}^{- 1} (p_{i}) B e t a (p_{i} | i, N - i + 1) d p_{i} = E_{B e t a (p_{i} | i, N - i + 1)} [F_{X}^{- 1} (p_{i})]

$E(X_{i})=\int_{0}^{1} F_{X}^{-1}(p_{i})\Beta(p_{i}|i,N-i+1)dp_{i}=E_{\Beta(p_{i}|i,N-i+1)}\left[F_{X}^{-1}(p_{i})\right]$

Jadi ini adalah nilai yang diharapkan dari CDF terbalik, yang dapat didekati dengan baik menggunakan metode delta untuk memberikan:

E_{B e t a (p_{i} | i, N - i + 1)} [F_{X}^{- 1} (p_{i})] \approx F_{X}^{- 1} [E_{B e t a (p_{i} | i, N - i + 1)}] = F_{X}^{- 1} [\frac{i}{N + 1}]

$E_{\Beta(p_{i}|i,N-i+1)}\left[F_{X}^{-1}(p_{i})\right]\approx F_{X}^{-1}\left[E_{\Beta(p_{i}|i,N-i+1)}\right]=F_{X}^{-1}\left[\frac{i}{N+1}\right]$

To make a better approximation, we can expand to 2nd order (prime denoting differentiation), and noting that the second derivative of an inverse is:

\frac{\partial^{2}}{\partial a^{2}} F_{X}^{- 1} (a) = - \frac{F_{X}^{^{″}} (F_{X}^{- 1} (a))}{{[F_{X}^{^{'}} (F_{X}^{- 1} (a))]}^{3}} = - \frac{f_{X}^{^{'}} (F_{X}^{- 1} (a))}{{[f_{X} (F_{X}^{- 1} (a))]}^{3}}

$\frac{\partial^{2}}{\partial a^{2}}F_{X}^{-1}(a)=-\frac{F_{X}^{''}(F_{X}^{-1}(a))}{\left[F_{X}^{'}(F_{X}^{-1}(a))\right]^{3}}=-\frac{f_{X}^{'}(F_{X}^{-1}(a))}{\left[f_{X}(F_{X}^{-1}(a))\right]^{3}}$

Let $\nu_{i}=F_{X}^{-1}\left[\frac{i}{N+1}\right]$ . Then We have:

E_{B e t a (p_{i} | i, N - i + 1)} [F_{X}^{- 1} (p_{i})] \approx F_{X}^{- 1} [ν_{i}] - \frac{{V a r}_{B e t a (p_{i} | i, N - i + 1)} [p_{i}]}{2} \frac{f_{X}^{^{'}} (ν_{i})}{{[f_{X} (ν_{i})]}^{3}}

$E_{\Beta(p_{i}|i,N-i+1)}\left[F_{X}^{-1}(p_{i})\right]\approx F_{X}^{-1}\left[\nu_{i}\right]-\frac{\Var_{\Beta(p_{i}|i,N-i+1)}\left[p_{i}\right]}{2}\frac{f_{X}^{'}(\nu_{i})}{\left[f_{X}(\nu_{i})\right]^{3}}$

= ν_{i} - \frac{(\frac{i}{N + 1}) (1 - \frac{i}{N + 1})}{2 (N + 2)} \frac{f_{X}^{^{'}} (ν_{i})}{{[f_{X} (ν_{i})]}^{3}}

$=\nu_{i}-\frac{\left(\frac{i}{N+1}\right)\left(1-\frac{i}{N+1}\right)}{2(N+2)}\frac{f_{X}^{'}(\nu_{i})}{\left[f_{X}(\nu_{i})\right]^{3}}$

Now, specialising to normal case we have

f_{X} (x) = \frac{1}{σ} ϕ (\frac{x - μ}{σ}) \to f_{X}^{^{'}} (x) = - \frac{x - μ}{σ^{3}} ϕ (\frac{x - μ}{σ}) = - \frac{x - μ}{σ^{2}} f_{X} (x)

$f_{X}(x)=\frac{1}{\sigma}\phi(\frac{x-\mu}{\sigma})\rightarrow f_{X}^{'}(x)=-\frac{x-\mu}{\sigma^{3}}\phi(\frac{x-\mu}{\sigma})=-\frac{x-\mu}{\sigma^{2}}f_{X}(x)$

F_{X} (x) = Φ (\frac{x - μ}{σ}) ⟹ F_{X}^{- 1} (x) = μ + σ Φ^{- 1} (x)

$F_{X}(x)=\Phi(\frac{x-\mu}{\sigma})\implies F_{X}^{-1}(x)=\mu+\sigma\Phi^{-1}(x)$

Note that $f_{X}(\nu_{i})=\frac{1}{\sigma}\phi\left[\Phi^{-1}\left(\frac{i}{N+1}\right)\right]$ And the expectation approximately becomes:

E [x_{i}] \approx μ + σ Φ^{- 1} (\frac{i}{N + 1}) + \frac{(\frac{i}{N + 1}) (1 - \frac{i}{N + 1})}{2 (N + 2)} \frac{σ Φ^{- 1} (\frac{i}{N + 1})}{{[ϕ [Φ^{- 1} (\frac{i}{N + 1})]]}^{2}}

$E[x_{i}]\approx \mu+\sigma\Phi^{-1}\left(\frac{i}{N+1}\right)+\frac{\left(\frac{i}{N+1}\right)\left(1-\frac{i}{N+1}\right)}{2(N+2)}\frac{\sigma\Phi^{-1}\left(\frac{i}{N+1}\right)}{\left[\phi\left[\Phi^{-1}\left(\frac{i}{N+1}\right)\right]\right]^{2}}$

And finally:

E [x_{i}] \approx μ + σ Φ^{- 1} (\frac{i}{N + 1}) [1 + \frac{(\frac{i}{N + 1}) (1 - \frac{i}{N + 1})}{2 (N + 2) {[ϕ [Φ^{- 1} (\frac{i}{N + 1})]]}^{2}}]

$E[x_{i}]\approx \mu+\sigma\Phi^{-1}\left(\frac{i}{N+1}\right)\left[1+\frac{\left(\frac{i}{N+1}\right)\left(1-\frac{i}{N+1}\right)}{2(N+2)\left[\phi\left[\Phi^{-1}\left(\frac{i}{N+1}\right)\right]\right]^{2}}\right]$

Although as @whuber has noted, this will not be accurate in the tails. In fact I think it may be worse, because of the skewness of a beta with different parameters

— probabilityislogic
sumber

1

"Penduga kemungkinan maksimum dari variabel acak "? Tidak yakin apa itu, tapi saya pikir Anda (hampir) menghitung mode .

— kardinal

1

Something mysterious happens about two-thirds of the way through when suddenly

μ

$\mu$ and

σ

$\sigma$ appear without warning or definition.

— whuber

2

I don't mean to "pile on", but it's also hard for me to see how the quantity in brackets can be approximated by a negative number.

— cardinal

1

@probabilityislogic, while at the level of calculus, you might say that in this case we're considering a bivariate function and simply maximizing over one variable instead of another, I think there are reasons mathematical, statistical, and pedagogical not to call what you've done "maximum likelihood estimation". They are too numerous to enumerate in this space, but a simple one that I think is compelling enough is that we use a particular, arcane vocabulary in statistics for a reason. Changing that on a whim for a single problem can lead to misunderstanding(s).../...

— cardinal

2

@probabilityislogic (+1) for the revised answer. One suggestion, maybe

\Rightarrow

$\Rightarrow$ is better than

\to

$\to$ to mean "implies". It took staring at a couple lines for a few seconds to realize you weren't making some convergence claim.

— cardinal

13

Jawaban Aniko bergantung pada formula terkenal Blom yang melibatkan pilihan $\alpha = 3/8$ . Ternyata rumus ini sendiri merupakan perkiraan belaka dari jawaban yang tepat karena G. Elfving (1947), Distribusi asimtot dari rentang sampel dari populasi normal , Biometrika, Vol. 34, hlm. 111-119. Rumus Elfving ditujukan pada minimum dan maksimum sampel, untuk pilihan alpha yang tepat $\pi/8$ . Formula hasil Blom ketika kami memperkirakan $\pi$ oleh $3$ .

Dengan menggunakan rumus Elfving daripada perkiraan Blom, kita mendapatkan pengganda -2,744165. Angka ini lebih dekat dengan jawaban pasti Erik P. (-2.746) dan perkiraan Monte Carlo (-2.75) daripada perkiraan Blom (-2.73), sementara lebih mudah diterapkan daripada rumus yang tepat.

— Hal M. Switkay
sumber

Bisakah Anda memberikan sedikit detail bagaimana caranya

α = π / 8

$\alpha=\pi/8$ tiba melalui Elfving (1947)? Tidak jelas dalam artikel itu.

— Anthony

1

Anthony - I am relying on the textbook Mathematical Statistics, by Samuel Wilks, pub. Wiley (1962). Exercise 8.21 on p. 249 states: "If x_(1), x_(n) are the smallest and largest order statistics of a sample of size n from a continuous c.d.f. F(x)...the random variable 2n*sqrt{[F(x_(1))][1-F(x_(n))]} has a limit distribution as n -> infinity, with mean pi/2 and variance 4-(pi^2)/4." (Sorry I don't know markup code!) For a symmetric distribution, F(x_(1)) = 1-F(x_(n)). Thus F(x_(n)) is about pi/(4n), or x_(n) is about F^(-1)(pi/(4n)). The Blom formula uses the approximation 3/(4n).

— Hal M. Switkay

This reminds me of the Infamous "

π = 3

$\pi=3$ " bill attributed to the Indiana State Legislature. (Though the wikipedia article suggests that the popular version of the story is not accurate.)

— steveo'america

7

Depending on what you want to do, this answer may or may not help - I got the following exact formula from Maple's Statistics package.

with(Statistics):
X := OrderStatistic(Normal(0, 1), 1, n):
m := Mean(X):
m;

\int_{- \infty}^{\infty} 1 / 2 \frac{_t 0 n! \sqrt{2} e^{- 1 / 2 {_t 0}^{2}} {(1 / 2 - 1 / 2 e r f (1 / 2_t 0 \sqrt{2}))}^{- 1 + n}}{(- 1 + n)! \sqrt{π}} d_t 0

$\int _{-\infty }^{\infty }\!1/2\,{\frac {{\it \_t0}\,n!\,\sqrt {2}{ {\rm e}^{-1/2\,{{\it \_t0}}^{2}}} \left( 1/2-1/2\, {{\rm erf}\left(1/2\,{\it \_t0}\,\sqrt {2}\right)} \right) ^{-1+n}}{ \left( -1+n \right) !\,\sqrt {\pi }}}{d{\it \_t0}}$

By itself this isn't very useful (and it could probably be derived fairly easily by hand, since it's the minimum of $n$ random variables), but it does allow for quick and very accurate approximation for given values of $n$ - much more accurate than Monte Carlo:

evalf(eval(m, n = 200));
evalf[25](eval(m, n = 200));

gives -2.746042447 and -2.746042447451154492412344, respectively.

(Full disclosure - I maintain this package.)

— Erik P.
sumber

1

@ProbabilityIsLogic derived this integral for all order statistics in the first half of his reply.

— whuber