Mengapa efisiensi relatif asimptotik dari uji Wilcoxon

Telah diketahui bahwa efisiensi relatif asimptotik (ADA) dari uji peringkat bertanda Wilcoxon adalah $\frac{3}{\pi} \approx 0.955$ dibandingkan dengan Studentt-test, jika data diambil dari populasi terdistribusi normal. Ini berlaku untuk tes satu sampel dasar dan varian untuk dua sampel independen (Wilcoxon-Mann-Whitney U). Ini juga ARE dari tes Kruskal-Wallis dibandingkan dengan ANOVA F -test, untuk data normal.

Apakah ini yang luar biasa (bagi saya, salah satu " penampilan paling tak terduga dari $\pi$ ") dan hasil yang sangat sederhana memiliki bukti yang mendalam, luar biasa atau sederhana?

— Gegat
sumber

Mengingat penampilan

π

$\pi$ di cdf normal, penampilan

π

$\pi$ di ADALAH harus benar-benar menjadi semua yang mengejutkan. Saya akan membahayakan jawaban tetapi butuh beberapa saat untuk membuat jawaban yang bagus.

— Glen_b -Reinstate Monica

@Glen_b Memang - saya telah melihat diskusi "mengapa

muncul begitu banyak dalam statistik" sebelumnya (meskipun tidak ingat apakah itu di CV atau tidak) dan "karena distribusi normal" Saya tahu banyak muncul, tapi

masih senang mengejutkan saat pertama kali melihatnya. Sebagai perbandingan , ARE dari Mann-Whitney vs t-test dua sampel adalah 3 pada data eksponensial, 1,5 pada eksponensial ganda dan 1 pada seragam - jauh lebih bulat!

π

$\pi$

3 / π

$3/\pi$

— Silverfish,

@Silverfish Saya telah menghubungkan halaman 197 dari van der Vaart "Statistik Asimptotik". Untuk satu sampel, uji-tanda memiliki ARE

relatif terhadap uji-t.

2 / π

$2/\pi$

— Khashaa

@Silverfish ... dan pada logistiknya adalah

. Ada beberapa ARE yang terkenal (dalam satu atau dua kasus sampel) yang melibatkan

dan beberapa yang merupakan rasio sederhana bilangan bulat.

(π / 3)^{2}

$(\pi/3)^2$

π

$\pi$

— Glen_b -Reinstate Monica

Untuk uji peringkat bertanda satu sampel, tampaknya menjadi

. Untuk uji tanda satu sampel, hasilnya

. Jadi, kami mengklarifikasi posisi kami. Saya pikir itu pertanda baik.

3 / π

$3/\pi$

2 / π

$2/\pi$

— Khashaa

Jawaban:

Sketsa singkat ARE untuk satu sampel $t$ -test, uji ditandatangani dan tes signed-rank

Saya berharap versi panjang jawaban @ Glen_b mencakup analisis terperinci untuk uji peringkat bertanda dua sampel bersama dengan penjelasan intuitif ARE. Jadi saya akan melewatkan sebagian besar derivasi. (satu sampel kasus, Anda dapat menemukan detail yang hilang di Lehmann TSH).

Masalah Pengujian : Misalkan menjadi sampel acak dari model lokasi , simetris sekitar nol. Kita harus menghitung ARE dari uji yang ditandatangani, uji peringkat yang ditandatangani untuk hipotesis $X_1,\ldots,X_n$ $f(x-\theta)$ $H_0: \theta=0$ relatif terhadap uji-t.

Untuk menilai efisiensi relatif dari tes, hanya alternatif lokal yang dipertimbangkan karena tes yang konsisten memiliki daya cenderung 1 terhadap alternatif tetap. Alternatif lokal yang memunculkan kekuatan asimptotik nontrivial seringkali berupa untuktetap, yang disebutPitman melayangdalam beberapa literatur. $\theta_n=h/\sqrt{n}$ $h$

Tugas kita di depan adalah

temukan batas distribusi setiap statistik uji di bawah nol
temukan batas distribusi setiap statistik uji di bawah alternatif
menghitung kekuatan asimptotik lokal dari setiap tes

Uji statistikics dan asimptotik

t-test (diberi keberadaan ) t n = √t n = √
$t_{n} = \sqrt{n} \frac{\bar{X}}{\hat{σ}} \to_{d} N (0, 1) under the null$

$t_{n} = \sqrt{n} \frac{\bar{X}}{\hat{σ}} \to_{d} N (h / σ, 1) under the alternative θ = h / \sqrt{n}$
- jadi tes yang menolak jika memiliki fungsi daya asimptotik $t_n>z_\alpha$ $1 - Φ (z_{α} - h \frac{1}{σ})$ $1-\Phi\left(z_\alpha-h\frac{1}{\sigma}\right)$
tes yang ditandatangani $S_n=\frac{1}{n}\sum_{i=1}^{n}1\{X_i>0\}$ $\sqrt{n} (S_{n} - \frac{1}{2}) \to_{d} N (0, \frac{1}{4}) under the null$ $\sqrt{n}\left(S_n-\frac{1}{2}\right)\to_dN\left(0,\frac{1}{4}\right)\quad \text{under the null }$ dan memiliki lokal listrik asymptotic $\sqrt{n} (S_{n} - \frac{1}{2}) \to_{d} N (h f (0), \frac{1}{4}) under the alternative$ $\sqrt{n}\left(S_n-\frac{1}{2}\right)\to_dN\left(hf(0),\frac{1}{4}\right)\quad \text{under the alternative }$ $1 - Φ (z_{α} - 2 h f (0))$ $1-\Phi\left(z_\alpha-2hf(0)\right)$
uji signed-rank $W_{n} = n^{- 2 / 3} \sum_{i = 1}^{n} R_{i} 1 {X_{i} > 0} \to_{d} N (0, \frac{1}{3}) under the null$ $W_n=n^{-2/3}\sum_{i=1}^{n}R_i1\{X_i>0\}\to_dN\left(0,\frac{1}{3}\right)\quad \text{under the null }$ dan memiliki kekuatan asimptotik lokal $W_{n} \to_{d} N (2 h \int f^{2}, \frac{1}{3}) under the alternative$ $W_n\to_dN\left(2h\int f^2,\frac{1}{3}\right)\quad \text{under the alternative }$ $1 - Φ (z_{α} - \sqrt{12} h \int f^{2})$ $1-\Phi\left(z_\alpha-\sqrt{12}h\int f^2\right)$

Oleh karena itu,

A R E (S_{n}) = (2 f (0) σ)^{2}

$ARE(S_n)=(2f(0)\sigma)^2$

Jika

adalah kepadatan normal standar,

SEBUAH R E (W_{n}) = (\sqrt{12} \int f^{2} σ)^{2}

$ARE(W_n)=(\sqrt{12}\int f^2\sigma)^2$

f

$f$

A R E (S_{n}) = 2 / π

$ARE(S_n)=2/\pi$

A R E (W_{n}) = 3 / π

$ARE(W_n)=3/\pi$

$f$ $ARE(S_n)=1/3$ $ARE(W_n)=1/3$

Komentar tentang derivasi distribusi di bawah alternatif

Tentu saja ada banyak cara untuk memperoleh distribusi terbatas di bawah alternatif. Satu pendekatan umum adalah menggunakan lemma ketiga Le Cam. Versi disederhanakan menyatakannya

$\Delta_n$ $W_n$
$(W_{n}, Δ_{n}) \to_{d} N [(\begin{matrix} μ \\ - σ^{2} / 2 \end{matrix}), (\begin{array}{cc} σ_{W}^{2} & τ \\ τ & σ^{2} / 2 \end{array})]$ $(W_n,\Delta_n)\to_d N\left[\left(\begin{array}{c} \mu\\ -\sigma^2/2 \end{array}\right),\left(\begin{array}{cc} \sigma^2_W & \tau \\ \tau & \sigma^2/2 \end{array}\right)\right]\\$ $W_{n} \to_{d} N (μ + τ, σ_{W}^{2}) under the alternative$ $W_n\to_d N\left(\mu+\tau,\sigma^2_W\right)\quad\text{under the alternative}$

$\mathrm{cov}(W_n,\Delta_n)$ $\Delta_n$

Δ_{n} \approx \frac{h}{\sqrt{n}} \sum_{i = 1}^{n} l (X_{i}) - \frac{1}{2} h^{2} I_{0}

$\Delta_n\approx \frac{h}{\sqrt{n}}\sum_{i=1}^{n}l(X_i)-\frac{1}{2}h^2I_0$ where

l

$l$ is score function,

I_{0}

$I_0$ is information matrix. Then, for instance, for signed test

S_{n}

$S_n$

c o v (\sqrt{n} (S_{n} - 1 / 2), Δ_{n}) = - h c o v (1 {X_{i} > 0}, \frac{f^{'}}{f} (X_{i})) = h \int_{0}^{\infty} f^{'} = h f (0)

$\mathrm{cov}(\sqrt{n}(S_n-1/2),\Delta_n)=-h\mathrm{cov}\left(1\{X_i>0\},\frac{f'}{f}(X_i)\right)=h\int_0^\infty f'=hf(0)$

— Khashaa
sumber

+1 Saya tidak akan membahas detail sebanyak ini (memang, dengan jawaban Anda sudah cukup baik, saya mungkin tidak akan menambahkan apa pun pada apa yang saya miliki sekarang) jadi jika Anda ingin lebih detail, jangan ' t menahan akun saya. Saya sudah beberapa hari (dan masih kurang dari yang sudah Anda miliki), jadi itu hal yang baik Anda datang.

— Glen_b -Reinstate Monica

This is a nice answer particularly for adding in Le Cam's lemma (+1). It seems to me there is quite a big jump between establishing the asymptotics in 1, 2, and 3, and the "therefore" bit where you write the AREs. I think if I were writing this up, I'd define asymptotic efficiency at this point (or maybe earlier, so the upshot of points 1, 2 and 3 would be the AEs not just local asymptotic powers in each case) and then the step to the AREs would be much easier for future readers to follow.

— Silverfish

Perhaps it is worth specifying your

H_{1}

$H_1$ ? One-sided and two-sided cases have different-looking asymptotic powers (though they lead to the same AREs).

— Silverfish

Silakan mengedit jawaban saya atau menambahkannya ke OP.

— Khashaa

@Khashaa Thanks. I shall edit your post when I have the right stuff in front of me. Would you mind clarifying the meaning of the

*

$*$ in the final equation?

— Silverfish

This has nothing to do with explaining why $\pi$ appears (which was explained nicely by others) but may help intuitively. The Wilcoxon test is a $t$ -test on the ranks of $Y$ whereas the parametric test is computed on the raw data. The efficiency of the Wilcoxon test with respect to the $t$ -test is the square of the correlation between the scores used for the two tests. As $n\rightarrow \infty$ the squared correlation converges to $\frac{\pi}{3}$ . You can easily see this empirically using R:

n <- 1000000; x <- qnorm((1:n)/(n+1)); cor(1:n, x)^2; 3/pi
[1] 0.9549402
[1] 0.9549297
n <- 100000000; x <- qnorm((1:n)/(n+1)); cor(1:n, x)^2; 3/pi
[1] 0.9549298
[1] 0.9549297

— Frank Harrell
sumber

This is indeed a very helpful comment. Is it slightly conceptually closer to do n <- 1e6; x <- rnorm(n); cor(x, rank(x))^2 (which obviously produces the same result)?

— Silverfish

(People intrigued by Frank's comment may want to look at this question about the equivalence of Wilcoxon-Mann-Whitney U and a t-test on the ranks.)

— Silverfish

something I don't understand about this answer is that the correlation is higher for lower values of

n

$n$ (I think the proximal reason is that we don't see the tails very well for smaller

n

$n$ ). Naively that implies that the relative efficiency of the Wilcoxon is higher for small

n

$n$ , which surprises me ... ?? (I might do some simulations, but (a) if there's an easy answer ... and (b) am I missing a conceptual point somewhere?)

— Ben Bolker

To my recollection the small sample efficiency of both the Wilcoxon signed rank test and the W-M-W are a bit lower than the asymptotic value on shift alternatives at the normal distribution.

— Glen_b -Reinstate Monica

Short version: The basic reason with the Wilcoxon-Mann-Whitney under a shift alternative is that finding the asymptotic relative efficiency (WMW/t) corresponds to evaluating $12\sigma^2[\int f^2(x) dx]^2$ where $f$ is the common density at the null and $\sigma$ is the common variance.

So at the normal, $f^2$ is effectively a scaled version of $f$ ; its integral will have a $\frac{1}{\sqrt{\pi}}$ term; when squared, that's the source of the $\frac{ \;}{\pi}$ .

The same term - with the same integral - is involved in the ARE for the signed rank test, so it takes the same value.

For the sign test relative to t, the ARE is $4\sigma^2f(0)^2$ ... and $f(0)^2$ again has a $\frac{ \;}{\pi}$ in it.

So essentially it's as I said in comments; $\pi$ is in the ARE for the Wilcoxon-Mann-Whitney vs the two-sample t test, for the Wilcoxon signed rank test vs the one-sample t and the sign test vs the one-sample t test (in each case at the normal) quite literally because it appears in the normal density.

Reference:

J. L. Hodges and E. L. Lehmann (1956),
"The Efficiency of Some Nonparametric Competitors of the t-Test",
Ann. Math. Statist., 27:2, 324-335.

— Glen_b -Reinstate Monica
sumber

I like the explanation for the intuition for the appearance of

π

$\pi$ in the denominator; is it essentially coincidence that the Renyi entropy turns up in the WMW/Wilcoxon integrals?

— Silverfish

@Silverfish That

\int f^{2} d x

$\int f^2 dx$ turns up is certainly not coincidence. However, that's not because that's connected to Rényi entropy, or at least I don't see any direct connection. We're getting into stuff I don't really know about now, though.

— Glen_b -Reinstate Monica

@Silverfish It's only a Renyi entropy for

α = 2

$\alpha=2$ . Otherwise, it is just a plain old square that can come up in a million different ways.

— abalter