Tentukan apakah proses distribusi ekor berat telah meningkat secara signifikan

12

Saya mengamati waktu pemrosesan suatu proses sebelum dan sesudah perubahan untuk mengetahui, apakah proses tersebut telah membaik oleh perubahan tersebut. Proses telah meningkat, jika waktu pemrosesan berkurang. Distribusi waktu pemrosesan adalah berekor gemuk, jadi membandingkan berdasarkan rata-rata tidaklah masuk akal. Sebaliknya saya ingin tahu apakah probabilitas untuk mengamati waktu pemrosesan yang lebih rendah setelah perubahan secara signifikan di atas 50%.

Biarkan menjadi variabel acak untuk waktu pemrosesan setelah perubahan dan yang sebelumnya. Jika secara signifikan di atas maka saya akan mengatakan prosesnya telah membaik. $X$ $Y$ $P(X < Y)$ $0.5$

Sekarang aku punya pengamatan dari dan pengamatan dari . The diamati probabilitas adalah . $n$ $x_i$ $X$ $m$ $y_j$ $Y$ $P(X < Y)$ $\hat p = \frac{1}{n m} \sum_i \sum_j 1_{x_i < y_j}$

Apa yang bisa saya katakan tentang mengingat pengamatan dan ? $P(X < Y)$ $x_i$ $y_j$

sampling nonparametric

— Kristen
sumber

12

Perkiraan Anda sama dengan statistik Mann-Whitney dibagi dengan (terima kasih, Glen!), Dan karenanya setara dengan statistik peringkat-jumlah Wilcoxon (juga dikenal sebagai statistik Wilcoxon-Mann-Whitney) : , di mana adalah ukuran sampel (dengan asumsi tidak ada ikatan.) Karena itu Anda dapat menggunakan tabel / perangkat lunak dari tes Wilcoxon dan mengubahnya kembali ke untuk mendapatkan interval kepercayaan atau nilai- . $\hat{p}$ $U$ $mn$ $W$ $W = U + {n(n+1)\over{2}}$ $n$ $y$ $U$ $p$

Biarkan menjadi ukuran sampel , = . Kemudian, tanpa gejala, $m$ $x$ $N$ $m+n$

$W^* = \frac{W-\frac{m(N+1)}{2}}{\sqrt{\frac{mn(N+1)}{12}}} \sim \text{N}(0,1)$

Sumber: Hollander dan Wolfe , Metode Statistik Nonparametrik, kira-kira hal. 117, tetapi mungkin sebagian besar buku statistik nonparametrik akan membawa Anda ke sana.

— Jbowman
sumber

@ Glen_b - terima kasih, saya telah memperbarui jawabannya. Tebakan Anda yang sangat dermawan tentang penyebab kesalahan itu!

— jbowman

13

@jbowman memberikan solusi standar (bagus) untuk masalah estimasi yang dikenal sebagai model kekuatan-tegangan . $\theta=P(X<Y)$

Alternatif nonparametrik lain diusulkan dalam Baklizi dan Eidous (2006) untuk kasus di mana dan adalah independen. Ini dijelaskan di bawah ini. $X$ $Y$

Menurut definisi kita memilikinya

θ = P (X < Y) = \int_{- \infty}^{\infty} F_{X} (y) f_{Y} (y) d y,

$\theta=P(X<Y)=\int_{-\infty}^{\infty}F_X(y)f_Y(y)dy,$

di mana adalah CDF dari dan adalah kepadatan . Kemudian, dengan menggunakan sampel dan kita dapat memperoleh estimator kernel dari dan dan akibatnya dan estimator $F_X$ $X$ $f_Y$ $Y$ $X$ $Y$ $F_X$ $f_Y$ $\theta$

\hat{θ} = \int_{- \infty}^{\infty} {\hat{F}}_{X} (y) {\hat{f}}_{Y} (y) d y .

$\hat\theta=\int_{-\infty}^{\infty}\hat F_X(y)\hat f_Y(y)dy.$

Ini diimplementasikan dalam kode R berikut menggunakan kernel Gaussian.

# Optimal bandwidth
h = function(x){
n = length(x)
return((4*sqrt(var(x))^5/(3*n))^(1/5))
}

# Kernel estimators of the density and the distribution
kg = function(x,data){
hb = h(data)
k = r = length(x)
for(i in 1:k) r[i] = mean(dnorm((x[i]-data)/hb))/hb
return(r )
} 

KG = function(x,data){
hb = h(data)
k = r = length(x)
for(i in 1:k) r[i] = mean(pnorm((x[i]-data)/hb))
return(r )
} 

# Baklizi and Eidous (2006) estimator
nonpest = function(dat1B,dat2B){
return( as.numeric(integrate(function(x) KG(x,dat1B)*kg(x,dat2B),-Inf,Inf)$value))  
}

# Example when X and Y are Cauchy
datx = rcauchy(100,0,1)
daty =  rcauchy(100,0,1)

nonpest(datx,daty)

$\theta$

# bootstrap
B=1000
p = rep(0,B)

for(j in 1:B){
dat1 =  sample(datx,length(datx),replace=T)
dat2 =  sample(daty,length(daty),replace=T)
p[j] = nonpest(dat1,dat2)
}

# histogram of the bootstrap sample
hist(p)

# A confidence interval (quantile type)
c(quantile(p,0.025),quantile(p,0.975))

Jenis interval bootstrap lain mungkin dipertimbangkan juga.

2

Referensi kertas yang menarik dan bagus (+1). Saya akan menambahkannya ke repertoar saya!

— jbowman

0

$X_i-Y_i$ $P(X_i-Y_i<0) = p$ $I\{X_i-Y_i<0\}$ $i=1,2,..,n$ $X$ $X_i < Y_i$ $n$ $p=P(X_i-Y_i<0)$ $X/n$

— Michael R. Chernick
sumber

2

Apa dasar dari pasangan itu, Michael?

— whuber

OP mengatakan "Biarkan X menjadi variabel acak untuk waktu pemrosesan setelah perubahan dan Y yang sebelumnya" Jadi Xi adalah setelah intervensi dan Yi adalah sebelumnya.

— Michael R. Chernick

m = n

$m=n$

X_{i}

$X_i$

Y_{j}

$Y_j$

1

Kamu benar. Saya kira semacam dua sampel uji seperti Wilcoxon seperti yang disarankan oleh jbowman di atas akan sesuai. Sangat menarik bahwa bentuk Mann-Whitney dan tes menghitung jumlah Xis <the Yjs.

— Michael R. Chernick