Uji perbedaan signifikan dalam rasio variabel acak yang berdistribusi normal

9

Terkait dengan Menganalisa rasio variabel dan Cara parameterisasi rasio dua variabel terdistribusi normal, atau kebalikan dari satu? .

Misalkan saya memiliki sejumlah sampel dari empat distribusi acak kontinu yang berbeda, yang semuanya dapat kita anggap normal. Dalam kasus saya, ini terkait dengan beberapa metrik kinerja dua sistem file yang berbeda (katakanlah, ext4 dan XFS), baik dengan dan tanpa enkripsi. Metriknya mungkin, misalnya, jumlah file yang dibuat per detik, atau latensi rata-rata untuk beberapa operasi file. Kita dapat mengasumsikan bahwa semua sampel yang diambil dari distribusi ini akan selalu benar-benar positif. Sebut distribusi ini mana dan . $\textrm{Perf}_{fstype,encryption}$ $fstype \in \{xfs,ext4\}$ $encryption \in \{crypto,nocrypto\}$

Sekarang, hipotesis saya adalah enkripsi memperlambat salah satu sistem file dengan faktor yang lebih besar dari yang lain. Apakah ada beberapa tes sederhana untuk hipotesis ? $\frac{E[\textrm{Perf}_{xfs,crypto}]}{E[\textrm{Perf}_{xfs,nocrypto}]} < \frac{E[\textrm{Perf}_{ext4,crypto}]}{E[\textrm{Perf}_{ext4,nocrypto}]}$

distributions hypothesis-testing statistical-significance

— Sami Liedes
sumber

Beberapa teks tampaknya telah dihapus dari tengah pertanyaan ini. Apakah Anda pikir Anda dapat memulihkannya?

— whuber

Saya pikir "Jadi," ditinggalkan di sana karena kesalahan, setidaknya saya tidak bisa memikirkan apa yang ingin saya tambahkan ke sana. Mungkin itu adalah sesuatu yang akhirnya saya pindah ke paragraf kedua.

— Sami Liedes

Anda bisa memasukkan model linear umum untuk distribusi normal dengan fungsi tautan log.

— onestop

1

"Jumlah file" dan "latensi rata-rata" tidak dapat didistribusikan secara normal (tidak ada yang dapat negatif untuk memulai). Keduanya cenderung condong ke kanan. Jumlah file adalah jumlah diskrit.

— Glen_b -Reinstate Monica

12

Salah satu alternatif jawaban StasK adalah menggunakan tes permutasi. Langkah pertama adalah menentukan statistik uji , mungkin: $T$

$T = \frac{\widehat{Perf}_{ext4,crypto}}{\widehat{Perf}_{ext4,nocrypto}} - \frac{\widehat{Perf}_{xfs,crypto}}{\widehat{Perf}_{xfs,nocrypto}}$

di mana adalah, mungkin, rata-rata sampel dari pengamatan , dll. (Ini sesuai dengan definisi hipotesis Anda sebagai rasio dari ekspektasi daripada kemungkinan alternatif dari ekspektasi rasio - alternatif mana yang mungkin Anda inginkan.) Langkah kedua adalah mengubah secara acak label dalam data berkali-kali, katakanlah, , dan hitung untuk setiap permutasi. Langkah terakhir adalah membandingkan asli Anda dengan diamati ; p-value permutasi-diperkirakan akan menjadi sebagian kecil dari . $\widehat{Perf}_{ext4,crypto}$ $\text{Perf}_{ext4,crypto}$ $ext4, \space xfs$ $i=1, \dots, 10000$ $T_i$ $T$ $T_i$ $T_i \leq T$

Tes permutasi membebaskan Anda dari ketergantungan pada asimptotik, tetapi tentu saja tergantung pada ukuran sampel Anda (dan data juga, tentu saja), metode delta, yang saya gunakan sesekali juga, dapat bekerja dengan baik.

— Jbowman
sumber

Itu saran yang bagus juga!

— Tugas

Perhatikan bahwa rasio dua variabel normal terpusat adalah variabel Cauchy.

— Xi'an

1

@ Xi'an: Jelas kita bisa menganggap mereka independen di sini? Seperti yang Anda tahu, itu akan diperlukan untuk hasil ini untuk bertahan (dan memiliki kesempatan untuk menjadi berguna).

— kardinal

@ cardinal: ya, tentu saja, mereka harus mandiri!

— Xi'an

1

Sebagai titik teknis yang sangat sombong - permutasi bekerja sedikit lebih baik ketika statistik pengujian Anda sangat penting / tidak melibatkan parameter yang tidak diketahui / stabil-varians ... setidaknya di bawah nol. Dengan proporsi, Anda dapat melakukan transformasi arc sin. Dengan kuantitas kontinu yang benar-benar positif, saya mungkin akan mulai dengan log. Tapi ini benar-benar lezat.

— Tugas

4

Anda dapat menghitung kesalahan standar (asimptotik) dari rasio menggunakan metode delta . Jika Anda memiliki dua variabel acak dan sehingga dalam distribusi (yang akan terjadi jika Anda memiliki data independen, tetapi juga berlaku pada kasus yang lebih umum dari data yang dikelompokkan ketika Anda menjalankan tes pada mesin yang berbeda), maka untuk rasio dengan analog populasi , kami memiliki $X$ $Y$

\sqrt{n} (\begin{matrix} \bar{X} - μ_{X} \\ \bar{Y} - μ_{Y} \end{matrix}) \to N ((\begin{matrix} 0 \\ 0 \end{matrix}), (\begin{array}{cc} σ_{X X} & σ_{X Y} \\ σ_{X Y} & σ_{Y Y} \end{array}))

$\sqrt{n}\left(\begin{array}{c} \bar X-\mu_X \\ \bar Y-\mu_Y\end{array}\right) \rightarrow N\left( \left( \begin{array}{c} 0 \\ 0 \end{array}\right), \left( \begin{array}{cc} \sigma_{XX} & \sigma_{XY} \\ \sigma_{XY} & \sigma_{YY} \end{array} \right) \right)$

r = \bar{Y} / \bar{X}

$r=\bar Y/\bar X$

r_{o} = μ_{Y} / μ_{X}

$r_o = \mu_Y/\mu_X$

\sqrt{n} (r - r_{0}) \to N (0, \frac{μ_{Y}^{2}}{μ_{X}^{4}} σ_{X X} - 2 \frac{μ_{Y}}{μ_{X}^{3}} σ_{X Y} + \frac{1}{μ_{X}^{2}} σ_{Y Y})

$\sqrt{n}(r-r_0) \to N(0,\frac{\mu_Y^2}{\mu_X^4}\sigma_{XX} - 2\frac{\mu_Y}{\mu_X^3}\sigma_{XY} + \frac1{\mu_X^2}\sigma_{YY})$ Jika dan independen, karena mungkin masuk akal untuk mengasumsikan dalam kasus Anda, maka ungkapan ini agak disederhanakan dengan menjatuhkan , jadi kita dapatkan bahwa koefisien kuadrat variasi meringkas: Ia memiliki keuntungan tambahan bahwa ukuran sampel mungkin berbeda. Selain itu, jika RHS dan LHS Anda independen, Anda dapat membentuk statistik untuk

X

$X$

Y

$Y$

σ_{X Y}

$\sigma_{XY}$

{C V}^{2} [r] = {C V}^{2} [\bar{X}] + {C V}^{2} [\bar{Y}]

${\rm CV}^2[r] = {\rm CV}^2[\bar X] + {\rm CV}^2[\bar Y]$

z

$z$

H_{0} :

$H_0:$ tidak ada perbedaan dengan mengambil perbedaan rasio dan membaginya dengan kesalahan standar yang sesuai yang diperoleh dari CV ini.

Saya harap Anda dapat mengambilnya dari sana dan melakukan sisa perhitungan amplop untuk mendapatkan formula akhir.

Perhatikan bahwa hasilnya asimtotik, dan rasio adalah penaksir bias dalam sampel kecil. Bias memiliki orde , dan menghilang secara asimptotik bila dibandingkan dengan variabilitas sampel yang merupakan orde . $r$ $r_0$ $O(1/n)$ $O(1/\sqrt{n})$

— Tugas
sumber

Terima kasih atas jawaban yang luar biasa dan mencerahkan! Saya pikir saya akan memilih tes permutasi jbowban untuk studi saya karena saya pikir saya memahaminya dan keterbatasannya lebih baik, tetapi metode delta jelas terlihat seperti sesuatu yang perlu saya pelajari dan cari tahu.

— Sami Liedes

@stask, bisakah ini dilakukan di sini? stats.stackexchange.com/questions/398436/...

— Xavier Bourret Sicotte

Xavier, saya pikir @ usεr11852 memberikan jawaban yang bagus. Saya tidak akan repot menambahkan itu.

— Tugas

@StasK - dalam kondisi apa kondisi yang Anda nyatakan dalam jawaban Anda valid? Apakah konvergensi statistik rasio dijamin oleh asumsi sebelumnya dan metode Delta?

— Xavier Bourret Sicotte

Ini asimptotik ... tidak ada yang dijamin, dan batas kesalahan sulit untuk didapatkan. Semua metode delta (atau hasil konvergensi lemah lainnya) katakan adalah bahwa ketika Anda meningkatkan ukuran sampel, perbedaan antara distribusi sampel hingga aktual dari distribusi asimptotik akan semakin kecil. Itu mungkin berarti bahwa ketika Anda meningkatkan ukuran sampel dari 1000 menjadi 10.000, perbedaan vertikal antara cdf akan turun dari 0,2 menjadi 0,1, dan yang terakhir masih tidak dapat diterima untuk tujuan praktis. Atau itu mungkin berarti bahwa selisihnya dari 0,01 menjadi 0,001.

— Tugas

0

Rasio varian Normal didistribusikan Cauchy. Mengetahui hal itu, Anda cukup melakukan Uji Faktor Bayes.

Ini adalah ide yang agak spontan. Saya sekarang tidak yakin dengan mekanisme penghasil data. Apakah Anda menginstal sistem file yang berbeda pada PC yang sama dan kemudian melakukan benchmark untuk kedua kasus tersebut, sehingga kami dapat mengasumsikan struktur data hierarkis?

Juga saya tidak yakin mencari rasio sebenarnya masuk akal.

Dan kemudian Anda menulis rasio dari nilai yang diharapkan, sedangkan saya memikirkan nilai yang diharapkan dari rasio. Saya kira saya perlu informasi lebih lanjut tentang pembuatan data sebelum melanjutkan.

— joint_p
sumber

1

Rasio normals hanya Cauchy jika (a) mereka independen dan (b) memiliki varian yang sama.

— kardinal

Xi'an punya pemikiran yang sama kurasa ...

— joint_p

1

Tidak jelas (bagi saya, setidaknya) bahwa ada struktur independensi seperti itu atau bahwa mereka akan memiliki rata-rata nol. Mungkin, jika Anda dapat memperluas jawaban Anda, itu akan membantu memperjelas pendekatan yang Anda sarankan. :)

— kardinal

1

@ cardinal - Saya pikir itu adalah rasio normals independen dengan nol rata - rata adalah cauchy dengan nol median dan parameter skala sama dengan rasio standar deviasi normal. Jika mereka memiliki nilai nol maka itu tidak cauchy.

— probabilityislogic

@prob: (+1) Anda benar! Terima kasih sudah menangkapnya. Saya menjatuhkan "standar" dan "rata-rata nol" dalam komentar pertama saya (yang terakhir berhasil membuatnya menjadi yang kedua).

— kardinal

0

Dalam kasus di mana Anda tidak dapat melakukan permutasi, misalnya ketika ukuran sampel menciptakan jutaan kemungkinan, solusi lain adalah pemasangan ulang Monte Carlo.

Hipotesis nol adalah bahwa tidak ada perbedaan dalam kecepatan antara dan , untuk dan . Oleh karena itu, rasio rata-rata dari semua sampel tidak berbeda dari rasio . $ext4$ $xfs$ $nocrypto$ $crypto$ $\frac{ext4}{xfs}$ $nocrypto$ $crypto$

$H_{0}:T_{observed}=\frac{\sum x_{nocrypto} }{n_{nocrypto}}-\frac{\sum x_{crypto} }{n_{crypto}}=0$

di mana $x=\frac{ext4}{xfs}$

dan $n=sample\, size$

Jika benar, memilih hasil secara acak untuk rasio atau juga akan menghasilkan . Satu akan menghitung: $H_{0}$ $nocrypto$ $crypto$ $T_{observed}=0$

$T_{resampling}=\frac{x_{1}^{random}{+ x}_{n}^{random}}{n_{nocrypto}}-\frac{x_{1}^{random}{+ x}_{n}^{random}}{n_{crypto}}$

dan melakukan, katakanlah, 10.000 putaran resampling. Distribusi nilai dihasilkan adalah interval kepercayaan untuk . Perbedaan antara dan ratio signifikan jika nilai dihitung berada di luar kisaran, misalnya, 95% dari nilai . $T_{resampling}$ $H_{0}$ $nocrypto$ $crypto$ $T_{observed}$ $(p < 0.05)$ $T_{resampling}$

— pengguna1979481
sumber