Uji statistik apa yang digunakan untuk uji A / B?

Kami memiliki dua kohort masing-masing 1000 sampel. Kami mengukur 2 jumlah pada setiap kelompok. Yang pertama adalah variabel biner. Yang kedua adalah bilangan real yang mengikuti distribusi ekor yang berat. Kami ingin menilai kohort mana yang berkinerja terbaik untuk setiap metrik. Ada banyak tes statistik yang dapat dipilih: orang menyarankan uji-z, yang lain menggunakan uji-t, dan yang lain Mann-Whitney U.

• Tes atau tes mana yang harus kita pilih untuk setiap metrik untuk kasus kita?
• Apa yang terjadi jika satu tes menunjukkan perbedaan yang signifikan antara kohort dan beberapa tes lain menunjukkan perbedaan yang tidak signifikan?

Karena kedua metrik Anda adalah 1) biner dan 2) berekor berat, Anda harus menghindari uji-t yang mengasumsikan distribusi normal.

Saya pikir Mann-Whitney U adalah pilihan terbaik Anda dan harus cukup efisien bahkan jika distribusi Anda mendekati normal.

Mengenai pertanyaan kedua Anda:

Apa yang terjadi jika satu tes menunjukkan perbedaan yang signifikan antara kohort dan beberapa tes lain menunjukkan perbedaan yang tidak signifikan?

Ini tidak jarang jika perbedaan statistik adalah garis batas dan data memiliki distribusi sampel "berantakan". Situasi ini mengharuskan analis untuk mempertimbangkan dengan hati - hati semua asumsi dan batasan dari setiap uji statistik, dan memberikan bobot terbesar pada uji statistik yang memiliki jumlah pelanggaran asumsi terendah.

Ambil asumsi distribusi Normal. Ada berbagai tes untuk normalitas, tetapi itu bukan akhir dari cerita. Beberapa tes bekerja dengan baik pada distribusi simetris bahkan jika ada beberapa penyimpangan dari normalitas, tetapi tidak bekerja dengan baik pada distribusi miring.

Sebagai aturan umum, saya sarankan Anda tidak menjalankan tes apa pun di mana salah satu asumsinya jelas-jelas dilanggar.

EDIT: Untuk variabel kedua, mungkin layak untuk mengubah variabel menjadi variabel yang terdistribusi normal (atau paling tidak dekat) selama transformasi tersebut mempertahankan pesanan. Anda harus memiliki keyakinan yang baik bahwa transformasi menghasilkan distribusi normal untuk kedua kohort. Jika Anda memasukkan variabel kedua ke distribusi log-normal, maka fungsi log mengubahnya menjadi distribusi normal. Tetapi jika distribusinya adalah Pareto (hukum kekuasaan), maka tidak ada transformasi ke distribusi normal.

EDIT: Seperti yang disarankan dalam komentar ini , Anda harus mempertimbangkan Bayesian Estimation sebagai alternatif untuk uji-t dan Pengujian Nign Hypothesis Significance (NHST) lainnya.

Untuk data bernilai nyata, Anda mungkin juga ingin mempertimbangkan membuat statistik pengujian Anda sendiri berdasarkan bootstrap data Anda. Pendekatan ini cenderung menghasilkan hasil yang akurat ketika Anda berurusan dengan distribusi populasi yang tidak normal, atau mencoba mengembangkan interval kepercayaan di sekitar parameter yang tidak memiliki solusi analitik yang nyaman. (Yang pertama benar dalam kasus Anda. Saya hanya menyebutkan yang terakhir untuk konteks.)

Untuk data nyata Anda, Anda akan melakukan hal berikut:

1. Pool dua kohort Anda.
2. Dari kolam, cicipi dua kelompok yang terdiri dari 1000 elemen, dengan penggantian.
3. Hitung selisih rata-rata sampel antara kedua kelompok.
4. Ulangi langkah 2 dan 3 beberapa ribu kali untuk mengembangkan distribusi perbedaan-perbedaan ini.

Setelah Anda mendapatkan distribusi itu, hitung selisih rata-rata untuk sampel Anda yang sebenarnya, dan hitung nilai-p.

Saya kedua @ jawaban MrMeritology. Sebenarnya saya bertanya-tanya apakah tes MWU akan kurang kuat daripada tes proporsi independen, karena buku teks yang saya pelajari dan digunakan untuk mengajar mengatakan bahwa MWU dapat diterapkan hanya untuk data ordinal (atau interval / rasio).

Tetapi hasil simulasi saya, diplot di bawah ini, menunjukkan bahwa tes MWU sebenarnya sedikit lebih kuat daripada tes proporsi, sementara mengendalikan tipe I kesalahan dengan baik (pada proporsi populasi kelompok 1 = 0,50).

Proporsi populasi kelompok 2 dijaga pada 0,50. Jumlah iterasi adalah 10.000 di setiap titik. Saya mengulangi simulasi tanpa koreksi Yate tetapi hasilnya sama.

library(reshape)

MakeBinaryData <- function(n1, n2, p1){
  y <- c(rbinom(n1, 1, p1), 
        rbinom(n2, 1, 0.5))
  g_f <- factor(c(rep("g1", n1), rep("g2", n2)))
  d <- data.frame(y, g_f)
  return(d)
}

GetPower <- function(n_iter, n1, n2, p1, alpha=0.05, type="proportion", ...){
  if(type=="proportion") {
    p_v <- replicate(n_iter, prop.test(table(MakeBinaryData(n1, n1, p1)), ...)$p.value)
  }

  if(type=="MWU") {
    p_v <- replicate(n_iter, wilcox.test(y~g_f, data=MakeBinaryData(n1, n1, p1))$p.value)
  }

  empirical_power <- sum(p_v<alpha)/n_iter
  return(empirical_power)
}

p1_v <- seq(0.5, 0.6, 0.01)
set.seed(1)
power_proptest <- sapply(p1_v, function(x) GetPower(10000, 1000, 1000, x))
power_mwu <- sapply(p1_v, function(x) GetPower(10000, 1000, 1000, x, type="MWU"))