Uji apakah dua distribusi binomial secara statistik berbeda satu sama lain

Saya memiliki tiga kelompok data, masing-masing dengan distribusi binomial (yaitu masing-masing kelompok memiliki elemen yang berhasil atau gagal). Saya tidak memiliki probabilitas keberhasilan yang diprediksi, tetapi sebaliknya hanya dapat mengandalkan tingkat keberhasilan masing-masing sebagai perkiraan untuk tingkat keberhasilan yang sebenarnya. Saya hanya menemukan pertanyaan ini , yang dekat tetapi tampaknya tidak persis berurusan dengan skenario ini.

Untuk menyederhanakan tes, anggap saja saya memiliki 2 kelompok (3 dapat diperpanjang dari kasus dasar ini).

• Uji coba Grup 1: = 2455$n_1$
• Uji coba Grup 2: = 2730$n_2$

• Keberhasilan grup 1: = 1556$k_1$
• Keberhasilan grup 2: = 1671$k_2$

Saya tidak memiliki probabilitas keberhasilan yang diharapkan, hanya yang saya tahu dari sampel. Jadi tingkat keberhasilan tersirat saya untuk kedua kelompok adalah:

• Tingkat keberhasilan Grup 1: = 1556/2455 = 63,4%$p_1$
• Tingkat keberhasilan Grup 2: = 1671/2730 = 61.2%$p_2$

Tingkat keberhasilan masing-masing sampel cukup dekat. Namun ukuran sampel saya juga cukup besar. Jika saya memeriksa CDF dari distribusi binomial untuk melihat betapa berbedanya itu dari yang pertama (di mana saya mengasumsikan yang pertama adalah tes nol) saya mendapatkan probabilitas yang sangat kecil bahwa yang kedua dapat dicapai.

Di Excel:

1-BINOM.DIST (1556.2455,61.2%, BENAR) = 0,012

Namun, ini tidak memperhitungkan perbedaan hasil pertama, hanya mengasumsikan hasil pertama adalah probabilitas pengujian.

Apakah ada cara yang lebih baik untuk menguji apakah kedua sampel data ini secara statistik berbeda satu sama lain?

Solusinya adalah google away yang sederhana: http://en.wikipedia.org/wiki/Statribution_hypothesis_testing

Jadi, Anda ingin menguji hipotesis nol berikut terhadap alternatif yang diberikan

versus H A : p 1 ≠ p $H_0:p_1=p_2$$H_A:p_1\neq p_2$

Jadi Anda hanya perlu menghitung statistik uji yang mana

di mana p = n 1 p 1 + n 2 p 2 . $\hat p=\frac{n_1\hat p_1+n_2\hat p_2}{n_1+n_2}$

Jadi sekarang, dalam masalah , p 2 = 0,612 , n 1 = 2455 dan n 2 = $\hat p_1=.634$$\hat p_2=.612$$n_1=2455$$n_2=2730.$

Setelah Anda menghitung statistik pengujian, Anda hanya perlu menghitung nilai wilayah kritis yang sesuai untuk membandingkan statistik pengujian Anda juga. Misalnya, jika Anda menguji hipotesis ini pada tingkat kepercayaan 95% maka Anda perlu membandingkan statistik pengujian Anda dengan nilai wilayah kritis (untuk tes dua sisi ini).$z_{\alpha/2}=1.96$

Sekarang, jika maka Anda dapat menolak hipotesis nol, jika tidak Anda harus gagal menolak hipotesis nol. $z>z_{\alpha/2}$

Nah solusi ini berfungsi untuk kasing saat Anda membandingkan dua grup, tetapi tidak digeneralisir ke kasing di mana Anda ingin membandingkan 3 grup.

Namun Anda dapat menggunakan tes Chi Squared untuk menguji apakah ketiga kelompok memiliki proporsi yang sama seperti yang disarankan oleh @Eric dalam komentarnya di atas: "Apakah pertanyaan ini membantu? Stats.stackexchange.com/questions/25299/ ... - Eric"

Dalam R jawabannya dihitung sebagai:

fisher.test(rbind(c(1556,2455-1556), c(1671,2730-1671)), alternative="less")

Hanya ringkasan:

Jawaban Dan dan Abaumann menyarankan pengujian di bawah model binomial di mana hipotesis nol adalah model binomial tunggal yang disatukan dengan estimasi rata-rata dari data empiris. Jawaban mereka benar dalam teori tetapi mereka membutuhkan perkiraan menggunakan distribusi normal karena distribusi statistik uji tidak persis mengikuti distribusi normal. Oleh karena itu, itu hanya benar untuk ukuran sampel yang besar.

Tetapi jawaban David menunjukkan tes nonparametrik menggunakan uji Fisher. Informasi ada di sini: https://en.wikipedia.org/wiki/Fisher%27s_exact_test Dan itu dapat diterapkan untuk ukuran sampel kecil tetapi sulit untuk menghitung untuk ukuran sampel besar.

Tes mana yang harus digunakan dan seberapa besar Anda mempercayai nilai-p Anda adalah sebuah misteri. Tetapi selalu ada bias dalam tes mana pun untuk memilih.

$Z = \frac{\hat{p_1}-\hat{p_2}}{\sqrt{\hat{p}(1-\hat{p})(1/n_1+1/n_2)}}$, where $\hat{p}=\frac{n_1\hat{p_1}+n_2\hat{p_2}}{n_1+n_2}$.

The critical regions are $Z > \Phi^{-1}(1-\alpha/2)$ and $Z<\Phi^{-1}(\alpha/2)$ for the two-tailed test with the usual adjustments for a one-tailed test.

In Python, statsmodels has a function called proportions_ztest. Here is an example of its usage:

import statsmodels.api as sm
import numpy as np
import rpy2.robjects.packages as rpackages
import rpy2.robjects as robjects
rstats = rpackages.importr('stats')

s1 = 1556
n1 = 2455

s2 = 1671
n2 = 2730

# manual calculation
p1 = s1 / n1
p2 = s2 / n2
p = (s1 + s2) / (n1 + n2)

z = (p1 - p2) / (p*(1-p)*((1/n1)+(1/n2)))**0.5

# using R in Python with rpy2
rmatrix = robjects.r.matrix(robjects.IntVector([s1, n1-s1, s2,n2-s2]), nrow=2)
fisher_test = rstats.fisher_test(rmatrix, alternative="two.sided")

zscore, pval = sm.stats.proportions_ztest([s1, s2], [n1, n2], alternative='two-sided')

print('Manual calculation of z: {:.6f}'.format(z))
print('Z-score from statsmodels: {:.6f}'.format(zscore))
print('R pvalue from fisher.test: {:.6f}'.format(fisher_test[0][0]))
print('Statsmodels pvalue: {:.6f}'.format(pval))

This prints out:

Manual calculation of z: 1.610825
Z-score from statsmodels: 1.610825
R pvalue from fisher.test: 0.108268
Statsmodels pvalue: 0.107218

Original post: Dan's answer is actually incorrect, not to offend anyone. A z-test is used only if your data follows a standard normal distribution. In this case, your data follows a binomial distribution, therefore a use a chi-squared test if your sample is large or fisher's test if your sample is small.

Edit: My mistake, apologies to @Dan. A z-test is valid here if your variables are independent. If this assumption is not met or unknown, a z-test may be invalid.