Ini murni pertanyaan hipotetis. Pernyataan yang sangat umum adalah bahwa tidak pernah benar, itu hanya masalah ukuran sampel.$H_0$

Mari kita asumsikan bahwa sebenarnya tidak ada perbedaan terukur antara dua rata-rata ( ) yang diambil dari populasi yang berdistribusi normal (untuk dan diperkirakan ). Kami menganggap per grup dan kami menggunakan uji- . Ini berarti bahwa -value adalah menunjukkan bahwa sama sekali tidak ada perbedaan dari . Ini akan menunjukkan bahwa statistik uji adalah . Perbedaan rata-rata antar kelompok adalah . Apa yang akan menjadi batas interval kepercayaan untuk perbedaan rata-rata dalam kasus ini? Akankah mereka$\mu_1=\mu_2$$\mu=0$$\sigma$$=1$$N=16$$t$$p$$1.00000$$H_0$$0$$0$$95\%$$[0.0, 0.0]$ ?

Poin utama dalam pertanyaan saya adalah kapan kami dapat benar-benar mengatakan bahwa benar, yaitu dalam kasus ini? Atau ketika dalam kerangka kerja yang sering kita dapat benar-benar mengatakan "tidak ada perbedaan" ketika membandingkan dua cara?$H_0$$\mu_1=\mu_2$

Interval kepercayaan untuk uji-t adalah dalam bentuk , di mana dan adalah sampel rata-rata, adalah nilai kritis pada diberikan , dan adalah kesalahan standar dari perbedaan rata-rata. Jika , maka . Jadi rumusnya hanya , dan batasannya hanya { ,$\bar{x}_1 - \bar{x}_2 \pm t_{\text{crit}, \alpha}s_{\bar{x}_1 - \bar{x}_2}$$\bar{x}_1$$\bar{x}_2$$t_{\text{crit}, \alpha}$$t$$\alpha$$s_{\bar{x}_1 - \bar{x}_2}$$p=1.0$$\bar{x}_1 - \bar{x}_2 =0$$\pm t_{\text{crit}, \alpha}s_{\bar{x}_1 - \bar{x}_2}$$-t_{\text{crit}, \alpha}s_{\bar{x}_1 - \bar{x}_2}$$t_{\text{crit}, \alpha}s_{\bar{x}_1 - \bar{x}_2}$ }.

Saya tidak yakin mengapa Anda berpikir batasnya adalahNilai kritis bukan nol dan kesalahan standar perbedaan rata-rata bukan nol.$\{0,0\}.$$t$

Menjadi sangat malas, menggunakan R untuk menyelesaikan masalah secara numerik daripada melakukan perhitungan dengan tangan:

Tetapkan fungsi yang akan memberikan nilai yang terdistribusi normal dengan rata-rata (hampir!) Tepat nol dan SD persis 1:

rn2 <- function(n) {r <- rnorm(n); c(scale(r)) }

Jalankan uji-t:

t.test(rn2(16),rn2(16))

    Welch Two Sample t-test

data:  rn2(16) and rn2(16)
t = 1.7173e-17, df = 30, p-value = 1
alternative hypothesis: true difference in means is not equal to 0
95 percent confidence interval:
 -0.7220524  0.7220524
sample estimates:
   mean of x    mean of y 
6.938894e-18 8.673617e-19 

Berarti tidak persis nol karena ketidaktepatan floating-point.

Lebih langsung, CI adalah ; varians dari setiap rata-rata adalah 1/16, jadi varians yang dikumpulkan adalah 1/8.$\pm$ sqrt(1/8)*qt(0.975,df=30)

CI dapat memiliki batas apa pun, tetapi berpusat tepat di sekitar nol

Untuk uji-T dua sampel (menguji perbedaan dalam rata-rata dua populasi), nilai p tepat satu sesuai dengan kasus di mana rata-rata sampel yang diamati sama persis. (Varians sampel dapat mengambil nilai apa pun.) Untuk melihat ini, perhatikan bahwa fungsi nilai-p untuk pengujian ini adalah:$^\dagger$

Dengan demikian, pengaturan menghasilkan:$\bar{x}=\bar{y}$

Sekarang, anggaplah Anda membentuk interval kepercayaan standar (perkiraan) menggunakan perkiraan Welch-Satterwaite. Dalam hal ini, dengan asumsi bahwa (untuk memberikan nilai p yang tepat dari salah satu) memberikan interval kepercayaan:$\bar{x}=\bar{y}$

di mana derajat kebebasan ditentukan oleh perkiraan Welch-Satterwaite. Bergantung pada varian sampel yang diamati dalam masalah, interval kepercayaan dapat berupa interval hingga yang terpusat di sekitar nol. Artinya, interval kepercayaan dapat memiliki batas, asalkan dipusatkan tepat di sekitar nol.$DF$

$^\dagger$ Tentu saja, jika data yang mendasarinya benar-benar berasal dari distribusi kontinu, peristiwa ini terjadi dengan probabilitas nol, tetapi mari kita asumsikan itu terjadi.

Sulit untuk mengadakan diskusi filosofis yang meyakinkan tentang hal-hal yang memiliki kemungkinan terjadi. Jadi saya akan menunjukkan beberapa contoh yang berhubungan dengan pertanyaan Anda.

Jika Anda memiliki dua sampel independen besar dari distribusi yang sama, maka kedua sampel masih akan memiliki beberapa variabilitas, statistik t sampel 2-sampel yang dikumpulkan akan dekat, tetapi tidak tepat 0, nilai-P akan didistribusikan sebagai dan interval kepercayaan 95% akan sangat pendek dan terpusat sangat dekat$\mathsf{Unif}(0,1),$$0.$

Contoh satu dataset dan uji t seperti:

set.seed(902)
x1 = rnorm(10^5, 100, 15)  
x2 = rnorm(10^5, 100, 15)
t.test(x1, x2, var.eq=T)

        Two Sample t-test

data:  x1 and x2
t = -0.41372, df = 2e+05, p-value = 0.6791
alternative hypothesis: true difference in means is not equal to 0
95 percent confidence interval:
 -0.1591659  0.1036827
sample estimates:
mean of x mean of y 
 99.96403  99.99177 

Berikut adalah hasil ringkasan dari 10.000 situasi seperti itu. Pertama, distribusi nilai-P.

set.seed(2019)
pv = replicate(10^4, 
   t.test(rnorm(10^5,100,15),rnorm(10^5,100,15),var.eq=T)$p.val)
mean(pv)
[1] 0.5007066   # aprx 1/2
hist(pv, prob=T, col="skyblue2", main="Simulated P-values")
 curve(dunif(x), add=T, col="red", lwd=2, n=10001)

Selanjutnya statistik uji:

set.seed(2019)  # same seed as above, so same 10^4 datasets
st = replicate(10^4, 
       t.test(rnorm(10^5,100,15),rnorm(10^5,100,15),var.eq=T)$stat)
mean(st)
[1] 0.002810332  # aprx 0
hist(st, prob=T, col="skyblue2", main="Simulated P-values")
 curve(dt(x, df=2e+05), add=T, col="red", lwd=2, n=10001)

Dan seterusnya untuk lebar CI.

set.seed(2019)
w.ci = replicate(10^4, 
        diff(t.test(rnorm(10^5,100,15),
         rnorm(10^5,100,15),var.eq=T)$conf.int)) 
mean(w.ci)
[1] 0.2629603

Hampir tidak mungkin untuk mendapatkan P-value of unity yang melakukan pengujian tepat dengan data kontinu, di mana asumsi dipenuhi. Sedemikian rupa sehingga seorang ahli statistik yang bijak akan merenungkan apa yang salah dengan melihat nilai-P 1.

Misalnya, Anda dapat memberikan perangkat lunak dua sampel besar yang identik . Pemrograman akan melanjutkan seolah-olah ini adalah dua sampel independen , dan memberikan hasil yang aneh. Tetapi meskipun demikian CI tidak akan dari 0 lebar.

set.seed(902)
x1 = rnorm(10^5, 100, 15)  
x2 = x1
t.test(x1, x2, var.eq=T)

        Two Sample t-test

data:  x1 and x2
t = 0, df = 2e+05, p-value = 1
alternative hypothesis: true difference in means is not equal to 0
95 percent confidence interval: 
 -0.1316593  0.1316593
sample estimates:
mean of x mean of y 
 99.96403  99.96403 

Jawaban langsung (+1 ke Nuh) akan menjelaskan bahwa interval kepercayaan untuk perbedaan rata-rata mungkin masih panjang nol karena tergantung pada variasi yang diamati dalam sampel dengan cara yang berbeda dari nilai p.

Namun Anda mungkin masih bertanya-tanya mengapa seperti itu. Karena tidak aneh membayangkan bahwa nilai p yang tinggi juga berarti interval kepercayaan yang kecil. Lagi pula mereka berdua berhubungan dengan sesuatu yang dekat dengan konfirmasi hipotesis nol. Jadi mengapa pemikiran ini tidak benar?

Nilai p tinggi tidak sama dengan interval kepercayaan kecil.

• Nilai-p adalah indikator seberapa ekstrim pengamatan tertentu (ekstrim diberi beberapa hipotesis) dengan menyatakan seberapa besar kemungkinannya untuk mengamati penyimpangan yang diberikan. Ini adalah ekspresi dari ukuran efek yang diamati dalam kaitannya dengan keakuratan percobaan (ukuran efek yang diamati besar mungkin tidak berarti banyak ketika percobaan sedemikian 'tidak akurat' sehingga pengamatan ini tidak ekstrem dari sudut pandang statistik / probabilistik pandang ). Ketika Anda mengamati p-nilai 1 maka ini (hanya) berarti bahwa Anda mengamati nol efek karena probabilitas untuk mengamati seperti nol hasil atau lebih besar sama dengan 1 (tapi ini tidak sama dengan yang ada adalah nol efek).

  Sidenote: Mengapa nilai-p? Nilai-p mengungkapkan ukuran efek yang diamati aktual dalam kaitannya dengan ukuran efek yang diharapkan (probabilitas). Ini relevan karena percobaan mungkin, dengan desain, menghasilkan pengamatan dari beberapa ukuran efek yang relevan dengan kebetulan murni karena fluktuasi umum dalam data / pengamatan. Meminta observasi / eksperimen memiliki nilai p rendah berarti eksperimen memiliki presisi tinggi - yaitu: ukuran efek yang diamati lebih jarang / kemungkinan terjadi karena kebetulan / fluktuasi (dan mungkin juga karena efek sebenarnya) .

  Sidenote: untuk variabel kontinu nilai p ini sama dengan 1 terjadi hampir tidak pernah karena ini adalah peristiwa yang memiliki ukuran nol (Misalnya untuk variabel terdistribusi normal Anda memiliki ). Tetapi untuk variabel diskrit atau variabel kontinu diskrit dapat menjadi kasus (setidaknya probabilitas adalah nol).$X\sim N (0,1)$$\mathbb {P}(X=0)=0$

• Interval kepercayaan mungkin dilihat sebagai rentang nilai yang   akan berhasil dilakukan uji hipotesis tingkat (untuk nilai-p di atas ).$\alpha$$\alpha$

  Anda harus mencatat bahwa nilai-p tinggi bukan (necis) bukti / dukungan / apa pun untuk hipotesis nol. Nilai p yang tinggi hanya berarti bahwa pengamatan tidak luar biasa / ekstrim untuk hipotesis nol yang diberikan, tetapi ini mungkin juga menjadi kasus untuk hipotesis alternatif (yaitu hasilnya sesuai dengan kedua hipotesis, ya / tidak efek). Ini biasanya terjadi ketika data tidak membawa banyak informasi (mis. Noise tinggi atau sampel kecil).

Contoh: Bayangkan Anda memiliki sekantong koin yang Anda miliki koin yang adil dan tidak adil dan Anda ingin mengklasifikasikan koin tertentu dengan membalik 20 kali. (katakanlah koin adalah variabel bernoulli dengan untuk koin adil dan untuk koin tidak adil. Dalam hal ini, ketika Anda mengamati 10 kepala dan 10 ekor, maka Anda mungkin mengatakan p- nilainya sama dengan 1, tapi saya kira jelas bahwa koin yang tidak adil mungkin juga menciptakan hasil ini dan kita tidak boleh mengesampingkan kemungkinan bahwa koin itu tidak adil.$p \approx 0.5$$p \sim U (0,1)$

Poin utama dalam pertanyaan saya adalah kapan kami dapat benar-benar mengatakan bahwa benar, yaitu dalam kasus ini?$H_0$$\mu_1=\mu_2$

Tidak, karena "tidak adanya bukti bukanlah bukti ketidakhadiran." Probabilitas dapat dianggap sebagai perpanjangan logika , dengan ketidakpastian tambahan, jadi bayangkan sejenak bahwa alih-alih bilangan real pada interval satuan, tes hipotesis hanya akan mengembalikan nilai biner: 0 (salah) atau 1 (benar). Dalam kasus tersebut, aturan dasar logika berlaku, seperti dalam contoh berikut :

• Jika hujan di luar, maka kemungkinan tanahnya basah.
• Tanahnya basah.
• Karena itu, hujan turun di luar.

Tanahnya bisa basah karena hujan. Atau bisa juga karena alat penyiram, seseorang membersihkan talang air, saluran air pecah, dll. Contoh lebih ekstrem dapat ditemukan di tautan di atas.

Tentang interval kepercayaan, jika sampel Anda besar, dan , maka interval kepercayaan untuk perbedaan akan menjadi sangat sempit, tetapi tidak nol. Seperti yang diperhatikan oleh orang lain, Anda bisa mengamati hal-hal seperti yang tepat dan nol, tetapi lebih karena keterbatasan presisi floating-point.$\mu_1 - \mu_2 \to 0$

Bahkan jika Anda mengamati dan interval kepercayaan , Anda masih perlu diingat bahwa tes hanya memberi Anda jawaban perkiraan. Saat melakukan pengujian hipotesis, kami tidak hanya membuat asumsi bahwa benar, tetapi juga membuat sejumlah asumsi lain, seperti bahwa sampel independen dan berasal dari distribusi normal, yang tidak pernah menjadi kasus untuk data dunia nyata. Tes memberi Anda jawaban perkiraan , untuk pertanyaan yang salah, sehingga tidak bisa "membuktikan" hipotesis, itu hanya bisa mengatakan "di bawah asumsi yang tidak masuk akal, ini tidak mungkin" .$p = 1$$\pm 0$$H_0$

Tidak ada yang menghentikan Anda dari menggunakan rumus t atau Gauss standar untuk menghitung interval kepercayaan - semua informasi yang diperlukan diberikan dalam pertanyaan Anda. p = 1 tidak berarti ada yang salah dengan itu. Perhatikan bahwa p = 1 tidak berarti Anda dapat yakin bahwa H0 benar. Variasi acak masih ada dan jika u0 = u1 dapat terjadi di bawah H0, itu juga dapat terjadi jika nilai sebenarnya u0 sedikit berbeda dari u1 yang benar, sehingga akan ada lebih banyak dalam interval kepercayaan daripada sekadar kesetaraan.

Pernyataan yang sangat umum adalah bahwa H0 tidak pernah benar, itu hanya masalah ukuran sampel.

Tidak di antara orang yang tahu apa yang mereka bicarakan, dan berbicara dengan tepat. Pengujian hipotesis tradisional tidak pernah menyimpulkan bahwa nol itu benar, tapi apakah nol adalah benar atau tidak terpisah dari apakah nol tersebut disimpulkan untuk menjadi kenyataan.

Ini berarti p-value adalah 1,00000

Untuk tes dua sisi, ya.

menunjukkan bahwa sama sekali tidak ada perbedaan dari H0.

$H_0$ adalah pernyataan tentang distribusi. Mode distribusi yang diberikan dalam adalah , jadi tidak ada perbedaan antara pengamatan dan mode distribusi, tetapi tidak cukup benar untuk mengatakan tidak ada perbedaan dari . Tidak ada hasil individu akan menjadi perbedaan, karena nilai apa pun bisa berasal dari distribusi. Setiap nilai-p kemungkinan sama. Mendapatkan nilai p tepat 0,01 sama seperti mendapatkan nilai p tepat 1 (terlepas dari masalah diskritisasi). Jika Anda memiliki banyak sampel independen, dan distribusinya tidak sesuai dengan$H_0$$0$$H_0$H 0$H_0$ memprediksi, itu akan jauh lebih sah disebut "perbedaan" daripada hanya akan melihat sampel tunggal yang rata-rata tidak cocok dengan mode.

Apa yang akan menjadi batas interval kepercayaan 95% untuk perbedaan rata-rata dalam kasus ini?

Untuk perkiraan pertama, batas interval kepercayaan 95% adalah sekitar dua kali standar deviasi yang berlaku. Tidak ada diskontinuitas di nol. Jika Anda menemukan fungsi yang menemukan interval kepercayaan 95% untuk perbedaan dalam , Anda bisa menggunakan untuk menemukan interval kepercayaan untuk perbedaan rata-rata nol.$f(\epsilon)$$\epsilon$$\lim_{\epsilon \rightarrow 0}f(\epsilon)$

Poin utama dalam pertanyaan saya adalah kapan kita dapat benar-benar mengatakan bahwa H0 benar, yaitu μ1 = μ2 dalam kasus ini?

Kita dapat mengatakan apa pun yang kita inginkan. Namun, mengatakan bahwa tes menunjukkan nol menjadi benar tidak konsisten dengan pengujian hipotesis tradisional, terlepas dari hasilnya. Dan melakukannya tidak beralasan dari sudut pandang pembuktian. Hipotesis alternatif, bahwa rerata tidak sama, mencakup semua kemungkinan perbedaan rerata. Hipotesis alternatif adalah "Perbedaan dalam mean adalah , atau , atau , atau , atau$1$$2$$3$$.5$$.1$, ... "Kita dapat menempatkan perbedaan kecil yang sewenang-wenang dalam rata-rata, dan itu akan konsisten dengan hipotesis alternatif. Dan dengan perbedaan kecil yang sewenang-wenang, probabilitas yang diberikan rata-rata mendekati arbitrase dengan probabilitas yang diberikan nol. Juga, hipotesis alternatif mencakup tidak hanya kemungkinan bahwa parameter distribusi, seperti rata-rata, berbeda, tetapi bahwa ada distribusi yang sama sekali berbeda. Misalnya, hipotesis alternatif mencakup "Dua sampel akan selalu memiliki perbedaan dalam cara bahwa ini adalah tepat 1 atau tepat 0, dengan probabilitas .5 untuk setiap ". Hasilnya lebih konsisten dengan itu maka mereka dengan nol.