Bagaimana uji-t signifikan secara statistik jika perbedaan rata-rata hampir 0?

10

Saya mencoba membandingkan data dari 2 populasi untuk mengetahui apakah perbedaan antara perawatan secara statistik signifikan. Set data tampaknya terdistribusi secara normal dengan sedikit perbedaan antara kedua set. Perbedaan rata-rata adalah 0,00017. Saya melakukan uji-t berpasangan, berharap bahwa saya akan gagal untuk menolak hipotesis nol tidak ada perbedaan antara rata-rata, namun, nilai-t yang saya hitung jauh lebih tinggi daripada nilai-t kritis saya.

statistical-significance t-test paired-data

— Kscicc26
sumber

Tentang saran apa yang Anda inginkan? Apa N Anda?

— gung - Reinstate Monica

hai, saya tidak begitu yakin bagaimana untuk melanjutkan, jika saya melakukan sesuatu yang salah untuk memulai dengan melihat bagaimana data tampaknya tidak berbeda sama sekali. Kedua kelompok memiliki 335 pengamatan

— Kscicc26

5

Kesalahan standar dari perbedaan dalam cara juga merupakan fungsi dari standar deviasi dan ukuran sampel. Semua bagian ini harus ada dalam pertanyaan Anda sebelum kejutan apa pun dapat didaftarkan.

— Glen_b -Reinstate Monica

7

Setiap perbedaan adalah "hampir 0"! Jika variabel hasil adalah berat yang diperoleh orang dan diukur dalam pound, maka 0,00017 memang kecil, tetapi jika diukur dalam jutaan pound maka 0,00017 sangat besar. Oleh karena itu pertanyaan ini tidak memiliki makna sampai konteks - apa yang diukur dalam respons - dan unit pengukuran disediakan.

— whuber

1

Signifikansi statistik tidak berarti "signifikansi" dalam arti signifikansi bahasa Inggris yang lebih luas.

— david25272

9

Saya tidak melihat alasan untuk percaya Anda melakukan kesalahan hanya karena tes itu signifikan, bahkan jika perbedaan rata-rata sangat kecil. Dalam uji-t berpasangan, signifikansi akan didorong oleh tiga hal:

besarnya perbedaan rata-rata
jumlah data yang Anda miliki
standar deviasi dari perbedaan

Harus diakui, perbedaan rata-rata Anda sangat, sangat kecil. Di sisi lain, Anda memiliki jumlah data yang cukup (N = 335). Faktor terakhir adalah standar deviasi perbedaan. Saya tidak tahu apa itu, tetapi karena Anda mendapatkan hasil yang signifikan, aman untuk menganggapnya cukup kecil untuk mengatasi perbedaan rata-rata kecil dengan jumlah data yang Anda miliki. Demi membangun intuisi, bayangkan bahwa perbedaan berpasangan untuk setiap pengamatan dalam penelitian Anda adalah 0,00017, maka standar deviasi dari perbedaan itu adalah 0. Tentunya, akan masuk akal untuk menyimpulkan bahwa perawatan menyebabkan pengurangan (walaupun yang kecil).

Seperti @whuber catat dalam komentar di bawah ini, perlu menunjukkan bahwa sementara 0,00017 tampak seperti jumlah qua angka yang sangat kecil, itu tidak selalu kecil dalam hal yang bermakna. Untuk mengetahuinya, kita perlu mengetahui beberapa hal, pertama apa unitnya. Jika unit sangat besar (misalnya, tahun, kilometer, dll.), Apa yang tampak kecil bisa berarti besar, sedangkan jika unitnya kecil (misalnya, detik, sentimeter, dll.), Perbedaan ini bahkan tampak lebih kecil. Kedua, bahkan perubahan kecil dapat menjadi penting: bayangkan beberapa jenis perawatan (misalnya, vaksin) yang sangat murah, mudah diberikan kepada seluruh penduduk, dan tidak memiliki efek samping. Mungkin layak dilakukan bahkan jika itu menyelamatkan hanya sedikit nyawa.

— gung - Pasang kembali Monica
sumber

terima kasih atas tanggapannya! Saya tidak terlalu berpengalaman dalam statistik, jadi saya terkejut ketika saya tidak mendapatkan jawaban yang saya harapkan. kesalahan standar dari perbedaan antara rata-rata adalah: 7.36764E-05. Saya tidak yakin apa hubungannya itu, tapi saya yakin Anda melakukannya haha. sekali lagi terima kasih atas bantuan Anda

— Kscicc26

Sama-sama, @ Kscicc26. Kesalahan standar dari perbedaan, & standar deviasi dari perbedaan bukanlah hal yang sama. (Tragisnya, mereka terdengar seperti seharusnya.) SD memberi tahu Anda seberapa banyak perbedaan Anda berbeda, sedangkan SE memberitahu Anda berapa banyak perkiraan perbedaan rata-rata akan bervariasi jika Anda menjalankan studi Anda berulang-ulang kali. Mungkin membantu Anda untuk membaca deskripsi UK saya di sini .

— gung - Reinstate Monica

saya akan memeriksanya dan kembali ke utas ini di pagi hari!

— Kscicc26

2

Perbedaan rata-rata ini tidak kecil atau besar: Anda tidak punya dasar untuk menilai ukurannya.

— whuber

@whuber, itu poin yang bagus - Saya tidak tahu apa yang dimaksud angka-angka ini. Tetapi OP agaknya berpikir bahwa itu sangat kecil. Saya akan pergi dengan informasi itu.

— gung - Reinstate Monica

9

Untuk mengetahui apakah perbedaan benar-benar besar atau kecil memerlukan beberapa ukuran skala, standar deviasi adalah salah satu ukuran skala dan merupakan bagian dari rumus uji-t untuk memperhitungkan sebagian untuk skala itu.

Pertimbangkan jika Anda membandingkan ketinggian anak berusia 5 tahun dengan ketinggian anak berusia 20 tahun (manusia, wilayah geografis yang sama, dll.). Intuisi memberi tahu kita bahwa ada perbedaan praktis di sana dan jika ketinggian diukur dalam inci atau sentimeter maka perbedaan itu akan terlihat bermakna. Tetapi bagaimana jika Anda mengubah ketinggian menjadi kilometer? atau tahun cahaya? maka perbedaannya akan menjadi angka yang sangat kecil (tetapi masih berbeda), tetapi (kecuali kesalahan pembulatan) uji-t akan memberikan hasil yang sama apakah ketinggiannya diukur dalam inci, sentimeter, atau kilometer.

Jadi perbedaan 0,00017 mungkin sangat besar tergantung pada skala pengukuran.

— Greg Snow
sumber

4

$t$ unlikely to emerge at least as large in another, similar pair of samples selected randomly from the same populations if the null hypothesis of no difference is literally true of those populations $t$ $\frac{17}{100,000}$

pop1=rep(15:20* .00001, 56);pop2=rep(0,336) #Some fake samples of sample size = 336
t.test(pop1,pop2,paired=T)                #Paired t-test with the following output...

t_{(335)} = 187.55, hal < 2.2 \times 10^{- 16}

$t_{(335)}=187.55,p<2.2\times10^{-16}$

.00001 $t$

Mungkin Anda akan lebih tertarik pada signifikansi praktis daripada dalam arti harfiah dari pengujian signifikansi nol hipotesis ini. Signifikansi praktis akan lebih tergantung pada makna data Anda dalam konteks daripada pada signifikansi statistik; ini bukan masalah statistik semata. Saya mengutip contoh yang berguna dari prinsip ini dalam menjawab pertanyaan populer di sini, Mengakomodasi pandangan yang mengakar tentang nilai-p :

$r=.03$

Ini "masalah hidup dan mati" adalah ukuran efek aspirin pada serangan jantung, pada dasarnya - contoh kuat dari perbedaan kecil numerik, jauh kurang konsisten dengan makna yang praktis penting. Banyak pertanyaan lain dengan jawaban yang solid yang dapat Anda manfaatkan dari tautan layak di sini, termasuk:

Referensi

Rosenthal, R., Rosnow, RL, & Rubin, DB (2000). Kontras dan efek ukuran dalam penelitian perilaku: Pendekatan korelasional . Cambridge University Press.

— Nick Stauner
sumber

0

Berikut ini adalah contoh dalam R yang menunjukkan konsep teoritis dalam aksi. 10.000 percobaan membalik koin 10.000 kali yang memiliki kemungkinan kepala .0001 dibandingkan dengan 10.000 percobaan membalik koin 10.000 kali yang memiliki kemungkinan kepala .00011

t.test (rbinom (10000, 10000, .0001), rbinom (10000, 10000, .00011))

t = -8.0299, df = 19886.35, p-value = 1.03e-15 hipotesis alternatif: perbedaan rata-rata dalam mean tidak sama dengan interval kepercayaan 0 95 persen: -0.14493747 -0.08806253 perkiraan sampel: rata-rata x rata-rata y 0,9898 1,1063

Perbedaan rata-rata relatif dekat dengan 0 dalam hal persepsi manusia, namun secara statistik sangat berbeda dari 0.

— Andrew Cassidy
sumber