Perbedaan antara kesalahan standar dan standar deviasi

Saya berjuang untuk memahami perbedaan antara kesalahan standar dan standar deviasi. Bagaimana mereka berbeda dan mengapa Anda perlu mengukur kesalahan standar?

Untuk melengkapi jawaban atas pertanyaan, Ocram dengan baik mengatasi kesalahan standar tetapi tidak kontras dengan standar deviasi dan tidak menyebutkan ketergantungan pada ukuran sampel. Sebagai kasus khusus untuk estimator, pertimbangkan mean sampel. Kesalahan standar untuk rata-rata adalah manaσadalah standar deviasi populasi. Jadi, dalam contoh ini kita melihat secara eksplisit bagaimana kesalahan standar berkurang dengan meningkatnya ukuran sampel. Deviasi standar paling sering digunakan untuk merujuk pada pengamatan individu. Jadi standar deviasi menggambarkan variabilitas pengamatan individu sedangkan standar kesalahan menunjukkan variabilitas estimator. Estimator yang baik konsisten, artinya mereka menyatu dengan nilai parameter yang sebenarnya. Ketika kesalahan standarnya berkurang menjadi 0 ketika ukuran sampel bertambah, penaksirnya konsisten yang dalam banyak kasus terjadi karena kesalahan standar menjadi 0 seperti yang kita lihat secara eksplisit dengan rata-rata sampel.$\sigma \, / \, \sqrt{n}$$\sigma$

Inilah jawaban yang lebih praktis (dan bukan matematis):

• SD (standar deviasi) mengkuantifikasi sebar - seberapa banyak nilainya berbeda satu sama lain.
• SEM (standard error of mean) mengukur seberapa tepatnya Anda mengetahui rata-rata populasi sebenarnya. Ini memperhitungkan nilai SD dan ukuran sampel.
• Baik SD dan SEM berada di unit yang sama - unit data.
• SEM, menurut definisi, selalu lebih kecil dari SD.
• SEM semakin kecil seiring sampel Anda semakin besar. Ini masuk akal, karena rata-rata sampel besar cenderung lebih dekat dengan rata-rata populasi sebenarnya daripada rata-rata sampel kecil. Dengan sampel besar, Anda akan tahu nilai mean dengan banyak presisi bahkan jika data sangat tersebar.
• SD tidak berubah diprediksi saat Anda memperoleh lebih banyak data. SD yang Anda hitung dari sampel adalah perkiraan SD terbaik dari keseluruhan populasi. Saat Anda mengumpulkan lebih banyak data, Anda akan menilai SD populasi dengan lebih presisi. Tetapi Anda tidak dapat memprediksi apakah SD dari sampel yang lebih besar akan lebih besar atau lebih kecil dari SD dari sampel kecil. (Ini penyederhanaan, tidak sepenuhnya benar. Lihat komentar di bawah.)

Perhatikan bahwa kesalahan standar dapat dihitung untuk hampir semua parameter yang Anda hitung dari data, bukan hanya rata-rata. Ungkapan "kesalahan standar" agak ambigu. Poin-poin di atas hanya merujuk pada kesalahan standar rata-rata.

(Dari Panduan Statistik GraphPad yang saya tulis.)

$\theta$$\mathbf{x} = \{x_1, \ldots, x_n \}$$\theta$$\hat{\theta}(\mathbf{x})$$\hat{\theta}(\mathbf{x})$$\mathbf{x}$$\tilde{\mathbf{x}}$$\hat{\theta}(\tilde{\mathbf{x}})$$\hat{\theta}(\mathbf{x})$$\hat{\theta}$$\hat{\theta}(\mathbf{x})$$\hat{\theta}$

(perhatikan bahwa saya fokus pada kesalahan standar rata-rata, yang saya yakin si penanya juga, tetapi Anda dapat menghasilkan kesalahan standar untuk setiap statistik sampel)

Kesalahan standar terkait dengan standar deviasi tetapi mereka tidak sama dan peningkatan ukuran sampel tidak membuat mereka lebih dekat. Sebaliknya, itu membuat mereka semakin jauh. Standar deviasi sampel menjadi lebih dekat dengan standar deviasi populasi karena ukuran sampel meningkat tetapi tidak kesalahan standar.

Terkadang terminologi seputar ini agak tebal untuk dilalui.

Ketika Anda mengumpulkan sampel dan menghitung standar deviasi sampel itu, seiring dengan bertambahnya ukuran sampel, perkiraan standar deviasi akan semakin akurat. Sepertinya dari pertanyaan Anda itulah yang Anda pikirkan. Tetapi juga mempertimbangkan bahwa rata-rata sampel cenderung lebih dekat dengan rata-rata populasi. Itu penting untuk memahami kesalahan standar.

Kesalahan standar adalah tentang apa yang akan terjadi jika Anda mendapatkan beberapa sampel dengan ukuran tertentu. Jika Anda mengambil sampel 10, Anda bisa mendapatkan perkiraan dari rata-rata. Kemudian Anda mengambil sampel 10 dan estimasi rata-rata baru, dan seterusnya. Deviasi standar dari rata-rata sampel tersebut adalah kesalahan standar. Mengingat bahwa Anda mengajukan pertanyaan Anda, Anda mungkin dapat melihat sekarang bahwa jika N tinggi maka kesalahan standar lebih kecil karena rata-rata sampel akan cenderung untuk menyimpang jauh dari nilai sebenarnya.

Untuk beberapa yang terdengar agak ajaib mengingat Anda telah menghitung ini dari satu sampel. Jadi, apa yang bisa Anda lakukan adalah bootstrap kesalahan standar melalui simulasi untuk menunjukkan hubungan. Dalam R akan terlihat seperti:

# the size of a sample
n <- 10
# set true mean and standard deviation values
m <- 50
s <- 100

# now generate lots and lots of samples with mean m and standard deviation s
# and get the means of those samples. Save them in y.
y <- replicate( 10000, mean( rnorm(n, m, s) ) )
# standard deviation of those means
sd(y)
# calcuation of theoretical standard error
s / sqrt(n)

Anda akan menemukan bahwa dua perintah terakhir menghasilkan angka yang sama (kurang-lebih). Anda dapat memvariasikan nilai n, m, dan s dan nilai-nilai itu akan selalu saling berdekatan.