Menunjukkan bahwa 100 pengukuran untuk 5 subjek memberikan informasi yang jauh lebih sedikit daripada 5 pengukuran untuk 100 subjek

Di sebuah konferensi saya mendengar pernyataan berikut:

100 pengukuran untuk 5 subjek memberikan informasi yang jauh lebih sedikit daripada 5 pengukuran untuk 100 subjek.

Ini agak jelas bahwa ini benar, tetapi saya bertanya-tanya bagaimana orang dapat membuktikannya secara matematis ... Saya pikir model campuran linear dapat digunakan. Namun, saya tidak tahu banyak tentang matematika yang digunakan untuk memperkirakannya (saya hanya menjalankan lmer4untuk LMM dan bmrsuntuk GLMM :) Bisakah Anda tunjukkan contoh di mana ini benar? Saya lebih suka jawaban dengan beberapa rumus, daripada hanya beberapa kode dalam R. Jangan ragu untuk mengasumsikan pengaturan sederhana, seperti misalnya model campuran linier dengan penyadapan dan lereng acak yang terdistribusi normal.

PS jawaban berbasis matematika yang tidak melibatkan LMM akan baik-baik saja. Saya memikirkan LMM karena menurut saya alat alami untuk menjelaskan mengapa lebih sedikit pengukuran dari lebih banyak subjek lebih baik daripada lebih banyak pengukuran dari beberapa subjek, tetapi saya mungkin salah.

— DeltaIV
sumber

+1. Saya kira pengaturan paling sederhana adalah mempertimbangkan tugas memperkirakan populasi rata-rata mana setiap subjek memiliki rata rata mereka sendiri dan setiap pengukuran subjek ini didistribusikan sebagai . Jika kita mengambil pengukuran dari masing-masing mata pelajaran, maka apa cara optimal untuk set dan diberikan produk konstan .

μ

$\mu$

a \sim N (μ, σ_{a}^{2})

$a \sim \mathcal N(\mu, \sigma_a^2)$

x \sim N (a, σ^{2})

$x \sim \mathcal N(a, \sigma^2)$

n

$n$

m

$m$

n

$n$

m

$m$

n m = N

$nm=N$

— Amuba kata Reinstate Monica

"Optimal" dalam arti meminimalkan varians rata-rata sampel dari titik data diperoleh.

N

$N$

— Amoeba berkata Reinstate Monica

Iya nih. Tetapi untuk pertanyaan Anda, kami tidak perlu peduli bagaimana memperkirakan varians; pertanyaan Anda (yaitu kutipan dalam pertanyaan Anda) adalah saya percaya hanya tentang memperkirakan rata-rata global dan tampak jelas bahwa penaksir terbaik diberikan oleh rata-rata besar dari semua poin dalam sampel. Pertanyaannya kemudian adalah: diberikan , , , dan , apa varian dari

? Jika kita tahu bahwa, kita akan mampu untuk menguranginya sehubungan dengan

diberi

kendala.

μ

$\mu$

\bar{x}

$\bar x$

N = n m

$N=nm$

μ

$\mu$

σ^{2}

$\sigma^2$

σ_{a}^{2}

$\sigma^2_a$

n

$n$

m

$m$

\bar{x}

$\bar x$

n

$n$

n m = N

$nm=N$

— Amoeba berkata Reinstate Monica

Saya tidak tahu bagaimana menurunkan semua itu, tetapi saya setuju bahwa itu tampak jelas: untuk memperkirakan varians kesalahan, yang terbaik adalah memiliki semua pengukuran

dari satu subjek tunggal; dan untuk memperkirakan varians subjek, (mungkin?) yang terbaik adalah memiliki

subjek yang berbeda dengan masing-masing 1 pengukuran. Tidak begitu jelas tentang mean, tetapi intuisi saya mengatakan bahwa memiliki subjek

dengan 1 pengukuran masing-masing akan lebih baik juga. Saya ingin tahu apakah itu benar ...

N

$N$

N

$N$

N

$N$

— amoeba berkata Reinstate Monica

Mungkin sesuatu seperti itu: Varian sampel berarti per subjek harus

, di mana istilah pertama adalah varians subjek dan yang kedua adalah varians estimasi estimasi rata-rata setiap subjek. Maka varians dari over-subyek berarti (yaitu grand mean) akan menjadi

σ_{a}^{2} + σ^{2} / n

$\sigma^2_a + \sigma^2/n$

yang diperkecil ketika

(σ_{Sebuah}^{2} + σ^{2} / n) / m = σ_{Sebuah}^{2} / m + σ^{2} / (n m) = σ_{Sebuah}^{2} / m + σ^{2} / N = σ_{Sebuah}^{2} / m + c Hai n s t,

$(\sigma^2_a + \sigma^2/n)/m = \sigma^2_a/m + \sigma^2/(nm) = \sigma^2_a/m + \sigma^2/N = \sigma^2_a/m + \mathrm{const},$

m = N

$m=N$

— Amoeba berkata Reinstate Monica

Jawaban singkatnya adalah dugaan Anda benar ketika dan hanya ketika ada korelasi intra kelas yang positif dalam data . Secara empiris, sebagian besar kumpulan data cluster menunjukkan korelasi intra kelas yang positif, yang berarti bahwa dalam praktiknya dugaan Anda biasanya benar. Tetapi jika korelasi intra-kelas adalah 0, maka dua kasus yang Anda sebutkan sama-sama informatif. Dan jika korelasi intra-kelas negatif , maka sebenarnya kurang informatif untuk mengambil lebih sedikit pengukuran pada lebih banyak subjek; kami benar-benar lebih suka (sejauh mengurangi varian estimasi parameter yang bersangkutan) untuk mengambil semua pengukuran kami pada satu subjek.

Secara statistik ada dua perspektif dari mana kita dapat berpikir tentang hal ini: a random-efek (atau campuran ) Model yang Anda sebutkan dalam pertanyaan Anda, atau model yang marginal , yang akhirnya menjadi sedikit lebih informatif di sini.

Model efek-acak (campuran)

Katakanlah kita memiliki satu set subjek yang masing-masing telah kita ukur . Kemudian model efek-acak sederhana dari $n$ $m$ $j$ pengukuran dari subjek ke- mungkin mana adalah intersep tetap, adalah efek subjek acak (dengan varian ), adalah istilah tingkat kesalahan observasi (dengan varian $i$

y_{saya j} = β + {kamu}_{saya} + e_{saya j},

$y_{ij} = \beta + u_i + e_{ij},$

β

$\beta$

u_{i}

$u_i$

σ_{u}^{2}

$\sigma^2_u$

e_{i j}

$e_{ij}$

σ_{e}^{2}

$\sigma^2_e$ ), dan dua istilah acak terakhir bersifat independen.

Dalam model ini mewakili mean populasi, dan dengan dataset yang seimbang (yaitu, jumlah pengukuran yang sama dari masing-masing subjek), estimasi terbaik kami hanyalah mean sampel. Jadi jika kita mengambil "lebih banyak informasi" berarti varians yang lebih kecil untuk perkiraan ini, maka pada dasarnya kita ingin tahu bagaimana varians mean sampel tergantung pada dan . Dengan sedikit aljabar kita bisa $\beta$ $n$ $m$ Meneliti ungkapan ini, kita dapat melihat bahwasetiap kali ada varians subjek(yaitu,), meningkatkan jumlah subjek () akan membuat kedua istilah ini lebih kecil, sekaligus meningkatkan jumlah pengukuran per subjek () hanya akan membuat periode kedua lebih kecil. (Untuk implikasi praktis dari ini untuk merancang proyek replikasi multi-situs, lihatposting blog ini yang saya tulis beberapa waktu lalu.)

\begin{aligned} var (\frac{1}{n m} \sum_{saya} \sum_{j} y_{saya j}) & = var (\frac{1}{n m} \sum_{saya} \sum_{j} β + {kamu}_{saya} + e_{saya j}) \\ = \frac{1}{n^{2} m^{2}} var (\sum_{saya} \sum_{j} {kamu}_{saya} + \sum_{saya} \sum_{j} e_{saya j}) \\ = \frac{1}{n^{2} m^{2}} (m^{2} \sum_{saya} var ({kamu}_{saya}) + \sum_{saya} \sum_{j} var (e_{saya j})) \\ = \frac{1}{n^{2} m^{2}} (n m^{2} σ_{kamu}^{2} + n m σ_{e}^{2}) \\ = \frac{σ_{kamu}^{2}}{n} + \frac{σ_{e}^{2}}{n m} . \end{aligned}

$\begin{aligned} \text{var}(\frac{1}{nm}\sum_i\sum_jy_{ij}) &= \text{var}(\frac{1}{nm}\sum_i\sum_j\beta + u_i + e_{ij}) \\ &= \frac{1}{n^2m^2}\text{var}(\sum_i\sum_ju_i + \sum_i\sum_je_{ij}) \\ &= \frac{1}{n^2m^2}\Big(m^2\sum_i\text{var}(u_i) + \sum_i\sum_j\text{var}(e_{ij})\Big) \\ &= \frac{1}{n^2m^2}(nm^2\sigma^2_u + nm\sigma^2_e) \\ &= \frac{\sigma^2_u}{n} + \frac{\sigma^2_e}{nm}. \end{aligned}$

σ_{u}^{2} > 0

$\sigma^2_u>0$

n

$n$

m

$m$

Sekarang Anda ingin tahu apa yang terjadi ketika kita menambah atau mengurangi atau sambil mempertahankan jumlah pengamatan secara konstan. Jadi untuk itu kita anggap sebagai konstanta, sehingga seluruh ekspresi varian hanya tampak seperti $m$ $n$ $nm$ yang sekecil mungkin ketikaadalah sebesar mungkin (hingga maksimum, dalam hal ini, artinya kita mengambil satu pengukuran tunggal dari setiap subjek).

\frac{σ_{kamu}^{2}}{n} + konstan,

$\frac{\sigma^2_u}{n} + \text{constant},$

n

$n$

n = n m

$n=nm$

m = 1

$m=1$

Jawaban singkat saya merujuk pada korelasi intra-kelas, jadi di mana itu cocok? Dalam model efek-acak sederhana ini korelasi intra-kelas adalah (sketsa derivasi disini). Jadi kita dapat menulis persamaan varians di atas sebagai

ρ = \frac{σ_{kamu}^{2}}{σ_{kamu}^{2} + σ_{e}^{2}}

$\rho = \frac{\sigma^2_u}{\sigma^2_u + \sigma^2_e}$

ini tidak benar-benar menambah wawasan apapun untuk apa yang sudah kita lihat di atas, tapi itu tidak membuat kita bertanya-tanya: sejak korelasi intra-kelas adalah koefisien korelasi bonafide, dan koefisien korelasi bisa negatif, apa yang akan terjadi (dan apa artinya) jika korelasi intra-kelas negatif?

var (\frac{1}{n m} \sum_{saya} \sum_{j} y_{saya j}) = \frac{σ_{kamu}^{2}}{n} + \frac{σ_{e}^{2}}{n m} = (\frac{ρ}{n} + \frac{1 - ρ}{n m}) (σ_{kamu}^{2} + σ_{e}^{2})

$\text{var}(\frac{1}{nm}\sum_i\sum_jy_{ij}) = \frac{\sigma^2_u}{n} + \frac{\sigma^2_e}{nm} = \Big(\frac{\rho}{n} + \frac{1-\rho}{nm}\Big)(\sigma^2_u+\sigma^2_e)$

$\sigma^2_u$ $\rho$

Model marjinal

$y_{ij}$

y_{saya j} = β + e_{saya j}^{*},

$y_{ij} = \beta + e^*_{ij},$

u_{i}

$u_i$

e_{i j}

$e_{ij}$

e_{i j}^{*} = u_{i} + e_{i j}

$e^*_{ij} = u_i + e_{ij}$

u_{i}

$u_i$

e_{i j}

$e_{ij}$

e_{i j}^{*}

$e^*_{ij}$

C

$\textbf{C}$

C = σ^{2} [\begin{matrix} R & 0 & \dots & 0 \\ 0 & R & \dots & 0 \\ ⋮ & ⋮ & ⋱ & ⋮ \\ 0 & 0 & \dots & R \end{matrix}], R = [\begin{matrix} 1 & ρ & \dots & ρ \\ ρ & 1 & \dots & ρ \\ ⋮ & ⋮ & ⋱ & ⋮ \\ ρ & ρ & \dots & 1 \end{matrix}]

$\textbf{C}= \sigma^2\begin{bmatrix} \textbf{R} & 0& \cdots & 0\\ 0& \textbf{R} & \cdots & 0\\ \vdots & \vdots & \ddots & \vdots \\ 0& 0& \cdots &\textbf{R}\\ \end{bmatrix}, \textbf{R}= \begin{bmatrix} 1 & \rho & \cdots & \rho \\ \rho & 1 & \cdots & \rho \\ \vdots & \vdots & \ddots & \vdots \\ \rho & \rho & \cdots &1\\ \end{bmatrix}$

ρ

$\rho$

e^{*}

$e^*$

ρ

$\rho$

ρ

$\rho$ .)

\begin{aligned} var (\frac{1}{n m} \sum_{saya} \sum_{j} y_{saya j}) & = var (\frac{1}{n m} \sum_{saya} \sum_{j} β + e_{saya j}^{*}) \\ = \frac{1}{n^{2} m^{2}} var (\sum_{saya} \sum_{j} e_{saya j}^{*}) \\ = \frac{1}{n^{2} m^{2}} (n (m σ^{2} + (m^{2} - m) ρ σ^{2})) \\ = \frac{σ^{2} (1 + (m - 1) ρ)}{n m} \\ = (\frac{ρ}{n} + \frac{1 - ρ}{n m}) σ^{2}, \end{aligned}

$\begin{aligned} \text{var}(\frac{1}{nm}\sum_i\sum_jy_{ij}) &= \text{var}(\frac{1}{nm}\sum_i\sum_j\beta + e^*_{ij}) \\ &= \frac{1}{n^2m^2}\text{var}(\sum_i\sum_je^*_{ij}) \\ &= \frac{1}{n^2m^2}\Big(n\big(m\sigma^2 + (m^2-m)\rho\sigma^2\big)\Big) \\ &= \frac{\sigma^2\big(1+(m-1)\rho\big)}{nm} \\ &= \Big(\frac{\rho}{n}+\frac{1-\rho}{nm}\Big)\sigma^2, \end{aligned}$

σ_{e}^{2} + σ_{u}^{2} = σ^{2}

$\sigma^2_e+\sigma^2_u=\sigma^2$

e_{i j}^{*} = u_{i} + e_{i j}

$e^*_{ij} = u_i + e_{ij}$

$\rho \ge -1/(m-1)$ $m=2$ $\rho=-1$ $m=3$ $\rho=-1/2$

$nm$

(1 + (m - 1) ρ) \times positive constant .

$\big(1+(m-1)\rho\big) \times \text{positive constant}.$

ρ > 0

$\rho>0$

m

$m$

ρ < 0

$\rho<0$

m

$m$

n m

$nm$

ρ = 0

$\rho=0$

m

$m$

n

$n$

— Jake Westfall
sumber

ρ < 0

$\rho<0$

n m

$nm$

σ_{u}

$\sigma_u$

β

$\beta$

m

$m$

ρ

$\rho$

σ_{u}^{2}

$\sigma^2_u$

Σ

$\Sigma$ yang Anda maksud?

— Amuba kata Reinstate Monica

σ_{u}^{2} + σ_{e}^{2} / m_{i}

$\sigma^2_u + \sigma^2_e/m_i$ (itulah sebabnya Jake menulis di atas bahwa bobotnya harus bergantung pada estimasi varians antar subjek). Perkiraan varians dalam subjek diberikan oleh varians dari penyimpangan dalam subjek yang dikumpulkan, estimasi varians antar subjek adalah varians cara subyek, dan menggunakan semua yang dapat dihitung bobotnya. (Tapi saya tidak yakin apakah ini 100% setara dengan apa yang dilakukan Lmer.)

— Amoeba berkata Reinstate Monica

m

$m$

ρ

$\rho$

m

$m$

— amoeba berkata Reinstate Monica