Apa perbedaan antara model efek acak, efek tetap- dan marginal?

Saya mencoba memperluas pengetahuan saya tentang statistik. Saya berasal dari latar belakang ilmu fisika dengan pendekatan "berbasis resep" untuk pengujian statistik, di mana kami katakan itu berkelanjutan, apakah biasanya terdistribusi - regresi OLS .

Dalam bacaan saya, saya menemukan istilah: model efek acak, model efek tetap, model marginal. Pertanyaan saya adalah:

Dalam istilah yang sangat sederhana, apakah itu?
Apa perbedaan di antara mereka?
Apakah ada yang sinonim?
Di mana tes tradisional seperti regresi OLS, ANOVA dan ANCOVA termasuk dalam klasifikasi ini?

Hanya mencoba memutuskan ke mana harus pergi selanjutnya dengan belajar mandiri.

random-effects-model fixed-effects-model marginal

— N26
sumber

Yang mungkin menarik: Apa perbedaan antara model efek tetap, efek acak dan campuran?

— chl

@ Gung: Jawaban yang Anda akan berikan hadiah untuk benar-benar jauh melampaui semua jawaban di utas "utama" pada perbedaan antara efek tetap / acak (ditautkan dalam komentar di atas). Pertanyaan itu memiliki lebih dari 40 upvotes dan jawaban yang diterima dengan 25 upvotes, yang sayangnya sangat tidak membantu. Haruskah kita menggabungkan utas ini? Saya kira ini akan berarti bahwa OP N26 akan kehilangan upvotes pertanyaan, tetapi akun mereka tampaknya tidak aktif lagi. Tidak yakin apa tindakan terbaik.

— Amoeba berkata Reinstate Monica

Terima kasih @amoeba, saya pikir ini juga patut mendapat perhatian. Tampak bagi saya bahwa pertanyaan itu, walaupun berjudul sama, sebenarnya sedikit berbeda (& mungkin salah judul). Saya tidak memiliki wewenang untuk menggabungkan ini. Saya baru saja menambahkan komentar di sana yang menghubungkan ke utas ini. Mengapa tidak mengajukan pertanyaan tentang apa yang harus dilakukan dengan utas ini di meta.CV & kita akan melihat apa yang dipikirkan orang?

— gung - Reinstate Monica

Jawaban:

Pertanyaan ini sebagian telah dibahas di situs ini seperti di bawah ini, dan pendapat tampaknya beragam.

Semua istilah umumnya terkait dengan data longitudinal / panel / clustered / hierarkis dan tindakan berulang (dalam format regresi maju dan ANOVA), tetapi memiliki banyak makna dalam konteks yang berbeda. Saya ingin menjawab pertanyaan dalam rumus berdasarkan pengetahuan saya.

Model efek tetap

Dalam biostatistik, efek tetap, dilambangkan sebagai dalam Persamaan (*) di bawah, biasanya datang bersama dengan efek acak. Tetapi model efek tetap juga didefinisikan untuk mengasumsikan bahwa pengamatan itu independen, seperti pengaturan cross-sectional, seperti dalam Analisis Data Longitudinal dari Hedeker dan Gibbons (2006). $\color{red}{\boldsymbol\beta}$
Dalam ekonometrika, model efek-tetap dapat ditulis sebagai mana adalah tetap (bukan acak) untuk setiap subjek ( ), atau kita juga dapat memiliki efek tetap sebagai untuk setiap pengukuran berulang ( ); menunjukkan kovariat. $y_{i j} = x_{i j}^{^{'}} β + u_{i} + ϵ_{i j}$ $y_{ij}=\boldsymbol x_{ij}^{'}\boldsymbol\beta+\color{red}{u_i}+\epsilon_{ij}$ $\color{red}{u_i}$ $i$ $u_j$ $j$ $\boldsymbol x_{ij}$
Dalam meta-analisis, model efek tetap mengasumsikan efek yang mendasarinya adalah sama di semua studi (misalnya Mantel dan Haenszel, 1959).

Model efek-acak

Dalam biostatistik, model efek-acak (Laird dan Ware, 1982) dapat ditulis sebagai mana diasumsikan mengikuti distribusi. menunjukkan kovariat untuk efek tetap, dan menunjukkan kovariat untuk efek acak. $\begin{matrix} (*) & y_{i j} = x_{i j}^{^{'}} β + z_{i j}^{^{'}} u_{i} + e_{i j} \end{matrix}$ $\tag{*} y_{ij}=\boldsymbol x_{ij}^{'}\color{red}{\boldsymbol\beta}+\boldsymbol z_{ij}^{'}\color{blue}{\boldsymbol u_i}+e_{ij}$ $\color{blue}{\boldsymbol u_i}$ $\boldsymbol x_{ij}$ $\boldsymbol z_{ij}$
Dalam ekonometrik, model efek-acak hanya dapat merujuk pada model intersepsi acak seperti dalam biostatistik, yaitu dan adalah skalar. $\boldsymbol z_{ij}^{'}=1$ $\boldsymbol u_i$
Dalam meta-analisis, model efek-acak mengasumsikan efek heterogen di seluruh studi (DerSimonian dan Laird, 1986).

Model marjinal

Model marginal umumnya dibandingkan dengan model kondisional (model efek-acak), dan yang pertama berfokus pada mean populasi (ambil model linier sebagai contoh) sedangkan yang terakhir berkaitan dengan rata-rata bersyaratInterpretasi dan skala koefisien regresi antara model marginal dan model efek-acak akan berbeda untuk model nonlinier (misalnya regresi logistik). Biarkan , lalu

E (y_{i j}) = x_{i j}^{^{'}} β,

$E(y_{ij})=\boldsymbol x_{ij}^{'}\boldsymbol\beta,$

E (y_{i j} | u_{i}) = x_{i j}^{^{'}} β + z_{i j}^{^{'}} u_{i} .

$E(y_{ij}|\boldsymbol u_i)=\boldsymbol x_{ij}^{'}\boldsymbol\beta + \boldsymbol z_{ij}^{'}\boldsymbol u_i.$

h (E (y_{i j} | u_{i})) = x_{i j}^{^{'}} β + z_{i j}^{^{'}} u_{i}

$h(E(y_{ij}|\boldsymbol u_i))=\boldsymbol x_{ij}^{'}\boldsymbol\beta + \boldsymbol z_{ij}^{'}\boldsymbol u_i$

E (y_{i j}) = E (E (y_{i j} | u_{i})) = E (h^{- 1} (x_{i j}^{^{'}} β + z_{i j}^{^{'}} u_{i})) \neq h^{- 1} (x_{i j}^{^{'}} β),

$E(y_{ij})=E(E(y_{ij}|\boldsymbol u_i))=E(h^{-1}(\boldsymbol x_{ij}^{'}\boldsymbol\beta + \boldsymbol z_{ij}^{'}\boldsymbol u_i))\neq h^{-1}(\boldsymbol x_{ij}^{'}\boldsymbol\beta),$ kecuali jika secara sepintas fungsi tautan adalah tautan identitas (model linear) ), atau (tidak ada efek acak). Contoh yang baik termasuk persamaan estimasi umum (GEE; Zeger, Liang dan Albert, 1988) dan model multilevel terpinggirkan (Heagerty dan Zeger, 2000).

h

$h$

u_{i} = 0

$u_i=0$

— Randel
sumber

Terima kasih, Randel. Satu pertanyaan lagi, tentang terminologi "model campuran". Sejauh yang saya mengerti, dalam biostatistik persamaan Anda (*) akan disebut model campuran karena mengandung efek acak dan tetap. Apakah itu benar? Tetapi apakah istilah "model campuran" juga digunakan dalam ekonometrika? Jika demikian, apa rujukannya?

— Amoeba berkata Reinstate Monica

Ya, persamaan (*) juga disebut model campuran dalam statistik (bio). Sejauh yang saya tahu, ahli ekonologi mungkin tidak menyebutnya "model campuran", tetapi "model efek-acak" atau "model koefisien acak", jika mereka tertarik pada heterogenitas kluster. Bagi saya, satu-satunya perbedaan adalah asumsi untuk efek cluster-spesifik, tetap atau acak.

— Randel

@skan boldsymbol menunjukkan kovariat untuk efek acak. Ini adalah vektor, dan adalah transposnya.

z_{i j}

$\boldsymbol z_{ij}$

z_{i j}^{^{'}}

$\boldsymbol z_{ij}^{'}$

— Randel

Ini adalah contoh terperinci. Semoga ini bisa membantu. @skan

— Randel

@skan Tidak disarankan untuk memiliki keduanya, cukup keduanya. Ini adalah contoh sempurna.

— Randel

Koreksi saya jika saya salah di sini:

Secara konseptual, ada empat kemungkinan efek: Fixed intercept, koefisien tetap, intercept acak, koefisien acak. Kebanyakan model regresi adalah 'efek acak', sehingga mereka memiliki intersep acak dan koefisien acak. Istilah 'efek acak' mulai digunakan berbeda dengan 'efek tetap'.

'Fixed effect' adalah ketika variabel mempengaruhi sebagian sampel, tetapi tidak semua. Versi paling sederhana dari model efek tetap (secara konseptual) akan menjadi variabel dummy, untuk efek tetap dengan nilai biner. Model-model ini memiliki intersep acak tunggal, koefisien efek tetap, dan koefisien variabel acak.

Tingkat komplikasi berikutnya (secara konseptual) adalah ketika efek tetap bukan biner, tetapi nominal, dengan banyak nilai. Dalam hal ini, apa yang dihasilkan adalah model dengan banyak intersep (satu untuk setiap nilai nominal). Di sinilah Anda mendapatkan 'garis berganda' klasik dari model data panel , di mana masing-masing 'opsi' dari variabel efek tetap mendapatkan efeknya sendiri. Keutamaan melemparkan semua seri data faktor-spesifik yang berbeda ke dalam regresi tunggal (daripada melakukan setiap faktor dari efek tetap sebagai regresi sendiri) adalah bahwa Anda bisa menyatukan varians dari semua efek yang berbeda dalam satu persamaan, dan sebagainya dapatkan nilai yang lebih baik (lebih pasti) untuk semua koefisien Anda.

'Tingkat tiga' dari komplikasi akan terjadi ketika 'efek tetap' itu sendiri merupakan variabel acak, kecuali bahwa efeknya 'tetap' hanya mempengaruhi sub-set sampel. Pada titik mana model akan memiliki intersep acak, beberapa intersep tetap, dan beberapa variabel acak. Saya pikir ini yang dikenal sebagai model 'efek campuran'?

Model 'Efek Campuran' digunakan untuk pemodelan multi-level (MLM), karena 'efek tetap' dapat digunakan untuk mengumpulkan satu subset data di dalam yang lain. Pengelompokan ini dapat memiliki beberapa tingkatan, dengan siswa bersarang di dalam ruang kelas, bersarang di dalam sekolah. Sekolah adalah efek tetap pada ruang kelas, dan ruang kelas pada siswa. (Sekolah mungkin atau mungkin tidak memberi efek pada siswa, tergantung pada desain eksperimental - tidak yakin)

Model data panel adalah model 'efek campuran', tetapi menggunakan dua dimensi untuk pengelompokan, biasanya waktu dan semacam kategori.

— Mox
sumber

Tidak yakin apa yang Anda maksud dengan "Efek tetap mencakup 'set' pilihan: A atau B; ... Efek acak mencakup hal-hal seperti berat badan". Apakah maksud Anda efek tetap adalah untuk variabel diskrit, efek acak adalah untuk variabel kontinu? Juga tidak yakin tentang mengapa "menggunakan beberapa variabel dummy untuk hal yang sama secara statistik tidak sesuai". Model efek tetap dalam ekonometrik memang memiliki variabel dummy untuk setiap "panel". Saya tidak bisa setuju dengan model "Campuran '... Memiliki penyadapan' diperbaiki 'dengan pengelompokan, mereka tidak lagi memiliki penyadapan acak" juga. Banyak model efek campuran memiliki intersepsi acak.

— Randel

Pemahaman saya tidak sempurna. Saya akan mengedit respons saya dan mencoba lagi.

— Mox

Apakah mungkin bahwa suatu variabel muncul secara simultan sebagai efek tetap dan sebagai efek acak?

— skan

< theanalysisfactor.com/mixed-models-predictor-both-fixed-random > mengatakan ya.

— Mox