Membandingkan koefisien logistik pada model dengan variabel dependen berbeda?

14

Ini adalah pertanyaan lanjutan dari yang saya tanyakan beberapa hari yang lalu . Saya merasa itu menempatkan kemiringan yang berbeda pada masalah ini, jadi terdaftar pertanyaan baru.

Pertanyaannya adalah: dapatkah saya membandingkan besarnya koefisien lintas model dengan variabel dependen yang berbeda? Misalnya, pada satu sampel katakanlah saya ingin tahu apakah ekonomi merupakan prediktor yang lebih kuat dari suara di Dewan Perwakilan Rakyat atau untuk Presiden. Dalam hal ini, dua variabel dependen saya adalah suara di DPR (kode 1 untuk Demokrat dan 0 untuk Republik) dan suara untuk Presiden (1 untuk Demokrat dan 0 untuk Republik) dan variabel independen saya adalah ekonomi. Saya mengharapkan hasil yang signifikan secara statistik di kedua kantor, tetapi bagaimana cara menilai apakah ini memiliki efek 'lebih besar' di satu lebih dari yang lain? Ini mungkin bukan contoh yang sangat menarik, tetapi saya ingin tahu apakah ada cara untuk membandingkan. Saya tahu orang tidak bisa hanya melihat 'ukuran' dari koefisien. Begitu, apakah mungkin membandingkan koefisien pada model dengan variabel dependen berbeda? Dan, jika demikian, bagaimana itu bisa dilakukan?

Jika semua ini tidak masuk akal, beri tahu saya. Semua saran dan komentar sangat dihargai.

regression logistic

— Ejs
sumber

2

Bagaimana Anda tahu orang tidak bisa hanya melihat 'ukuran' dari koefisien?

— onestop

Saya menggabungkan dua akun Anda. Anda masih harus mendaftar, seperti yang ditunjukkan pada FAQ . (@onestop Thx untuk menunjuk ke duplikat.)

— chl

Saya berasumsi bahwa saya tidak dapat membandingkan 'efek' dari prediktor di seluruh model dengan melihat koefisien dari jawaban atas pertanyaan saya sebelumnya. Apakah ada perbedaan untuk contoh saya di atas?

— Ejs

2

Memulai hadiah - sepertinya pertanyaan penting dengan tiga jawaban yang sangat berbeda, tidak ada yang memiliki satu suara . Kita bisa melakukan yang lebih baik. Tautan makalah Andy W tentang pertanyaan terkait ini tampaknya relevan.

— Matt Parker

4

Jawaban singkatnya adalah "ya Anda bisa" - tetapi Anda harus membandingkan Estimasi Kemungkinan Maksimum (MLEs) dari "model besar" dengan semua varian co di kedua model yang cocok untuk keduanya.

Ini adalah cara "semi formal" untuk mendapatkan teori probabilitas untuk menjawab pertanyaan Anda

Dalam contoh, dan adalah jenis variabel yang sama (fraksi / persentase) sehingga mereka sebanding. Saya akan berasumsi bahwa Anda cocok dengan model yang sama untuk keduanya. Jadi kami memiliki dua model: $Y_{1}$ $Y_{2}$

M_{1} : Y_{1 i} \sim B i n (n_{1 i}, p_{1 i})

$M_{1}:Y_{1i}\sim Bin(n_{1i},p_{1i})$

l o g (\frac{p_{1 i}}{1 - p_{1 i}}) = α_{1} + β_{1} X_{i}

$log\left(\frac{p_{1i}}{1-p_{1i}}\right)=\alpha_{1}+\beta_{1}X_{i}$

M_{2} : Y_{2 i} \sim B i n (n_{2 i}, p_{2 i})

$M_{2}:Y_{2i}\sim Bin(n_{2i},p_{2i})$

l o g (\frac{p_{2 i}}{1 - p_{2 i}}) = α_{2} + β_{2} X_{i}

$log\left(\frac{p_{2i}}{1-p_{2i}}\right)=\alpha_{2}+\beta_{2}X_{i}$

Jadi, Anda memiliki hipotesis yang ingin Anda nilai:

H_{0} : β_{1} > β_{2}

$H_{0}:\beta_{1}>\beta_{2}$

Dan Anda memiliki beberapa data , dan beberapa informasi sebelumnya (seperti penggunaan model logistik). Jadi, Anda menghitung probabilitas: $\{Y_{1i},Y_{2i},X_{i}\}_{i=1}^{n}$

P = P r (H_{0} | {Y_{1 i}, Y_{2 i}, X_{i}}_{i = 1}^{n}, I)

$P=Pr(H_0|\{Y_{1i},Y_{2i},X_{i}\}_{i=1}^{n},I)$

Sekarang $H_0$

P = \int_{- \infty}^{\infty} \int_{- \infty}^{\infty} \int_{- \infty}^{\infty} \int_{- \infty}^{\infty} P r (H_{0}, α_{1}, α_{2}, β_{1}, β_{2} | {Y_{1 i}, Y_{2 i}, X_{i}}_{i = 1}^{n}, I) d α_{1} d α_{2} d β_{1} d β_{2}

$P=\int_{-\infty}^{\infty} \int_{-\infty}^{\infty} \int_{-\infty}^{\infty} \int_{-\infty}^{\infty} Pr(H_0,\alpha_{1},\alpha_{2},\beta_{1},\beta_{2}|\{Y_{1i},Y_{2i},X_{i}\}_{i=1}^{n},I) d\alpha_{1}d\alpha_{2}d\beta_{1}d\beta_{2}$

Hipotesis hanya membatasi rentang integrasi, jadi kami memiliki:

P = \int_{- \infty}^{\infty} \int_{β_{2}}^{\infty} \int_{- \infty}^{\infty} \int_{- \infty}^{\infty} P r (α_{1}, α_{2}, β_{1}, β_{2} | {Y_{1 i}, Y_{2 i}, X_{i}}_{i = 1}^{n}, I) d α_{1} d α_{2} d β_{1} d β_{2}

$P=\int_{-\infty}^{\infty} \int_{\beta_{2}}^{\infty} \int_{-\infty}^{\infty} \int_{-\infty}^{\infty} Pr(\alpha_{1},\alpha_{2},\beta_{1},\beta_{2}|\{Y_{1i},Y_{2i},X_{i}\}_{i=1}^{n},I) d\alpha_{1}d\alpha_{2}d\beta_{1}d\beta_{2}$

Karena probabilitas tergantung pada data, itu akan menjadi faktor dalam dua posisi terpisah untuk masing-masing model

P r (α_{1}, β_{1} | {Y_{1 saya}, X_{saya}, Y_{2 saya}}_{saya = 1}^{n}, saya) P r (α_{2}, β_{2} | {Y_{2 saya}, X_{saya}, Y_{1 saya}}_{saya = 1}^{n}, saya)

$Pr(\alpha_{1},\beta_{1}|\{Y_{1i},X_{i},Y_{2i}\}_{i=1}^{n},I)Pr(\alpha_{2},\beta_{2}|\{Y_{2i},X_{i},Y_{1i}\}_{i=1}^{n},I)$

Sekarang karena tidak ada tautan langsung di antara keduanya $Y_{1i}$ dan $\alpha_{2},\beta_{2}$ , hanya tautan tidak langsung melalui $X_{i}$ , yang diketahui, itu akan keluar dari pengkondisian di posterior kedua. sama untuk $Y_{2i}$ di posterior pertama.

From standard logistic regression theory, and assuming uniform prior probabilities, the posterior for the parameters is approximately bi-variate normal with mean equal to the MLEs, and variance equal to the information matrix, denoted by $V_{1}$ and $V_{2}$ - which do not depend on the parameters, only the MLEs. so you have straight-forward normal integrals with known variance matrix. $\alpha_{j}$ marginalises out with no contribution (as would any other "common variable") and we are left with the usual result (I can post the details of the derivation if you want, but its pretty "standard" stuff):

P = Φ (\frac{{\hat{β}}_{2, M L E} - {\hat{β}}_{1, M L E}}{\sqrt{V_{1 : β, β} + V_{2 : β, β}}})

$P=\Phi\left(\frac{\hat{\beta}_{2,MLE}-\hat{\beta}_{1,MLE}}{\sqrt{V_{1:\beta,\beta}+V_{2:\beta,\beta}}}\right)$

Where $\Phi()$ is just the standard normal CDF. This is the usual comparison of normal means test. But note that this approach requires the use of the same set of regression variables in each. In the multivariate case with many predictors, if you have different regression variables, the integrals will become effectively equal to the above test, but from the MLEs of the two betas from the "big model" which includes all covariates from both models.

— probabilityislogic
sumber

3

Why not? The models are estimating how much 1 unit of change in any model predictor will influence the probability of "1" for the outcome variable. I'll assume the models are the same-- that they have the same predictors in them. The most informative way to compare the relative magnitudes of any given predictor in the 2 models is to use the models to calculate (either deterministically or better by simulation) how much some meaningful increment of change (e.g., +/- 1 SD) in the predictor affects the probabilities of the respective outcome variables--& compare them! You'll want to determine confidence intervals for the two estimates as well as so you can satisfy yourself that the difference is "significant," practically & statistically.

— dmk38
sumber

Thanks dmk8, very useful. Some follow-up points/questions: is this what is often meant when referring to varying the variable of interest (the economy from bad to good for example) while holding all control variables at their means? What do you mean by deterministically? How do I determine the confidence intervals around the probabilities?

— Ejs

2

Consult the King. He will not disappoint. King, G., Tomz, M., & Wittenberg., J. (2000). Making the Most of Statistical Analyses: Improving Interpretation and Presentation. Am. J. Pol. Sci, 44(2), 347-361.

— dmk38

2

I assume that by "my independent variable is the economy" you're using shorthand for some specific predictor.

At one level, I see nothing wrong with making a statement such as

X predicts Y1 with an odds ratio of _ and a 95% confidence interval of [ _ , _ ] while X predicts Y2 with an odds ratio of _ and a 95% confidence interval of [ _ , _ ].

@dmk38's recent suggestions look very helpful in this regard.

You might also want to standardize the coefficients to facilitate comparison.

At another level, beware of taking inferential statistics (standard errors, p-values, CIs) literally when your sample constitutes a nonrandom sample of the population of years to which you might want to generalize.

— rolando2
sumber

Yes, 'the economy' is shorthand for perceptions of national economic conditions. Does the same advice apply when other predictors (controls) are included in the model?

— Ejs

@Ejs - I'm afraid there's no short answer to your last question. You're getting into what it means to assess relationships when using statistical control - a fabulously intricate topic worthy of extensive study. You're also probably getting into the topic of variable selection, which is a big one as well. Imho the best source for the committed student of these topics is Pedhazur's amazon.com/Multiple-regression-behavioral-research-Pedhazur/…

— rolando2

1

Let us say the interest lies in comparing two groups of people: those with $X_{1} = 1$ and those with $X_{1} = 0$ .

The exponential of $\beta_{1}$ , the corresponding coefficient, is interpreted as the ratio of the odds of success for those with $X_{1} = 1$ over the odds of success for those with $X_{1} = 0$ , conditional on the other variables in the model.

So, if you have two models with different dependend variables then the interpretation of $\beta_{1}$ changes since it is not conditioned upon the same set of variables. As a consequence, the comparison is not direct...

— ocram
sumber

Does this have any implications for roland2's suggestion?

— Ejs

@Ejs. Do you refer to the standardisation step? By the way, does my answer help ? Have I misunderstood the question ?

— ocram