Dalam GLM, apakah kemungkinan log dari model jenuh selalu nol?

Sebagai bagian dari output dari model linier umum, penyimpangan nol dan residual digunakan untuk mengevaluasi model. Saya sering melihat rumus untuk jumlah ini yang dinyatakan dalam kemungkinan log dari model jenuh, misalnya: /stats//a/113022/22199 , Regresi Logistik: Cara mendapatkan model jenuh

Model jenuh, sejauh yang saya mengerti, adalah model yang sangat cocok dengan respons yang diamati. Jadi, di sebagian besar tempat yang saya lihat, log-kemungkinan model jenuh selalu diberikan sebagai nol.

Namun, cara rumus penyimpangan diberikan menunjukkan bahwa kadang-kadang jumlah ini tidak nol. (Seolah itu nol selalu, mengapa repot-repot memasukkannya?)

Dalam kasus apa itu bukan nol? Jika tidak pernah nol, mengapa memasukkannya dalam formula untuk penyimpangan?

— Alex
sumber

Jawaban:

Jika Anda benar-benar bermaksud log-likelihood , maka jawabannya adalah: itu tidak selalu nol.

Misalnya, perhatikan data Poisson: $y_i \sim \text{Poisson}(\mu_i), i = 1, \ldots, n$ . Log-kemungkinan untuk $Y = (y_1, \ldots, y_n)$ diberikan oleh:

\begin{matrix} (*) & ℓ (μ; Y) = - \sum_{saya = 1}^{n} μ_{saya} + \sum_{saya = 1}^{n} y_{saya} catatan μ_{saya} - \sum_{saya = 1}^{n} catatan (y_{saya}!) . \end{matrix}

$\ell(\mu; Y) = -\sum_{i = 1}^n \mu_i + \sum_{i = 1}^n y_i \log \mu_i - \sum_{i = 1}^n \log(y_i!). \tag{$*$}$

Bedakan $\ell(\mu; Y)$ dalam $(*)$ sehubungan dengan $\mu_i$ dan atur ke $0$ (ini adalah bagaimana kami mendapatkan MLE untuk model jenuh):

- 1 + \frac{y_{saya}}{μ_{saya}} = 0.

$-1 + \frac{y_i}{\mu_i} = 0.$ Memecahkan ini untuk

μ_{i}

$\mu_i$ untuk mendapatkan

, menggantikan

kembali ke

untuk

memberikan bahwa log-kemungkinan model jenuh adalah:

{\hat{μ}}_{i} = y_{i}

$\hat{\mu}_i = y_i$

{\hat{μ}}_{i}

$\hat{\mu}_i$

(*)

$(*)$

μ_{i}

$\mu_i$

ℓ (\hat{μ}; Y) = \sum_{saya = 1}^{n} y_{saya} (catatan y_{saya} - 1) - \sum_{saya = 1}^{n} catatan (y_{saya}!) \neq 0

$\ell(\hat{\mu}; Y) = \sum_{i = 1}^n y_i(\log y_i - 1) -\sum_{i = 1}^n \log(y_i!) \neq 0$ kecuali

y_{i}

$y_i$ mengambil nilai yang sangat istimewa.

Di halaman bantuan Rfungsi glm, di bawah item deviance, dokumen menjelaskan masalah ini sebagai berikut:

deviance hingga konstan, dikurangi dua kali log-likelihood yang dimaksimalkan. Dimana masuk akal, konstanta dipilih sehingga model jenuh memiliki penyimpangan nol.

Perhatikan bahwa disebutkan bahwa penyimpangan , bukan log-kemungkinan model jenuh dipilih menjadi nol.

Mungkin, apa yang Anda benar-benar ingin konfirmasi adalah bahwa " penyimpangan model jenuh selalu diberikan sebagai nol", yang benar, sejak penyimpangan, menurut definisi (lihat Bagian 4.5.1 dari Analisis Data Kategorikal (Edisi 2) oleh Alan Agresti) adalah statistik rasio kemungkinan dari GLM yang ditentukan untuk model jenuh. Yang constantdisebutkan dalam dokumentasi R sebenarnya dua kali log-likelihood yang dimaksimalkan dari model jenuh.

Mengenai pernyataan Anda "Namun, cara rumus penyimpangan diberikan menunjukkan bahwa kadang-kadang jumlah ini tidak nol.", Itu mungkin disebabkan oleh penyalahgunaan penggunaan istilah penyimpangan . Misalnya, di R, statistik rasio kemungkinan membandingkan dua sewenang-wenang model (bersarang) dan juga disebut sebagai penyimpangan, yang akan lebih tepat disebut sebagai yang perbedaan antara penyimpangan dari dan penyimpangan dari , jika kita mengikuti dengan seksama definisi yang diberikan dalam buku Agresti. $M_1$ $M_2$ $M_1$ $M_2$

Kesimpulan

Log-likelihood dari model jenuh pada umumnya bukan nol.
Penyimpangan (dalam definisi aslinya) dari model jenuh adalah nol.
The penyimpangan Output dari software (seperti R) secara umum non-nol karena itu benar-benar berarti sesuatu yang lain (perbedaan antara deviances).

Berikut ini adalah derivasi untuk kasus keluarga eksponensial umum dan contoh konkret lainnya. Misalkan data berasal dari keluarga eksponensial (lihat Statistik Terapan Modern dengan S , Bab ): $7$

\begin{matrix} (1) & f (y_{saya}; θ_{saya}, φ) = \exp [{SEBUAH}_{saya} (y_{saya} θ_{saya} - γ (θ_{saya})) / φ + τ (y_{saya}, φ / {SEBUAH}_{saya})] . \end{matrix}

$f(y_i; \theta_i, \varphi) = \exp[A_i(y_i\theta_i - \gamma(\theta_i))/\varphi + \tau(y_i, \varphi/A_i)]. \tag{1}$ di mana

diketahui bobot sebelumnya dan

adalah parameter dispersi / skala (untuk banyak kasus seperti binomial dan Poisson, parameter ini diketahui, sedangkan untuk kasus lain seperti normal dan Gamma, parameter ini tidak diketahui). Kemudian log-kemungkinan diberikan oleh:

A_{i}

$A_i$

φ

$\varphi$

Seperti dalam contoh Poisson, parameter model jenuh dapat diperkirakan dengan menyelesaikanfungsiskorberikut:

ℓ (θ, φ; Y) = \sum_{saya = 1}^{n} {SEBUAH}_{saya} (y_{saya} θ_{saya} - γ (θ_{saya})) / φ + \sum_{saya = 1}^{n} τ (y_{saya}, φ / {SEBUAH}_{saya}) .

$\ell(\theta, \varphi; Y) = \sum_{i = 1}^n A_i(y_i \theta_i - \gamma(\theta_i))/\varphi + \sum_{i = 1}^n \tau(y_i, \varphi/A_i).$

0 = U (θ_{saya}) = \frac{\partial ℓ (θ, φ; Y)}{\partial θ_{saya}} = \frac{{SEBUAH}_{saya} (y_{saya} - γ^{'} (θ_{saya}))}{φ}

$0 = U(\theta_i) = \frac{\partial \ell(\theta, \varphi; Y)}{\partial \theta_i} = \frac{A_i(y_i - \gamma'(\theta_i))}{\varphi}$

$\hat{\theta}_i$

\begin{matrix} (* *) & ℓ (\hat{θ}, φ; Y) = \sum_{saya = 1}^{n} {SEBUAH}_{saya} (y_{saya} {\hat{θ}}_{saya} - γ ({\hat{θ}}_{saya})) / φ + \sum_{saya = 1}^{n} τ (y_{saya}, φ / {SEBUAH}_{saya}) . \end{matrix}

$\ell(\hat{\theta}, \varphi; Y) = \sum_{i = 1}^n A_i(y_i \hat{\theta}_i - \gamma(\hat{\theta}_i))/\varphi + \sum_{i = 1}^n \tau(y_i, \varphi/A_i). \tag{$**$}$

$(**)$ $\Gamma(\alpha, \beta)$

f (y; α, β) = \frac{β^{α}}{Γ (α)} e^{- β y} y^{α - 1}, y > 0, α > 0, β > 0,

$f(y; \alpha, \beta) = \frac{\beta^\alpha}{\Gamma(\alpha)}e^{-\beta y}y^{\alpha - 1}, \quad y > 0, \alpha > 0, \beta > 0,$

f

$f$

(1)

$(1)$

φ = \frac{1}{α}, θ = - \frac{β}{α},

$\varphi = \frac{1}{\alpha},\, \theta = -\frac{\beta}{\alpha},$

f

$f$

f (y; θ, φ) = \exp [\frac{θ y - (- catatan (- θ))}{φ} + τ (y, φ)],

$f(y; \theta, \varphi) = \exp\left[\frac{\theta y - (-\log(-\theta))}{\varphi}+ \tau(y, \varphi)\right],$

τ (y, φ) = - \frac{catatan φ}{φ} + (\frac{1}{φ} - 1) catatan y - catatan Γ (φ^{- 1}) .

$\tau(y, \varphi) = -\frac{\log \varphi}{\varphi} + \left(\frac{1}{\varphi} - 1\right)\log y - \log\Gamma(\varphi^{-1}).$

{\hat{θ}}_{i} = - \frac{1}{y_{i}}

$\hat{\theta}_i = -\frac{1}{y_i}$

\sum_{saya = 1}^{n} \frac{1}{φ} [{\hat{θ}}_{saya} y_{saya} - (- catatan (- {\hat{θ}}_{saya}))] = \sum_{saya = 1}^{n} \frac{1}{φ} [- 1 - catatan (y_{saya})] \neq 0,

$\sum_{i = 1}^n \frac{1}{\varphi}[\hat{\theta}_iy_i - (-\log(-\hat{\theta}_i))] = \sum_{i = 1}^n \frac{1}{\varphi}[-1 - \log(y_i)] \neq 0,$

y_{i}

$y_i$

— Zhanxiong
sumber

Apakah kemungkinan loglikasinya nol jika dan hanya jika model dapat menetapkan probabilitas 100% untuk setiap hasil yang mungkin?

— Alex

Saya tidak begitu mengerti apa yang Anda maksudkan. Tapi dari derivasi saya, Anda mungkin menyimpulkan itu

0

$0$ jika dan hanya jika

τ

$\tau$ identik

0

$0$ dan tidak ada parameter dispersi.

— Zhanxiong

Derivasi Anda sangat baik tetapi bukti formal sedikit di atas kepala saya saat ini. Terima kasih atas contoh Anda dengan model Poisson. Apa yang saya ambil dari contoh ini adalah bahwa model Poisson tidak dapat menetapkan probabilitas 100% untuk hasil yang diamati memberikan nilai untuk nilai Poisson, sehingga kemungkinan tidak boleh nol.

— Alex

Pernyataan "menetapkan model

100 %

$100\%$ probabilitas untuk hasil yang diamati "kedengarannya aneh bagi saya. Maksud Anda yang diberikan pengamatan

y_{1}, \dots, y_{n}

$y_1, \ldots, y_n$ , dan jika

Y

$Y$ adalah variabel acak Poisson,

P (Y = y_{1}) + P (Y = y_{2}) + \dots + P (Y = y_{n}) < 1

$P(Y= y_1) + P(Y = y_2) + \cdots + P(Y = y_n) < 1$ ?

— Zhanxiong

Yang saya maksudkan adalah bahwa jika

Y

$Y$ adalah variabel acak Poisson, kemudian

P (Y = y_{i}) < 1

$P(Y = y_i) < 1$ untuk apa saja

i

$i$ atau Poisson mean, sehingga tidak mungkin untuk menemukan parameter model yang memberikan kemungkinan log nol untuk diamati. Mungkin saya benar-benar salah paham konsep model jenuh.

— Alex

Jawaban Zhanxiong sudah bagus (+1), tapi ini adalah demonstrasi cepat bahwa kemungkinan log dari model jenuh adalah $0$ untuk regresi logistik. Saya pikir saya akan memposting karena saya belum melihat TeX ini di situs ini, dan karena saya baru saja menulis ini untuk kuliah.

Kemungkinannya adalah

\begin{matrix} (1) & L (y; X, β) = \prod_{saya = 1}^{n} f (y_{saya}; x_{saya}, β) = \prod_{saya = 1}^{n} π_{saya}^{y_{saya}} (1 - π_{saya})^{1 - y_{saya}} = \prod_{saya = 1}^{n} {(\frac{π_{saya}}{1 - π_{saya}})}^{y_{saya}} (1 - π_{saya}) \end{matrix}

$L(\mathbf{y} ; \mathbf{X}, \boldsymbol{\beta}) = \prod_{i=1}^n f(y_i ; \mathbf{x}_i, \boldsymbol{\beta}) = \prod_{i=1}^n \pi_i^{y_i}(1-\pi_i)^{1-y_i} = \prod_{i=1}^n\left( \frac{\pi_i}{1-\pi_i}\right)^{y_i} (1 - \pi_i) \tag{1}$ dimana

π_{i} = invlogit (x_{i}^{⊺} β)

$\pi_i = \text{invlogit}(\mathbf{x}_i^\intercal \boldsymbol{\beta} )$ .

Kemungkinan log adalah

\begin{aligned} catatan L (y; X, β) & = \sum_{saya = 1}^{n} y_{saya} catatan (\frac{π_{saya}}{1 - π_{saya}}) + catatan (1 - π_{saya}) \\ = \sum_{saya = 1}^{n} y_{saya} logit (π_{saya}) + catatan (1 - π_{saya}) \\ = \sum_{saya = 1}^{n} y_{saya} x_{saya}^{⊺} β + catatan (1 - invlogit (x_{saya}^{⊺} β)) \\ = \sum_{saya = 1}^{n} y_{saya} x_{saya}^{⊺} β + catatan (invlogit (- x_{saya}^{⊺} β)) \\ = \sum_{saya = 1}^{n} y_{saya} x_{saya}^{⊺} β - catatan (1 + \exp [x_{saya}^{⊺} β])) \end{aligned}

$\begin{align*} \log L(\mathbf{y} ; \mathbf{X}, \boldsymbol{\beta}) &= \sum_{i=1}^n y_i \log \left( \frac{\pi_i}{1-\pi_i}\right) + \log(1-\pi_i) \\ &= \sum_{i=1}^n y_i \text{logit} \left( \pi_i \right) + \log(1-\pi_i) \\ &= \sum_{i=1}^n y_i \mathbf{x}_i^\intercal \boldsymbol{\beta} + \log( 1 - \text{invlogit}(\mathbf{x}_i^\intercal \boldsymbol{\beta} )) \\ &= \sum_{i=1}^n y_i \mathbf{x}_i^\intercal \boldsymbol{\beta} + \log( \text{invlogit}( - \mathbf{x}_i^\intercal \boldsymbol{\beta} )) \\ &= \sum_{i=1}^n y_i \mathbf{x}_i^\intercal \boldsymbol{\beta} - \log( 1 + \exp[ \mathbf{x}_i^\intercal \boldsymbol{\beta}] )) \end{align*}$

Jika Anda mengambil turunannya sehubungan dengan semua koefisien yang Anda dapatkan

\begin{matrix} (2) & \nabla ℓ (β) = \sum_{saya = 1}^{n} y_{saya} x_{saya} - \frac{\exp [x_{saya}^{⊺} β]}{(1 + \exp [x_{saya}^{⊺} β])} x_{saya} . \end{matrix}

$\nabla \ell(\boldsymbol{\beta}) = \sum_{i=1}^n y_i \mathbf{x}_i - \frac{\exp[ \mathbf{x}_i^\intercal \boldsymbol{\beta}]}{( 1 + \exp[ \mathbf{x}_i^\intercal \boldsymbol{\beta}] ) }\mathbf{x}_i \tag{2}.$

Menyetel persamaan ini sama dengan $\mathbf{0}$ dan pemecahan untuk $\boldsymbol{\beta}$ akan memberikan jawaban Anda. Biasanya ini tidak dapat dilakukan secara analitis, yang menjelaskan popularitas / keharusan menggunakan algoritma iteratif agar sesuai dengan model ini, tetapi dalam kasus model jenuh, itu mungkin.

Untuk menemukan model jenuh, kami memberikan masing-masing baris koefisien itu sendiri. Begitu $\boldsymbol{\beta} \in \mathbb{R}^n$ dan matriks desain dikalikan dengan koefisien vektor

X β = [\begin{matrix} 1 & 0 & \dots & 0 \\ 0 & 1 & \dots & 0 \\ ⋮ & ⋮ & ⋱ & ⋮ \\ 0 & 0 & \dots & 1 \end{matrix}] [\begin{matrix} β_{1} \\ β_{2} \\ ⋮ \\ β_{n} \end{matrix}] .

$\mathbf{X}\boldsymbol{\beta} = \begin{bmatrix} 1 & 0 & \cdots & 0\\ 0 & 1 & \cdots & 0\\ \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & \cdots & 1\\ \end{bmatrix} \begin{bmatrix} \beta_1 \\ \beta_2 \\ \vdots \\ \beta_n \end{bmatrix}.$

Perhatikan bahwa secara khusus, $\mathbf{x}_i^\intercal \boldsymbol{\beta} = \beta_i$ .

Jadi mengambil $j$ baris ke-persamaan (2) memberi kita

\sum_{saya = 1}^{n} y_{saya} x_{saya, j} = \sum_{saya = 1}^{n} \frac{\exp [x_{saya}^{⊺} β]}{(1 + \exp [x_{saya}^{⊺} β])} x_{saya, j}

$\sum_{i=1}^n y_i x_{i,j} = \sum_{i=1}^n\frac{\exp[ \mathbf{x}_i^\intercal \boldsymbol{\beta}]}{( 1 + \exp[ \mathbf{x}_i^\intercal \boldsymbol{\beta}] ) }x_{i,j}$

yang hanya bisa benar jika untuk setiap pengamatan $i$ :

y_{saya} = invlogit (β_{saya})

$y_i = \text{invlogit}(\beta_i )$ atau dengan kata lain masing-masing

β_{i}

$\beta_i$ plus atau minus tanpa batas (jika

y_{i}

$y_i$ adalah

1

$1$ atau

0

$0$ , masing-masing). Kami dapat menyambungkan parameter ini kembali ke (1) untuk mendapatkan kemungkinan maksimal:

\prod_{saya = 1}^{n} {\hat{π}}_{saya}^{y_{saya}} (1 - {\hat{π}}_{saya})^{1 - y_{saya}} = 1^{n} = 1.

$\prod_{i=1}^n \hat{\pi}_i^{y_i}(1-\hat{\pi}_i)^{1-y_i} = 1^n = 1.$ Jelas log dari ini

0

$0$ .

— Taylor
sumber

Tetapi ini mengasumsikan data yang tidak dikelompokkan . Jika Anda memiliki grup dengan

n_{i} > 1

$n_i>1$ (dan nilai kovariat yang sama) (dalam R, misalnya menggunakan formulir glm( cbind(k, n-k) ~ x + ... ) maka model jenuh tidak memiliki kemungkinan loglikel nol.

— kjetil b halvorsen

@kjetilbhalvorsen oh bagus. Saya tidak pernah mencobanya, biar saya periksa

— Taylor

@ Alex: ya, itu benar. setidaknya untuk distribusi diskrit. untuk distribusi kontinu, itu akan turun untuk membiarkan kepadatannya sama dengan 1, yang belum tentu bermakna dan karena itu bukan hal yang masuk akal untuk dicoba dan dicapai. sedikit lebih umum, kemungkinan log model jenuh memberi Anda batas atas untuk kinerja model apa pun yang mengikuti asumsi Anda tentang keluarga distribusi yang mendasarinya. Dengan kata lain, kemungkinan log dari model binomial jenuh adalah "sebaik yang didapat" untuk set data yang diberikan (X, Y) dengan asumsi Y adalah binomial. Masuk akal untuk membandingkan model glm Anda dengan batas atas ini yang bertentangan dengan, katakanlah, 100% (atau serupa), karena model Anda secara inheren dibatasi oleh asumsi Anda pada distribusi respons.

— bettmensch88
sumber