Apa perbedaan antara "fungsi tautan" dan "fungsi tautan kanonik" untuk GLM

65

Apa perbedaan antara istilah 'fungsi tautan' dan 'fungsi tautan kanonik'? Juga, apakah ada keuntungan (teoretis) dari penggunaan satu di atas yang lain?

Misalnya, variabel respons biner dapat dimodelkan menggunakan banyak fungsi tautan seperti logit , probit , dll. Namun, logit di sini dianggap sebagai fungsi tautan "kanonik".

logistic generalized-linear-model link-function

— mantap
sumber

10

Saya membahas fungsi tautan secara luas di sini: Perbedaan antara model logit dan probit , dengan fokus pada regresi untuk variabel respons biner. Meskipun hanya sedikit dari diskusi yang berfokus pada makna fungsi tautan yang 'kanonik', namun mungkin akan bermanfaat untuk dibaca. Perhatikan bahwa untuk memahami perbedaan b / t & keuntungan dari fungsi tautan kanonik vs non-kanonik harus masuk jauh ke dalam matematika yang mendasari GLiM.

— gung - Reinstate Monica

68

Jawaban di atas lebih intuitif, jadi saya mencoba lebih keras.

Apa itu GLM?

Misalkan menunjukkan sekumpulan respons dan -dimensi kovariat vektor dengan nilai yang diharapkan . Untuk pengamatan independen, distribusi setiap adalah keluarga eksponensial dengan kepadatan $Y=(y,\mathbf{x})$ $y$ $p$ $\mathbf{x}=(x_1,\dots,x_p)$ $E(y)=\mu$ $i=1,\dots,n$ $y_i$ Di sini, parameter yang menarik (parameter alami atau kanonik) adalah , adalah a parameter skala (dikenal atau dilihat sebagai gangguan) dan dan adalah fungsi yang diketahui. The vektor berdimensi nilai input tetap untuk

f (y_{i}; θ_{i}, ϕ) = \exp {[y_{i} θ_{i} - γ (θ_{i})] / ϕ + τ (y_{i}, ϕ)}

$f(y_i;\theta_i,\phi)=\exp\{[y_i\theta_i-\gamma(\theta_i)]/\phi+\tau(y_i,\phi)\}$

θ_{i}

$\theta_i$

ϕ

$\phi$

γ

$\gamma$

τ

$\tau$

n

$n$

p

$p$ variabel penjelas dilambangkan dengan

. Kami berasumsi bahwa vektor input mempengaruhi (1) hanya melalui fungsi linier, prediktor linier,

di mana

bergantung. Seperti dapat ditunjukkan bahwa

x_{1}, \dots, x_{p}

$\mathbf{x}_1,\dots,\mathbf{x}_p$

η_{i} = β_{0} + β_{1} x_{i 1} + \dots + β_{p} x_{i p}

$\eta_i=\beta_0+\beta_1x_{i1}+\dots+\beta_px_{ip}$

θ_{i}

$\theta_i$

θ = (γ^{'})^{- 1} (μ)

$\theta=(\gamma')^{-1}(\mu)$ , ketergantungan ini ditetapkan dengan menghubungkan prediktor linier

dan

melalui mean. Lebih khusus, rata-rata

dilihat sebagai fungsi yang dapat dibalik dan mulus dari prediktor linier, yaitu

Sekarang untuk menjawab pertanyaan Anda:

η

$\eta$

θ

$\theta$

μ

$\mu$

g (μ) = η or μ = g^{- 1} (η)

$g(\mu)=\eta\ \textrm{or}\ \mu=g^{-1}(\eta)$

$g(\cdot)$ $\mu$ $\eta$ $\theta$ $\eta \equiv\theta$ $g=(\gamma')^{-1}$

$X'y$ $\sum_i x_{ij} y_i$ $j = 1, \dots, p$ $\mu$

Oleh karena itu mereka cenderung digunakan secara default. Namun perlu dicatat, bahwa tidak ada alasan apriori mengapa efek dalam model harus aditif pada skala yang diberikan oleh tautan ini atau lainnya.

— Momo
sumber

5

+1, ini jawaban yang sangat bagus, @Momo. Saya memang menemukan beberapa persamaan lebih sulit untuk dibaca ketika mereka dikubur dalam paragraf, jadi saya 'memblokir' mereka dengan menggunakan tanda dolar ganda (yaitu $ $). Saya harap tidak apa-apa (jika tidak, Anda dapat mengembalikan, dengan permintaan maaf saya).

— gung - Pasang kembali Monica

1

@Momo, pertanyaan asli di sini mencakup, termasuk apa yang ditanyakan Wei, jadi ada baiknya menunjukkan bahwa belum dijawab dengan jelas.

— Glen_b

1

θ

$\theta$

η = θ

$\eta=\theta$

g (μ) = θ

$g(\mu)=\theta$

θ = (γ^{'})^{- 1} (μ)

$\theta=(\gamma')^{-1}(\mu)$

θ

$\theta$

θ \equiv μ

$\theta \equiv \mu$

g (.) = (γ^{'})^{- 1} (.)

$g(.)=(\gamma')^{-1}(.)$

1

γ^{'} (θ) = π = \frac{e x p (θ)}{1 + e x p (θ)}

$\gamma'(\theta) = \pi = \frac{exp(\theta)}{1+exp(\theta)}$

(γ^{'})^{- 1} (.) = logit(.)

$(\gamma')^{-1}(.) = \text{logit(.)}$

η = θ

$\eta = \theta$

g (.)

$g(.)$

θ = l o g i t (π) = η

$\theta = logit(\pi) = \eta$

θ

$\theta$

η

$\eta$ hanya ada, jika kita menggunakan fungsi tautan kanonik.

— Druss2k

2

μ

$\mu$

θ

$\theta$

η \equiv θ

$\eta \equiv \theta$

16

gung mengutip penjelasan yang bagus: tautan kanonik memiliki sifat teoretis khusus dengan kecukupan minimal. Ini berarti bahwa Anda dapat mendefinisikan model logit bersyarat (yang oleh para ekonom disebut sebagai model efek tetap) dengan mengkondisikan jumlah hasil, tetapi Anda tidak dapat mendefinisikan model probit bersyarat, karena tidak ada statistik yang cukup untuk digunakan dengan tautan probit.

— Tugas
sumber

Bisakah Anda menguraikan sedikit tentang kecukupan minimal? Dengan penjelasan di atas kita masih dapat mendefinisikan model probit, kan? Tentu saja ini bukan fungsi tautan kanonik, tetapi apa ruginya menggunakan fungsi tautan non-kanonik.

— pikachuchameleon

9

Berikut adalah diagram kecil yang terinspirasi dari kelas 18.650 MIT yang menurut saya cukup berguna karena membantu memvisualisasikan hubungan antara fungsi-fungsi ini. Saya telah menggunakan notasi yang sama seperti pada pos @ momo:

$\gamma(\theta)$
$g(\mu)$

$g$

Diagram memungkinkan untuk dengan mudah berpindah dari satu arah ke yang lain, misalnya:

η = g (γ (θ))

$\eta = g \left( \gamma(\theta)\right)$

θ = γ^{' - 1} (g^{- 1} (η))

$\theta = \gamma'^{-1}\left( g^{-1}(\eta)\right)$

Fungsi tautan kanonik

$g$

γ^{- 1} \circ g^{- 1} = {(g \circ γ^{'})}^{- 1} = I

$\gamma^{-1} \circ g^{-1}= \left( g \circ \gamma' \right)^{-1} = I$

θ = η

$\theta = \eta$

— Xavier Bourret Sicotte
sumber

1

Jawaban di atas sudah mencakup apa yang ingin saya katakan. Hanya untuk memperjelas beberapa poin sebagai peneliti pembelajaran mesin:

fungsi tautan tidak lain adalah kebalikan dari fungsi aktivasi. Sebagai contoh, logit adalah kebalikan dari sigmoid, probit adalah kebalikan dari fungsi distribusi kumulatif Gaussian.
$w^T x$ $w$ $x$

Diskusi di atas tidak ada hubungannya dengan keluarga eksponensial, tetapi diskusi yang bagus dapat ditemukan dalam buku PRML Christopher Bishop Bab 4.3.6.

— Guojun Zhang
sumber