Apa yang dimaksud dengan gradient-log-normalizer?

Di wiki, fungsi softmax didefinisikan sebagai gradient-log-normalizer dari distribusi probabilitas kategorikal . Penjelasan parsial untuk log-normalizer ditemukan di sini , tetapi apa yang dimaksud dengan gradient-log-normalizer ?

Menggunakan notasi dari halaman wikipedia ( https://en.wikipedia.org/wiki/Exponential_family ), keluarga eksponensial adalah keluarga distribusi probabilitas yang memiliki pmfs / pdf yang dapat ditulis sebagai (mencatat bahwa , dapat berupa nilai vektor): mana adalah parameter alami, adalah statistik yang cukup, dan adalah penormalkan log (kadang-kadang disebut fungsi partisi log). Alasan disebut log normalizer, karena dapat diverifikasi bahwa, dalam kasus berkelanjutan, untuk ini menjadi pdf yang valid, kita harus memiliki $\theta$$x$

$$f_{\theta}(x)=h(x)\exp[\eta(\theta)^Tt(x)-A(\theta)]$$ $\eta(\theta)=\eta$$t(x)$$A(\theta)$$A(\theta)$ $$A(\theta)=\log\left[\int h(x)\exp[\eta(\theta)^Tt(x)]dx\right],$$ dan dalam kasus terpisah, untuk ini menjadi pmf yang valid , kita harus memiliki Dalam setiap kasus kami perhatikan bahwa dan adalah konstanta normalisasi dari distribusi, oleh karena itu nama log normalizer. $$A(\theta)=\log\left[\sum_x h(x)\exp[\eta(\theta)^Tt(x)]\right].$$ $\int h(x)\exp[\eta(\theta)^Tt(x)]dx$$\sum_x h(x)\exp[\eta(\theta)^Tt(x)]$

Sekarang untuk melihat hubungan spesifik antara fungsi softmax dan distribusi dimensi , kita harus menggunakan parameterisasi spesifik dari distribusi. Yaitu, biarkan menjadi sedemikian rupa sehingga dan , dan tentukan (membiarkan ). PMF untuk distribusi ini adalah (membiarkan menjadi satu vektor panas, yaitu dan untuk ): $k$$\theta_1,\cdots,\theta_{k-1}$$0<\theta_1,\cdots,\theta_{k-1}$$\sum_{i=1}^{k-1}\theta_i<1$$\theta_k=1-\sum_{i=1}^{k-1}\theta_i$$\theta=(\theta_1,\cdots,\theta_{k})$$x=(x_1,\cdots,x_{k})$$x_i=1$$x_j=0$$i\neq j$

$$f_{\theta}(x)=\prod_{i=1}^k\theta_i^{x_i}.$$ Untuk menulis ini sebagai keluarga eksponensial, perhatikan bahwa , , , dan , jadi: $h(x)=1$$\eta(\theta)=(\log[\theta_1/\theta_k],\cdots, \log[\theta_{k-1}/\theta_k],0)$$t(x)=(x_1,\cdots,x_{k})$$A(\theta)=-\log[\theta_k]$ $$f_{\theta}(x)=\exp[(\log[\theta_1/\theta_k],\cdots, \log[\theta_{k-1}/\theta_k],0)^T(x_1,\cdots,x_{k})-(-\log[\theta_k])].$$

Sekarang mari kita menulis , sehingga kita dapat menulis . Kemudian log normalizer menjadi Mengambil turunan parsial sehubungan dengan , kami menemukan mengungkapkan bahwa gradien log normalizer memang fungsi softmax: $\eta(\theta_i)=\log[\theta_i/\theta_k]=\eta_i$$\theta_i=\frac{e^{\eta_i}}{\sum_{j=1}^ke^{\eta_j}}$

$$A(\eta)=-\log\left[\frac{e^{\eta_k}}{\sum_{j=1}^ke^{\eta_j}}\right]= -\log\left[\frac{1}{\sum_{j=1}^ke^{\eta_j}}\right]=\log\left[\sum_{j=1}^ke^{\eta_j}\right].$$ $\eta_i$ $$\frac{\partial}{\partial \eta_i}A(\eta)=\frac{e^{\eta_i}}{\sum_{j=1}^ke^{\eta_j}},$$ $$\nabla A(\eta)=\left[\frac{e^{\eta_1}}{\sum_{j=1}^ke^{\eta_j}},\cdots,\frac{e^{\eta_k}}{\sum_{j=1}^ke^{\eta_j}}\right].$$