Bagaimana saya mengambil sampel dari distribusi diskrit (kategorikal) dalam ruang log?

12

Misalkan saya memiliki distribusi diskrit yang ditentukan oleh vektor sehingga kategori akan digambar dengan probabilitas dan seterusnya. Saya kemudian menemukan bahwa beberapa nilai dalam distribusi sangat kecil sehingga mereka melemahkan representasi angka floating point komputer saya, jadi, sebagai kompensasi, saya melakukan semua perhitungan saya dalam ruang-log. Sekarang saya punya log vektor spasi-ruang . $\theta_0, \theta_1, ..., \theta_N$ $0$ $\theta_0$ $log(\theta_0), log(\theta_1), ..., log(\theta_N)$

Apakah mungkin untuk mengambil sampel dari distribusi sedemikian rupa sehingga probabilitas asli tahan (kategori $i$ digambar dengan probabilitas $\theta_i$ ) tetapi tanpa pernah meninggalkan ruang log? Dengan kata lain, bagaimana saya mengambil sampel dari distribusi ini tanpa arus bawah?

random-generation

— Josh Hansen
sumber

15

Dimungkinkan untuk mengambil sampel dari distribusi kategoris yang diberikan probabilitas log tanpa meninggalkan ruang log menggunakan trik Gumbel-max . Idenya adalah bahwa jika Anda diberi probabilitas log yang tidak normal $\alpha_1,\dots,\alpha_k$ , itu dapat diterjemahkan ke probabilitas yang tepat menggunakan fungsi softmax

p_{i} = \frac{\exp (α_{i})}{\sum_{j} \exp (α_{j})}

$p_i = \frac{\exp(\alpha_i)}{\sum_j \exp(\alpha_j)}$

kemudian untuk mengambil sampel dari distribusi tersebut, Anda dapat menggunakan fakta bahwa jika $g_1,\dots,g_k \sim \mathcal{G}(0)$ adalah sampel independen yang diambil dari distribusi Gumbel standar yang ditentukan oleh lokasi $m$ ,

F (G \leq g) = \exp (- \exp (- g + m))

$F(G \le g) = \exp(-\exp(-g+m))$

maka bisa ditunjukkan (lihat referensi di bawah) itu

\begin{aligned} \underset{i}{a r g m a x} {g_{i} + α_{i}} & \sim \frac{\exp (α_{i})}{\sum_{j} \exp (α_{j})} \\ max_{i} {g_{i} + α_{i}} & \sim G (\log \sum_{i} \exp {α_{i}}) \end{aligned}

$\DeclareMathOperator*{\argmax}{arg\,max} \begin{align} \argmax_i \,\{\, g_i + \alpha_i \,\} &\sim \frac{\exp(\alpha_i)}{\sum_j \exp(\alpha_j)} \\ \max_i\,\{\, g_i + \alpha_i \,\} &\sim \mathcal{G}(\; \log\sum_i\exp\{\alpha_i\}\;) \end{align}$

dan kita bisa ambil

z = \underset{i}{a r g m a x} {g_{i} + α_{i}}

$z = \argmax_i \,\{\, g_i + \alpha_i \,\}$

sebagai sampel dari distribusi kategorikal yang oleh . Pendekatan ini dijelaskan secara lebih rinci dalam entri blog oleh Ryan Adams dan Laurent Dinh , apalagi Chris J. Maddison, Daniel Tarlow dan Tom Minka memberikan speach ( slide ) pada konferensi Neural Information Processing Systems (2014) dan menulis makalah berjudul A * Pengambilan sampel yang menggeneralisasi ide-ide tersebut (lihat juga Maddison, 2016; Maddison, Mnih dan Teh, 2016; Jang dan Poole, 2016), yang merujuk pada Yellott (1977) menyebut dirinya sebagai salah satu di antara mereka yang pertama kali menggambarkan properti ini. $p_1,\dots,p_k$

Sangat mudah untuk mengimplementasikannya menggunakan inverse transform sampling dengan mengambil mana diambil dari distribusi yang seragam pada . Ini tentu saja bukan algoritma yang paling efisien waktu untuk pengambilan sampel dari distribusi kategorikal, tetapi memungkinkan Anda untuk tetap berada di ruang log apa yang mungkin menjadi keuntungan dalam beberapa skenario. $g_i=-\log(-\log u_i)$ $u_i$ $(0,1)$

Maddison, CJ, Tarlow, D., & Minka, T. (2014). Pengambilan sampel *. [Dalam:] Kemajuan dalam Sistem Pemrosesan Informasi Saraf Tiruan (hlm. 3086-3094).

Yellott, JI (1977). Hubungan antara aksioma pilihan Luce, teori penilaian komparatif Thurstone, dan distribusi eksponensial ganda. Jurnal Psikologi Matematika, 15 (2), 109-144.

Maddison, CJ, Mnih, A., & Teh, YW (2016). Distribusi Beton: Relaksasi Berkelanjutan dari Variabel Acak Acak. arXiv preprint arXiv: 1611.00712.

Jang, E., Gu, S., & Poole, B. (2016). Reparameterisasi Kategorikal dengan Gumbel-Softmax. arXiv preprint arXiv: 1611.01144.

Maddison, CJ (2016). Model proses Poisson untuk Monte Carlo. arXiv preprint arXiv: 1602.05986.

— Tim
sumber

5

Berikut adalah salah satu cara umum untuk menghindari underflow / overflow.

Biarkan . $m = \max_i \log(\theta_i)$

Biarkan . $\theta_i' = \exp( \log(\theta_i) - m )$

Anda dapat mengambil sampel dari . $\theta' = [\theta_1' , \theta_2',...]$

— Siddharth Gopal
sumber

1

Ini berfungsi selama perbedaan antara satu nilai dan max tidak terlalu besar --- ketika itu terjadi, expdapat kehilangan presisi, yang mengarah ke distribusi seperti [1.0, 3.45e-66, 0.0, 7.54e-121] . Saya ingin bertahan untuk beberapa jawaban yang kuat bahkan dalam kasus itu. Tapi untuk saat ini, saya mengangkat jawaban Anda.

— Josh Hansen