Distribusi pada himpunan bagian dari

Saya ingin tahu apakah ada jenis distribusi standar pada himpunan bilangan bulat . Secara ekuivalen, kita dapat menyatakan ini sebagai distribusi pada vektor panjang dari hasil biner, misalnya jika maka sesuai dengan vektor .$\{1, 2, ..., J\}$$J$$J = 5$$\{1, 3, 5\}$$(1, 0, 1, 0, 1)$

Idealnya yang saya cari adalah distribusi , berasal dari keluarga yang diindeks oleh parameter dimensi hingga , yang akan mendistribusikan massanya sedemikian rupa sehingga dua biner vektor dan akan memiliki kesamaan probabilitas jika mereka "berdekatan", yaitu dan memiliki probabilitas yang serupa. Sungguh, apa yang ingin saya lakukan mudah-mudahan, adalah meletakkan pada sehingga jika saya tahu cukup besar maka mungkin relatif besar untuk vektor yang jauh dari .$\nu_\theta (\cdot)$$\theta$$r_1$$r_2$$r_1 = (0, 0, 1, 0, 1)$$r_2 = (0, 0, 1, 1, 1)$$\theta$$\nu_\theta (r_1)$$\nu_\theta (r_2)$$r_1$

Salah satu strategi yang muncul dalam pikiran adalah meletakkan metrik atau ukuran dispersi lain pada pada dan kemudian mengambil , atau yang serupa. Contoh eksplisit adalah dalam analogi dengan distribusi normal. Tidak apa-apa, tapi saya berharap ada sesuatu yang standar dan sesuai dengan analisis Bayesian; dengan ini saya tidak dapat menuliskan konstanta normalisasi.$d_\theta$$\{0, 1\}^J$$\nu_\theta (r) \propto \exp (-d_\theta (r, \mu))$$\exp\left\{-\|r - \mu\|^2 / (2 \sigma^2)\right\}$

Anda mungkin menyukai keluarga lokasi berdasarkan jarak Hamming , karena kekayaan, fleksibilitas, dan kemampuan penelusuran komputasinya.

Notasi dan definisi

Ingatlah bahwa dalam modul berdimensi-bebas bebas dengan basis , jarak Hamming antara dua vektor dan adalah jumlah tempat di mana .( e 1 , e 2 , … , e J ) δ H v = v 1 e 1 + ⋯ + v J e J w = w 1 e 1 + ⋯ + w J e J i v i ≠ w $V$$\left(\mathbf{e}_1, \mathbf{e}_2, \ldots, \mathbf{e}_J\right)$ $\delta_H$$\mathbf{v}=v_1 \mathbf{e}_1 + \cdots + v_J\mathbf{e}_J$$\mathbf{w}=w_1 \mathbf{e}_1 + \cdots + w_J\mathbf{e}_J$$i$$v_i \ne w_i$

Diberikan asal , partisi jarak Hamming ke dalam bola , , di mana . Ketika cincin dasar memiliki elemen, memiliki elemen dan memiliki elemen. (Ini mengikuti segera dari mengamati bahwa unsur-unsur berbeda dari persis di tempat - yang adaV S i ( v 0 )i=0,1,…,J S i ( v 0 )={ w ∈V | δ H ( w , v 0 )=i}nV n J S i ( v ) ($\mathbf{v}_0\in V$$V$$S_i(\mathbf{v}_0)$$i=0, 1, \ldots, J$$S_i(\mathbf{v}_0) = \{\mathbf{w}\in V\ |\ \delta_H(\mathbf{w}, \mathbf{v}_0) = i\}$$n$$V$$n^J$$S_i(\mathbf{v})$Si(v)vi ($\binom{J}{i}\left(n-1\right)^i$$S_i(\mathbf{v})$$\mathbf{v}$$i$ n-$\binom{J}{i}$kemungkinan - dan bahwa ada, secara mandiri, pilihan nilai untuk setiap tempat.)$n-1$

Terjemahan affine dalam berlaku secara alami pada distribusinya untuk memberi keluarga lokasi. Khususnya, ketika adalah distribusi apa pun pada (yang berarti sedikit lebih dari , untuk semua , dan ) dan adalah elemen , maka juga merupakan distribusi dimanaf V f : V → [ 0 , 1 ] f ( v ) ≥ 0 v ∈ V ∑ v ∈ V f ( v ) = 1 w V f ( w$V$$f$$V$$f:V\to [0,1]$$f(\mathbf{v})\ge 0$$\mathbf{v} \in V$$\sum_{\mathbf{v}\in V}f(\mathbf{v})=1$$\mathbf{w}$$V$$f^{(\mathbf{w})}$

untuk semua . Sebuah keluarga lokasi distribusi adalah invarian dalam tindakan ini: menyiratkan untuk semua .Ω f ∈ Ω f ( v ) ∈ Ω v ∈ $\mathbf{v}\in V$ $\Omega$$f\in \Omega$$f^{(\mathbf{v})}\in \Omega$$\mathbf{v}\in V$

Konstruksi

Ini memungkinkan kami untuk menentukan keluarga distribusi yang berpotensi menarik dan bermanfaat dengan menentukan bentuk mereka pada satu vektor tetap , yang untuk kenyamanan saya akan menjadi , dan menerjemahkan "menghasilkan distribusi" ini di bawah tindakan untuk mendapatkan keluarga lengkap . Untuk mencapai properti yang diinginkan yang harus memiliki nilai yang sebanding di titik terdekat, cukup minta properti dari semua distribusi yang dihasilkan.0 = ( 0 , 0 , ... , 0 ) V Ω $\mathbf{v}$$\mathbf{0} = (0,0,\ldots,0)$$V$$\Omega$$f$

Untuk melihat bagaimana ini bekerja, mari kita membangun keluarga lokasi semua distribusi yang menurun dengan meningkatnya jarak. Karena hanya jarak Hamming yang mungkin, pertimbangkan setiap urutan penurunan bilangan real non-negatif = . Seta 0 ≠ a 0 ≥ a 1 ≥ ⋯ ≥ a J ≥ $J+1$$\mathbf{a}$$0 \ne a_0 \ge a_1 \ge \cdots \ge a_J \ge 0$

dan tentukan fungsi oleh$f_\mathbf{a}:V\to [0,1]$

Kemudian, seperti mudah untuk memeriksa, adalah distribusi pada . Selanjutnya, jika dan hanya jika adalah kelipatan positif dari (sebagai vektor dalam ). Jadi, jika kita suka, kita dapat membuat standar menjadi . V f suatu = f sebuah ' a ' a R J + 1 a a 0 = $f_\mathbf{a}$$V$$f_\mathbf{a} = f_{\mathbf{a}'}$$\mathbf{a}'$$\mathbf{a}$$\mathbb{R}^{J+1}$$\mathbf{a}$$a_0=1$

Dengan demikian, konstruksi ini memberikan parameterisasi eksplisit dari semua distribusi invarian lokasi yang berkurang dengan jarak Hamming: distribusi tersebut dalam bentuk untuk beberapa urutan dan beberapa vektor . a = 1 ≥ a 1 ≥ a 2 ≥ ⋯ ≥ a J ≥ 0 v ∈ $f_\mathbf{a}^{(\mathbf{v})}$$\mathbf{a} = 1 \ge a_1 \ge a_2 \ge \cdots \ge a_J \ge 0$$\mathbf{v}\in V$

Parameterisasi ini memungkinkan spesifikasi priors yang sesuai: faktorkan menjadi prior di lokasi dan prior pada shape . (Tentu saja orang dapat mempertimbangkan kumpulan prior yang lebih besar di mana lokasi dan bentuk dan tidak independen, tetapi ini akan menjadi usaha yang lebih rumit.)$\mathbf{v}$$\mathbf{a}$

Menghasilkan nilai acak

Salah satu cara untuk mengambil sampel dari adalah secara bertahap dengan memfaktorkannya ke dalam distribusi di atas radio bola dan distribusi lain yang tergantung pada setiap bola:$f_\mathbf{a}^{(\mathbf{v})}$

1. Gambarkan indeks dari distribusi diskrit pada diberikan oleh probabilitas , di mana didefinisikan seperti sebelumnya .{ 0 , 1 , … , J } ($i$$\{0,1,\ldots,J\}$$\binom{J}{i}(n-1)^i a_i / A$$A$

2. Indeks sesuai dengan himpunan vektor yang berbeda dari tepat di tempat . Oleh karena itu, memilih orang-orang menempatkan keluar dari mungkin himpunan bagian, memberikan masing-masing probabilitas yang sama. (Ini hanya contoh dari subscript dari tanpa pengganti.) Biarkan bagian ini tempat ditulis .v i i ($i$$\mathbf{v}$$i$$i$ iJi$\binom{J}{i}$$i$$J$ $i$$I$

3. Gambarkan elemen dengan secara independen memilih nilai secara seragam dari himpunan skalar yang tidak sama dengan untuk semua dan sebaliknya atur . Secara ekuivalen, buat vektor dengan memilih secara seragam secara acak dari skalar bukan nol ketika dan jika tidak, atur . Set .w j v j j ∈ I w j = v j u u j j ∈ I u j = 0 w = v + $\mathbf{w}$$w_j$$v_j$$j\in I$$w_j=v_j$$\mathbf{u}$$u_j$$j\in I$$u_j=0$$\mathbf{w} = \mathbf{v} + \mathbf{u}$

Langkah 3 tidak perlu dalam kasus biner.

Contoh

Berikut ini adalah Rimplementasi untuk menggambarkan.

rHamming <- function(N=1, a=c(1,1,1), n=2, origin) {
  # Draw N random values from the distribution f_a^v where the ground ring
  # is {0,1,...,n-1} mod n and the vector space has dimension j = length(a)-1.
  j <- length(a) - 1
  if(missing(origin)) origin <- rep(0, j)

  # Draw radii `i` from the marginal distribution of the spherical radii.
  f <- sapply(0:j, function(i) (n-1)^i * choose(j,i) * a[i+1])
  i <- sample(0:j, N, replace=TRUE, prob=f)

  # Helper function: select nonzero elements of 1:(n-1) in exactly i places.
  h <- function(i) {
    x <- c(sample(1:(n-1), i, replace=TRUE), rep(0, j-i))
    sample(x, j, replace=FALSE)
  }

  # Draw elements from the conditional distribution over the spheres
  # and translate them by the origin.
  (sapply(i, h) + origin) %% n
}

Sebagai contoh penggunaannya:

test <- rHamming(10^4, 2^(11:1), origin=rep(1,10))
hist(apply(test, 2, function(x) sum(x != 0)))

Ini membutuhkan detik untuk menggambar elemen awal dari distribusi mana , (case biner), , dan menurun secara eksponensial.10 4 f ( v ) a J = 10 n = 2 v = ( 1 , 1 , … , 1 ) a = ( 2 11 , 2 10 , … , 2 1$0.2$$10^4$$f_{\mathbf{a}}^{(\mathbf{v})}$$J=10$$n=2$$\mathbf{v}=(1,1,\ldots,1)$$\mathbf{a}=(2^{11},2^{10},\ldots,2^1)$

(Algoritma ini tidak mengharuskan berkurang; dengan demikian, ia akan menghasilkan variasi acak dari sembarang keluarga lokasi, bukan hanya yang unimodal.)$\mathbf{a}$

Sampel dari titik proses k-determinan memodelkan distribusi lebih dari himpunan bagian yang mendorong keragaman, sehingga item serupa kurang mungkin terjadi bersama-sama dalam sampel. Mengacu pada pengambilan sampel titik proses penentuan-K oleh Alex Kulesza, Ben Taskar.