Dapatkah Multinomial (1 / n,…, 1 / n) dikarakteristikkan sebagai Dirichlet yang diskrit (1, .., 1)?


24

Jadi pertanyaan ini agak berantakan, tetapi saya akan menyertakan grafik warna-warni untuk menebusnya! Pertama Latar Belakang kemudian Pertanyaan.

Latar Belakang

Katakanlah Anda memiliki distribusi multinomial -dimensi dengan probailit yang sama dengan kategori . Biarkan menjadi hitungan yang dinormalisasi ( ) dari distribusi itu, yaitu:nnπ=(π1,,πn)c

(c1,,cn)Multinomial(1/n,,1/n)πi=cin

Sekarang distribusi over memiliki dukungan atas -simpleks tetapi dengan langkah-langkah yang terpisah. Misalnya, dengan distribusi ini memiliki dukungan berikut (titik merah):πnn=3

masukkan deskripsi gambar di sini

Distribusi lain dengan dukungan serupa adalah distribusi -dimensi , yaitu distribusi yang seragam pada unit simplex. Misalnya, berikut ini undian acak dari 3-dimesional :Dirichlet ( 1 , , 1 ) Dirichlet ( 1 , 1 , 1 )nDirichlet(1,,1)Dirichlet(1,1,1)

masukkan deskripsi gambar di sini

Sekarang saya punya ide bahwa distribusi dari distribusi dapat dikarakteristikkan sebagai gambar dari yang didiskritkan ke dukungan diskrit dari . Diskritisasi yang ada dalam pikiran saya (dan yang tampaknya bekerja dengan baik) adalah mengambil setiap titik dalam simpleks dan "membulatkannya" ke titik terdekat yang ada dalam dukungan . Untuk simpleks 3 dimensi Anda mendapatkan partisi berikut ini di mana titik di setiap area berwarna harus "membulatkan" ke titik merah terdekat:πMultinomial(1/n,,1/n)Dirichlet(1,,1)ππ

masukkan deskripsi gambar di sini

Karena distribusi Dirichlet seragam, kerapatan / probabilitas yang dihasilkan untuk masing-masing titik sebanding dengan luas / volume yang "dibulatkan" ke setiap titik. Untuk kasus dua dimensi dan tiga dimensi probabilitas ini adalah:

masukkan deskripsi gambar di sini ( probabilitas ini berasal dari simulasi Monte Carlo )

Jadi sepertinya, setidaknya untuk dimensi 2 dan 3, distribusi probabilitas yang dihasilkan dari diskritisasi dengan cara khusus ini sama dengan distribusi probabilitas untuk . Itu adalah hasil normalisasi dari distribusi . Saya juga sudah mencoba dengan 4-dimensi dan sepertinya berfungsi di sana.π Multinomial ( 1 / n , , 1 / n )Dirichlet(1,,1)πMultinomial(1/n,,1/n)

Pertanyaan

Jadi pertanyaan utama saya adalah:

Ketika mendiskreditkan Dirichlet yang seragam dengan cara khusus ini, apakah hubungannya dengan berlaku untuk dimensi selanjutnya? Apakah hubungannya sama sekali? (Saya hanya mencoba ini menggunakan simulasi Monte Carlo ...)Multinomial(1/n,,1/n)

Lebih lanjut saya bertanya-tanya:

  • Jika hubungan ini berlaku, apakah ini merupakan hasil yang diketahui? Dan adakah sumber yang bisa saya kutip untuk ini?
  • Jika diskritisasi seragam Dirichlet ini tidak memiliki hubungan dengan Multinomial. Apakah ada konstruksi serupa yang dimiliki?

Beberapa konteks

Alasan saya untuk mengajukan pertanyaan ini adalah karena saya melihat kesamaan antara Bootstrap non-parametrik dan Bootstrap Bayesian, dan kemudian ini muncul. Saya juga memperhatikan bahwa pola pada area berwarna pada simpleks 3-dimesi di atas terlihat seperti (dan seharusnya) diagram Voronoi. Salah satu cara (saya harap) Anda dapat memikirkan ini adalah sebagai urutan Pascal's Triangle / Simpex ( http://www.math.rutgers.edu/~erowland/pascalssimplices.html ). Di mana ukuran area berwarna mengikuti baris kedua Pascal's triangle dalam case 2-d, baris ketiga tetrahedron Pascal dalam case 3-d, dan seterusnya. Ini akan menjelaskan hubungan dengan distribusi multinomial, tapi di sini saya benar-benar di perairan dalam ...


2
menyenangkan! (Seperti biasa.) Tapi saya kehilangan koneksi kaus kaki.
Xi'an

Yah, saya mulai menggambar kaus kaki dengan pengganti. Tapi kemudian saya mulai berpikir tentang Bayesian Boostrap, satu hal mengarah ke yang lain, dan itulah bagaimana saya berakhir di sini :)
Rasmus Bååth

2
@ Xi'an mungkin itu kaus kaki ketimbang anak anjing yang harus menjadi maskot Bayesian?
Tim

Jawaban:


14

Kedua distribusi tersebut berbeda untuk setiap .n4

Notasi

Saya akan mengubah skala simpleks Anda dengan faktor , sehingga titik-titik kisi memiliki koordinat bilangan bulat. Ini tidak mengubah apa pun, saya hanya berpikir itu membuat notasi sedikit kurang rumit.n

Misalkan adalah ( n - 1 ) -simplex, diberikan sebagai cembung titik ( n , 0 , , 0 ) , ..., ( 0 , , 0 , n ) dalam R n . Dengan kata lain, ini adalah titik-titik di mana semua koordinat non-negatif, dan di mana koordinat dijumlahkan menjadi n .S(n1)(n,0,,0)(0,,0,n)Rnn

Misalkan menunjukkan himpunan titik kisi , yaitu titik-titik di S di mana semua koordinat integral.ΛS

Jika adalah titik kisi, kita membiarkan V P menunjukkan sel Voronoi -nya , didefinisikan sebagai titik-titik di S yang lebih dekat ke P daripada titik lain di Λ .PVPSPΛ

Kami menempatkan dua distribusi probabilitas yang dapat kami gunakan . Salah satunya adalah distribusi multinomial, di mana titik ( a 1 , . . . , A n ) memiliki probabilitas 2 - n n ! / ( a 1 ! a n ! ) . Yang lain kita akan memanggil model yang Dirichlet , dan memberikan kepada setiap P Λ probabilitas sebanding dengan volume V P .Λ(a1,...,an)2nn!/(a1!an!)PΛVP

Pembenaran yang sangat informal

Saya mengklaim bahwa model multinomial dan model Dirichlet memberikan distribusi yang berbeda pada , setiap kali n 4 .Λn4

Untuk melihat ini, perhatikan case , dan titik A = ( 2 , 2 , 0 , 0 ) dan B = ( 3 , 1 , 0 , 0 ) . Saya mengklaim bahwa V A dan V B adalah kongruen melalui terjemahan oleh vektor ( 1 , - 1 , 0 , 0 ) . Ini berarti bahwa V A dan V Bn=4A=(2,2,0,0)B=(3,1,0,0)VAVB(1,1,0,0)VAVBmemiliki volume yang sama, dan dengan demikian dan B memiliki probabilitas yang sama dalam model Dirichlet. Di sisi lain, dalam model multinomial, mereka memiliki probabilitas yang berbeda ( 2 - 44 ! / ( 2 ! 2 ! ) Dan 2 - 44 ! / 3 ! ), Dan selanjutnya distribusi tidak dapat sama.AB244!/(2!2!)244!/3!

Fakta bahwa dan V B adalah kongruen mengikuti klaim yang masuk akal tetapi tidak jelas (dan agak kabur):VAVB

Klaim yang masuk akal : Bentuk dan ukuran dari hanya dipengaruhi oleh "tetangga dekat" dari P , (yaitu titik-titik di Λ yang berbeda dari P oleh vektor yang terlihat seperti ( 1 , - 1 , 0 , ... , 0 ) , di mana 1 dan - 1 mungkin ada di tempat lain)VPPΛP(1,1,0,,0)11

Sangat mudah untuk melihat bahwa konfigurasi "tetangga dekat" dari dan B adalah sama, dan kemudian mengikuti bahwa V A dan V B adalah kongruen.ABVAVB

Dalam kasus , kita dapat memainkan game yang sama, dengan A = ( 2 , 2 , n - 4 , 0 , , 0 ) dan B = ( 3 , 1 , n - 4 , 0 , , 0 ) , sebagai contoh.n5A=(2,2,n4,0,,0)B=(3,1,n4,0,,0)

Saya tidak berpikir klaim ini sepenuhnya jelas, dan saya tidak akan membuktikannya, alih-alih strategi yang sedikit berbeda. Namun, saya pikir ini adalah jawaban yang lebih intuitif mengapa distribusi berbeda untuk .n4

Bukti yang kuat

Ambil dan B seperti dalam justifikasi informal di atas. Kita hanya perlu membuktikan bahwa V A dan V B adalah kongruen.ABVAVB

Diberi , kita akan mendefinisikan W P sebagai berikut: W P adalah himpunan titik-titik ( x 1 , ... , x n ) S , yang max 1 i n ( a i - p i ) - min 1 i n ( a iP=(p1,,pn)ΛWPWP(x1,,xn)S . (Dalam cara yang lebih mudah dicerna: Let v i = a i - p i . W P adalah himpunan titik-titik yang perbedaan antara tertinggi dan terendah v i kurang dari 1.)max1in(aipi)min1in(aipi)<1vi=aipiWPvi

Kami akan menunjukkan bahwa .VP=WP

Langkah 1

Klaim: .VPWP

Ini cukup mudah: Misalkan X=(x1,,xn) tidak dalam . Biarkan v i = x i - p i , dan anggap (tanpa kehilangan sifat umum) bahwa v 1 = maks 1 i n v i , v 2 = min 1 i n v i . v 1 - v 2WPvi=xipiv1=max1inviv2=min1invi Karenan i = 1 v i = 0 , kita juga tahu bahwa v 1 > 0 > v 2 .v1v21i=1nvi=0v1>0>v2

Biarkan sekarang . Karena P dan X keduanya memiliki koordinat non-negatif, begitu juga Q , dan itu mengikuti Q S , dan begitu juga Q Λ . Di sisi lain, d i s t 2 ( X , P ) - d i s t 2Q=(p1+1,p21,p3,,pn)PXQQSQΛ . Dengan demikian, X setidaknya sebagai dekat dengan Q untuk P , sehingga X V P . Ini menunjukkan (dengan mengambil pelengkap) itudist2(X,P)dist2(X,Q)=v12+v22(1v1)2(1+v2)2=2+2(v1v2)0XQPXVP .VpWP

Langkah 2

Klaim : The yang berpasangan menguraikan.WP

Misalkan sebaliknya. Mari dan Q = ( q 1 , ... , q n ) menjadi titik berbeda dalam Λ , dan membiarkan X W PW Q . Karena P dan Q berbeda dan keduanya dalam Λ , harus ada satu indeks i di mana p iq i + 1 , dan satu di manaP=(p1,,pn)Q=(q1,,qn)ΛXWPWQPQΛipiqi+1 . Tanpa kehilangan sifat umum, kita mengasumsikan bahwa p 1q 1 + 1 , dan p 2q 2 - 1 . Mengatur ulang dan menambahkan bersama, kita mendapatkan q 1 - p 1 + p 2 - q 22 .piqi1p1q1+1p2q21q1p1+p2q22

Pertimbangkan sekarang angka dan x 2 . Dari fakta bahwa X W P , kita memiliki x 1 - p 1 - ( x 2 - p 2 ) < 1 . Demikian pula, X W Q menyiratkan bahwa x 2 - q 2 - ( x 1 - q 1 ) < 1 . Menambahkan ini bersama-sama, kita mendapatkan q 1 - px1x2XWPx1p1(x2p2)<1XWQx2q2(x1q1)<1 , dan kami memiliki kontradiksi.q1p1+p2q2<2

Langkah 3

Kami telah menunjukkan bahwa , dan bahwa W P yang menguraikan. The V P penutup S hingga satu set ukuran nol, dan itu berikut bahwa W P = V P (sampai satu set ukuran nol). [Karena W P dan V P keduanya terbuka, kita benar-benar memiliki W P = V P persis, tapi ini tidak penting.]VPWPWPVPSWP=VPWPVPWP=VP

Sekarang, kita hampir selesai. Pertimbangkan titik dan B = ( 3 , 1 , n - 4 , 0 , , 0 ) . Sangat mudah untuk melihat bahwa W A dan W B adalah kongruen dan terjemahan satu sama lain: satu-satunya cara mereka bisa berbeda, adalah jika batas S (selain wajah-wajah di mana AA=(2,2,n4,0,,0)B=(3,1,n4,0,,0)WAWBSAdan keduanya berbohong) akan `` memotong '' baik W A atau W B tetapi tidak yang lain. Tapi untuk mencapai seperti bagian dari batas S , kita akan perlu mengubah satu koordinat dari A atau B dengan setidaknya 1, yang akan cukup untuk jaminan untuk membawa kita keluar dari W A dan W B pula. Jadi, meskipun S memang terlihat berbeda dari titik pandang A dan B , perbedaannya terlalu jauh untuk diambil oleh definisi W A dan W B , dan dengan demikian WBWAWBSABWAWBSABWAWB dan W B adalah kongruen.WAWB

Maka mengikuti bahwa dan V B memiliki volume yang sama, dan dengan demikian model Dirichlet memberi mereka probabilitas yang sama, meskipun mereka memiliki probabilitas yang berbeda dalam model multinomial.VAVB


Wow, teliti! Terima kasih! Jadi korespondensi kecil yang saya harapkan adalah kebetulan, saya kira ...
Rasmus Bååth
Dengan menggunakan situs kami, Anda mengakui telah membaca dan memahami Kebijakan Cookie dan Kebijakan Privasi kami.
Licensed under cc by-sa 3.0 with attribution required.