Model pas untuk dua distribusi normal di PyMC

Karena saya seorang insinyur perangkat lunak yang mencoba mempelajari lebih banyak statistik, Anda harus memaafkan saya bahkan sebelum saya mulai, ini adalah wilayah newb yang serius ...

Saya telah belajar PyMC dan bekerja melalui beberapa contoh sederhana. Satu masalah yang saya tidak dapat mulai bekerja (dan tidak dapat menemukan contoh terkait) adalah memasang model ke data yang dihasilkan dari dua distribusi normal.

Katakanlah saya memiliki 1000 nilai; 500 dihasilkan dari a Normal(mean=100, stddev=20)dan 500 lainnya dihasilkan dari a Normal(mean=200, stddev=20).

Jika saya ingin mencocokkan model dengan mereka, yaitu menentukan dua cara dan standar deviasi tunggal, menggunakan PyMC. Aku tahu itu sesuatu di sepanjang garis ...

mean1 = Uniform('mean1', lower=0.0, upper=200.0)
mean2 = Uniform('mean2', lower=0.0, upper=200.0)
precision = Gamma('precision', alpha=0.1, beta=0.1)

data = read_data_from_file_or_whatever()

@deterministic(plot=False)
def mean(m1=mean1, m2=mean2):
    # but what goes here?

process = Normal('process', mu=mean, tau=precision, value=data, observed=True)

yaitu, proses menghasilkan adalah Normal, tetapi mu adalah salah satu dari dua nilai. Saya hanya tidak tahu bagaimana mewakili "keputusan" antara apakah suatu nilai berasal m1atau tidak m2.

Mungkin saya benar-benar mengambil pendekatan yang salah untuk pemodelan ini? Adakah yang bisa menunjukkan saya pada contoh? Saya dapat membaca BUGS dan JAGS sehingga semuanya benar-benar baik-baik saja.

Apakah Anda benar-benar yakin bahwa separuh berasal dari satu distribusi dan setengah lainnya dari yang lain? Jika tidak, kita dapat memodelkan proporsi sebagai variabel acak (yang merupakan hal yang sangat bayesian untuk dilakukan).

Berikut ini yang akan saya lakukan, beberapa tips tertanam.

from pymc import *

size = 10
p = Uniform( "p", 0 , 1) #this is the fraction that come from mean1 vs mean2

ber = Bernoulli( "ber", p = p, size = size) # produces 1 with proportion p.

precision = Gamma('precision', alpha=0.1, beta=0.1)

mean1 = Normal( "mean1", 0, 0.001 ) #better to use normals versus Uniforms (unless you are certain the value is  truncated at 0 and 200 
mean2 = Normal( "mean2", 0, 0.001 )

@deterministic
def mean( ber = ber, mean1 = mean1, mean2 = mean2):
    return ber*mean1 + (1-ber)*mean2


#generate some artificial data   
v = np.random.randint( 0, 2, size)
data = v*(10+ np.random.randn(size) ) + (1-v)*(-10 + np.random.randn(size ) )


obs = Normal( "obs", mean, precision, value = data, observed = True)

model = Model( {"p":p, "precision": precision, "mean1": mean1, "mean2":mean2, "obs":obs} )

Beberapa poin, terkait dengan diskusi di atas:

1. Pilihan difus normal vs seragam cukup akademis kecuali (a) Anda khawatir tentang konjugasi, dalam hal ini Anda akan menggunakan normal atau (b) ada kemungkinan yang masuk akal bahwa nilai sebenarnya bisa berada di luar titik akhir seragam. . Dengan PyMC, tidak ada alasan untuk khawatir tentang konjugasi, kecuali jika Anda secara khusus ingin menggunakan sampler Gibbs.

2. Gamma sebenarnya bukan pilihan tepat untuk informasi sebelum parameter varians / presisi. Itu bisa menjadi lebih informatif menurut Anda. Pilihan yang lebih baik adalah meletakkan seragam sebelum deviasi standar, kemudian mengubahnya dengan kuadrat terbalik. Lihat Gelman 2006 untuk detailnya.