Masalah lokomotif dengan berbagai ukuran perusahaan

9

Saya sedang mengerjakan Think Bayes (gratis di sini: http://www.greenteapress.com/thinkbayes/ ) dan saya sedang berolahraga 3.1. Berikut ringkasan masalahnya:

"Sebuah kereta api memberi nomor lokomotifnya dalam urutan 1..N. Suatu hari kamu melihat lokomotif dengan nomor 60. Perkirakan berapa banyak lokomotif yang dimiliki kereta api."

Solusi ini ditemukan dengan fungsi kemungkinan dan eksponensial sebelumnya seperti:

class Train(Suite):
  def __init__(self, hypos, alpha=1.0):
    # Create an exponential prior
    Pmf.__init__(self)
    for hypo in hypos:
      self.Set(hypo, hypo**(-alpha))
    self.Normalize()
  def Likelihood(self, data, hypo):
    if hypo < data:
      return 0
    else:
      return (1.0/hypo)

Secara konseptual ini dikatakan, jika kita melihat jumlah kereta yang lebih besar dari salah satu hipotesis kami (1 ... 1000) maka setiap hipotesis yang lebih kecil memiliki peluang nol untuk menjadi benar. Sisa hipotesis memiliki peluang 1 / number_of_trains untuk menunjukkan kepada kami kereta dengan nomor ini.

Dalam latihan saya bekerja pada penulis kemudian menambahkan sedikit tambahan. Ini mengasumsikan hanya ada satu perusahaan. Namun dalam kehidupan nyata Anda akan memiliki campuran perusahaan besar dan kecil dan perusahaan besar (keduanya sama-sama kemungkinan). Namun, ini berarti Anda lebih mungkin melihat kereta dari perusahaan yang lebih besar karena mereka akan memiliki lebih banyak kereta.

Sekarang pertanyaannya adalah bagaimana mencerminkan hal ini dalam fungsi kemungkinan?

Ini bukan Stack Overflow jadi saya tidak benar-benar meminta bantuan pengkodean, tetapi mungkin hanya membantu tentang bagaimana saya berpikir tentang masalah ini dalam hal fungsi kemungkinan.

bayesian conditional-probability bayes

— Justin Bozonier
sumber

Masalah yang sama ada di 50 Masalah Menantang dalam Peluang oleh Mosteller. Buku ini tersedia secara luas. Saya tidak berpikir bayes segera benar.

Membeli buku @Hogan tetapi tidak termasuk bagian tentang perusahaan lain yang tergabung.

— Justin Bozonier

8

Saya pertama kali menguraikan pendekatan untuk dua perusahaan secara rinci, ekstensi untuk lebih banyak perusahaan kemudian harus intuitif (setidaknya untuk kemungkinan, yang sebelumnya bisa lebih rumit).

Bayangkan ada dua perusahaan A dan B , di mana A memiliki lokomotif dan B memiliki lokomotif . Kami menganggap (Anda selalu dapat beralih A dan B untuk membuat penahanan ini). Jumlah total untuk hipotesis lokomotif itu adalah . $N_A$ $N_B$ $N_A \ge N_B$ $N_{tot} = N_A + N_B$

Bayangkan Anda melihat lokomotif dengan nomor . Ada tiga kasus untuk kemungkinan: $n$

$N_A < n$ : Ini tidak bisa terjadi, jadi kemungkinannya nol.
$N_B < n \le N_A$ : Lokomotif ini harus berasal dari perusahaan A , jadi hanya ada satu lokomotif dengan nomor ini. Dengan demikian kemungkinannya adalah $1/N_{tot}$
$n \le N_B$ : Lokomotif ini bisa dari A atau dari B , jadi ada dua lokomotif dengan nomor ini. Kemungkinan untuk melihat salah satunya adalah . $2/N_{tot}$

Sebagai pemeriksaan kewarasan cepat: Kemungkinan untuk melihat angka sama sekali adalah .

\sum_{i = 1}^{\infty} L (i) = \sum_{i = 1}^{N_{B}} \frac{2}{N_{t o t}} + \sum_{i = N_{B} + 1}^{N_{A}} \frac{1}{N_{t o t}} = \frac{2 \cdot N_{B}}{N_{t o t}} + \frac{N_{A} - N_{B}}{N_{t o t}} = \frac{N_{A} + N_{B}}{N_{t o t}} = 1

$\sum_{i=1}^\infty L(i) = \sum_{i=1}^{N_B} \frac{2}{N_{tot}} + \sum_{i=N_B+1}^{N_A} \frac{1}{N_{tot}} \\ = \frac{2\cdot N_B}{N_{tot}} + \frac{N_A-N_B}{N_{tot}} = \frac{N_A+N_B}{N_{tot}} = 1$

Secara umum, akan ada (jumlah perusahaan + 1) kasus, satu untuk setiap interval . Untungnya, kita dapat melihat masalah dari sudut yang berbeda dan melihat bahwa yang kita butuhkan untuk kemungkinan sebenarnya hanya dua angka: , jumlah total lokomotif; dan , jumlah lokomotif yang memiliki nomor . Seberapa besar kemungkinan kita melihat salah satu lokomotif , di luar lokomotif ? Ini akan terjadi di dari semua kasus, jadi fraksi ini adalah kemungkinannya. Dengan Python, Anda dapat menghitung ini dengan dua generator jumlah (dan Anda bahkan tidak perlu memesan perusahaan berdasarkan ukuran). Jika $N_i < n \le N_{i+1}$ $N_{tot}$ $N_n$ $n$ $N_n$ $N_{tot}$ $\frac{N_n}{N_{tot}}$ Nsberisi daftar (atau tuple) ukuran perusahaan sesuai dengan hipotesis Anda, maka ini akan memberikan kemungkinan untuk melihat lokomotif dengan nomor n:

total_number_of_locomotives = sum(N for N in Ns)
number_of_locomotives_with_that_number = sum(1 for N in Ns if n<=N)
likelihood = (number_of_locomotives_with_that_number / total_number_of_locomotives)

Perhatikan bahwa kasus sepele dengan satu perusahaan juga ditangani oleh kode ini (jumlah pertama hanya akan menjadi , jumlah kedua akan menjadi 0 atau 1, tergantung pada apakah ). $N$ $n\le N$

Bagi para prior, hukum Zipf bisa menjadi titik awal yang baik untuk distribusi ukuran perusahaan yang realistis.

— dobiwan
sumber

Ini adalah jawaban yang bagus dan Anda benar bahwa saya pasti bisa melihat bagaimana itu digeneralisasikan. Terima kasih telah meluangkan waktu.

— Justin Bozonier

Tidak ada gunanya bahwa fungsi kemungkinan yang dihasilkan memiliki nilai yang sama independen dari hipotesis. Yaitu, Likelihood(data=60, hypo=60)dan Likelihood(data=60, hypo=1000)evaluasi dengan nilai yang sama. Jadi jika distribusi sebelumnya seragam, posterior juga akan seragam (minus nilai untuk kemungkinan 0)

— RubenLaguna

0

Saya tidak akan menganalisis kode, tetapi di bawah ini solusinya.

Membiarkan

P (loc60) adalah probabilitas bahwa lokomotif acak memiliki nomor 60
P (N) menjadi probabilitas sebelumnya bahwa ada tepat N lokomotif
P (loc60 | N) adalah probabilitas bahwa lokomotif acak memiliki angka 60, jika jumlah total lokomotif adalah N,
P (N | loc60) adalah probabilitas bahwa ada tepat lokomotif N, jika lokomotif acak memiliki nomor 60

Kemudian

P (N | loc60) = \frac{P (loc60 | N) P (N)}{P (loc60)} = \frac{P (loc60 | N) P (N)}{\sum_{M} P (loc60 | M)}

$P(N|\text{loc60}) = {P(\text{loc60}|N) P(N) \over P(\text{loc60})} = {P(\text{loc60}|N) P(N) \over \sum_M P(\text{loc60}|M)}$

Tetapi

P (loc60 | N) = {\begin{cases} 1 / N & if N \geq 60 \\ 0 & otherwise \end{cases}

$P(\text{loc60}|N) = \cases {1/N & if $N\ge 60$ \\ 0 & otherwise }$

Mulai sekarang, kita asumsikan bahwa . $N \ge 60$

P (N | loc60) = \frac{P (N) / N}{\sum_{M = 60}^{\infty} P (M) / M}

$P(N|\text{loc60}) = {P(N)/N \over \sum_{M=60}^\infty P(M)/M}$

Sekarang kita harus memilih P (N), kalau tidak kita macet. Karena kita bahkan tidak tahu urutan besarnya P (N), masuk akal untuk mengasumsikan bahwa didistribusikan secara seragam antara 0 dan beberapa (yaitu probabilitas bahwa sama dengan probabilitas bahwa ). Menjamu N_ adalah tugas yang sulit, tetapi dari pengetahuan saya sebelumnya tentang kereta api dan lokomotif, saya dapat berasumsi bahwa . $\log N$ $\log N_\max$ $10^2\le N<10^3$ $10^3\le N<10^4$ $N_\max$ $N_\max \gg 60$

Distribusi seragam dari berarti bahwa , di mana c adalah konstanta independen pada N. $\log N$

P (N) = c (\log (N + 1) - \log N) \approx c / N

$P(N) = c(\log (N+1)-\log N) \approx c/N$

Mengganti ini dengan rumus sebelumnya, kita memiliki:

P (N | loc60) \approx \frac{c / N^{2}}{\sum_{M = 60}^{N_{max}} c / M^{2}}

$P(N|\text{loc60}) \approx {c/N^2 \over \sum_{M=60}^{N_\max} c/M^2}$

Tetapi

\sum_{M = 60}^{N_{max}} c / M^{2} \approx \int_{60}^{N_{max}} \frac{c}{M^{2}} d M = \frac{c}{60} - \frac{c}{N_{max}} \approx \frac{c}{60}

$\sum_{M=60}^{N_\max} c/M^2 \approx \int_{60}^{N_\max} {c\over M^2}dM = {c \over 60} - {c \over N_\max} \approx {c\over60}$

Sekarang kita punya

P (N | loc60) \approx 60 / N^{2}

$P(N|\text{loc60}) \approx {60/N^2}$

Berapa nilai median N? Biarlah , lalu $N_\text{med}$

\int_{60}^{N_{med}} \frac{60}{N^{2}} d N = 1 / 2

$\int_{60}^{N_\text{med}} {60 \over N^2} dN = 1/2$

60 / N - \frac{60}{N_{med}} = 1 / 2

$60/N - {60 \over N_\text{med}} = 1/2$

N_{med} = 120

$N_\text{med} = 120$

Jika yang kita butuhkan adalah ekspektasi matematis daripada median, maka

E (N) = \int_{60}^{N_{max}} \frac{60}{N^{2}} N d N = 60 \log \frac{N_{max}}{60}

$E(N) = \int_{60}^{N_\max} {60\over N^2} N dN = 60 \log {N_\max \over 60}$

Dari apa yang saya ketahui tentang jalur kereta api, harus antara dan , jadi E (N) berada di suatu tempat antara 170 dan 600. $N_\max$ $10^3$ $10^6$

— pengguna31264
sumber

1

Ini tampaknya mengatasi masalah sederhana. Tetapi bagaimana dengan kasus ketika Anda mungkin memiliki perusahaan jalan kereta api yang berbeda dengan ukuran yang berbeda?

— Justin Bozonier

Ini membahas persis kasus ketika ada perusahaan jalan kereta api yang berbeda dengan ukuran yang berbeda. " didistribusikan secara seragam antara 0 dan beberapa " adalah distribusi ukuran.

\log N

$\log N$

\log N_{max}

$\log N_\max$

— user31264

4

Jika Anda berkata begitu. Sungguh aneh bahwa kata "perusahaan" tidak muncul sekali dalam jawaban Anda. Maaf, saya tidak melihat hubungannya.

— Justin Bozonier