Brain-teaser: Berapa panjang yang diharapkan dari urutan iid yang meningkat secara monoton ketika ditarik dari distribusi seragam [0,1]?

Ini adalah pertanyaan wawancara untuk posisi analis kuantitatif, dilaporkan di sini . Misalkan kita menggambar dari distribusi yang seragam dan gambarnya adalah id, berapa panjang yang diharapkan dari distribusi yang meningkat secara monoton? Yaitu, kita berhenti menggambar jika undian saat ini lebih kecil dari atau sama dengan undian sebelumnya. $[0,1]$

Saya mendapatkan beberapa yang pertama:

Pr (length = 1) = \int_{0}^{1} \int_{0}^{x_{1}} d x_{2} d x_{1} = 1 / 2

$\Pr(\text{length} = 1) = \int_0^1 \int_0^{x_1} \mathrm{d}x_2\, \mathrm{d}x_1 = 1/2$

Pr (length = 2) = \int_{0}^{1} \int_{x_{1}}^{1} \int_{0}^{x_{2}} d x_{3} d x_{2} d x_{1} = 1 / 3

$\Pr(\text{length} = 2) = \int_0^1 \int_{x_1}^1 \int_0^{x_2} \mathrm{d}x_3 \, \mathrm{d}x_2 \, \mathrm{d}x_1 = 1/3$

Pr (length = 3) = \int_{0}^{1} \int_{x_{1}}^{1} \int_{x_{2}}^{1} \int_{0}^{x_{3}} d x_{4} d x_{3} d x_{2} d x_{1} = 1 / 8

$\Pr(\text{length} = 3) = \int_0^1 \int_{x_1}^1 \int_{x_2}^1 \int_0^{x_3} \mathrm{d}x_4\, \mathrm{d}x_3\, \mathrm{d}x_2\, \mathrm{d}x_1 = 1/8$

tapi saya merasa menghitung integral tersarang ini semakin sulit dan saya tidak mendapatkan "trik" untuk menggeneralisasi ke $\Pr(\text{length} = n)$ . Saya tahu jawaban akhir terstruktur

E (length) = \sum_{n = 1}^{\infty} n Pr (length = n)

$\mathbb E(\text{length}) = \sum_{n=1}^{\infty}n\Pr(\text{length} = n)$

Ada ide tentang bagaimana menjawab pertanyaan ini?

— Orang Amazon
sumber

Jawaban:

Berikut adalah beberapa petunjuk umum untuk menyelesaikan pertanyaan ini:

Anda memiliki urutan variabel acak IID kontinu yang berarti mereka dapat ditukar . Apa artinya ini tentang kemungkinan mendapatkan urutan tertentu untuk nilai pertama $n$ ? Berdasarkan ini, berapakah probabilitas mendapatkan urutan yang meningkat untuk nilai pertama $n$ ? Dimungkinkan untuk mengetahui hal ini tanpa mengintegrasikan distribusi variabel acak yang mendasarinya. Jika Anda melakukan ini dengan baik, Anda akan dapat memperoleh jawaban tanpa asumsi distribusi seragam - yaitu, Anda mendapatkan jawaban yang berlaku untuk setiap urutan variabel acak kontinu yang dapat dipertukarkan.

Ini adalah solusi lengkapnya ( jangan lihat apakah Anda seharusnya memikirkannya sendiri ):

Biarkan menjadi urutan variabel acak kontinu independen Anda, dan biarkan menjadi jumlah elemen yang meningkat di awal urutan. Karena ini adalah variabel acak kontinu yang dapat ditukar, mereka hampir pasti tidak setara satu sama lain, dan setiap pemesanan sama-sama mungkin, jadi kami memiliki: (Perhatikan bahwa hasil ini berlaku untuk setiap urutan IID dari variabel acak kontinu; mereka tidak harus memiliki distribusi yang seragam.) Jadi variabel acak memiliki probabilitas fungsi massa $U_1, U_2, U_3, \cdots \sim \text{IID Continuous Dist}$ $N \equiv \max \{ n \in \mathbb{N} | U_1 < U_2 < \cdots < U_n \}$
$P (N ⩾ n) = P (U_{1} < U_{2} < \dots < U_{n}) = \frac{1}{n!} .$ $\mathbb{P}(N \geqslant n) = \mathbb{P}(U_1 < U_2 < \cdots < U_n) = \frac{1}{n!}.$ $N$ $p_{N} (n) = P (N = n) = \frac{1}{n!} - \frac{1}{(n + 1)!} = \frac{n}{(n + 1)!} .$ $p_N(n) = \mathbb{P}(N=n) = \frac{1}{n!} - \frac{1}{(n+1)!} = \frac{n}{(n+1)!}.$ Anda akan melihat bahwa hasil ini sesuai dengan nilai yang telah Anda hitung menggunakan integrasi di atas nilai yang mendasarinya. (Bagian ini tidak diperlukan untuk solusi; itu termasuk untuk kelengkapan.) Menggunakan aturan yang terkenal untuk nilai yang diharapkan dari variabel acak non-negatif , kami memiliki: Perhatikan lagi bahwa tidak ada dalam pekerjaan kami yang menggunakan distribusi seragam yang mendasarinya. Oleh karena itu, ini adalah hasil umum yang berlaku untuk setiap urutan variabel acak kontinu yang dapat dipertukarkan. $E (N) = \sum_{n = 1}^{\infty} P (N ⩾ n) = \sum_{n = 1}^{\infty} \frac{1}{n!} = e - 1 = 1.718282.$ $\mathbb{E}(N) = \sum_{n=1}^\infty \mathbb{P}(N \geqslant n) = \sum_{n=1}^\infty \frac{1}{n!} = e - 1 = 1.718282.$

Beberapa wawasan lebih lanjut:

Dari kerja di atas kita melihat bahwa hasil distribusi dan nilai yang diharapkan ini tidak tergantung pada distribusi yang mendasarinya, asalkan itu merupakan distribusi yang berkelanjutan. Ini benar-benar tidak mengejutkan setelah kami mempertimbangkan fakta bahwa setiap variabel acak skalar kontinu dapat diperoleh melalui transformasi monotonik dari variabel acak seragam (dengan transformasi menjadi fungsi kuantilnya). Karena transformasi monoton mempertahankan urutan-peringkat, melihat probabilitas urutan variabel acak kontinu IID sewenang-wenang adalah sama dengan melihat probabilitas urutan variabel acak seragam IID .

— Pasang kembali Monica
sumber

Bagus sekali! (+1)

— jbowman

@ Kalau saya mengikuti Anda sampai persamaan terakhir ... Saya pikir nilai yang diharapkan harus, daripada ... bisakah Anda menjelaskan bagian ini lebih lanjut?

E (N) = \sum_{n = 1}^{\infty} P (N = n) * n = \sum_{n = 1}^{\infty} n^{2} / (n + 1)!

$E(N)=∑_{n=1}^∞P(N=n)*n=∑_{n=1}^∞ n^2/(n+1)!$

E (N) = \sum_{n = 1}^{\infty} P (N ⩾ n)

$E(N)=∑_{n=1}^∞P(N⩾n)$

— Amazon

Ini adalah aturan terkenal untuk nilai yang diharapkan dari variabel acak non-negatif . Menggunakan teknik yang melibatkan menukar urutan penjumlahan, Anda memiliki: Jadi Anda harus menemukan bahwa .

E (N) = \sum_{n = 1}^{\infty} n P (N = n) = \sum_{n = 1}^{\infty} \sum_{k = 1}^{n} P (N = n) = \sum_{n = 1}^{\infty} \sum_{k = n}^{\infty} P (N = k) = \sum_{n = 1}^{\infty} P (N ⩾ n) .

$\mathbb{E}(N) = \sum_{n=1}^\infty n \mathbb{P}(N=n) = \sum_{n=1}^\infty \sum_{k=1}^n \mathbb{P}(N = n) = \sum_{n=1}^\infty \sum_{k=n}^\infty \mathbb{P}(N =k) = \sum_{n=1}^\infty \mathbb{P}(N \geqslant n).$

\sum_{n} \frac{1}{n!} = \sum_{n} \frac{n^{2}}{(n + 1)!}

$\sum_n \tfrac{1}{n!} = \sum_n \tfrac{n^2}{(n+1)!}$

— Pasang kembali Monica

Bisakah Anda jelaskan mengapa ?

P (N ⩾ n) = P (U_{1} < U_{2} < \dots < U_{n})

${P}(N \geqslant n) = \mathbb{P}(U_1 < U_2 < \cdots < U_n)$

— badmax

@badmax: Variabel acak adalah jumlah elemen bertambah di awal urutan (lihat definisinya). Jadi, jika itu berarti setidaknya ada elemen yang meningkat di awal urutan. Ini berarti bahwa elemen pertama harus dalam urutan yang meningkat, yaitu .

N

$N$

U

$U$

N ⩾ n

$N \geqslant n$

n

$n$

n

$n$

U_{1} < U_{2} < \dots < U_{n}

$U_1 < U_2 < \cdots < U_n$

— Pasang kembali Monica

Metode pemecahan lain yang memberi Anda solusi untuk kasus yang lebih umum.

Misalkan adalah panjang yang diharapkan dari urutan monotonik , sedemikian sehingga . Nilai yang ingin kita hitung adalah . Dan kita tahu . Pengkondisian pada nilai berikutnya, $F(x)$ $\{x_1, x_2, ...\}$ $x\leq x_1\leq x_2\leq\cdots$ $F(0)$ $F(1)=0$

F (x) = \int_{0}^{x} π (y) \cdot 0 d y + \int_{x}^{1} π (y) (1 + F (y)) d y = \int_{x}^{1} 1 + F (y) d y

$F(x) = \int_0^x \pi(y)\cdot 0 dy + \int_x^1\pi(y)(1+F(y))dy= \int_x^1 1+F(y) dy$

di mana adalah densitas U [0,1]. Begitu $\pi(y)=1$

F^{'} (x) = - (1 + F (x))

$F'(x)=-(1+F(x))$

Memecahkan dengan kondisi batas , kita mendapatkan . Maka . $F(1)=0$ $F(x) = e^{(1-x)}-1$ $F(0)=e-1$

— jf328
sumber

Ini sangat pintar. Cukup dengan sedikit mengutarakannya: pengamatan Anda adalah 1) jika adalah panjang dari urutan kenaikan awal terpanjang dikurangi satu maka cukup untuk menentukan dan set , dan 2) adalah nol jika dan sebaliknya. Karena kita mendapatkan , yang dalam kasus seragam dapat diselesaikan secara langsung.

L

$L$

E (L | X_{0} = x) =: F (x)

$E(L|X_0=x)=:F(x)$

x = 0

$x=0$

E (L | X_{0} = x, X_{1} = y)

$E(L|X_0=x,X_1=y)$

y < x

$y<x$

1 + E (L | X_{0} = y)

$1+E(L|X_0=y)$

E (L | X_{0} = x) = E (E (L | X_{0} = x, X_{1})) = \int_{R} f_{X} (y) E (L | X_{0} = x, X_{1} = y) d y = \int_{x}^{1} f_{X} (y) (1 + E (L | X_{0} = y)) d y = \int_{x}^{1} f_{X} (y) (1 + F (y)) d y

$E(L|X_0=x)=E(E(L|X_0=x,X_1)) = \int_\mathbb{R} f_X(y) E(L|X_0=x, X_1=y) dy = \int_x^1 f_X(y)(1+E(L|X_0=y))dy= \int_x^1 f_X(y)(1+F(y))dy$

F^{'} (x) = - f_{X} (x) (1 + F (x))

$F'(x)=-f_X(x)(1+F(x))$

— Matthew Towers

+1 Memang sangat pintar. Tetapi karena jawaban akhir tidak tergantung pada distribusi (seperti jawaban yang lain membahas), perhitungan ini juga harusnya tidak bergantung pada . Apakah ada cara untuk melihatnya? CC ke @m_t_.

π (y)

$\pi(y)$

— Amoeba berkata Reinstate Monica

@amoeba Saya setuju tidak boleh bergantung pada distribusi , tetapi nilai-nilai harus: solusi umum DE itu adalah

F (0)

$F(0)$

X

$X$

F

$F$

F = C e^{- \int π} - 1

$F=Ce^{-\int \pi}-1$

— Matthew Towers

@ MartijnWeterings Saya pikir , bukan 1, misalnya dalam kasus seragam kita mendapatkan

C = e

$C=e$

e e^{- x} - 1

$e e^{-x} -1$

— Matthew Towers

Ya kamu benar. Saya menggunakan kasing seragam untuk menyimpulkan pernyataan saya tetapi secara salah menggunakan bukannya

c e^{1 - x} - 1

$ce^{1-x}-1$

c e^{- x} - 1

$ce^{-x}-1$

— Sextus Empiricus

Metode penyelesaian lain adalah dengan menghitung integral secara langsung.

Peluang menghasilkan urutan yang bagian yang bertambah memiliki panjang adalah , di mana . $\geq n$ $f^n(0)$ $f^n(x) = \int_{x}^{1}\int_{x_1}^{1}\int_{x_2}^{1}...\int_{x_{n-2}}^{1}\int_{x_{n-1}}^{1}dx_ndx_{n-1}...dx_2dx_1$

Yang perlu kita lakukan adalah menghitung . $f^n(0)$

Jika Anda mencoba menghitung beberapa , mungkin Anda akan menemukan bahwa $f^n(x)$ $f^n(x) = \sum_{t=0}^n \dfrac{(-x)^t}{t!(n-t)!}$

Kasus Dasar: ketika , $n=1$ $f^1(x) = \sum_{t=0}^1 \dfrac{(-x)^t}{t!(n-t)!}=1-x=\int_{x}^{1}dx_1$

Hipotesis Induktif: ketika , $n=k$ $f^n(x) = \sum_{t=0}^k \dfrac{(-x)^t}{t!(k-t)!}\text{ , for }k \geq 1$

Langkah Induktif: ketika , $n = k+1$

$\ \ \ \ \ f^{n}(x) = f^{k+1}(x) = \int_{x}^{1}f^{k}(x^*)dx^*$

$=\int_{x}^{1}\sum_{t=0}^{k} \dfrac{(-x^*)^t}{t!(k-t)!}dx^*$

$=\sum_{t=0}^{k} \dfrac{-(-x^*)^{t+1}}{t!(k-t)!\times(t+1)}\Biggr|_{x}^{1}\\=\sum_{t=0}^{k} \dfrac{-(-x^*)^{t+1}}{(t+1)!(k-t)!}\Biggr|_{x}^{1}$

$=\sum_{t=1}^{k+1} \dfrac{-(-x^*)^{t}}{t!(k-t+1)!}\Biggr|_{x}^{1}$

$=\sum_{t=1}^{k+1} \dfrac{(-1)^{t+1}}{t!(k-t+1)!}+\sum_{t=1}^{k+1} \dfrac{(-x)^{t}}{t!(k-t+1)!}$

$=\sum_{t=1}^{k+1} \dfrac{(-1)^{t+1}C_t^{k+1}}{(k+1)!}+\sum_{t=1}^{k+1} \dfrac{(-x)^{t}}{t!(k-t+1)!}$

$=\dfrac{1}{(k+1)!}+\sum_{t=0}^{k+1} \dfrac{(-1)^{t+1}C_t^{k+1}}{(k+1)!}+\sum_{t=1}^{k+1} \dfrac{(-x)^{t}}{t!(k-t+1)!}$

$=\dfrac{1}{(k+1)!}-\dfrac{(1-1)^{k+1}}{(k+1)!}+\sum_{t=1}^{k+1} \dfrac{(-x)^{t}}{t!(k-t+1)!}$

$=\sum_{t=0}^{k+1} \dfrac{(-x)^{t}}{t!(k-t+1)!}$

Dengan Induksi Matematika, asumsi itu berlaku.

Jadi, kita dapatkan bahwa $f^n(0)=\dfrac{1}{n!}$

Jadi, $E(length)=\sum_{n=1}^{\infty} Pr(length\geq n)=\sum_{n=1}^{\infty} \dfrac{1}{n!}=e-1$

— 劉家維
sumber