Mengapa varians dari Random walk meningkat?

28

Jalan acak yang didefinisikan sebagai , di mana adalah white noise. Menunjukkan bahwa posisi saat ini adalah jumlah dari posisi sebelumnya + istilah yang tidak dapat diprediksi. $Y_{t} = Y_{t-1} + e_t$ $e_t$

Anda dapat membuktikan bahwa fungsi rata-rata , karena $\mu_t = 0$ $E(Y_{t}) = E(e_1+ e_2+ ... +e_t) = E(e_1) + E(e_2) +... +E(e_t) = 0 + 0 + ... + 0$

Tetapi mengapa variansnya meningkat secara linear seiring waktu?

Apakah ini ada hubungannya dengan itu bukan "murni" acak, karena posisi baru sangat berkorelasi dengan yang sebelumnya?

EDIT:

Sekarang saya memiliki pemahaman yang jauh lebih baik dengan memvisualisasikan sampel besar jalan acak, dan di sini kita dapat dengan mudah mengamati bahwa varians keseluruhan meningkat seiring waktu,

100 000 jalan acak

dan rata-rata seperti yang diharapkan sekitar nol.

Mungkin ini sepele, karena pada tahap paling awal dari deret waktu (bandingkan waktu = 10, dengan 100) pejalan acak belum memiliki waktu untuk menjelajah sebanyak mungkin.

— Isbister
sumber

2

Sulit untuk melihat bagaimana "rata-rata" dari setiap jalan acak yang disimulasikan akan sama dengan harapan tertentu . Harapan itu, menurut definisi, dihitung atas seluruh "ansambel" jalan acak yang mungkin, di mana jalan simulasi Anda hanyalah satu contoh. Ketika Anda mensimulasikan banyak jalan - mungkin dengan menumpangkan grafik mereka pada satu plot - Anda akan melihat bahwa mereka tersebar di sekitar sumbu horizontal. Bagaimana perbedaan itu menyebar dengan ?

Y_{t}

$Y_t$

t

$t$

— whuber

@whuber itu lebih masuk akal! Tentu saya harus menganggapnya sebagai salah satu contoh dari semua jalan yang mungkin. Dan kemudian ya, Anda bisa melihat dengan melihat grafik bahwa varians keseluruhan dari semua jalan meningkat dari waktu ke waktu. Itu benar?

— Isbister

1

Ya itu betul. Ini cara yang baik untuk menghargai apa yang ditulis @Glen_b dalam jawabannya menggunakan matematika. Saya merasa terbantu dengan banyak aplikasi jalan acak: selain aplikasi gerak Brown klasik, mereka menjelaskan difusi, penentuan harga opsi, akumulasi kesalahan pengukuran, dan banyak lagi. Ambil satu di antaranya, seperti difusi. Bayangkan setetes tinta jatuh ke genangan air yang tidak bergerak. Meskipun posisinya tetap, ia menyebar seiring berjalannya waktu: inilah bagaimana kita dapat benar-benar melihat rata-rata nol terus-menerus bersama dengan varian yang meningkat.

— whuber

@whuber Terima kasih banyak, saya benar-benar mengerti sekarang!

— Isbister

37

Singkatnya karena itu terus menambahkan varian kenaikan berikutnya ke variabilitas yang kita miliki untuk sampai ke tempat kita sekarang.

$\text{Var}(Y_{t}) = \text{Var}(e_1+ e_2+ ... +e_t)$
$\qquad\quad\;\;= \text{Var}(e_1) + \text{Var}(e_2) +... +\text{Var}(e_t)$ (independensi)
$\qquad\quad\;\;= \sigma^2 + \sigma^2 + ... + \sigma^2=t\sigma^2\,,$

dan kita dapat melihat bahwa meningkat secara linear dengan . $t\sigma^2$ $t$

Nilai tengahnya adalah nol pada setiap titik waktu; jika Anda mensimulasikan seri berkali-kali dan rata-rata melintasi seri untuk waktu tertentu, itu akan rata-rata mendekati 0

500 simulasi jalan acak dengan mean sampel dan +/- standar deviasi

$\quad^{\text{Figure: 500 simulated random walks with sample mean in white and }}$
$\quad^{ \pm \text{ one standard deviation in red. Standard deviation increases with } \sqrt{t}\,.}$

— Glen_b -Reinstate Monica
sumber

Ya, setiap istilah kesalahan adalah independet ya. Dan tentu ini masuk akal di atas kertas. Tapi saya masih belum mendapatkan firasat yang baik untuk "Bagaimana varians dapat meningkat secara linear" tetapi rata-rata tetap nol? Kedengarannya sangat aneh, hampir seperti kontradiksi. Bagaimana dengan penjelasan yang kurang matematis yang menjawab pertanyaan saya?

— Isbister

timpal0l - Di setiap titik waktu, Anda menambahkan istilah lain yang tidak menggeser mean tetapi menambah "noise" (perbedaan tentang mean). Jadi rerata tetap sama tetapi varians meningkat (distribusi "menyebar" lebih banyak di lain waktu) Itu adalah gagasan intuitif dan juga dalam pengertian umum apa yang ditunjukkan matematika.

— Glen_b -Reinstate Monica

1

Terima kasih untuk diagramnya, A.Webb . Sangat bagus.

— Glen_b -Reinstate Monica

15

Inilah cara untuk membayangkannya. Untuk mempermudah, mari ganti white noise dengan coin flip $e_i$ $e_i$

e_{saya} = {\begin{matrix} 1 dengan P r = .5 \\ - 1 dengan P r = .5 \end{matrix}

$e_i = \left\{ \begin{array}{c} 1 \ \text{with} \ Pr = .5 \\ -1 \ \text{with} \ Pr = .5 \end{array} \right.$

ini hanya menyederhanakan visualisasi, tidak ada yang benar-benar mendasar tentang saklar kecuali mengurangi ketegangan pada imajinasi kita.

Sekarang, anggaplah Anda telah mengumpulkan sepasu sirip koin. Instruksi mereka adalah, atas perintah Anda, membalik koin mereka, dan terus menghitung hasil apa yang mereka hasilkan, bersama dengan penjumlahan dari semua hasil mereka sebelumnya. Setiap sirip individu adalah turunan dari jalan acak

W = e_{1} + e_{2} + \dots

$W = e_1 + e_2 + \cdots$

dan mengumpulkan semua pasukan Anda harus memberi Anda perhatian pada perilaku yang diharapkan.

flip 1: Sekitar setengah dari pasukan Anda membalik kepala, dan setengah membalik ekor. Ekspektasi jumlah, yang diambil seluruh pasukan Anda, adalah nol. Nilai maksimum di seluruh pasukan Anda adalah dan minimum adalah , sehingga rentang totalnya adalah . $W$ $1$ $-1$ $2$

flip 2: Sekitar setengah kepala flip, dan setengah membalik ekor. Harapan flip ini lagi nol, jadi ekspektasi atas semua flip tidak berubah. Beberapa pasukan Anda telah membalik , dan beberapa yang lain membalik , sehingga maksimum adalah dan minimum adalah ; kisaran totalnya adalah . $W$ $HH$ $TT$ $W$ $2$ $-2$ $4$

...

flip n: Sekitar setengah kepala flip, dan setengah membalik ekor. Harapan flip ini lagi nol, jadi ekspektasi atas semua flip tidak berubah, itu masih nol. Jika tentara Anda sangat besar, beberapa prajurit sangat beruntung membalik dan lain-lain . Yaitu, ada beberapa dengan kepala, dan beberapa dengan ekor (meskipun ini semakin jarang dan semakin jarang seiring berjalannya waktu). Jadi, setidaknya dalam imajinasi kami, rentang totalnya adalah . $W$ $HH \cdots H$ $TT \cdots T$ $n$ $n$ $2n$

Jadi, inilah yang dapat Anda lihat dari eksperimen pemikiran ini:

Harapan berjalan adalah nol, karena setiap langkah dalam berjalan seimbang.
Kisaran total berjalan tumbuh secara linear dengan panjang jalan.

Untuk memulihkan intuisi, kita harus membuang deviasi standar dan menggunakan ukuran intuitif, kisaran.

— Matthew Drury
sumber

1

Deviasi standar tidak tumbuh secara linear, sehingga komentar akhir dipertanyakan.

— Juho Kokkala

Ya, saya mencoba memikirkan sesuatu untuk dikatakan untuk menyelesaikannya, ada saran? Yang bisa saya pikirkan adalah banding ke teorema limit pusat yang tidak terlalu intuitif.

— Matthew Drury

@JuhoKokkala Saya setuju dengan kritik Anda, jadi saya menghapus komentar terakhir.

— Matthew Drury

3

Apakah ini ada hubungannya dengan itu bukan "murni" acak, karena posisi baru sangat berkorelasi dengan yang sebelumnya?

Tampaknya dengan "murni" yang Anda maksud independen . Secara acak hanya langkah-langkahnya yang acak dan tidak tergantung satu sama lain. Seperti yang Anda catat, "posisi" itu acak tetapi berkorelasi , yaitu tidak independen .

Harapan posisi masih nol seperti yang Anda tulis . Alasan mengapa Anda mengamati posisi bukan nol adalah karena posisinya masih acak, yaitu adalah semua angka acak bukan nol. Sebagai soal fakta, ketika Anda meningkatkan sampel lebih besar akan diamati dari waktu ke waktu, justru karena, seperti yang Anda catat, meningkat dengan ukuran sampel. $E[Y_t]=0$ $Y_t$ $Y_t$

Varians meningkat karena jika Anda membuka posisi sebagai berikut: , Anda dapat melihat bahwa posisi itu adalah jumlah langkah, jelas. Variasi bertambah dengan bertambahnya ukuran sampel. $Y_t=Y_0+\sum_{i=0}^t\varepsilon_t$

By the way, berarti kesalahan juga bertambah, tetapi secara acak kami biasanya mengasumsikan bahwa rata-rata adalah nol, jadi menambahkan semua nol masih akan menghasilkan nol. Ada jalan acak dengan penyimpangan: , di mana akan hanyut dari nol pada kecepatan dengan waktu sampel. $Y_t-Y_{t-1}=\mu+\varepsilon_t$ $Y_t$ $\mu t$

— Aksakal
sumber

2

Mari kita ambil contoh berbeda untuk penjelasan intuitif: melempar anak panah ke papan permainan. Kami memiliki pemain, yang mencoba membidik bullseye, yang kami anggap sebagai koordinat yang disebut 0. Pemain melempar beberapa kali, dan memang, rata-rata lemparannya adalah 0, tetapi ia tidak terlalu bagus, jadi variansnya adalah 20 cm.

Kami meminta pemain untuk melemparkan satu anak panah baru. Apakah Anda berharap untuk memukul bullseye?

Tidak. Meskipun meannya persis bullseye, ketika kita mencicipi lemparan, kemungkinan besar itu bukan bullseye.

Dengan cara yang sama, dengan jalan acak, kami tidak berharap satu sampel pada waktu berada di dekat 0. Itulah sebenarnya yang ditunjukkan oleh perbedaan: seberapa jauh kita mengharapkan sampel menjadi? $t$

Namun, jika kita mengambil banyak sampel, kita akan melihat bahwa itu berpusat di sekitar 0. Sama seperti pemain dart kita hampir tidak akan pernah memukul bullseye (varian besar), tetapi jika dia melempar banyak anak panah, dia akan membuat mereka berpusat sekitar bullseye (berarti).

Jika kita memperluas contoh ini ke jalan acak, kita dapat melihat bahwa variansnya meningkat seiring waktu, meskipun rata-rata tetap pada 0. Dalam kasus acak berjalan, tampaknya aneh bahwa rata-rata tetap pada 0, meskipun secara intuitif Anda akan tahu bahwa itu hampir tidak pernah berakhir pada titik asal tepatnya. Namun, hal yang sama berlaku untuk darter kami: kita dapat melihat bahwa setiap anak panah tunggal hampir tidak akan pernah memukul bullseye dengan varians yang meningkat, namun anak panah akan membentuk awan yang bagus di sekitar bullseye - rata-rata tetap sama: 0.

— Sanchises
sumber

1

Ini tidak menggambarkan fenomena pertanyaan, yang menyangkut peningkatan penyebaran sementara. Peningkatan itu bukan fungsi dari jumlah sampel. Itu intrinsik.

— whuber

1

@whuber saya tahu jawaban ini tidak membahas itu, dan saya tidak punya niat untuk melakukannya. OP tampaknya berjuang dengan fakta bahwa rata-rata sepenuhnya independen dari varians, meskipun secara intuitif kita dapat melihat bahwa jalan acak hampir tidak akan pernah berakhir di titik asal, jadi saya mencoba menjelaskannya dengan contoh tanpa ketergantungan yang sulit. pada . Namun, itu terlalu lama untuk dikomentari, tetapi memang tidak dimaksudkan sebagai jawaban penuh. Saya memberikan jawaban untuk semoga sedikit menyuarakan keprihatinan Anda.

t

$t$

— Sanchises

0

Inilah cara lain untuk mendapatkan intuisi bahwa varians meningkat secara linear seiring waktu.

$.1\%$ $1.2\%$ $X$ $365X$

$.1\%$ $\pm .05\%$ $1.2\%$ $\pm .6\%$

Nah, jika kita secara intuitif menganggap varians sebagai rentang, maka masuk akal secara intuitif bahwa varians meningkat dengan cara yang sama dengan pengembalian melalui waktu, yaitu linear.

— Plalud
sumber