Apakah fungsi autokorelasi sepenuhnya menggambarkan proses stokastik?

Apakah proses stokastik benar-benar dijelaskan oleh fungsi autokorelasi?

Jika tidak, properti tambahan apa yang diperlukan?

autocorrelation

— Andreas
sumber

Apa yang dimaksud dengan deskripsi lengkap dari proses stokastik? Secara matematis, proses stokastik adalah kumpulan variabel acak, satu untuk setiap kali instan dalam set indeks , di mana biasanya adalah seluruh garis nyata atau garis nyata positif, dan deskripsi lengkap berarti bahwa untuk setiap bilangan bulat dan waktu , kita tahu distribusi (gabungan) dari yang random variabel , , $\{X(t) : t \in {\mathbb T}\}$ $t$ $\mathbb T$ $\mathbb T$ $n \geq 1$ $n$ $t_1, t_2, \ldots, t_n \in \mathbb T$ $n$ $X(t_1)$ $X(t_2)$ $\ldots, X(t_n)$ . Ini adalah besar jumlah informasi: kita perlu mengetahui CDF dari untuk setiap kali instan , (dua dimensi) CDF bersama dan untuk semua pilihan waktu instants dan , (tiga dimensi) , , dan , dll. dll. dll. $X(t)$ $t$ $X(t_1)$ $X(t_2)$ $t_1$ $t_2$ $X(t_1)$ $X(t_2)$ $X(t_3)$

Jadi secara alami orang mencari deskripsi yang lebih sederhana dan model yang lebih ketat. Satu penyederhanaan terjadi ketika proses tidak berubah pada asal usul waktu. Apa ini artinya itu

Semua variabel acak dalam proses memiliki CDF identik: untuk semua . $F_{X(t_1)}(x) = F_{X(t_2)}(x)$ $t_1, t_2$
Setiap dua variabel acak dipisahkan oleh beberapa jumlah waktu tertentu memiliki CDF bersama sama lain sepasang variabel acak dipisahkan oleh yang sama jumlah waktu. Misalnya, variabel acak dan dipisahkan oleh detik, seperti halnya variabel acak dan , dan dengan demikian $X(t_1)$ $X(t_1 + \tau)$ $\tau$ $X(t_2)$ $X(t_2 + \tau)$ $F_{X(t_1), X(t_1 + \tau)}(x,y) = F_{X(t_2), X(t_2 + \tau)}(x,y)$
Setiap tiga variabel acak , , spasi dan terpisah memiliki CDF bersama sama dengan , , yang juga berjarak dan terpisah, $X(t_1)$ $X(t_1 + \tau_1)$ $X(t_1 + \tau_1 + \tau_2)$ $\tau_1$ $\tau_2$ $X(t_2)$ $X(t_2 + \tau_1)$ $X(t_2 + \tau_1 + \tau_2)$ $\tau_1$ $\tau_2$
dan seterusnya untuk semua CDF multidimensi. Lihat, misalnya, jawaban Peter K. untuk perincian kasus multidimensi.

Secara efektif, deskripsi probabilistik dari proses acak tidak tergantung pada apa yang kita pilih untuk menyebut asal pada sumbu waktu: menggeser semua instants waktu dengan jumlah tetap ke memberikan deskripsi probabilistik yang sama dari variabel acak. Properti ini disebut stasioneritas rasa-ketat dan proses acak yang menikmati properti ini disebut proses acak stasioner ketat, atau, lebih sederhana, proses acak stasioner. $t_1, t_2, \ldots, t_n$ $\tau$ $t_1 + \tau, t_2 + \tau, \ldots, t_n + \tau$

Perhatikan bahwa stasioneritas yang ketat dengan sendirinya tidak memerlukan bentuk CDF tertentu. Misalnya, tidak dikatakan bahwa semua variabel adalah Gaussian.

Kata sifat secara ketat menyarankan bahwa adalah mungkin untuk mendefinisikan bentuk stasioneritas yang lebih longgar. Jika -memesan bersama CDF dari sama dengan -memesan bersama CDF untuk semua pilihan dan , maka proses acak dikatakan sebagai stasioner untuk memesan dan disebut sebagai -memerintahkan proses acak stasioner. Perhatikan bahwa proses acak stasioner stasioner juga stasioner untuk memesan untuk setiap positif $N^{\text{th}}$ $X(t_1), X(t_2), \ldots, X(t_N)$ $N^{\text{th}}$ $X(t_1+\tau), X(t_2+\tau), \ldots, X(t_N +\tau)$ $t_1,t_2, \ldots, t_N$ $\tau$ $N$ $N^{\text{th}}$ $N^{\text{th}}$ $n$ $n < N$ . (Ini karena -order bersama CDF adalah batas -order CDF sebagai dari pendekatan argumen : generalisasi ). Sebuah proses acak ketat stasioner maka adalah proses acak yang stasioner untuk semua perintah . $n^{\text{th}}$ $N^{\text{th}}$ $N-n$ $\infty$ $F_X(x) = \lim_{y\to\infty}F_{X,Y}(x,y)$ $N$

Jika proses acak stasioner terhadap (setidaknya) urutan , maka semua memiliki distribusi yang sama dan dengan asumsi rata-rata ada, adalah sama untuk semua . Demikian pula, adalah sama untuk semua , dan disebut sebagai kekuatan proses. Semua proses fisik memiliki kekuatan yang terbatas dan oleh karena itu umum untuk mengasumsikan bahwa dalam hal ini, dan terutama dalam literatur teknik yang lebih tua, proses ini disebut proses orde kedua . Pilihan nama sangat disayangkan karena mengundang kebingungan dengan urutan kedua $1$ $X(t)$ $E[X(t)] = \mu$ $t$ $E[(X(t))^2]$ $t$ $E[(X(t))^2] < \infty$ stasioneritas (lih. jawaban saya ini di stats.SE ), dan jadi di sini kita akan menyebut proses yang terbatas untuk semua ( atau tidak adalah konstan) sebagai proses berdaya-terbatas dan menghindari kebingungan ini. Tapi perhatikan lagi itu $E[(X(t))^2]$ $t$ $E[(X(t))^2]$

proses stasioner orde pertama tidak perlu menjadi proses berdaya terbatas.

Pertimbangkan proses acak yang diam untuk memesan . Sekarang, karena distribusi gabungan dan sama dengan fungsi distribusi gabungan dan , dan nilainya hanya tergantung pada . Harapan-harapan ini terbatas untuk proses daya-terbatas dan nilainya disebut fungsi autokorelasi proses: adalah fungsi dari , waktu pemisahan variabel acak dan , dan tidak bergantung pada $2$ $X(t_1)$ $X(t_1 + \tau)$ $X(t_2)$ $X(t_2 + \tau)$ $E[X(t_1)X(t_1 + \tau)] = E[X(t_2)X(t_2 + \tau)]$ $\tau$ $R_X(\tau) = E[X(t)X(t+\tau)]$ $\tau$ $X(t)$ $X(t+\tau)$ $t$ sama sekali. Perhatikan juga bahwa dan fungsi autokorelasi adalah fungsi genap dari argumennya.

E [X (t) X (t + τ)] = E [X (t + τ) X (t)] = E [X (t + τ) X (t + τ - τ)] = R_{X} (- τ),

$E[X(t)X(t+\tau)] = E[X(t+\tau)X(t)] = E[X(t+\tau)X(t + \tau - \tau)] = R_X(-\tau),$

Proses acak stasioner orde kedua berkekuatan terbatas memiliki sifat-sifat itu

Berarti adalah konstanta $E[X(t)]$

Fungsi autokorelasi adalah fungsi dari , pemisahan waktu dari variabel acak dan , dan tidak tidak bergantung pada sama sekali. $R_X(\tau) = E[X(t)X(t+\tau)]$ $\tau$ $X(t)$ $X(t+\tau)$ $t$

Asumsi stasioneritas menyederhanakan deskripsi proses acak sampai batas tertentu tetapi, untuk insinyur dan ahli statistik yang tertarik dalam membangun model dari data eksperimental, memperkirakan semua CDF adalah tugas nontrivial, terutama ketika hanya ada satu segmen dari satu jalur sampel (atau realisasi) di mana pengukuran dapat dilakukan. Dua pengukuran yang relatif mudah dilakukan (karena insinyur sudah memiliki instrumen yang diperlukan di meja kerjanya (atau program dalam MATLAB / Python / Octave / C ++ di perpustakaan perangkat lunaknya) adalah nilai DC dari dan fungsi autokorelasi $x(t)$ $\frac 1T\int_0^T x(t)\,\mathrm dt$ $x(t)$ $R_x(\tau) = \frac 1T\int_0^T x(t)x(t+\tau)\,\mathrm dt$ (atau transformasi Fourier-nya, spektrum kekuatan ). Mengambil pengukuran-pengukuran ini sebagai perkiraan dari rata-rata dan fungsi autokorelasi dari suatu proses berdaya-terbatas mengarah pada model yang sangat berguna yang akan kita bahas selanjutnya. $x(t)$

Proses acak berdaya terbatas disebut proses wide-sense-stationary (WSS) (juga proses acak stasioner yang lemah yang untungnya juga memiliki inisialisasi yang sama) jika memiliki rata-rata konstan dan fungsi autokorelasi hanya bergantung pada perbedaan waktu (atau ). $R_X(t_1, t_2) = E[X(t_1)X(t_2)]$ $t_1 - t_2$ $t_2 - t_1$

Perhatikan bahwa definisi tersebut tidak mengatakan apa pun tentang CDF dari variabel acak yang terdiri dari proses; ini sepenuhnya merupakan kendala pada momen orde pertama dan urutan kedua dari variabel acak. Tentu saja, proses acak urutan kedua terbatas-daya (atau -tertentu stasioner (untuk ) atau stasioner ketat) adalah proses WSS, tetapi sebaliknya tidak perlu benar. $N^{\text{th}}$ $N>2$

Proses WSS tidak harus stasioner untuk pesanan apa pun.

Pertimbangkan, misalnya, proses acak mana mengambil empat nilai yang kemungkinan sama dan . (Jangan takut: empat jalur sampel yang mungkin dari proses acak ini hanyalah empat bentuk gelombang sinyal dari sinyal QPSK). Perhatikan bahwa masing-masing adalah variabel acak diskrit yang, secara umum, memiliki empat nilai yang kemungkinan sama dan , Sangat mudah untuk melihat bahwa secara umum dan $\{X(t)\colon X(t)= \cos (t + \Theta), -\infty < t < \infty\}$ $\Theta$ $0, \pi/2, \pi$ $3\pi/2$ $X(t)$ $\cos(t), \cos(t+\pi/2)=-\sin(t), \cos(t+\pi) = -\cos(t)$ $\cos(t+3\pi/2)=\sin(t)$ $X(t)$ $X(s)$ memiliki distribusi yang berbeda, sehingga prosesnya bahkan tidak stasioner tingkat pertama. Di sisi lain, untuk setiap sementara Singkatnya, proses memiliki mean nol dan fungsi autokorelasi tergantung hanya pada perbedaan waktu , dan sehingga proses adalah lebar akal stasioner. Tetapi ini bukan stasioner orde pertama dan karenanya juga tidak stasioner terhadap orde yang lebih tinggi.

E [X (t)] = \frac{1}{4} \cos (t) + \frac{1}{4} (- \sin (t)) + \frac{1}{4} (- \cos (t)) + \frac{1}{4} \sin (t) = 0

$E[X(t)] = \frac 14\cos(t)+ \frac 14(-\sin(t)) + \frac 14(-\cos(t))+\frac 14 \sin(t) = 0$

t

$t$

\begin{aligned} E [X (t) X (s)] & = \frac{1}{4} [\cos (t) \cos (s) + (- \cos (t)) (- \cos (s)) + \sin (t) \sin (s) + (- \sin (t)) (- \sin (s))] \\ = \frac{1}{2} [\cos (t) \cos (s) + \sin (t) \sin (s)] \\ = \frac{1}{2} \cos (t - s) . \end{aligned}

$\begin{align} E[X(t)X(s)]&= \left.\left.\frac 14\right[\cos(t)\cos(s) + (-\cos(t))(-\cos(s)) + \sin(t)\sin(s) + (-\sin(t))(-\sin(s))\right]\\ &= \left.\left.\frac 12\right[\cos(t)\cos(s) + \sin(t)\sin(s)\right]\\ &= \frac 12 \cos(t-s). \end{align}$

t - s

$t-s$

Bahkan untuk proses WSS yang merupakan proses acak stasioner orde kedua (atau stasioner ketat), sedikit yang dapat dikatakan tentang bentuk spesifik dari distribusi variabel acak. Pendeknya,

Proses WSS tidak selalu stasioner (untuk urutan apa pun), dan fungsi rata-rata dan autokorelasi dari proses WSS tidak cukup untuk memberikan deskripsi statistik lengkap tentang proses tersebut.

Akhirnya, anggaplah bahwa proses stokastik dianggap sebagai proses Gaussian ("membuktikan" ini dengan tingkat kepercayaan yang wajar bukanlah tugas yang sepele). Ini berarti bahwa untuk setiap , adalah variabel acak Gaussian dan untuk semua bilangan bulat positif dan pilihan waktu instan , , , variabel acak , , adalah variabel acak Gaussian bersama . Sekarang fungsi kepadatan Gaussian bersama sepenuhnya $t$ $X(t)$ $n \geq 2$ $n$ $t_1$ $t_2$ $\ldots, t_n$ $N$ $X(t_1)$ $X(t_2)$ $\ldots, X(t_n)$ ditentukan oleh mean, varians, dan kovarian dari variabel acak, dan dalam hal ini, mengetahui fungsi rata-rata (tidak perlu konstan seperti yang diperlukan untuk pengertian luas) -stasioneritas) dan fungsi autokorelasi untuk semua (tidak perlu hanya bergantung pada seperti yang diperlukan untuk stasioneritas yang luas) cukup untuk menentukan statistik proses sepenuhnya. $\mu_X(t) = E[X(t)]$ $R_X(t_1, t_2) = E[X(t_1)X(t_2)]$ $t_1, t_2$ $t_1-t_2$

Jika proses Gaussian adalah proses WSS, maka itu juga merupakan proses Gaussian yang stasioner . Untungnya bagi para insinyur dan pemroses sinyal, banyak proses noise fisik dapat dimodelkan dengan baik sebagai proses WSS Gaussian (dan karenanya proses yang sangat diam), sehingga pengamatan eksperimental fungsi autokorelasi dengan mudah menyediakan semua distribusi bersama. Selanjutnya karena proses Gaussian mempertahankan karakter Gaussian mereka saat mereka melewati sistem linear, dan fungsi autokorelasi output terkait dengan fungsi autokorelasi input sebagai

R_{y} = h * \tilde{h} * R_{X}

$R_y = h*\tilde{h}*R_X$ sehingga statistik keluaran juga dapat dengan mudah ditentukan, proses WSS secara umum dan proses WSS Gaussian khususnya sangat penting dalam aplikasi teknik.

— Dilip Sarwate
sumber

Bisakah Anda, tolong, mengomentari "Kebisingan Putih" dalam arti itu? Menurut definisi Autocorrelation at adalah varian dari variabel acak. Apakah itu berarti bahwa AWGN (Additive White Gaussian Noise) memiliki varian yang tak terbatas? Saya bertanya karena biasanya orang menulis , salah? Haruskah ditulis ? Terima kasih.

τ = 0

$\tau = 0$

n (t) N (0, N_{0} / 2)

$n(t) ~ N(0, {N}_{0} / 2)$

n (t) N (0, δ (0) N_{0} / 2)

$n(t) ~ N(0, \delta(0) {N}_{0} / 2)$

— Royi

@Drazick Silakan ajukan pertanyaan terpisah.

— Dilip Sarwate

Ini adalah kursus mini yang fantastis dalam definisi proses stasioner. Saya belum pernah melihat yang seperti ini - ditata begitu metodis dan jelas. Wiki Komunitas?

— Abalter

@Dilip Sarwate Maafkan saya atas ketidaktahuan saya. Dalam contoh Mengapa E [X (t)] = 0 untuk semua t? Apakah Anda menganggap ergodisitas? Bagaimana Anda memperoleh fungsi kerapatan probabilitas X (t) dari fungsi kerapatan probabilitas theta untuk menghitung nilai yang diharapkan? E [X (t) X (s)] = E [cos (t + theta) * cos (s + theta)] benar? Langkah mana yang Anda ambil untuk menyederhanakan ungkapan ini dan mendapatkan apa yang Anda tulis? Terima kasih

— VMMF

@VMMF TIDAK ADA ergodisitas yang digunakan. adalah variabel acak diskrit karena adalah variabel acak diskrit dan mengambil nilai dan dengan probabilitas yang sama . Ergo, . mengambil nilai , , dan dengan probabilitas yang sama . Karenanya,

X (t) = \cos (t + Θ)

$X(t)=\cos(t+\Theta)$

Θ

$\Theta$

\pm \cos (t)

$\pm\cos(t)$

\pm \sin (t)

$\pm\sin(t)$

\frac{1}{4}

$\frac 14$

E [X (t)] = 0

$E[X(t)]=0$

X (t) X (s)

$X(t)X(s)$

\cos (t) \cos (s)

$\cos(t)\cos(s)$

(- \cos (t)) (- \cos (s)) = \cos (t) \cos (s)

$(-\cos(t))(-\cos(s))=\cos(t)\cos(s)$

\sin (t) \sin (s)

$\sin(t)\sin(s)$

(- \sin (t)) (- \sin (s)) = \sin (t) \sin (s)

$(-\sin(t))(-\sin(s))=\sin(t)\sin(s)$

\frac{1}{4}

$\frac 14$

E [X (t) (X (s)] = \frac{1}{2} (\cos (t) \cos (s) + \sin (t) \sin (s)) = \frac{1}{2} \cos (t - s)

$E[X(t)(X(s)]=\frac 12\big(\cos(t)\cos(s)+\sin(t)\sin(s)\big) = \frac 12\cos(t-s)$

— .Oleh