Apa statistik transformasi Fourier diskrit dari noise Gaussian putih?

Pertimbangkan sinyal noise Gaussian putih $x \left( t \right)$ .
Jika kita mengambil sampel sinyal ini dan menghitung transformasi Fourier diskrit, apa statistik dari amplitudo Fourier yang dihasilkan?

— DanielSank
sumber

Anda harus mulai dengan sinyal Gaussian putih waktu diskrit . Pengambilan sampel proses putih kontinu-waktu secara matematis tidak jelas, karena fungsi autokorelasi dari proses itu dijelaskan oleh distribusi delta Dirac. Karena autokorelasi dari proses sampel adalah versi sampel dari autokorelasi dari proses kontinu asli, Anda perlu mempertimbangkan versi sampel dari distribusi Dirac delta, yang tidak ditentukan.

— Matt L.

@MattL. "Autokorelasi [dari] proses sampel adalah versi sampel dari autokorelasi dari proses kontinu asli ...". Sebenarnya ini tidak jelas bagi saya. Menjelaskan bahwa itu akan menjadi tanya jawab diri yang bermanfaat.

— DanielSank

Perhatikan bahwa jawaban akan berlaku untuk setiap transformasi kesatuan White Gaussian Noise.

— Royi

@Royi Saya tidak setuju dengan hasil edit Anda. Bisakah Anda memberikan tautan yang menunjukkan bahwa huruf besar yang Anda gunakan dalam judul konsisten dengan kebijakan situs?

— DanielSank

Pulihkan gaya Anda. Hal utama dalam pengeditan adalah menambahkan tag yang relevan.

— Royi

Jawaban:

Alat matematika

Kita dapat melakukan perhitungan menggunakan beberapa elemen dasar teori probabilitas dan analisis Fourier. Ada tiga elemen (kami menunjukkan kepadatan probabilitas dari variabel acak $X$ pada nilai $x$ sebagai $P_X(x)$ ):

Diberikan variabel acak $X$ dengan distribusi $P_X(x)$ , distribusi variabel yang diskalakan $Y = aX$ adalah $P_Y(y) = (1/a)P_X(y/a)$ .
Distribusi probabilitas dari jumlah dua variabel acak sama dengan konvolusi distribusi probabilitas dari puncak. Dengan kata lain, jika $Z = X + Y$ kemudian $P_Z(z) = (P_X \otimes P_Y)(z)$ dimana $\otimes$ menunjukkan konvolusi.
Transformasi Fourier dari belitan dua fungsi sama dengan produk transformasi Fourier dari kedua fungsi tersebut. Dengan kata lain:

\int d x (f \otimes g) (x) e^{- i k x} = (\int d x f (x) e^{- i k x}) (\int d x g (x) e^{- i k x}) .

$\int dx \, (f \otimes g)(x) e^{-i k x} = \left( \int dx \, f(x) e^{-ikx} \right) \left( \int dx \, g(x) e^{-ikx} \right) \, .$

Perhitungan

Nyatakan proses acak sebagai $x(t)$ . Pengambilan sampel diskrit menghasilkan urutan nilai $x_n$ yang kami anggap tidak berkorelasi secara statistik. Kami juga menganggap itu untuk masing-masing $n$ $x_n$ adalah Gaussian didistribusikan dengan standar deviasi $\sigma$ . Kami menunjukkan fungsi Gaussian dengan standar deviasi $\sigma$ oleh simbol $G_\sigma$ jadi kami akan mengatakan itu $P_{x_n}(x) = G_{\sigma}(x)$ .

Amplitudo transformasi Fourier diskrit didefinisikan sebagai

X_{k} \equiv \sum_{n = 0}^{N - 1} x_{n} e^{- saya 2 π n k / N} .

$X_k \equiv \sum_{n=0}^{N-1} x_n e^{-i 2 \pi n k /N} \, .$ Fokus untuk saat ini hanya pada bagian nyata yang kita miliki

ℜ X_{k} = \sum_{n = 0}^{N - 1} x_{n} \cos (2 π n k / N) .

$\Re X_k = \sum_{n=0}^{N-1} x_n \cos(2 \pi n k /N) \, .$ Ini hanya jumlah, jadi dengan aturan # 2 distribusi probabilitas

ℜ X_{k}

$\Re X_k$ sama dengan konvolusi berganda dari distribusi probabilitas dari istilah yang dijumlahkan. Kami menulis ulang jumlahnya sebagai

ℜ X_{k} = \sum_{n = 0}^{N - 1} y_{n}

$\Re X_k = \sum_{n=0}^{N-1} y_n$ dimana

y_{n} \equiv x_{n} \cos (2 π n k / N) .

$y_n \equiv x_n \cos(2\pi n k / N) \, .$ Faktor kosinus adalah faktor skala deterministik. Kita tahu bahwa distribusi

x_{n}

$x_n$ adalah

G_{σ}

$G_\sigma$ jadi kita bisa menggunakan aturan # 1 dari atas untuk menulis distribusi

y_{n}

$y_n$ :

P_{y_{n}} (y) = \frac{1}{\cos (2 π n k / N)} G_{σ} (\frac{y}{\cos (2 π n k / N)}) = G_{σ c_{n, k}} (y)

$P_{y_n}(y) = \frac{1}{\cos(2 \pi n k / N)}G_\sigma \left( \frac{y}{\cos(2 \pi n k / N)} \right) = G_{\sigma c_{n,k}}(y)$ di mana untuk singkatnya notasi yang telah kami tetapkan

c_{n, k} \equiv \cos (2 π n k / N)

$c_{n,k} \equiv \cos(2\pi n k / N)$ .

Oleh karena itu, distribusi $\Re X_k$ adalah konvolusi berganda atas fungsi $G_{\sigma c_{n,k}}$ :

P_{ℜ X_{k}} (x) = (G_{σ c_{0, k}} \otimes G_{σ c_{1, k}} \otimes \dots) (x) .

$P_{\Re X_k}(x) = \left( G_{\sigma c_{0,k}} \otimes G_{\sigma c_{1,k}} \otimes \cdots \right)(x) \, .$

Tidak jelas bagaimana melakukan konvolusi berganda, tetapi menggunakan aturan # 3 itu mudah. Mendenotasikan transformasi Fourier dari suatu fungsi oleh $\mathcal{F}$ kita punya

F (P_{ℜ X_{k}}) = \prod_{n = 0}^{N - 1} F (G_{σ c_{n, k}}) .

$\mathcal{F}(P_{\Re X_k}) = \prod_{n=0}^{N-1} \mathcal{F}(G_{\sigma c_{n,k}}) \, .$

Transformasi Fourier dari Gaussian dengan lebar $\sigma$ adalah Gaussian lain dengan lebar $1/\sigma$ , jadi kita dapatkan

\begin{aligned} F (P_{ℜ X_{k}}) (ν) & = \prod_{n = 0}^{N - 1} G_{1 / σ c_{n, k}} \\ = \prod_{n = 0}^{N - 1} \sqrt{\frac{σ^{2} c_{n, k}^{2}}{2 π}} \exp [\frac{- ν^{2}}{2 (1 / σ^{2} c_{n, k}^{2})}] \\ = {(\frac{σ^{2}}{2 π})}^{N / 2} (\prod_{n = 0}^{N - 1} c_{n, k}) \exp [- \frac{ν^{2}}{2} σ^{2} \sum_{n = 0}^{N - 1} \cos (2 π n k / N)^{2}] . \end{aligned}

$\begin{align} \mathcal{F}(P_{\Re X_k})(\nu) &= \prod_{n=0}^{N-1} G_{1/\sigma c_{n,k}}\\ &= \prod_{n=0}^{N-1} \sqrt{\frac{\sigma^2 c_{n,k}^2}{2\pi}} \exp \left[ \frac{-\nu^2}{2 (1 / \sigma^2 c_{n,k}^2)}\right] \\ &= \left( \frac{\sigma^2}{2\pi} \right)^{N/2} \left(\prod_{n=0}^{N-1}c_{n,k} \right) \exp \left[ -\frac{\nu^2}{2} \sigma^2 \sum_{n=0}^{N-1} \cos(2\pi nk/N)^2 \right] \, . \end{align}$ Semua hal sebelum eksponensial tidak tergantung

ν

$\nu$ dan karena itu merupakan faktor normalisasi, jadi kami mengabaikannya. Jumlahnya adil

N / 2

$N/2$ jadi kita dapatkan

\begin{aligned} F (P_{ℜ X_{k}}) & \propto \exp [- \frac{ν^{2}}{2} σ^{2} \frac{N}{2}] \\ = G_{\sqrt{2 / σ^{2} N}} \end{aligned}

$\begin{align} \mathcal{F}(P_{\Re X_k}) &\propto \exp \left[ - \frac{\nu^2}{2} \sigma^2 \frac{N}{2}\right]\\ &= G_{\sqrt{2 / \sigma^2 N}} \end{align}$ dan oleh karena itu

P_{ℜ X_{k}} = G_{σ \sqrt{N / 2}} .

$P_{\Re X_k} = G_{\sigma \sqrt{N/2}} \, .$

Karena itu kami telah menghitung distribusi probabilitas dari bagian nyata dari koefisien Fourier $X_k$ . Ini adalah Gaussian didistribusikan dengan standar deviasi $\sigma \sqrt{N/2}$ . Perhatikan bahwa distribusi tidak tergantung pada indeks frekuensi $k$ , yang masuk akal untuk kebisingan tidak berkorelasi. Dengan simetri, bagian imajiner harus didistribusikan persis sama.

Secara intuitif kami berharap penambahan lebih banyak integrasi akan mengurangi lebar distribusi noise yang dihasilkan. Namun, kami menemukan bahwa standar deviasi dari distribusi $X_k$ tumbuh sebagai $\sqrt{N}$ . Ini hanya karena pilihan kami untuk normalisasi transformasi Fourier diskrit. Jika kita malah menormalkannya seperti ini

X_{k} = \frac{1}{N} \sum_{n = 0}^{N - 1} x_{n} e^{- saya 2 π n k / N}

$X_k = \frac{1}{N} \sum_{n=0}^{N-1} x_n e^{-i 2 \pi n k /N}$ maka kita akan menemukan

P_{ℜ X_{k}} = G_{σ / \sqrt{2 N}}

$P_{\Re X_k} = G_{\sigma / \sqrt{2N}}$ yang setuju dengan intuisi bahwa distribusi kebisingan menjadi lebih kecil saat kami menambahkan lebih banyak data. Dengan normalisasi ini, sinyal yang koheren akan didemodulasi ke fasor amplitudo tetap, jadi kami memulihkan hubungan biasa bahwa rasio sinyal terhadap noise yang diamplasikan berskala sebagai

\sqrt{N}

$\sqrt{N}$ .

— DanielSank
sumber

Semua ini baik dan keren tetapi ketika berhadapan dengan banyak variabel acak, dan terutama variabel acak Gaussian, kovarian adalah beberapa hal penting seperti halnya pertanyaan tentang variabel acak mana yang independen . Bisakah Anda mengatasi masalah ini dalam jawaban Anda? (Variabel acak Marginal Gaussian tidak perlu bersama - sama Gaussian juga;

2 N

$2N$ variabel acak bersama-sama Gaussian? apakah mereka independen?

— Dilip Sarwate

@DilipSarwate ini pertanyaan yang bagus. Sayangnya saya belum tahu jawabannya. Saya akan melalui apa yang Anda sebut "belajar sendiri" dari pemrosesan sinyal stokastik dan saya belum mengerti mengapa nilai-nilai proses fisik pada waktu yang berbeda sering dimodelkan sebagai Gaussian bersama (atau bahkan apa yang sebenarnya berarti). Saya menduga itu ada hubungannya dengan persamaan diferensial yang mengatur proses yang mendasarinya, tapi sekali lagi saya hanya belum tahu. Jika Anda ingin membuat Q&A mandiri, itu akan sangat berguna. Kalau tidak, saya akhirnya akan mengajukan pertanyaan yang relevan di situs ini.

— DanielSank

@DilipSarwate Saya perhatikan Anda menggunakan asumsi proses Gaussian dalam jawaban Anda untuk pertanyaan lain ini . Anda bahkan mencatat bahwa "proses Gaussian" tidak sama dengan hanya mengatakan bahwa distribusi proses pada suatu perbaikan

t

$t$ Gaussian didistribusikan. Ini menunjukkan bahwa proses Gaussian adalah umum di Alam / teknik. Apakah ini benar? Jika demikian, dapatkah Anda memberi saya petunjuk tentang di mana saya bisa belajar mengapa?

— DanielSank

@DanielSank Menurut teorema limit pusat, kombinasi dari sejumlah besar variabel acak independen akan selalu menghasilkan distribusi normal, tidak peduli distribusi asli masing-masing variabel acak. Karena distribusi normal dipelajari dengan sangat baik, sering diasumsikan bahwa proses yang diamati sesuai dengan teorema limit pusat. Ini tidak selalu terjadi, (misalnya foton pada CCD, misalnya), tetapi cenderung menjadi perkiraan yang aman untuk banyak masalah fisika makroskopik.

— PhilMacKay

@ anishtain4 Berikut satu baris (panjang!) dari Python yang mensimulasikan proses thr:

import numpy as np; np.std(np.real(np.sum(np.random.normal(0, 1, (10000, 10000)) * np.exp(1.0j * 2 * np.pi * np.linspace(0, 1, 10000) * 50), axis=1)))

. Ketika saya melakukan ini, saya mendapatkan output 70, yang sama dengan

\sqrt{10, 000 / 2}

$\sqrt{10,000/2}$ seperti seharusnya. Mungkin Anda dapat membandingkan simulasi Anda dengan garis itu.

— DanielSank

Saya ingin mencoba lagi jawaban @ DanielSank. Kami pertama kali mengira itu $v_{n} \sim \mathcal{CN}(0, \sigma^{2})$ dan iid Its Discrete Fourier Transform kemudian:

V_{k} = \frac{1}{N} \sum_{n = 0}^{N - 1} v_{n} e^{- j 2 π \frac{n}{N} k}

$V_{k} = \frac{1}{N} \sum_{n=0}^{N-1} v_{n} e^{-j 2 \pi \frac{n}{N} k}$ .

Kami ingin menghitung distribusi $V_{k}$ Untuk memulai, kami mencatatnya sejak itu $v_{n}$ adalah white Gaussian noise, itu simetris sirkular, sehingga bagian nyata dan imajiner dari Fourier Transform-nya akan didistribusikan sama. Karena itu, kita hanya perlu menghitung distribusi bagian yang asli dan kemudian menggabungkannya dengan bagian imajiner.

Jadi kami berpisah $V_{k}$ menjadi bagian yang nyata dan imajiner. Kita punya:

V_{k} = \frac{1}{N} \sum_{n = 0}^{N - 1} v_{n} e^{- j 2 π \frac{n}{N} k}

$V_{k} = \frac{1}{N} \sum_{n=0}^{N-1} v_{n} e^{-j 2 \pi \frac{n}{N} k}$

V_{k} = \frac{1}{N} \sum_{n = 0}^{N - 1} (R {v_{n}} + j saya {v_{n}}) \cdot (c Hai s (2 π \frac{n}{N} k) + j s saya n (2 π \frac{n}{N} k))

$V_{k} = \frac{1}{N} \sum_{n=0}^{N-1} \big( R\{v_{n}\} + j I\{v_{n} \} \big) \cdot \big( cos(2 \pi \frac{n}{N} k) + j sin(2 \pi \frac{n}{N} k) \big)$

V_{k} = R {V_{k}}_{1} + R {V_{k}}_{2} + j saya {V_{k}}_{1} + j saya {V_{k}}_{2}

$V_{k} = R\{V_{k}\}_{1} + R\{V_{k}\}_{2} + jI\{V_{k}\}_{1} + jI\{V_{k}\}_{2}$

V_{k} = R {V_{k}} + j saya {V_{k}}

$V_{k} = R\{V_{k}\} + jI\{V_{k}\}$

Dimana:

R {V_{k}} = R {V_{k}}_{1} + R {V_{k}}_{2}

$R\{V_{k}\} = R\{V_{k}\}_{1} + R\{V_{k}\}_{2}$

saya {V_{k}} = saya {V_{k}}_{1} + saya {V_{k}}_{2}

$I\{V_{k}\} = I\{V_{k}\}_{1} + I\{V_{k}\}_{2}$

Dan:

R {V_{k}}_{1} = \frac{1}{N} \sum_{n = 0}^{N - 1} R {v_{n}} c Hai s (2 π \frac{n}{N} k)

$R\{V_{k}\}_{1} = \frac{1}{N} \sum_{n=0}^{N-1} R\{ v_{n} \} cos(2 \pi \frac{n}{N} k)$

R {V_{k}}_{2} = - \frac{1}{N} \sum_{n = 0}^{N - 1} saya {v_{n}} s saya n (2 π \frac{n}{N} k)

$R\{V_{k}\}_{2} = - \frac{1}{N} \sum_{n=0}^{N-1} I\{ v_{n} \} sin(2 \pi \frac{n}{N} k)$

saya {V_{k}}_{1} = \frac{1}{N} \sum_{n = 0}^{N - 1} R {v_{n}} s saya n (2 π \frac{n}{N} k)

$I \{V_{k}\}_{1} = \frac{1}{N} \sum_{n=0}^{N-1} R\{ v_{n} \} sin(2 \pi \frac{n}{N} k)$

saya {V_{k}}_{2} = \frac{1}{N} \sum_{n = 0}^{N - 1} saya {v_{n}} c Hai s (2 π \frac{n}{N} k)

$I\{V_{k}\}_{2} = \frac{1}{N} \sum_{n=0}^{N-1} I\{ v_{n} \} cos(2 \pi \frac{n}{N} k)$

Sekarang kami berupaya menurunkan distribusi $R\{V_{k}\}_{1}$ dan $R\{V_{k}\}_{2}$ . Seperti dalam jawaban @ DanielSank, kami mendefinisikan:

x_{n, k} = \frac{1}{N} c Hai s (2 π \frac{n}{N} k) R {v_{n}} = \frac{1}{N} c_{n, k} R {v_{n}}

$x_{n,k} = \frac{1}{N} cos(2 \pi \frac{n}{N} k) R\{v_{n}\} = \frac{1}{N} c_{n,k} R\{v_{n}\}$

Jadi kita bisa menulis:

R {V_{k}}_{1} = \sum_{n = 0}^{N - 1} x_{n, k}

$R\{ V_{k} \}_{1} = \sum_{n=0}^{N-1} x_{n,k}$

Ini memungkinkan kita untuk dengan mudah menerapkan fakta berikut tentang kombinasi linear dari variabel acak Gaussian. Yaitu, kita tahu bahwa:

Kapan $x \sim \mathcal{CN}(0, \sigma^{2})$ kemudian $R\{ x \} \sim \mathcal{N}(0, \frac{1}{2} \sigma^{2})$
Kapan $x \sim \mathcal{N}(\mu, \sigma^{2})$ kemudian $cx \sim \mathcal{N}(c \mu, c^{2} \sigma^{2})$

Bersama-sama, ini menyiratkan hal itu $x_{n,k} \sim \mathcal{N}(0, \frac{c^{2}_{n,k}}{2N^{2}} \sigma^{2})$ . Sekarang kita bekerja pada penjumlahan. Kita tahu itu:

Kapan $x_{n} \sim \mathcal{N}(\mu_{n}, \sigma^{2}_{n})$ kemudian $y = \sum_{n=0}^{N-1} x_{n} \sim \mathcal{N}(\sum_{n=0}^{N-1} \mu_{n}, \sum_{n=0}^{N-1} \sigma^{2}_{n})$
$\sum_{n=0}^{N-1} c^{2}_{n,k} = \frac{N}{2}$

Ini menyiratkan bahwa:

R {V_{k}}_{1} \sim N (0, \sum_{n = 0}^{N - 1} \frac{c_{n, k}^{2}}{2 N^{2}} σ^{2}) = N (0, \frac{\frac{N}{2}}{2 N^{2}} σ^{2} = N (0, \frac{σ^{2}}{4 N})

$R\{V_{k}\}_{1} \sim \mathcal{N}(0, \sum_{n=0}^{N-1} \frac{c_{n,k}^{2}}{2N^{2}} \sigma^{2}) = \mathcal{N}(0 , \frac{\frac{N}{2}}{2N^{2}} \sigma^{2} = \mathcal{N}(0, \frac{\sigma^{2}}{4N})$

Jadi kami telah menunjukkan bahwa:

R {V_{k}}_{1} \sim N (0, \frac{σ^{2}}{4 N})

$R\{V_{k}\}_{1} \sim \mathcal{N}(0, \frac{\sigma^{2}}{4N})$

Sekarang kami menerapkan argumen yang sama $R\{V_{k}\}_{2}$ . Menyalahgunakan notasi kami, kami menulis ulang:

x_{n, k} = \frac{1}{N} s saya n (2 π \frac{n}{N} k) saya {v_{n}} = \frac{1}{N} s_{n, k} saya {v_{n}}

$x_{n,k} = \frac{1}{N} sin(2 \pi \frac{n}{N} k) I\{v_{n}\} = \frac{1}{N} s_{n,k} I\{v_{n}\}$

Mengulangi argumen yang sama, dan mencatat bahwa Gaussian adalah distribusi simetris (sehingga kita dapat mengabaikan perbedaan tanda), memberi kita:

R {V_{k}}_{2} \sim N (0, \frac{σ^{2}}{4 N})

$R\{V_{k}\}_{2} \sim \mathcal{N}(0, \frac{\sigma^{2}}{4N})$

Sejak $\sum_{n=0}^{N-1} s^{2}_{n,k} = \frac{N}{2}$ demikian juga. Karena itu sejak itu $R\{V_{k}\} = R\{V_{k}\}_{1} + R\{V_{k}\}_{2}$ , kita mendapatkan:

R {V_{k}} \sim N (0, \frac{σ^{2}}{4 N} + \frac{σ^{2}}{4 N}) = N (0, \frac{σ^{2}}{2 N})

$R\{V_{k}\} \sim \mathcal{N}(0, \frac{\sigma^{2}}{4N} + \frac{\sigma^{2}}{4N}) = \mathcal{N}(0, \frac{\sigma^{2}}{2N})$

Jadi kami telah menunjukkan bahwa:

R {V_{k}} \sim N (0, \frac{σ^{2}}{2 N})

$R\{V_{k}\} \sim \mathcal{N}(0, \frac{\sigma^{2}}{2N})$

Dengan simetri lingkaran, kita juga tahu bahwa:

saya {V_{k}} \sim N (0, \frac{σ^{2}}{2 N})

$I\{V_{k}\} \sim \mathcal{N}(0, \frac{\sigma^{2}}{2N})$

Jadi sejak itu $V_{k} = R\{V_{k}\} + jI\{V_{k}\}$ , akhirnya kami tiba di:

V_{k} \sim C N (0, \frac{σ^{2}}{N})

$V_{k} \sim \mathcal{CN}(0, \frac{\sigma^{2}}{N})$

Oleh karena itu mengambil DFT membagi varians dengan panjang jendela DFT - dengan asumsi jendela adalah persegi panjang tentu saja - yang merupakan hasil yang sama seperti pada jawaban @ DanielSank.

— Pria itu
sumber

Mengapa jumlah C(n,k)^2=N/2?

— Hoi Ngô Thanh