Hubungan antara entropi dan SNR


13

Secara umum segala bentuk enropi didefinisikan sebagai ketidakpastian atau keacakan. Dalam lingkungan yang bising, dengan peningkatan kebisingan, saya percaya bahwa entropi meningkat karena kita lebih tidak pasti tentang konten informasi dari sinyal yang diinginkan. Apa hubungan antara entropi dan SNR? Dengan meningkatnya ransum sinyal ke derau, daya derau berkurang tetapi ini tidak menyiratkan bahwa kandungan informasi dari sinyal meningkat !! Konten informasi dapat tetap sama, jadi apakah itu berarti entropi tidak terpengaruh?

Jawaban:


7

Ketika Anda mengatakan bahwa "konten informasi mungkin tetap sama," apakah maksud Anda informasi dalam sinyal total, atau informasi dari sinyal yang diinginkan? Semoga ini akan menjawab kedua kasus. Saya tahu entropi Shannon jauh lebih baik daripada Kolmogorov jadi saya akan menggunakannya, tapi semoga logikanya akan diterjemahkan.

Katakanlah adalah sinyal Total ( ), terdiri dari jumlah sinyal yang diinginkan Anda dan kebisingan komponen Anda . Mari panggilan entropi . Seperti yang Anda katakan, noise menambah entropi ke sistem dengan meningkatkan kompleksitasnya. Namun, itu tidak selalu hanya karena kita lebih tidak pasti tentang isi informasi dari sinyal, tetapi karena ada lebih banyak ketidakpastian dalam keseluruhan sinyal. Jika SNR mengukur seberapa yakin kita tentang , maka mengukur seberapa baik kita dapat memprediksi keadaan masa mendatang berdasarkan kondisiX S N H S H ( X ) X XX=S+NXSNHSH(X)XX. Entropi berkaitan dengan seberapa kompleks keseluruhan sinyal, terlepas dari komposisi derau vs non derau.

Jika Anda meningkatkan SNR dengan menghilangkan noise (menipiskan ), Anda mengurangi kompleksitas sinyal total dan dengan demikian entropinya. Anda tidak kehilangan informasi apapun yang dibawa oleh , hanya informasi (mungkin berarti) dilakukan oleh . Jika adalah noise acak, maka jelas itu tidak membawa informasi yang bermakna, tetapi dibutuhkan sejumlah informasi untuk menggambarkan keadaan , ditentukan oleh jumlah negara di mana N dapat berada, dan kemungkinan berada di masing-masing negara. Itulah entropinya.X S N N NNXSNNN

Kita dapat melihat dua distribusi Gaussian dengan varian yang berbeda, misalkan satu memiliki varian dan yang lainnya memiliki varian . Hanya dengan melihat persamaan untuk distribusi Gaussian, kita melihat bahwa distribusi memiliki probabilitas maksimum yang hanya nilai probabilitas distr. Sebaliknya, ini berarti bahwa ada kemungkinan lebih besar bahwa distr akan mengambil nilai selain dari rata-rata, atau bahwa ada lebih banyak kepastian bahwa distribusi akan mengambil nilai mendekati rata-rata. Jadi, distribusi memiliki entropi yang lebih rendah daripada100 V a r = 100 11100Var=100 var=1Var=100Var=1Var=1Var=100110var=1Var=100Var=1Var=1Var=100 distribusi.

Kami menetapkan bahwa varians yang lebih tinggi menyiratkan entropi yang lebih tinggi. Melihat propagasi kesalahan, juga benar bahwa (sama dengan independen , ). Jika , maka untuk entropi , . Karena H adalah (secara tidak langsung) fungsi dari varians, kita dapat memalsukan sedikit hal untuk dikatakan H ( V a r [ X ] ) = H ( V a r [ S + N ] ) . Untuk menyederhanakan, kita katakan S danX Y X = S + N H H ( X ) = H ( S + N )Var(X+Y)>=Var(X)+Var(Y)XYX=S+NHH(X)=H(S+N)HH(Var[X])=H(Var[S+N])S adalah independen, jadi H ( V a r [ X ] ) = H ( V a r [ S ] + V a r [ N ] ) . Peningkatan SNR sering kali berarti melemahkan kekuatan kebisingan. Sinyal baru ini dengan SNR lebih tinggi akan menjadi X = S + ( 1NH(Var[X])=H(Var[S]+Var[N]), untukk>1. Entropi kemudian menjadiH(Var[X])=H(Var[S]+(1/k)2Var[N]). klebih besar dari1, jadiVar[N]akan berkurang ketika N dilemahkan. JikaVaX=S+(1k)Nk>1H(Var[X])=H(Var[S]+(1/k)2Var[N])k1Var[N] berkurang, demikian juga V a r [ S + N ] , dan karenanya V a r [ X ] , menghasilkan penurunan H ( X ) .Var[N]Var[S+N]Var[X]H(X)

Tidak terlalu ringkas, maaf. Singkatnya, entropi berkurang jika Anda meningkatkan SNR, tetapi Anda tidak melakukan apa pun terhadap informasi S. Saya tidak dapat menemukan sumber sekarang, tetapi ada metode untuk menghitung SNR dan informasi timbal balik (ukuran bivariat mirip dengan entropi) dari satu sama lain. Mungkin takeaway utama adalah SNR dan entropi tidak mengukur hal yang sama.XS


Terima kasih atas perinciannya, akan sangat bagus jika referensi ada di sana untuk sedikit analisis yang Anda lakukan karena saya perlu memberikan hubungan antara entropi dan SNR dalam sebuah makalah dan karenanya kutipan.
Ria George

Analisis saya cukup informal; itu bergantung terlalu banyak pada intuisi / logika untuk mengklaim segala jenis kekakuan. Titik lemah yang saya lihat segera adalah klaim bahwa peningkatan SNR setara dengan penurunan varians keseluruhan. Pernyataan ini berlaku jika Anda meningkatkan SNR dengan melemahkan noise, tetapi tidak harus jika Anda meningkatkan kekuatan sinyal (karena itu dapat meningkatkan varians sinyal ==> varians keseluruhan ==> entropi). Namun, ada kemungkinan cara lain untuk mencapai kesimpulan ini. Saya pikir hubungan antara MI dan SNR berasal dari Schloegl 2010 "Metode Adaptif dalam Penelitian BCI - Sebuah Tutorial Pengantar"
dpbont

X

Dua pertanyaan. 1) Ketika Anda mengatakan SNR meningkat, maksud Anda SNR dari sinyal yang diperkirakan? (Saya berasumsi demikian.) 2) Apa yang terjadi pada kesalahan Anda ketika entropi kesalahan meningkat? Secara umum, peningkatan entropi berarti peningkatan varians / penurunan prediktabilitas. Saya mungkin bisa membayangkan situasi di mana varians kesalahan Anda meningkat tetapi Anda menghapus bias kesalahan (yang dapat meningkatkan entropi kesalahan tetapi mengurangi kesalahan).
dpbont

X=S+NNz(t)=X(t)(a1X(t1)+b1X(t2))X(t)N

1

Berikut kutipan dari [1, p. 186]untuk membantu Anda, OP atau Googler, dimulai:

H(number of active components in data)×logSNR

H

[1] D. Sivia and J. Skilling, Data analysis: a Bayesian tutorial. OUP Oxford, 2006
Dengan menggunakan situs kami, Anda mengakui telah membaca dan memahami Kebijakan Cookie dan Kebijakan Privasi kami.
Licensed under cc by-sa 3.0 with attribution required.