Ketika memperlakukan fungsi utilitas yang relatif dan dinormalisasi sebagai PMF, apa interpretasi dari informasi Shannon entropy atau Shannon?

10

Misalkan adalah seperangkat hasil yang saling eksklusif dari variabel acak diskrit dan adalah fungsi utilitas di mana , , dll. $\Omega$ $f$ $0 < f(\omega) \leq 1$ $\sum_\Omega f(\omega) = 1$

Ketika didistribusikan secara merata ke dan adalah fungsi massa probabilitas , entropi Shannon adalah dimaksimalkan ( , dan ketika satu elemen di memiliki semua massa , entropi Shannon diminimalkan ( , sebenarnya). Ini sesuai dengan intuisi tentang mengejutkan (atau pengurangan ketidakpastian ) dan hasil dan ketidakpastian (atau diharapkan mengejutkan ) dan variabel acak: $f$ $\Omega$ $f$ $H(\Omega) = \sum_{\Omega}f(\omega)log\frac{1}{f(\omega)}$ $=log|\Omega|)$ $\Omega$ $f$ $0$

Ketika terdistribusi secara seragam, ketidakpastian dimaksimalkan, dan semakin banyak hasil yang dihasilkan massa yang terdistribusi secara seragam, semakin tidak pasti kita. $f$
Ketika memiliki semua massanya terkonsentrasi dalam satu hasil, kita tidak memiliki ketidakpastian. $f$
Ketika kami menetapkan suatu hasil probabilitas , kami tidak mendapatkan informasi ("tidak terkejut") ketika kami benar-benar mengamatinya. $1$
Ketika kita menetapkan suatu probabilitas hasil lebih dekat dan lebih dekat ke , pengamatan itu benar-benar terjadi menjadi lebih dan lebih informatif ("mengejutkan"). $0$

(Ini semua tidak mengatakan apa-apa tentang interpretasi pengkodean informasi / entropi Shannon yang jauh lebih konkret - tetapi kurang epistemik, tentu saja.)

Namun, ketika memiliki interpretasi fungsi utilitas , adakah interpretasi sensis atau ? Sepertinya bagi saya mungkin ada: $f$ $log\frac{1}{f(\omega)}$ $\sum f(\omega)log\frac{1}{f(\omega)}$

jika sebagai PMF merupakan distribusi seragam atas , maka sebagai fungsi utilitas berhubungan dengan ketidakpedulian terhadap hasil yang tidak bisa lebih besar * $f$ $\Omega$ $f$
fungsi utilitas di mana satu hasil memiliki semua utilitas dan sisanya tidak (sesuai dengan utilitas yang ada) sesuai dengan preferensi relatif yang sangat kuat - kurangnya ketidakpedulian.

Apakah ada referensi yang berkembang tentang ini? Pernahkah saya melewatkan sesuatu tentang pembatasan pada perbandingan fungsi massa probabilitas dan utilitas relatif yang dinormalisasi atas variabel acak diskrit?

* Saya menyadari kurva ketidakpedulian dan tidak melihat bagaimana mereka relevan dengan pertanyaan saya karena berbagai alasan, dimulai dengan fokus saya pada ruang sampel kategoris dan dengan fakta bahwa saya tidak tertarik pada 'ketidakpedulian' per se, melainkan bagaimana menafsirkan utilitas sebagai probabilitas dan bagaimana menafsirkan fungsional pada probabilitas ketika (distribusi) 'probabilitas' yang bersangkutan benar-benar atau (tambahan) memiliki interpretasi fungsi utilitas.

— EM23
sumber

Saya tidak punya jawaban, tetapi pertanyaan Anda membuat saya berpikir untuk menggunakan entropi dalam masalah pemotongan kue yang adil: en.wikipedia.org/wiki/Fair_cake-cutting Model standarnya adalah kue tersebut merupakan interval [0, 1], dan ada agen dengan ukuran nilai yang dinormalisasi berbeda pada interval. Langkah-langkah tersebut dianggap non-atom, tetapi tidak ada asumsi lebih lanjut tentang "entropi" mereka. Sangat menarik untuk memikirkan apa yang dapat kita katakan tentang masalah pemotongan kue di mana fungsi utilitas telah membatasi entropi.

n

$n$

— Erel Segal-Halevi

3

Sebelum berdiskusi tentang entropi Shannon, ada hal lain yang harus didiskusikan: kelihatannya Anda memikirkan utilitas kardinal daripada ordinal .

Fungsi utilitas "Normalisasi" dapat diturunkan tentu saja dalam kedua kasus. Tetapi konsep "preferensi relatif" dapat didefinisikan dan diukur hanya dalam konteks utilitas kardinal.

Dan masalah tidak muncul pada dua ekstrem yang Anda gambarkan, tetapi dalam semua kasus menengah yang mungkin.

Contoh sederhana: asumsikan bahwa ada tiga "hasil", (katakanlah, tingkat konsumsi, atau tiga barang yang berbeda masing-masing pada jumlah tertentu). Fungsi utilitas Anda memberikan nilai kepada mereka $A, B, C$

V (A) = 1, V (B) = 9, V (C) = 90

$V(A) = 1, \;\;V(B) = 9,\;\; V(C) = 90$

Di bawah utilitas ordinal, ini hanya memberitahu kita itu

A <_{p r} B <_{p r} C

$A <_{pr} B <_{pr} C$

Tentu saja kita dapat menormalkan ini dengan membaginya dengan untuk mendapatkan $100$

dan peringkat ketiga hasil dipertahankan

U_{V} (A) = 0.01, U_{V} (B) = 0.09, U_{V} (C) = 0.9

$U_V(A)=0.01, \;\; U_V(B) = 0.09,\;\; U_V(C) =0.9$

Tetapi di bawah utilitas ordinal, kita bisa menggunakan fungsi utilitas lain yang akan ditugaskan

W (A) = 31, W (B) = 32, W (C) = 37

$W(A) = 31, \;\;W(B) = 32,\;\; W(C) = 37$

dan dapatkan

U_{W} (A) = 0.31, U_{W} (B) = 0.32, U_{W} (C) = 0.37

$U_W(A)=0.31, \;\; U_W(B) = 0.32,\;\; U_W(C) =0.37$

$V$ $W$

$W$ $V$

Apakah Anda terbiasa dengan masalah seputar utilitas kardinal?

— Alecos Papadopoulos
sumber

V

$V$

U

$U$

3

Setelah pertukaran dengan OP di jawaban saya yang lain, mari kita bekerja sedikit dengan pendekatannya.

$X$ $X = \{x_1,...,x_k\}$ $\Pr(X=x_i)=p_i, i=1,...,k$

Nilai-nilai dalam mendukung juga merupakan input dalam fungsi utilitas kardinal bernilai riil , . Kami kemudian mempertimbangkan fungsi utilitas yang dinormalisasi $X$ $u(x_i) > 0\; \forall i$

\begin{matrix} (1) & w (X) : w (x_{i}) = \frac{u (x_{i})}{\sum_{i = 1}^{k} u (x_{i})}, i = 1, . . ., k \end{matrix}

$w(X): w(x_i) = \frac {u(x_i)}{\sum_{i=1}^ku(x_i)},\;\;i=1,...,k \tag{1}$

dan kita diberitahu itu

\begin{matrix} (2) & w (x_{i}) = p_{i} \end{matrix}

$w(x_i) = p_i \tag{2}$

Perhatikan bahwa kita tidak hanya membuat pengamatan bahwa fungsi diskrit non-negatif yang dinormalisasi dari domain hingga, memenuhi sifat-sifat fungsi massa probabilitas secara umum -kami secara khusus mengasumsikan bahwa memiliki bentuk fungsional PMF dari acak variabel yang nilainya sebagai input. $w(x_i)$ $w(x_i)$

Karena adalah fungsi yang dapat diukur dari variabel acak, ia juga merupakan variabel acak. Jadi kita dapat dengan penuh pertimbangan mempertimbangkan hal-hal seperti nilai yang diharapkan. Menggunakan Hukum Ahli Statistik Bawah Sadar yang kita miliki $w(x_i)$

\begin{matrix} (3) & E [w (X)] = \sum_{i = 1}^{k} p_{i} w (x_{i}) = \sum_{i = 1}^{k} p_{i}^{2} \end{matrix}

$E[w(X)] = \sum_{i=1}^kp_iw(x_i) = \sum_{i=1}^kp_i^2 \tag{3}$

Ini adalah fungsi cembung, dan jika kita mencoba untuk mengekstremasinya pada di bawah batasan kita dengan mudah memperoleh $p_i$ $\sum_{i=1}^kp_i=1$

\begin{matrix} (4) & argmin E [w (X)] = p^{*} : p_{1} = p_{2} = . . . = p_{k} = 1 / k \end{matrix}

$\text{argmin} E[w(X)] = \mathbf p^*: p_1=p_2=...=p_k=1/k \tag {4}$

dan kami telah memperoleh hasil umum:

Fungsi utilitas yang dinormalisasi seperti yang didefinisikan di atas memiliki nilai minimum yang diharapkan jika distribusi adalah Seragam. $X$

Jelas dalam kasus seperti itu akan menjadi fungsi konstan , variabel acak degenerasi dengan dan nol varians. $w(X)$ $E[w(X)]=1/k$

Mari kita beralih ke Entropy Shannon yang merupakan fokus OP. Untuk dihitung, Entropi Shannon membutuhkan fungsi massa probabilitas dari variabel acak ... jadi kita harus menemukan PMF dari variabel acak ... $w(X)$

Tapi kesan saya bukan ini yang ada dalam pikiran OP. Alih-alih, ia memandang Entropi Shannon sebagai metrik yang memiliki beberapa sifat aljabar yang diinginkan dan mungkin dapat mengukur secara kompak dengan cara sesuatu yang menarik yang menarik.

Ini telah dilakukan sebelumnya dalam bidang Ekonomi, khususnya dalam Organisasi Industri, adalah Indeks Konsentrasi Pasar ("tingkat persaingan / struktur monopolistik pasar") telah dibangun. Saya perhatikan dua yang terlihat sangat relevan di sini.

A) The Herfindahl Index, memiliki sebagai argumennya pangsa pasar dari perusahaan yang beroperasi di pasar, , sehingga mereka berjumlah satu dengan konstruksi. Versi tidak berskala adalah $n$ $s_i$

H = \sum_{i = 1}^{n} s_{i}^{2}

$H = \sum_{i=1}^n s_i^2$

yang merupakan ekspresi yang memiliki struktur yang sama persis dengan nilai yang diharapkan dari diturunkan di atas. $w(X)$

B) The Entropi Indeks yang memiliki bentuk matematis yang tepat dengan Shannon Entropi.

R_{e} = - \sum_{i = 1}^{n} s_{i} \ln s_{i}

$R_e = -\sum_{i=1}^n s_i\ln s_i$

Encaoua, D., & Jacquemin, A. (1980). Tingkat monopoli, indeks konsentrasi dan ancaman masuk. Tinjauan Ekonomi Internasional, 87-105. , memberikan turunan aksiomatik dari indeks konsentrasi "yang diizinkan", yaitu mereka menentukan sifat-sifat yang harus dimiliki indeks tersebut. Karena pendekatan mereka abstrak, saya percaya itu mungkin berguna untuk apa yang OP ingin jelajahi dan lampirkan maknanya.

— Alecos Papadopoulos
sumber

1

Tampaknya fungsi utilitas tidak hanya kardinal di sini, tetapi bahkan didefinisikan pada skala rasio. Pertimbangkan dua hasil dengan utilitas 1/4 dan 3/4. Jelas, kita dapat menerapkan transformasi affine: dalam hal utilitas menjadi 0 dan 1. Namun, kami sekarang telah mengubah entropi dari nilai positif ketat menjadi nol! $v=v*2-0.5$

Dengan demikian, Anda harus terlebih dahulu menyediakan skala rasio yang bermakna untuk utilitas Anda. Salah satu cara untuk melakukan ini adalah dengan memberikan interpretasi ke tingkat utilitas 0 alami. Tanpa spesifikasi ini entropi tidak ada artinya.

— HRSE
sumber