Menggunakan informasi timbal balik untuk memperkirakan korelasi antara variabel kontinu dan variabel kategori

Adapun judulnya, idenya adalah menggunakan informasi timbal balik, di sini dan setelah MI, untuk memperkirakan "korelasi" (didefinisikan sebagai "seberapa banyak yang saya ketahui tentang A ketika saya tahu B") antara variabel kontinu dan variabel kategorikal. Saya akan memberi tahu Anda pemikiran saya tentang masalah ini sebentar lagi, tetapi sebelum saya menyarankan Anda untuk membaca pertanyaan / jawaban lain ini di CrossValidated karena berisi beberapa informasi yang berguna.

Sekarang, karena kita tidak dapat berintegrasi dengan variabel kategorikal, kita perlu memutuskan yang berkelanjutan. Ini dapat dilakukan dengan cukup mudah di R, yang merupakan bahasa yang telah saya gunakan sebagian besar analisis saya. Saya lebih suka menggunakan cutfungsi, karena ini juga alias nilai-nilai, tetapi opsi lain juga tersedia. Intinya adalah, kita harus memutuskan apriori jumlah "tempat sampah" (keadaan diskrit) sebelum diskritisasi dapat dilakukan.

Masalah utama, bagaimanapun, adalah satu lagi: MI berkisar dari 0 hingga ∞, karena merupakan ukuran yang tidak standar unit mana yang merupakan bit. Itu membuat sangat sulit untuk menggunakannya sebagai koefisien korelasi. Ini dapat sebagian diselesaikan dengan menggunakan koefisien korelasi global , di sini dan setelah GCC, yang merupakan versi MI standar; GCC didefinisikan sebagai berikut:

masukkan deskripsi gambar di sini

Referensi: rumusnya adalah dari Mutual Information sebagai Alat Nonlinier untuk Menganalisis Globalisasi Pasar Saham oleh Andreia Dionísio, Rui Menezes & Diana Mendes, 2010.

GCC berkisar dari 0 hingga 1, dan karenanya dapat dengan mudah digunakan untuk memperkirakan korelasi antara dua variabel. Masalah terpecahkan, bukan? Yah, agak. Karena semua proses ini sangat bergantung pada jumlah 'tempat sampah' yang kami putuskan untuk digunakan selama diskritisasi. Di sini hasil percobaan saya:

masukkan deskripsi gambar di sini

Pada sumbu y, Anda memiliki GCC dan pada sumbu x Anda memiliki jumlah 'nampan' yang saya putuskan untuk digunakan untuk diskritisasi. Dua baris mengacu pada dua analisis berbeda yang saya lakukan pada dua dataset berbeda (meskipun sangat mirip).

Tampaknya bagi saya bahwa penggunaan MI pada umumnya dan GCC pada khususnya masih kontroversial. Namun, kebingungan ini mungkin akibat kesalahan dari pihak saya. Apa pun masalahnya, saya ingin mendengar pendapat Anda tentang masalah ini (juga, apakah Anda memiliki metode alternatif untuk memperkirakan korelasi antara variabel kategori dan variabel kontinu?).

correlation information-theory mutual-information

— Edgar Derby
sumber

H (X_{i}, X_{j}) \leq H (X_{i}) + H (X_{j})

$H(X_i, X_j) \leq H(X_i) + H(X_j)$

BTW, di sini adalah kode dalam kasus ada yang ingin mencoba metode Binning.

— zkurtz

Anda tidak memperkirakan "korelasi". Anda memperkirakan informasi timbal balik. Yang satu tidak memperkirakan yang lain; mereka adalah ukuran yang berbeda dari konsep asosiasi yang lebih umum .

— zkurtz

Mungkin judul yang lebih baik untuk posting ini adalah "Bagaimana cara terbaik bin variabel kontinu untuk memperkirakan informasi timbal balik dengan variabel kategori?"

— zkurtz

Ini adalah pendekatan non-binning yang menarik. Sayangnya saya tidak dapat menemukan implementasi R.

— zkurtz

Ada cara yang lebih sederhana dan lebih baik untuk menangani masalah ini. Variabel kategorikal secara efektif hanya seperangkat variabel indikator. Ini adalah ide dasar dari teori pengukuran bahwa variabel seperti itu tidak berubah untuk relabelling dari kategori, sehingga tidak masuk akal untuk menggunakan pelabelan numerik dari kategori dalam setiap ukuran hubungan antara variabel lain (misalnya, 'korelasi') . Untuk alasan ini, dan ukuran hubungan antara variabel kontinu dan variabel kategorikal harus didasarkan sepenuhnya pada variabel indikator yang berasal dari variabel terakhir.

$X$ $I$ $\phi \equiv \mathbb{P}(I=1)$

C o v (I, X) = E (I X) - E (I) E (X) = ϕ [E (X | I = 1) - E (X)],

$\mathbb{Cov}(I,X) = \mathbb{E}(IX) - \mathbb{E}(I) \mathbb{E}(X) = \phi \left[ \mathbb{E}(X|I=1) - \mathbb{E}(X) \right] ,$

pemberian yang mana:

C o r r (I, X) = \sqrt{\frac{ϕ}{1 - ϕ}} \cdot \frac{E (X | I = 1) - E (X)}{S (X)} .

$\mathbb{Corr}(I,X) = \sqrt{\frac{\phi}{1-\phi}} \cdot \frac{\mathbb{E}(X|I=1) - \mathbb{E}(X)}{\mathbb{S}(X)} .$

$X$ $I$ $\phi$ $X$ $I=1$

$C$ $1, ..., m$ $C=k$ $I_k \equiv \mathbb{I}(C=k)$

C o r r (I_{k}, X) = \sqrt{\frac{ϕ_{k}}{1 - ϕ_{k}}} \cdot \frac{E (X | C = k) - E (X)}{S (X)} .

$\mathbb{Corr}(I_k,X) = \sqrt{\frac{\phi_k}{1-\phi_k}} \cdot \frac{\mathbb{E}(X|C=k) - \mathbb{E}(X)}{\mathbb{S}(X)} .$

$\mathbb{Corr}(C,X) \equiv (\mathbb{Corr}(I_1,X), ..., \mathbb{Corr}(I_m,X))$

$\sum_k \mathbb{Cov}(I_k,X) = 0$ $X$ $m-1$

$(x_1, c_1), ..., (x_n, c_n)$

{\hat{ϕ}}_{k} \equiv \frac{1}{n} \sum_{i = 1}^{n} I (c_{i} = k) .

$\hat{\phi}_k \equiv \frac{1}{n} \sum_{i=1}^n \mathbb{I}(c_i=k).$

\hat{E} (X) \equiv \bar{x} \equiv \frac{1}{n} \sum_{i = 1}^{n} x_{i} .

$\hat{\mathbb{E}}(X) \equiv \bar{x} \equiv \frac{1}{n} \sum_{i=1}^n x_i.$

\hat{E} (X | C = k) \equiv {\bar{x}}_{k} \equiv \frac{1}{n} \sum_{i = 1}^{n} x_{i} I (c_{i} = k) / {\hat{ϕ}}_{k} .

$\hat{\mathbb{E}}(X|C=k) \equiv \bar{x}_k \equiv \frac{1}{n} \sum_{i=1}^n x_i \mathbb{I}(c_i=k) \Bigg/ \hat{\phi}_k .$

\hat{S} (X) \equiv s_{X} \equiv \sqrt{\frac{1}{n - 1} \sum_{i = 1}^{n} (x_{i} - \bar{x})^{2}} .

$\hat{\mathbb{S}}(X) \equiv s_X \equiv \sqrt{\frac{1}{n-1} \sum_{i=1}^n (x_i - \bar{x})^2}.$

$X$

— Ben - Pasang kembali Monica
sumber