Alasan intuitif mengapa Fisher Information of Binomial berbanding terbalik dengan

12

Ini membingungkan / mengejutkan saya bahwa Binomial memiliki varian yang sebanding dengan . Secara setara, informasi Fisher sebanding dengan $p(1-p)$ . Apa alasannya? Mengapa Informasi Fisher diminimalkan pada? Artinya, mengapa inferensi paling sulit pada? $\frac{1}{p(1-p)}$ $p=0.5$ $p=0.5$

Konteks:

Saya sedang mengerjakan kalkulator ukuran sampel, dan rumus untuk , ukuran sampel yang dibutuhkan, adalah faktor peningkatan , hasil estimasi varians dalam derivasi. $N$ $p(1-p)$

variance binomial interpretation

— Cam.Davidson.Pilon
sumber

3

Varians dari variabel acak Bernoulli dengan parameter

adalah

dan variabel acak binomial, yang merupakan jumlah dari variabel independen

Bernoulli, memiliki varian

, yang merupakan jumlah dari

varian. Berkenaan dengan mengapa

, anggap varians sebagai momen inersia tentang pusat massa massa

dan

pada

p

$p$

p (1 - p)

$p(1-p)$

N

$N$

N p (1 - p)

$Np(1-p)$

N

$N$

p (1 - p)

$p(1-p)$

p

$p$

1 - p

$1-p$

1

$1$ dan

masing-masing.

0

$0$

— Dilip Sarwate

Ya, saya mengatakan sebanding dengan

, mengabaikan

. Bisakah Anda menguraikan bagian kedua Anda, sepertinya perspektif yang menarik.

p (1 - p)

$p(1-p)$

N

$N$

— Cam.Davidson.Pilon

13

Untuk melihat, secara intuitif, bahwa varians dimaksimalkan pada , ambil sama dengan (resp. ). Kemudian sampel dari kemungkinan akan berisi banyak 's (resp. 's) dan hanya beberapa 's (resp. 's). Tidak banyak variasi di sana. $p = 0.5$ $p$ $0.99$ $p = 0.01$ $X \sim \text{Bernoulli}(p)$ $1$ $0$ $0$ $1$

— okram
sumber

Itu benar. Mungkin yang harus saya tanyakan adalah Mengapa Informasi Fisher diminimalkan pada ? $p=0.5$ , yaitu mengapa inferensi paling sulit pada

? Saya akan memperbarui pertanyaan saya untuk mencerminkan hal itu.

p = 0.5

$p=0.5$

— Cam.Davidson.Pilon

3

Sekali lagi dengan cara yang sangat intuitif: semakin banyak variasi, semakin banyak informasi yang Anda butuhkan.

— ocram

9

$p$ $\hat p$ $p$ $p$

Saya pikir intuisi lebih mudah bila dilihat dari segi varians.

$p$ $p$

$\text{Var}(\hat p) = p(1-p)/n$ $n$ $p$ $p$

$y$ masukkan deskripsi gambar di sini

Fungsi probabilitas yang sesuai: masukkan deskripsi gambar di sini

Dalam setiap kasus perhatikan garis-garis yang menandai nilai tengah. Ketika garis rata-rata menjadi lebih 'macet' terhadap penghalang, titik di bawah rata-rata hanya bisa mendapatkan jalan kecil di bawah.

$p = \frac{1}{2}$

masukkan deskripsi gambar di sini

$\hat p$ $p$

[Bentuk intuisi ini tidak memberi tahu kita mengapa ia mengambil bentuk fungsional yang tepat itu, tetapi ia menjelaskan mengapa varians harus kecil di dekat ujungnya, dan semakin kecil semakin dekat ke ujung yang Anda tuju.]

— Glen_b -Reinstate Monica
sumber

Akibatnya, poin di atas rata-rata tidak bisa terlalu jauh di atas rata-rata (karena jika tidak berarti akan bergeser!). Di dekat p = 12 titik akhir tidak benar-benar "mendorongnya" dengan cara yang sama. Terlalu sempurna. Ini penjelasan yang bagus.

— Cam.Davidson.Pilon

7

Informasi Fisher adalah varian dari fungsi skor. Dan itu terkait dengan entropi. Untuk uji coba Bernoulli kami mendapatkan sedikit untuk setiap uji coba. Jadi Informasi Fisher ini memiliki sifat yang mirip dengan Entropi Shannon, seperti yang kita harapkan. Secara khusus entropi memiliki maksimum pada 1/2 dan informasi memiliki minimum pada 1/2.

— James
sumber

Ah, perspektif hebat lainnya. Saya tidak memikirkan hal ini dari sudut pandang entropik!

— Cam.Davidson.Pilon