Interval Keyakinan untuk varian diberikan satu pengamatan

Ini adalah masalah dari "7th Kolmogorov Student Olympiad in Probability Theory":

Diberikan satu pengamatan dari distribusi dengan kedua parameter tidak diketahui, berikan interval kepercayaan untuk dengan tingkat kepercayaan setidaknya 99%. $X$ $\operatorname{Normal}(\mu,\sigma^2)$ $\sigma^2$

Bagi saya sepertinya ini tidak mungkin. Saya punya solusinya, tetapi belum membacanya. Adakah pikiran?

Saya akan memposting solusinya dalam beberapa hari.

[Suntingan lanjutan: Solusi resmi diposting di bawah ini. Solusi Cardinal lebih panjang, tetapi memberikan interval kepercayaan yang lebih baik. Terima kasih juga kepada Max dan Glen_b untuk masukan mereka.]

— Jonathan Christensen
sumber

Sepertinya tidak mungkin bagi saya juga; Saya menunggu jawabannya

— Peter Flom - Reinstate Monica

Lihatlah situs ini .

— Diasumsikan normal

Ini kertas dengan format yang lebih baik: kertas .

— Diasumsikan normal

Heh. Saya ingat pernah membaca makalah tentang hal ini (satu interval pengamatan) beberapa tahun yang lalu. Mungkin yang ini .

— Glen_b -Reinstate Monica

@ Max, terima kasih untuk tautannya! Saya belum sempat mencermati hal itu, tetapi saya akan melakukannya. Saya memposting jawaban "resmi" di bawah.

— Jonathan Christensen

Jawaban:

Dilihat melalui lensa ketidaksetaraan probabilitas dan koneksi ke kasus multi-observasi, hasil ini mungkin tidak tampak begitu mustahil, atau, setidaknya, itu mungkin tampak lebih masuk akal.

Biarkan dengan dan tidak dikenal. Kita dapat menulis untuk . $\renewcommand{\Pr}{\mathbb P}\newcommand{\Ind}[1]{\mathbf 1_{(#1)}}X \sim \mathcal N(\mu,\sigma^2)$ $\mu$ $\sigma^2$ $X = \sigma Z + \mu$ $Z \sim \mathcal N(0,1)$

Klaim Utama : adalah interval kepercayaan untuk mana adalah kuantil -level dari distribusi chi-squared dengan satu derajat kebebasan. Selain itu, karena interval ini memiliki persis cakupan ketika , itu adalah interval sempit kemungkinan bentuk untuk beberapa . $[0,X^2/q_\alpha)$ $(1-\alpha)$ $\sigma^2$ $q_\alpha$ $\alpha$ $(1-\alpha)$ $\mu = 0$ $[0,b X^2)$ $b \in \mathbb R$

Alasan untuk optimis

Ingat bahwa dalam kasus , dengan , interval kepercayaan tipikal untuk adalah mana adalah kuantil-tingkat dari chi-kuadrat dengan derajat kebebasan. Ini, tentu saja, berlaku untuk semua . Meskipun ini adalah interval yang paling populer (disebut interval sama-ekor untuk alasan yang jelas), ini bukan satu-satunya atau bahkan yang memiliki lebar terkecil! Seperti yang seharusnya, pemilihan lain yang valid adalah $n \geq 2$ $T = \sum_{i=1}^n (X_i - \bar X)^2$ $(1-\alpha)$ $\sigma^2$

(\frac{T}{q_{n - 1, (1 - α) / 2}}, \frac{T}{q_{n - 1, α / 2}}),

$\Big(\frac{T}{q_{n-1,(1-\alpha)/2}}, \frac{T}{q_{n-1,\alpha/2}} \Big) \>,$

q_{k, a}

$q_{k,a}$

a

$a$

k

$k$

μ

$\mu$

(0, \frac{T}{q_{n - 1, α}}) .

$\Big(0,\frac{T}{q_{n-1,\alpha}}\Big) \>.$

Karena, , lalu juga memiliki cakupan setidaknya . $T \leq \sum_{i=1}^n X_i^2$

(0, \frac{\sum_{i = 1}^{n} X_{i}^{2}}{q_{n - 1, α}}),

$\Big(0,\frac{\sum_{i=1}^n X_i^2}{q_{n-1,\alpha}}\Big) \>,$

(1 - α)

$(1-\alpha)$

Dilihat dari sudut pandang ini, kita mungkin optimis bahwa interval dalam klaim utama adalah benar untuk . Perbedaan utama adalah bahwa tidak ada distribusi nol-derajat-kebebasan-kuadrat untuk kasus pengamatan tunggal, jadi kita harus berharap bahwa menggunakan kuantil satu derajat kebebasan akan bekerja. $n = 1$

Setengah langkah menuju tujuan kami ( Memanfaatkan ekor kanan )

Sebelum menyelami bukti klaim utama, pertama mari kita lihat klaim awal yang hampir tidak sekuat atau memuaskan secara statistik, tetapi mungkin memberikan beberapa wawasan tambahan tentang apa yang sedang terjadi. Anda dapat melewatkan bukti klaim utama di bawah ini, tanpa banyak kerugian (jika ada). Pada bagian ini dan selanjutnya, bukti — meski sedikit halus — didasarkan hanya pada fakta-fakta dasar: monotonitas probabilitas, dan simetri serta unimodality dari distribusi normal.

Klaim bantu : adalah interval kepercayaan untuk selama . Di sini adalah quantile tingkat- dari standar normal. $[0,X^2/z^2_\alpha)$ $(1-\alpha)$ $\sigma^2$ $\alpha > 1/2$ $z_\alpha$ $\alpha$

Bukti . danoleh simetri, jadi dalam apa yang berikut kita dapat mengambil tanpa kehilangan keumuman Sekarang, untuk dan , dan demikian pula dengan , kita melihat bahwa Ini hanya berfungsi untuk , karena itulah yang diperlukan untuk . $|X| = |-X|$ $|\sigma Z + \mu| \stackrel{d}{=} |-\sigma Z+\mu|$ $\mu \geq 0$ $\theta \geq 0$ $\mu \geq 0$

P (| X | > θ) \geq P (X > θ) = P (σ Z + μ > θ) \geq P (Z > θ / σ),

$\Pr(|X| > \theta) \geq \Pr( X > \theta) = \Pr( \sigma Z + \mu > \theta) \geq \Pr( Z > \theta/\sigma) \>,$

θ = z_{α} σ

$\theta = z_{\alpha} \sigma$

P (0 \leq σ^{2} < X^{2} / z_{α}^{2}) \geq 1 - α .

$\Pr(0 \leq \sigma^2 < X^2 / z^2_\alpha) \geq 1 - \alpha \>.$

α > 1 / 2

$\alpha > 1/2$

z_{α} > 0

$z_\alpha > 0$

Ini membuktikan klaim pembantu. Meskipun ilustratif, itu tidak meyakinkan dari perspektif statistik karena itu membutuhkan sangat besar untuk bekerja. $\alpha$

Membuktikan klaim utama

Penyempurnaan argumen di atas mengarah pada hasil yang akan bekerja untuk tingkat kepercayaan yang sewenang-wenang. Pertama, perhatikan bahwa Set dan . Kemudian, Jika kita dapat menunjukkan bahwa tangan kanan sisi kenaikan untuk setiap tetap , maka kita dapat menggunakan argumen yang sama seperti dalam argumen sebelumnya. Ini setidaknya masuk akal, karena kami ingin percaya bahwa jika mean meningkat, maka menjadi lebih mungkin bahwa kita melihat nilai dengan modulus yang melebihi

P (| X | > θ) = P (| Z + μ / σ | > θ / σ) .

$\Pr(|X| > \theta) = \Pr(|Z + \mu/\sigma| > \theta / \sigma ) \>.$

a = μ / σ \geq 0

$a = \mu/\sigma \geq 0$

b = θ / σ \geq 0

$b = \theta / \sigma \geq 0$

P (| Z + a | > b) = Φ (a - b) + Φ (- a - b) .

$\Pr(|Z + a| > b) = \Phi(a-b) + \Phi(-a-b) \>.$

a

$a$

b

$b$

b

$b$ . (Namun, kita harus waspada terhadap seberapa cepat massa berkurang di ekor kiri!)

Set . Kemudian Perhatikan bahwa dan untuk positif , menurun di . Sekarang, untuk , mudah untuk melihat bahwa . Fakta-fakta ini diambil bersama-sama dengan mudah menyiratkan bahwa untuk semua dan semua yang diperbaiki . $f_b(a) = \Phi(a-b) + \Phi(-a-b)$

f_{b}^{'} (a) = φ (a - b) - φ (- a - b) = φ (a - b) - φ (a + b) .

$f'_b(a) = \varphi(a-b) - \varphi(-a-b) = \varphi(a-b) - \varphi(a+b) \>.$

f_{b}^{'} (0) = 0

$f'_b(0) = 0$

u

$u$

φ (u)

$\varphi(u)$

u

$u$

a \in (0, 2 b)

$a \in (0,2b)$

φ (a - b) \geq φ (- b) = φ (b)

$\varphi(a-b) \geq \varphi(-b) = \varphi(b)$

f_{b}^{'} (a) \geq 0

$f'_b(a) \geq 0$

a \geq 0

$a \geq 0$

b \geq 0

$b \geq 0$

Karenanya, kami telah memperlihatkan bahwa untuk dan , $a \geq 0$ $b \geq 0$

P (| Z + a | > b) \geq P (| Z | > b) = 2 Φ (- b) .

$\Pr(|Z + a| > b) \geq \Pr(|Z| > b) = 2\Phi(-b) \>.$

Mengurai semua ini, jika kita mengambil , kita mendapatkan yang menetapkan klaim utama. $\theta = \sqrt{q_\alpha} \sigma$

P (X^{2} > q_{α} σ^{2}) \geq P (Z^{2} > q_{α}) = 1 - α,

$\Pr(X^2 > q_\alpha \sigma^2) \geq \Pr(Z^2 > q_\alpha) = 1 - \alpha \>,$

Komentar penutup : Pembacaan yang cermat atas argumen di atas menunjukkan bahwa ia hanya menggunakan properti simetris dan unimodal dari distribusi normal. Oleh karena itu, pendekatan ini bekerja secara analog untuk mendapatkan interval kepercayaan dari pengamatan tunggal dari keluarga skala lokasi simetris unimodal, misalnya, distribusi Cauchy atau Laplace.

— kardinal
sumber

Wow! dan siswa diharapkan untuk mengajukan argumen semacam ini dalam waktu singkat ujian Olimpiade?

— Dilip Sarwate

@Dilip: Saya tidak tahu! Saya tidak terbiasa dengan format Olimpiade ini atau apa yang diharapkan dari solusi. Dari pembacaan literal, saya pikir jawaban Scortchi dapat diterima. Saya lebih tertarik untuk mencoba mencari tahu seberapa jauh seseorang bisa mendapatkan dengan solusi "non-sepele". Eksplorasi saya sendiri (sangat minim) mengikuti alur pemikiran yang sama dengan yang dijelaskan dalam jawaban (dengan satu jalan memutar). Sangat mungkin ada solusi yang lebih baik. :-)

— kardinal

Ini jauh lebih lama daripada solusi "resmi", tetapi ini memberikan batasan yang lebih baik pada varians, jadi saya menandainya sebagai jawaban "benar". Saya telah memposting jawaban "resmi" di bawah ini, serta beberapa hasil simulasi dan diskusi. Terima kasih, @ kardinal!

— Jonathan Christensen

@ Jonathan: Terima kasih. Ya, saya bisa membuat buktinya sedikit lebih singkat. Karena latar belakang yang luas dari para peserta di sini, saya sering cenderung memanjakan diri dalam detail ekstra (atau, mungkin, berlebihan). :-)

— kardinal

Waktunya untuk menindaklanjuti! Inilah solusi yang saya berikan:

Kami akan membangun interval kepercayaan dari formulir , di mana adalah beberapa statistik. Menurut definisi ini akan menjadi interval kepercayaan dengan tingkat kepercayaan setidaknya 99% jika Kami perhatikan bahwa kepadatan distribusi tidak melebihi . Karena itu, untuk setiap . Maka Memasukkan $[0,T(X))$ $T(\cdot)$
$(\forall μ \in R) (\forall σ > 0) P_{μ, σ_{2}} (σ^{2} > T (X)) < 0.01.$ $(\forall \mu \in \mathbb R )(\forall \sigma > 0)\; \mathbb P_{\mu,\sigma_2}(\sigma^2 > T(X)) < 0.01.$ $\mathcal{N}(\mu,\sigma^2)$ $1/\sigma\sqrt{2\pi}$ $\mathbb{P}(|X| \leq a) \leq a/\sigma$ $a \geq 0$ $t \geq P (| X | / σ \leq t) = P (X^{2} \leq t^{2} σ^{2}) = P (σ^{2} \geq X^{2} / t^{2}) .$ $t \geq \mathbb P (|X|/\sigma \leq t) = \mathbb P (X^2 \leq t^2\sigma^2) = \mathbb P (\sigma^2 \geq X^2/t^2).$ $t = 0.01$ kami mendapatkan bahwa statistik yang sesuai adalah $T(X) = 10000X^2.$

Interval kepercayaan (yang sangat lebar) sedikit konservatif dalam simulasi, tanpa cakupan empiris (dalam 100.000 simulasi) lebih rendah dari 99,15% karena saya memvariasikan CV pada banyak pesanan besar.

Sebagai perbandingan, saya juga mensimulasikan interval kepercayaan kardinal. Saya harus mencatat bahwa interval kardinal agak sedikit lebih sempit - dalam kasus 99%, akhirnya menjadi sekitar , dibandingkan dengan dalam solusi yang disediakan. Cakupan empiris tepat di tingkat nominal, sekali lagi atas banyak pesanan besarnya untuk CV. Jadi intervalnya pasti menang. $6300X^2$ $10000X^2$

Saya belum punya waktu untuk melihat dengan cermat pada kertas yang diposting Max, tapi saya berencana untuk melihatnya dan mungkin menambahkan beberapa komentar mengenai hal itu nanti (yaitu, tidak lebih dari seminggu). Makalah itu mengklaim interval kepercayaan 99% , yang memiliki cakupan empiris sedikit lebih rendah (sekitar 98,85%) daripada cakupan nominal untuk CV besar dalam simulasi singkat saya. $(0,4900X^2)$

— Jonathan Christensen
sumber

(+1) Itu solusi yang bagus. Haruskah Anda memiliki alih-alih dalam persamaan tampilan?

t \geq \dots

$t \geq \cdots$

t \leq \dots

$t \leq \cdots$

— kardinal

Beberapa poin lagi: Solusi Anda dapat dibuat menjadi sangat dekat dengan saya tanpa ada perubahan dalam argumen. Perhatikan bahwa Anda dapat mengklaim bahwa . Kemudian intervalnya menjadi untuk setiap . Menggunakan menghasilkan versus dalam jawaban saya. Semakin tinggi tingkat kepercayaan (mis., Semakin kecil ), semakin dekat metode Anda dibandingkan dengan saya (meskipun interval Anda akan selalu lebih lebar).

P (| X | \leq a) \leq 2 a / σ \sqrt{2 π}

$\mathbb P(|X| \leq a) \leq 2 a / \sigma \sqrt{2\pi}$

(0, 2 X^{2} / π α^{2})

$(0,2X^2/\pi\alpha^2)$

α

$\alpha$

α = 0.01

$\alpha = 0.01$

T (X) \approx 6366.198 X^{2}

$T(X) \approx 6366.198 X^2$

1 / q_{0.01} \approx 6365.864

$1/q_{0.01} \approx 6365.864$

α

$\alpha$

— kardinal

Kedua, saya belum melihat makalah itu, tetapi saya memiliki keraguan kuat bahwa dapat menjadi interval kepercayaan 99% yang valid. Memang, pertimbangkan semua interval kepercayaan dari formulir untuk beberapa . Kemudian, ketika , kita memiliki persis chi-squared dengan satu derajat kebebasan dan terkecil yang bisa kita pilih dalam contoh ini adalah . Dengan kata lain, interval yang diberikan dalam jawaban saya adalah yang sesempit mungkin dari bentuk yang dinyatakan.

(0, 4900 X^{2})

$(0,4900 X^2)$

(0, b X^{2})

$(0, b X^2)$

b

$b$

μ = 0

$\mu = 0$

X^{2} / σ^{2}

$X^2/\sigma^2$

b

$b$

b = 1 / q_{α}

$b = 1/q_{\alpha}$

— kardinal

Saya membuat (diduga) koreksi kesalahan ketik. Juga, pchisq(1/4900,1,lower.tail=F)di Rkembali 0.9886, cukup dekat dengan hasil simulasi untuk interval.

(0, 4900 X^{2})

$(0,4900X^2)$

— kardinal

Terima kasih atas semua komentarnya, @cardinal. Saya pikir perubahan Anda sudah benar, meskipun saya mengetiknya seperti di solusi aslinya - salah ketik, saya kira.

— Jonathan Christensen

CI mungkin. $(0,\infty)$

— Scortchi - Reinstate Monica
sumber

Saya pikir akan sangat membantu bagi Anda untuk mengatakan mengapa Anda tidak bisa mendapatkan interval kepercayaan yang terbatas.

— Diasumsikan normal

@ Max Saya tidak cukup pintar - tetapi pertanyaannya tidak menanyakan satu.

— Scortchi

+1 untuk ini. Pertanyaan tidak mengatakan CI dengan cakupan minimal, dan pada kenyataannya menyiratkan bahwa ini mungkin dapat diterima melalui kata-kata yang aneh, "interval kepercayaan dengan tingkat kepercayaan setidaknya 99%."

— Ari B. Friedman