Distribusi t memiliki ekor lebih berat dari distribusi normal

10

Dalam catatan kuliah saya dikatakan,

Distribusi t terlihat normal, meskipun dengan ekor yang sedikit lebih berat.

Saya mengerti mengapa itu akan terlihat normal (karena Central Limit Theorem). Tetapi saya mengalami kesulitan memahami bagaimana secara matematis membuktikan bahwa ia memiliki ekor yang lebih berat daripada distribusi normal dan jika ada cara untuk mengukur sejauh mana itu lebih berat daripada distribusi normal.

normal-distribution t-distribution heavy-tailed

— hmi2015
sumber

12

Hal pertama yang harus dilakukan adalah memformalkan apa yang kita maksud dengan "ekor yang lebih berat". Orang dapat melihat seberapa tinggi kepadatan di ekor ekstrim setelah menstandarkan kedua distribusi untuk memiliki lokasi dan skala yang sama (mis. Standar deviasi):

(dari jawaban ini, yang juga agak relevan dengan pertanyaan Anda )

[Untuk kasus ini, penskalaan tidak terlalu penting pada akhirnya; t masih akan "lebih berat" dari normal bahkan jika Anda menggunakan skala yang sangat berbeda; yang normal selalu lebih rendah pada akhirnya]

Namun, definisi itu - walaupun berfungsi baik untuk perbandingan khusus ini - tidak menyamaratakan dengan sangat baik.

Secara umum, definisi yang jauh lebih baik ada di jawaban whuber di sini . Jadi jika lebih berat dari , karena menjadi cukup besar (untuk semua beberapa ), maka , di mana , di mana adalah cdf (untuk ekor yang lebih berat di sebelah kanan; ada definisi yang serupa dan jelas di sisi lain). $Y$ $X$ $t$ $t>$ $t_0$ $S_Y(t)>S_X(t)$ $S=1-F$ $F$

Ini dia pada skala log, dan pada skala kuantil dari normal, yang memungkinkan kita untuk melihat lebih detail:

Jadi, "bukti" dari ekor yang lebih berat akan melibatkan membandingkan cdf dan menunjukkan bahwa ekor atas dari t-cdf akhirnya selalu terletak di atas yang normal dan ekor yang lebih rendah dari t-cdf akhirnya selalu berada di bawah yang normal.

Dalam hal ini hal yang mudah dilakukan adalah membandingkan kepadatan dan kemudian menunjukkan bahwa posisi relatif yang sesuai dari cdfs (/ fungsi penyintas) harus mengikuti dari itu.

Jadi misalnya jika Anda dapat berdebat bahwa (pada beberapa diberikan ) $\nu$

$x^2 - (\nu+1) \log(1+\frac{x^2}{\nu}) > 2\cdot\log(k)\qquad^\dagger$

untuk konstanta diperlukan (fungsi ), untuk semua beberapa , maka akan mungkin untuk membuat ekor yang lebih berat untuk juga pada definisi dalam hal lebih besar (atau lebih besar pada ekor kiri). $k$ $\nu$ $x>$ $x_0$ $t_\nu$ $1-F$ $F$

(formulir ini mengikuti dari perbedaan log kepadatan, jika itu memegang hubungan yang diperlukan antara kepadatan memegang) $^\dagger$

[Sebenarnya memungkinkan untuk menunjukkannya pada apa pun (bukan hanya kita butuhkan berasal dari konstanta normalisasi kepadatan yang relevan), jadi hasilnya harus berlaku untuk kita butuhkan.] $k$ $k$

— Glen_b -Reinstate Monica
sumber

1

Grafik dengan

(dan mungkin meluas

sedikit) mungkin menunjukkan ekor yang lebih berat lebih jelas, dan juga dapat bekerja dengan tingkat kebebasan yang lebih tinggi,

\log S (x)

$\log S(x)$

x

$x$

— Henry

1

@Henry Saya membuat plot seperti itu tetapi tidak yakin berapa banyak nilai yang ditambahkan sehingga saya tidak memasukkannya. Saya akan berpikir tentang memasukkannya.

— Glen_b -Reinstate Monica

1

@ Henry saya memasukkan plotnya.

— Glen_b -Reinstate Monica

2

Salah satu cara untuk melihat perbedaannya adalah dengan menggunakan momen $E\{x^n\}.$

Ekor "lebih berat" akan berarti nilai yang lebih tinggi untuk momen daya genap (power 4, 6, 8), ketika variansnya sama. Secara khusus, momen urutan ke-4 (sekitar nol) disebut kurtosis dan membandingkan dalam arti tertentu beratnya ekor.

Lihat Wikipedia untuk detailnya ( https://en.wikipedia.org/wiki/Kurtosis )

— Dacian Bonta
sumber

1

t

$t$

3

$3$

4

$4$

2

$2$

1

$1$

4

$4$

3

t (ν)

$t(\nu)$

+ \infty

$+\infty$

x^{- ν}

$x^{-\nu}$

ν

$\nu$

ν

$\nu$

t

$t$

ν

$\nu$

2

Ini adalah bukti resmi berdasarkan fungsi bertahan hidup. Saya menggunakan definisi "ekor yang lebih berat" yang diilhami oleh wikipedia :

$Y$ $S_y(t)$ $X$ $S_x(t)$

lim_{t \to \infty} \frac{S_{y} (t)}{S_{x} (t)} = \infty

$\lim_{t\to\infty}\frac{S_y(t)}{S_x(t)} = \infty$

$Y$ $\nu$ $a$ $X\sim\mathcal{N}(0,\sigma^2)$

\begin{aligned} lim_{t \to \infty} \frac{S_{y} (t)}{S_{x} (t)} & = lim_{t \to \infty} \frac{f_{y} (t)}{f_{x} (t)} = \exp lim_{t \to \infty} (\log f_{y} (t) - \log f_{x} (t)) \\ = \exp lim_{t \to \infty} (- \frac{ν + 1}{2} \log (1 + \frac{t^{2}}{ν a^{2}}) - (- \frac{1}{2 σ^{2}} t^{2}) + C) \\ = \exp (lim_{t \to \infty} - \frac{ν + 1}{2} \log (1 + \frac{t^{2}}{ν a^{2}}) - (- \frac{1}{2 σ^{2}} t^{2}) + C) \\ = \exp (lim_{t \to \infty} \frac{1}{2 σ^{2}} t^{2} - \frac{ν + 1}{2} \log (1 + \frac{t^{2}}{ν a^{2}}) + C) \\ = \exp (\frac{1}{2} lim_{u \to \infty} \frac{a^{2}}{σ^{2}} u - (ν + 1) \log (1 + \frac{u}{ν}) + C) \\ = \exp (\frac{1}{2} lim_{u \to \infty} u (\frac{a^{2}}{σ^{2}} - \frac{(ν + 1) \log (1 + \frac{u}{ν})}{u} + \frac{C}{u})) \end{aligned}

$\begin{align*} \lim_{t\to\infty}\frac{S_y(t)}{S_x(t)} &= \lim_{t\to\infty}\frac{f_y(t)}{f_x(t)} = \exp \lim_{t\to\infty}\left(\log f_y(t) - \log f_x(t)\right)\\ &=\exp \lim_{t\to\infty}\left(-\frac{\nu+1}{2}\log\left(1+\frac{t^2}{\nu a^2}\right) - \left(-\frac{1}{2\sigma^2}t^2\right)+C\right)\\ &=\exp\left(\lim_{t\to\infty}-\frac{\nu+1}{2}\log\left(1+\frac{t^2}{\nu a^2}\right) - \left(-\frac{1}{2\sigma^2}t^2\right)+C\right)\\ &=\exp\left(\lim_{t\to\infty}\frac{1}{2\sigma^2}t^2-\frac{\nu+1}{2}\log\left(1+\frac{t^2}{\nu a^2}\right)+C\right)\\ &=\exp\left(\frac{1}{2}\lim_{u\to\infty}\frac{a^2}{\sigma^2}u - (\nu+1)\log\left(1+\frac{u}{\nu}\right)+C\right)\\ &=\exp\left(\frac{1}{2}\lim_{u\to\infty}u\left(\frac{a^2}{\sigma^2} - \frac{(\nu+1)\log\left(1+\frac{u}{\nu}\right)}{u}+\frac{C}{u}\right)\right) \end{align*}$

u = t^{2} / a^{2}

$u=t^2/a^2$

0 < a^{2} / σ^{2} < \infty

$0<a^2/\sigma^2<\infty$

lim_{u \to \infty} C / u = 0

$\lim_{u\to\infty} C/u = 0$

lim_{u \to \infty} \frac{(ν + 1) \log (1 + \frac{u}{ν})}{u} = lim_{u \to \infty} \frac{(ν + 1)}{(1) (1 + \frac{u}{ν}) (ν)} = 0

$\lim_{u\to\infty} \frac{(\nu+1)\log\left(1+\frac{u}{\nu}\right)}{u} = \lim_{u\to\infty} \frac{(\nu+1)}{(1)(1+\frac{u}{\nu})(\nu)} = 0$

lim_{t \to \infty} \frac{S_{y} (t)}{S_{x} (t)} = \exp (\frac{1}{2} lim_{u \to \infty} u (\frac{a^{2}}{σ^{2}} - (0) + (0))) = \infty

$\lim_{t\to\infty}\frac{S_y(t)}{S_x(t)} = \exp\left(\frac{1}{2}\lim_{u\to\infty} u\left(\frac{a^2}{\sigma^2} - (0) + (0)\right)\right) = \infty$

$a$ $\sigma^2$ $\nu$

— Will Townes
sumber

1

Hanya sebuah catatan bahwa "definisi" ekor yang lebih berat ini tidak selalu dapat diterima. Sebagai contoh, distribusi N (0,1), menurut definisi ini, memiliki ekor yang lebih berat daripada distribusi .9999 * U (-1,1) + .0001 * U (-1000, 1000), meskipun distribusi yang terakhir menghasilkan nilai sesekali hingga 175 standar deviasi dari rata-rata, meskipun telah membatasi dukungan. Tentu saja, N (0,1) juga menghasilkan nilai seperti itu, tetapi dengan probabilitas jauh di bawah apa yang dapat dianggap relevan untuk tujuan praktis.

— Peter Westfall