Bagaimana membuktikan bahwa

Saya telah mencoba untuk membangun ketidaksetaraan

$| T_{i} | = \frac{| X_{i} - \bar{X} |}{S} \leq \frac{n - 1}{\sqrt{n}}$ $\left| T_i \right|=\frac{\left|X_i -\bar{X} \right|}{S} \leq\frac{n-1}{\sqrt{n}}$

di mana adalah mean sampel dan standar deviasi sampel, yaitu . $\bar{X}$ $S$ $S=\sqrt{\frac{\sum_{i=1}^n \left( X_i -\bar{X} \right)^2}{n-1}}$

Sangat mudah untuk melihat bahwa dan seterusnya tapi ini tidak terlalu dekat dengan apa yang saya cari, juga bukan ikatan yang berguna. Saya telah bereksperimen dengan Cauchy-Schwarz dan ketidaksetaraan segitiga tetapi tidak ke mana-mana. Pasti ada langkah halus yang saya lewatkan di suatu tempat. Saya akan sangat menghargai bantuan, terima kasih. $\sum_{i=1}^n T_i^2 = n-1$ $\left| T_i \right| < \sqrt{n-1}$

self-study descriptive-statistics bounds

— JohnK
sumber

Jawaban:

Ini adalah ketidaksetaraan Samuelson dan perlu tanda . Jika Anda mengambil versi Wikipedia dan mengerjakannya kembali untuk definisi Anda akan mendapati bahwa itu menjadi $\leq$ $n-1$ $S,$

\frac{| X_{i} - \bar{X} |}{S} \leq \frac{n - 1}{\sqrt{n}}

${{ \left| X_i-\bar X \right| } \over S} \leq {{n-1} \over \sqrt{n}}$

— soakley
sumber

Ini diberikan sebagai ketimpangan yang ketat dalam buku ini tetapi saya telah memperbaikinya, terima kasih.

— JohnK

Setelah menyederhanakan masalah dengan cara prosedur rutin, itu dapat diselesaikan dengan mengubahnya menjadi program minimisasi ganda yang memiliki jawaban terkenal dengan bukti dasar. Mungkin dualisasi ini adalah "langkah halus" yang disebutkan dalam pertanyaan. Ketidaksetaraan juga dapat dibangun dengan cara yang murni mekanis dengan memaksimalkanmelalui pengganda Lagrange. $|T_i|$

Pertama, saya menawarkan solusi yang lebih elegan berdasarkan geometri kuadrat terkecil. Ini tidak memerlukan penyederhanaan awal dan hampir segera, memberikan intuisi langsung ke hasilnya. Seperti yang disarankan dalam pertanyaan, masalahnya berkurang pada ketimpangan Cauchy-Schwarz.

Solusi geometris

Pertimbangkan sebagai vektor dimensi dalam ruang Euclidean dengan produk titik yang biasa. Biarkan menjadi vektor dasar dan . Tulis dan untuk proyeksi ortogonal dari dan ke dalam komplemen ortogonal dari . (Dalam terminologi statistik, mereka adalah residu sehubungan dengan sarana.) Kemudian, karena dan $\mathbf{x} = (X_1, X_2, \ldots, X_n)$ $n$ $\mathbf{y} = (0,0,\ldots,0,1,0,\ldots,0)$ $i^\text{th}$ $\mathbf{1} = (1,1,\ldots, 1)$ $\mathbf{\hat x}$ $\mathbf{\hat y}$ $\mathbf{x}$ $\mathbf{y}$ $\mathbf{1}$ $X_i-\bar X = \mathbf{\hat x}\cdot \mathbf{y}$ $S = ||\mathbf{\hat x}||/\sqrt{n-1}$ ,

| T_{i} | = \sqrt{n - 1} \frac{| \hat{x} \cdot y |}{| | \hat{x} | |} = \sqrt{n - 1} \frac{| \hat{x} \cdot \hat{y} |}{| | \hat{x} | |}

$|T_i| = \sqrt{n-1}\frac{|\mathbf{\hat x} \cdot \mathbf{y}|}{||\mathbf{\hat x}||} = \sqrt{n-1}\frac{|\mathbf{\hat x} \cdot \mathbf{\hat y}|}{||\mathbf{\hat x}||}$

adalah komponen dalam arah . Oleh Cauchy-Schwarz, ini dimaksimalkan tepat ketika sejajar dengan , untuk itu QED. $\mathbf{\hat y}$ $\mathbf{\hat x}$ $\mathbf{\hat x}$ $\mathbf{\hat y} = (-1,-1,\ldots,-1,n-1,-1,-1,\ldots,-1)/n$

T_{i} = \pm \sqrt{n - 1} \frac{\hat{y} \cdot \hat{y}}{| | \hat{y} | |} = \pm \sqrt{n - 1} | | \hat{y} | | = \pm \frac{n - 1}{\sqrt{n}},

$T_i = \pm \sqrt{n-1} \frac{\mathbf{\hat y}\cdot \mathbf{\hat y} }{ ||\mathbf{\hat y}||} = \pm\sqrt{n-1}||\mathbf{\hat y}|| = \pm\frac{n-1}{\sqrt{n}},$

Kebetulan, solusi ini memberikan karakterisasi lengkap dari semua kasus di manadimaksimalkan: mereka semua berbentuk $|T_i|$

x = σ \hat{y} + μ 1 = σ (- 1, - 1, \dots, - 1, n - 1, - 1, - 1, \dots, - 1) + μ (1, 1, \dots, 1)

$\mathbf{x} = \sigma\mathbf{\hat y} + \mu\mathbf{1} = \sigma(-1,-1,\ldots,-1,n-1,-1,-1,\ldots,-1) + \mu(1,1,\ldots, 1)$

untuk semua nyata . $\mu, \sigma$

Analisis ini digeneralisasikan dengan mudah ke kasus di mana digantikan oleh setiap set regressor. Jelas maksimum sebanding dengan panjang sisa ,. $\{\mathbf{1}\}$ $T_i$ $\mathbf{y}$ $||\mathbf{\hat y}||$

Penyederhanaan

Karena adalah invarian di bawah perubahan lokasi dan skala, kami dapat mengasumsikan tanpa kehilangan keumuman bahwa jumlah menjadi nol dan kuadratnya berjumlah . Ini mengidentifikasidengan, karena (mean square) adalah . Memaksimalkan itu sama dengan memaksimalkan . Tidak ada generalisasi yang hilang dengan mengambil , karena dapat ditukar. $T_i$ $X_i$ $n-1$ $|T_i|$ $|X_i|$ $S$ $1$ $|T_i|^2 = T_i^2 = X_i^2$ $i=1$ $X_i$

Solusi melalui formulasi ganda

Masalah ganda adalah untuk memperbaiki nilai dan menanyakan nilai tersisa diperlukan untuk meminimalkan jumlah kuadrat mengingat bahwa . Karena diberikan, ini adalah masalah meminimalkan mengingat bahwa . $X_1^2$ $X_j, j\ne 1$ $\sum_{j=1}^n X_j^2$ $\sum_{j=1}^n X_j = 0$ $X_1$ $\sum_{j=2}^n X_j^2$ $\sum_{j=2}^n X_j = -X_1$

Solusinya mudah ditemukan dalam banyak cara. Salah satu yang paling dasar adalah menulis

X_{j} = - \frac{X_{1}}{n - 1} + ε_{j}, j = 2, 3, \dots, n

$X_j = -\frac{X_1}{n-1} + \varepsilon_j,\ j=2, 3, \ldots, n$

yang . Memperluas fungsi objektif dan menggunakan jumlah-ke-nol identitas ini untuk menyederhanakannya menghasilkan $\sum_{j=2}^n \varepsilon_j = 0$

\sum_{j = 2}^{n} X_{j}^{2} = \sum_{j = 2}^{n} {(- \frac{X_{1}}{n - 1} + ε_{j})}^{2} = \sum {(- \frac{X_{1}}{n - 1})}^{2} - 2 \frac{X_{1}}{n - 1} \sum ε_{j} + \sum ε_{j}^{2} = Constant + \sum ε_{j}^{2},

$\sum_{j=2}^n X_j^2 = \sum_{j=2}^n \left(-\frac{X_1}{n-1} + \varepsilon_j\right)^2 = \\\sum \left(-\frac{X_1}{n-1}\right)^2 - 2\frac{X_1}{n-1}\sum \varepsilon_j + \sum \varepsilon_j^2 \\= \text{Constant} + \sum \varepsilon_j^2,$

segera menampilkan solusi unik adalah untuk semua . Untuk solusi ini, $\varepsilon_j=0$ $j$

(n - 1) S^{2} = X_{1}^{2} + (n - 1) {(- \frac{X_{1}}{n - 1})}^{2} = (1 + \frac{1}{n - 1}) X_{1}^{2} = \frac{n}{n - 1} X_{1}^{2}

$(n-1)S^2 = X_1^2 + (n-1)\left(-\frac{X_1}{n-1}\right)^2 = \left(1 + \frac{1}{n-1}\right)X_1^2 = \frac{n}{n-1}X_1^2$

dan

| T_{i} | = \frac{| X_{1} |}{S} = \frac{| X_{1} |}{\sqrt{\frac{n}{(n - 1)^{2}} X_{1}^{2}}} = \frac{n - 1}{\sqrt{n}},

$|T_i| = \frac{|X_1|}{S} = \frac{|X_1|}{\sqrt{\frac{n}{(n-1)^2}X_1^2}} = \frac{n-1}{\sqrt{n}},$

QED .

Solusi melalui mesin

Kembali ke program sederhana yang kami mulai dengan:

Maximize X_{1}^{2}

$\text{Maximize } X_1^2$

tunduk pada

\sum_{i = 1}^{n} X_{i} = 0 and \sum_{i = 1}^{n} X_{i}^{2} - (n - 1) = 0.

$\sum_{i=1}^n X_i = 0\text{ and }\sum_{i=1}^n X_i^2 -(n-1)=0.$

Metode pengganda Lagrange (yang hampir murni mekanis dan langsung) menyamakan kombinasi linier nontrivial dari gradien dari ketiga fungsi ini menjadi nol:

(0, 0, \dots, 0) = λ_{1} D (X_{1}^{2}) + λ_{2} D (\sum_{i = 1}^{n} X_{i}) + λ_{3} D (\sum_{i = 1}^{n} X_{i}^{2} - (n - 1)) .

$(0,0,\ldots, 0) = \lambda_1 D(X_1^2) + \lambda_2 D\left(\sum_{i=1}^n X_i\right ) + \lambda_3 D\left(\sum_{i=1}^n X_i^2 -(n-1)\right).$

Komponen demi komponen, persamaan ini adalah $n$

\begin{aligned} 0 & = 2 λ_{1} X_{1} + & λ_{2} & + 2 λ_{3} X_{1} \\ 0 & = & λ_{2} & + 2 λ_{3} X_{2} \\ 0 & = \dots \\ 0 & = & λ_{2} & + 2 λ_{3} X_{n} . \end{aligned}

$\eqalign{ 0 &= 2\lambda_1 X_1 +& \lambda_2 &+ 2\lambda_3 X_1 \\ 0 &= & \lambda_2 &+ 2\lambda_3 X_2 \\ 0 &= \cdots \\ 0 &= & \lambda _2 &+ 2\lambda_3 X_n. }$

Yang terakhir dari mereka menyiratkan baik atau . (Kami dapat mengesampingkan kasus terakhir karena persamaan pertama menyiratkan , meremehkan kombinasi linear.) Batasan jumlah-ke-nol menghasilkan . Batasan jumlah-dari-kotak menyediakan dua solusi $n-1$ $X_2 = X_3 = \cdots = X_n = -\lambda_2/(2\lambda_3)$ $\lambda_2=\lambda_3=0$ $\lambda_1=0$ $X_1 = -(n-1)X_2$

X_{1} = \pm \frac{n - 1}{\sqrt{n}}; X_{2} = X_{3} = \dots = X_{n} = \mp \frac{1}{\sqrt{n}} .

$X_1 = \pm\frac{n-1}{\sqrt{n}};\ X_2 = X_3 = \cdots = X_n = \mp\frac{1}{\sqrt{n}}.$

Keduanya menghasilkan

| T_{i} | = | X_{1} | \leq | \pm \frac{n - 1}{\sqrt{n}} | = \frac{n - 1}{\sqrt{n}} .

$|T_i| = |X_1| \le |\pm\frac{n-1}{\sqrt{n}}| = \frac{n-1}{\sqrt{n}}.$

— whuber
sumber

Terima kasih atas tambahan Anda, geometri sangat kuat dan dari ketiga solusi itu paling intuitif bagi saya.

— JohnK

Ketidaksetaraan seperti yang dinyatakan benar. Sangat jelas secara intuitif bahwa kita mendapatkan kasus yang paling sulit untuk ketidaksetaraan (yaitu, memaksimalkan sisi hannd kiri untuk diberikan ) dengan memilih satu nilai, katakanlah sebesar mungkin, sementara semua yang lain sama. Mari kita lihat contoh dengan konfigurasi seperti ini: $S^2$ $x_1$

n = 4, x_{1} = x_{2} = x_{3} = 0, x_{4} = 4, \bar{x} = 1, S^{2} = 4,

$n=4, \quad x_1=x_2=x_3=0, x_4=4, \bar{x}=1, S^2=4,$ sekarang tergantung pada , sedangkan batas atas yang diberikan sama dengan yang hanya cukup. Gagasan itu bisa diselesaikan sebagai bukti.

\frac{| x_{i} - \bar{x} |}{S} = {\begin{cases} \frac{1}{2} or \\ \frac{3}{2} \end{cases}

$\frac{|x_i-\bar{x}|}{S}=\begin{cases} \frac12 ~\text{or}~ \\ \frac32 \end{cases}$

i

$i$

\frac{4 - 1}{2} = 1.5

$\frac{4-1}{2}=1.5$

EDIT

Kami sekarang akan membuktikan klaim, seperti yang ditunjukkan di atas. Pertama, untuk setiap vektor dalam masalah ini, kita dapat menggantinya dengan tanpa mengubah sisi ketidaksamaan di atas. Jadi, berikut ini mari kita asumsikan bahwa . Kita juga dapat dengan relabelling berasumsi bahwa adalah yang terbesar. Kemudian, dengan memilih dan kemudian kita dapat memeriksa dengan aljabar sederhana bahwa kita memiliki kesetaraan dalam ketidaksetaraan yang diklaim. Jadi, itu tajam. $x=(x_1, x_2, \dots, x_n)$ $x-\bar{x}$ $\bar{x}=0$ $x_1$ $x_1>0$ $x_2=x_3=\dots=x_n=-\frac{x_1}{n-1}$

Kemudian, tentukan wilayah (cembung) oleh untuk konstanta positif yang diberikan . Perhatikan bahwa adalah persimpangan hyperplane dengan bola yang berpusat di titik asal, begitu juga bola di -ruang. Masalah kita sekarang dapat dirumuskan sebagai sejak suatu $R$

R = {x \in R : \bar{x} = 0, \sum (x_{i} - \bar{x})^{2} / (n - 1) \leq S^{2}}

$R = \{ x\in\mathbb{R} \colon \bar{x}=0, \sum(x_i-\bar{x})^2/(n-1) \le S^2\}$

S^{2}

$S^2$

R

$R$

(n - 1)

$(n-1)$

max_{x \in R} max_{i} | x_{i} |

$\max_{x\in R} \max_i |x_i|$

x

$x$ memaksimalkan itu akan menjadi kasus paling sulit untuk ketidaksetaraan. Ini adalah masalah menemukan maksimum fungsi cembung di atas set cembung, yang secara umum merupakan masalah yang sulit (minimum mudah!). Tapi, dalam hal ini wilayah cembung adalah bola yang berpusat pada titik asal, dan fungsi yang ingin kita maksimalkan adalah nilai absolut dari koordinat. Jelas bahwa maksimum ditemukan di bidang batas , dan dengan mengambilmaksimal, test case pertama kami dipaksa.

R

$R$

| x_{1} |

$|x_1|$

— kjetil b halvorsen
sumber

@JohnK Anda dapat menghapus komentar Anda sekarang, posnya diperbaiki

— kjetil b halvorsen

Meskipun jawaban ini menunjukkan bahwa ketidaksetaraan (dengan asumsi itu benar, yang mana) adalah ketat , tidak jelas bagaimana perhitungan tunggal itu bisa "dilengkapi dengan bukti." Bisakah Anda memberikan beberapa indikasi bagaimana itu akan dilakukan?

— whuber

Will, tapi besok, sekarang aku harus mempersiapkan kelas besok.

— kjetil b halvorsen

Terima kasih - Saya menghargai rumusan masalah Anda yang cermat. Tapi "buktimu" sepertinya sampai pada pernyataan bahwa "sudah jelas itu." Anda selalu dapat menerapkan pengganda Lagrange untuk menyelesaikan pekerjaan, tetapi akan menyenangkan untuk melihat pendekatan yang (a) sebenarnya adalah bukti dan (b) memberikan wawasan.

— whuber

@whuber Jika Anda punya waktu, saya akan sangat menghargai jika Anda dapat memposting solusi pengganda Lagrange Anda. Saya pikir ketimpangan secara keseluruhan tidak setenar seharusnya.

— JohnK