Interval Prediksi dan Toleransi

Saya punya beberapa pertanyaan untuk interval prediksi dan toleransi.

Mari kita sepakati definisi interval toleransi terlebih dahulu: Kita diberi tingkat kepercayaan, katakanlah 90%, persentase populasi yang akan ditangkap, katakanlah 99%, dan ukuran sampel, katakanlah 20. Distribusi probabilitas diketahui, katakan normal untuk kenyamanan. Sekarang, mengingat ketiga angka di atas (90%, 99% dan 20) dan fakta bahwa distribusi yang mendasarinya normal, kita dapat menghitung angka toleransi . Mengingat sampel dengan mean dan standar deviasi , interval toleransi . Jika interval toleransi ini menangkap 99% populasi, maka sampel disebut sukses $k$ $(x_1,x_2,\ldots,x_{20})$ $\bar{x}$ $s$ $\bar{x}\pm ks$ $(x_1,x_2,\ldots,x_{20})$ dan persyaratannya adalah bahwa 90% sampel berhasil .

Komentar: 90% adalah probabilitas a priori untuk sampel menjadi sukses. 99% adalah probabilitas bersyarat bahwa pengamatan di masa depan akan berada dalam interval toleransi, mengingat sampel tersebut sukses.

Pertanyaan saya: Bisakah kita melihat interval prediksi sebagai interval toleransi? Melihat di web saya mendapat jawaban yang bertentangan mengenai hal ini, belum lagi tidak ada yang benar-benar mendefinisikan interval prediksi dengan cermat. Jadi, jika Anda memiliki definisi yang tepat tentang interval prediksi (atau referensi), saya akan sangat menghargainya.

Apa yang saya pahami adalah bahwa interval prediksi 99% misalnya, tidak menangkap 99% dari semua nilai masa depan untuk semua sampel. Ini akan sama dengan interval toleransi yang menangkap 99% populasi dengan probabilitas 100%.

Dalam definisi yang saya temukan untuk interval prediksi 90%, 90% adalah probabilitas apriori yang diberikan sampel, katakan (ukuran tetap) dan satu pengamatan di masa depan , bahwa akan berada dalam interval prediksi. Jadi, tampaknya sampel dan nilai masa depan keduanya diberikan pada waktu yang sama, berbeda dengan interval toleransi, di mana sampel diberikan dan dengan probabilitas tertentu itu adalah sukses , dan dalam kondisi bahwa sampel tersebut adalah sebuah kesuksesan $(x_1,x_2,\ldots,x_{20})$ $y$ $y$ , nilai masa depan diberikan dan dengan probabilitas tertentu jatuh ke dalam interval toleransi. Saya tidak yakin apakah definisi interval prediksi di atas benar atau tidak, tetapi tampaknya berlawanan dengan intuisi (setidaknya).

Ada bantuan?

prediction prediction-interval tolerance-interval

— Ioannis Souldatos
sumber

Interval toleransi satu sisi untuk pengambilan sampel yang normal dapat membantu memahami gagasan ini. Batas atas toleransi -99 tidak lain adalah batas kepercayaan atas dari -anile dari asumsi distribusi model. Oleh karena itu dalam kasus distribusi normal ini adalah batas kepercayaan atas parameter mana adalah dari distribusi gaussian standar.

99 %

$99\%$

99 %

$99\%$

μ + k σ

$\mu + k\sigma$

k = z_{99 %}

$k=z_{99\%}$

99 %

$99\%$

— Stéphane Laurent

Ini adalah reformulasi yang baik, Stéphane, karena segera menunjukkan ada beberapa jenis batas toleransi: orang dapat meminta batas kepercayaan atas pada , untuk batas kepercayaan yang lebih rendah pada , atau untuk (katakanlah) estimasi parameter yang tidak bias . Ketiganya disebut "batas toleransi" dalam literatur.

μ + z_{0.99} σ

$\mu + z_{0.99}\sigma$

μ + z_{0.99} σ

$\mu + z_{0.99}\sigma$

— whuber

Saya pikir Anda lebih suka mengatakan batas kepercayaan yang lebih rendah pada ?

μ - z_{0.99} σ

$\mu - z_{0.99}\sigma$

— Stéphane Laurent

Sebenarnya, tidak, Stéphane (itulah sebabnya saya berhati-hati untuk mengulang rumus untuk parameter). Ada juga tiga definisi serupa untuk batas toleransi yang lebih rendah . Misalnya, kita mungkin ingin bawah -estimate ke-99 atas persentil populasi, tetapi untuk mengontrol jumlah meremehkan kita bersikeras ada (katakanlah) 5% kemungkinan bahwa meremehkan kami masih akan terlalu tinggi. Ini akan memungkinkan kita untuk mengatakan hal-hal seperti "Data menunjukkan, dengan kepercayaan 95%, bahwa persentil ke-99 dari populasi melebihi nilai ini-dan-itu."

— Whuber

Jawaban:

Definisi Anda tampaknya benar.

The book untuk berkonsultasi tentang masalah ini adalah statistik Interval (Gerald Hahn & William Meeker), 1991. Saya quote:

Interval prediksi untuk pengamatan masa depan tunggal adalah interval yang akan, dengan tingkat kepercayaan tertentu, berisi pengamatan berikutnya (atau beberapa prespecified lainnya) yang dipilih secara acak dari suatu populasi.

[A] interval toleransi adalah interval yang dapat diklaim mengandung setidaknya proporsi tertentu, p , dari populasi dengan tingkat kepercayaan tertentu, . $100(1-\alpha)\%$

Berikut adalah pernyataan ulang dalam terminologi matematika standar. Biarkan data dianggap sebagai realisasi dari variabel acak independen dengan fungsi distribusi kumulatif umum . ( muncul sebagai pengingat bahwa mungkin tidak diketahui tetapi diasumsikan terletak pada set distribusi tertentu ). Biarkan menjadi variabel acak lain dengan distribusi dan independen dari variabel pertama . $\mathbf{x}=(x_1,\ldots,x_n)$ $\mathbf{X}=(X_1,\ldots,X_n)$ $F_\theta$ $\theta$ $F$ ${F_\theta \vert \theta \in \Theta}$ $X_0$ $F_\theta$ $n$

Sebuah interval prediksi (untuk pengamatan masa depan tunggal), yang diberikan oleh endpoint , memiliki properti mendefinisikan bahwa $[l(\mathbf{x}), u(\mathbf{x})]$

$inf_{θ} {{Pr}_{θ} (X_{0} \in [l (X), u (X)])} = 100 (1 - α) % .$ $\inf_\theta\{{\Pr}_\theta(X_0 \in [l(\mathbf{X}), u(\mathbf{X})])\}= 100(1-\alpha)\%.$
Secara khusus, mengacu pada distribusi variate dari ditentukan oleh hukum . Perhatikan tidak adanya probabilitas bersyarat: ini adalah probabilitas gabungan penuh. Perhatikan juga, tidak adanya referensi ke urutan temporal: sangat baik dapat diamati dalam waktu sebelum nilai-nilai lainnya. Tidak masalah. ${\Pr}_\theta$ $n+1$ $(X_0, X_1, \ldots, X_n)$ $F_\theta$ $X_0$

Saya tidak yakin aspek mana dari hal ini yang mungkin "berlawanan dengan intuisi." Jika kita membayangkan memilih prosedur statistik sebagai kegiatan yang harus dilakukan sebelum mengumpulkan data, maka ini adalah formulasi alami dan masuk akal dari proses dua langkah yang direncanakan, karena kedua data ( ) dan "nilai masa depan" perlu dimodelkan sebagai acak. $X_i, i=1,\ldots,n$ $X_0$
Sebuah selang toleransi, yang diberikan oleh endpoint , memiliki properti mendefinisikan bahwa $(L(\mathbf{x}), U(\mathbf{x})]$

$inf_{θ} {{Pr}_{θ} (F_{θ} (U (X)) - F_{θ} (L (X)) \geq p)} = 100 (1 - α) % .$ $\inf_\theta\{{\Pr}_\theta\left(F_\theta(U(\mathbf{X})) - F_\theta(L(\mathbf{X})\right) \ge p)\} = 100(1-\alpha)\%.$
Perhatikan tidak adanya referensi ke : tidak ada peran. $X_0$

Ketika adalah himpunan distribusi Normal, ada interval prediksi bentuk $\{F_\theta\}$

l (x) = \bar{x} - k (α, n) s, u (x) = \bar{x} + k (α, n) s

$l(\mathbf{x}) = \bar{x} - k(\alpha, n) s, \quad u(\mathbf{x}) = \bar{x} + k(\alpha, n) s$

( adalah mean sampel dan adalah standar deviasi sampel). Nilai fungsi , yang ditabulasi Hahn & Meeker, tidak bergantung pada data . Ada prosedur interval prediksi lain, bahkan dalam kasus Normal: ini bukan satu-satunya. $\bar{x}$ $s$ $k$ $\mathbf{x}$

Demikian pula, ada interval toleransi bentuk

L (x) = \bar{x} - K (α, n, p) s, U (x) = \bar{x} + K (α, n, p) s .

$L(\mathbf{x}) = \bar{x} - K(\alpha, n, p) s, \quad U(\mathbf{x}) = \bar{x} + K(\alpha, n, p) s.$

Ada prosedur interval toleransi lain : ini bukan satu-satunya.

Memperhatikan kesamaan di antara pasangan-pasangan formula ini, kita dapat menyelesaikan persamaannya

k (α, n) = K (α^{'}, n, p) .

$k(\alpha, n) = K(\alpha', n, p).$

Ini memungkinkan seseorang untuk menafsirkan kembali interval prediksi sebagai interval toleransi (dalam banyak cara yang berbeda dengan memvariasikan dan ) atau untuk menafsirkan kembali interval toleransi sebagai interval prediksi (hanya sekarang biasanya secara unik ditentukan oleh dan ). Ini mungkin salah satu asal mula kebingungan. $\alpha'$ $p$ $\alpha$ $\alpha'$ $p$

— whuber
sumber

Kebingungan di antara interval-interval ini nyata. Satu dekade yang lalu saya memiliki beberapa percakapan yang sulit dengan seorang ahli statistik pemerintah yang tidak mengetahui perbedaannya dan (tidak bisa) mengenali ada satu. Perannya yang menonjol dalam menciptakan panduan, mengkaji laporan, menasihati pekerja kasus, mendistribusikan perangkat lunak, dan bahkan publikasi yang ditinjau oleh rekan sejawat telah mempromosikan kelanjutan dari kesalahpahaman ini. Jadi berhati-hatilah!

— whuber

Jawaban yang sangat bagus, terima kasih. Saya punya hati beberapa ahli statistik mengatakan bahwa interval prediksi adalah interval toleransi dengan . Apakah ada fakta nyata di balik ide ini? Dengan kata lain, apakah benar , atau sesuatu seperti itu?

p = 50 %

$p=50\%$

k (α, n) = K (α, n, 0.5)

$k(\alpha,n)=K(\alpha,n,0.5)$

— Stéphane Laurent

Tidak, itu tidak benar @ Stéphane. Untuk melihat mengapa tidak, pertimbangkan kasus sangat besar dan kepercayaan diri sedang, katakanlah 95%. Dengan , interval toleransi dua sisi karenanya harus sangat dekat dengan 50% tengah dari distribusi, jadi menurut definisi hanya ada 50% kemungkinan akan berada di dalamnya, bukan 95% yang diinginkan. Itu perbedaan yang sangat besar! Secara intuitif, interval toleransi untuk 95% populasi harus mendekati interval prediksi dengan kepercayaan 95%, tetapi mereka masih tidak sepenuhnya setuju.

n

$n$

p = 50 %

$p=50\%$

X_{0}

$X_0$

— whuber

Saya baru saja memikirkan hal ini dan saya yakin faktanya adalah sebagai berikut: ketika besar. Ini mudah dilihat ketika adalah faktor toleransi klasik yang diberikan dengan bantuan distribusi t non-sentral ( -kapil adalah parameter non-sentralitas )

k (α, n) \approx K (50 %, n, 1 - α)

$\boxed{k(\alpha,n) \approx K(50\%,n,1-\alpha)}$

n

$n$

K

$K$

50 %

$50\%$

z_{1 - α} / \sqrt{n}

$z_{1-\alpha}/\sqrt{n}$

— Stéphane Laurent

@whuber. Terima kasih atas jawabannya. Saya harus memastikan saya memahaminya, sebelum saya menandainya dengan benar. Beri aku waktu untuk "mencernanya".

— Ioannis Souldatos

Seperti yang saya pahami, untuk batas toleransi normal, nilai berasal dari persentil t pusat. Jelas, untuk poin W Huber, ada beberapa ahli statistik yang tidak terbiasa dengan gagasan batas toleransi versus batas prediksi; gagasan toleransi tampaknya muncul sebagian besar dalam desain teknik dan manufaktur, sebagai lawan dari biostatistik klinis. Mungkin alasan kurangnya pengetahuan tentang interval toleransi, dan kebingungan dengan interval prediksi, adalah konteks di mana seseorang menerima pelatihan statistiknya. $K(\alpha,p)$

— Scott P.
sumber