Paradoks data iid (setidaknya untuk saya)

Sejauh pengetahuan agregat (dan kelangkaan) saya tentang statistik memungkinkan, saya mengerti bahwa jika adalah variabel acak iid, maka sebagaimana istilah tersebut menyiratkan bahwa keduanya independen dan terdistribusi secara identik. $X_1, X_2,..., X_n$

Perhatian saya di sini adalah properti mantan sampel iid, yang berbunyi:

p (X_{n} | X_{i_{1}}, X_{i_{2}}, . . ., X_{i_{k}}) = p (X_{n}),

$p(X_{n}|X_{i_1},X_{i_2},...,X_{i_k}) = p(X_{n}),$

untuk setiap koleksi 's st . $i_j$ $1 \leq i_j < n$

Namun orang tahu bahwa kumpulan sampel independen dari distribusi identik memberikan informasi tentang struktur distribusi, dan sebagai hasilnya tentang dalam kasus di atas, jadi memang seharusnya tidak menjadi kasus bahwa: $X_n$

p (X_{n} | X_{i_{1}}, X_{i_{2}}, . . ., X_{i_{k}}) = p (X_{n}) .

$p(X_{n}|X_{i_1},X_{i_2},...,X_{i_k}) = p(X_{n}).$

Saya tahu bahwa saya adalah korban dari kesalahan tetapi saya tidak tahu mengapa. Tolong bantu saya untuk yang ini.

sampling conditional-probability independence

— Cupitor
sumber

Apakah Anda tahu aturan Bayes? Mendengar klasik. vs statistik Bayesian? Priors?

— Matius Gunn

Saya tidak mengikuti argumen di akhir pertanyaan Anda. Bisakah Anda lebih eksplisit?

— Glen_b -Reinstate Monica

@ Glen_b apa sebenarnya yang tidak Anda ikuti? Apa yang Anda maksud pada akhirnya? Saya mencoba mengatakan dengan logika yang berbeda, baik kesetaraan dan ketidaksetaraan tampaknya masuk akal yang merupakan paradoks.

— Cupitor

Tidak ada paradoks di sini - hanya kegagalan untuk menerapkan definisi yang sesuai. Anda tidak dapat mengklaim memiliki paradoks ketika Anda mengabaikan arti kata-kata yang Anda gunakan! Dalam hal ini, membandingkan definisi independen dengan probabilitas akan mengungkapkan kesalahan.

— whuber

@whuber, saya berasumsi Anda telah memperhatikan secara eksplisit "(setidaknya untuk saya)" dalam judul pertanyaan saya dan juga fakta bahwa saya meminta bantuan untuk menemukan "kekeliruan" argumen saya, yang menunjukkan fakta bahwa ini memang bukan paradoks nyata.

— Cupitor

Jawaban:

Saya pikir Anda membingungkan estimasi model distribusi dengan variabel acak . Mari kita menulis ulang asumsi independensi sebagai berikut: yang mengatakan bahwa jika Anda tahu distribusi mendasarinya (dan, misalnya, dapat mengidentifikasinya dengan seperangkat parameter ) maka distribusi tidak berubah mengingat Anda telah mengamati beberapa sampel darinya.

\begin{matrix} (1) & P (X_{n} | θ, X_{i_{1}}, X_{i_{2}}, \dots, X_{i_{k}}) = P (X_{n} | θ) \end{matrix}

$P(X_n | \theta, X_{i_1}, X_{i_2}, \dots, X_{i_k}) = P(X_n | \theta) \tag{1}$ $X_n$

θ

$\theta$

Sebagai contoh, pikirkan sebagai variabel acak yang mewakili hasil lemparan ke- koin. Mengetahui probabilitas kepala dan ekor untuk koin (yang, btw, asumsikan dikodekan dalam ) sudah cukup untuk mengetahui distribusi . Secara khusus, hasil dari lemparan sebelumnya tidak mengubah probabilitas kepala atau ekor untuk lemparan ke- , dan berlaku. $X_n$ $n$ $\theta$ $X_n$ $n$ $(1)$

Namun, perlu diketahui bahwa . $P(\theta | X_n) \neq P(\theta | X_{i_1}, X_{i_2}, \dots, X_{i_k})$

— Sobi
sumber

Terima kasih banyak. Cukup sampai pada intinya. Cukup lucu bahwa saya menebak jawaban seperti itu beberapa waktu yang lalu tapi saya lupa tentang itu .... Sejauh yang saya pahami, fallacy berjalan secara implisit dengan mengasumsikan "model" yang dapat parametrize distribusi variabel acak. Apakah saya benar?

— Cupitor

@Cupitor: Saya senang itu berguna. Ya, dikondisikan pada model, variabel acak independen tidak saling mempengaruhi. Tetapi, seberapa besar kemungkinan distribusi yang diberikan menghasilkan urutan perubahan hasil ketika Anda melihat lebih banyak sampel dari distribusi yang mendasarinya (benar) (terlepas dari asumsi independensi).

— Sobi

Jika Anda mengambil pendekatan Bayesian dan memperlakukan parameter yang menggambarkan distribusi sebagai variabel / vektor acak, maka pengamatan memang tidak independen, tetapi mereka akan tergantung secara kondisional dengan pengetahuan maka akan tahan. $X$ $\theta$ $P(X_n \mid X_{n-1}, \ldots X_1, \theta) = P(X_n \mid \theta)$

Dalam pendekatan statistik klasik, adalah bukan variabel acak. Perhitungan dilakukan seolah-olah kita tahu apa itu . Dalam beberapa hal, Anda selalu dikondisikan pada (bahkan jika Anda tidak tahu nilainya). $\theta$ $\theta$ $\theta$

Ketika Anda menulis, "... berikan informasi tentang struktur distribusi, dan sebagai hasilnya tentang " Anda secara implisit mengadopsi pendekatan Bayesian tetapi tidak melakukannya dengan tepat. Anda sedang menulis properti sampel IID yang akan ditulis oleh seorang frequentist, tetapi pernyataan yang sesuai dalam pengaturan Bayesian akan melibatkan pengkondisian pada . $X_n$ $\theta$

Bayesian vs ahli statistik Klasik

Biarkan menjadi hasil membalik koin yang berat sebelah dan tidak adil. Kami tidak tahu probabilitas kepala koin. $x_i$

Bagi ahli statistik klasik, frequentist, adalah beberapa parameter, sebut saja . Perhatikan bahwa sini adalah skalar, seperti angka 1/3. Kita mungkin tidak tahu apa angkanya, tapi itu bilangan! Itu tidak acak! $P(x_i = H)$ $\theta$ $\theta$
Bagi ahli statistik Bayesian, sendiri adalah variabel acak! Ini sangat berbeda! $\theta$

Gagasan kunci di sini adalah bahwa ahli statistik Bayesian memperluas alat probabilitas untuk situasi di mana ahli statistik klasik tidak . Bagi frequentist, bukan variabel acak karena hanya memiliki satu nilai yang memungkinkan ! Berbagai hasil tidak mungkin! Namun dalam imajinasi Bayesian, berbagai nilai mungkin terjadi, dan Bayesian bersedia untuk memodelkan ketidakpastian itu (dalam pikirannya sendiri) menggunakan alat probabilitas. $\theta$ $\theta$

Kemana perginya ini?

Katakanlah kita melempar koin kali. Satu flip tidak mempengaruhi hasil yang lain. Ahli statistik klasik akan menyebut ini flip independen (dan memang benar). Kita akan memiliki: Di mana adalah beberapa yang tidak diketahui parameter. (Ingat, kami tidak tahu apa itu, tapi itu bukan variabel acak! Ini angka tertentu.) $n$

P (x_{n} = H ∣ x_{n - 1}, x_{n - 2}, \dots, x_{1}) = P (x_{n} = H) = θ

$P(x_n=H \mid x_{n-1}, x_{n-2}, \ldots,x_{1}) = P(x_n=H) = \theta$

θ

$\theta$

Bayesian yang jauh ke dalam probabilitas subyektif akan mengatakan bahwa yang penting adalah probabilitas dari sudut pandangnya! . Jika dia melihat 10 kepala berturut-turut, kepala ke-11 lebih mungkin karena 10 kepala berturut-turut membuat orang percaya bahwa koin itu miring demi kepala.

P (x_{11} = H ∣ x_{10} = H, x_{9} = H, \dots, x_{1} = H) > P (x_{1} = H)

$P(x_{11} = H \mid x_{10}=H, x_{9}=H, \ldots,x_{1}=H) > P(x_1 = H)$

Apa yang terjadi di sini? Apa perbedaannya?! Memperbarui keyakinan tentang variabel acak laten ! Jika diperlakukan sebagai variabel acak, flip tidak lagi independen. Namun, flips tidak tergantung pada kondisi yang diberikan nilai . $\theta$ $\theta$ $\theta$

P (x_{11} = H ∣ x_{10} = H, x_{9} = H, \dots, x_{1} = H, θ) = P (x_{1} = H ∣ θ) = θ

$P(x_{11} = H \mid x_{10}=H, x_{9}=H, \ldots,x_{1}=H, \theta) = P(x_1 = H \mid \theta) = \theta$

Pengkondisian pada dalam arti menghubungkan bagaimana Bayesian dan ahli statistik klasik memodelkan masalah. Atau dengan kata lain, sering dan statistik Bayesian akan setuju jika kondisi Bayesian pada . $\theta$ $\theta$

Catatan selanjutnya

Saya sudah mencoba yang terbaik untuk memberikan intro singkat di sini, tetapi apa yang saya lakukan paling-paling dangkal dan konsep-konsepnya dalam arti cukup dalam. Jika Anda ingin mempelajari filosofi probabilitas, buku 1954 Savage, Foundation of Statistics adalah klasik. Google untuk bayesian vs sering dan satu ton barang akan muncul.

Cara lain untuk berpikir tentang penarikan IID adalah teorema de Finetti dan gagasan pertukaran . Dalam kerangka Bayesian, nilai tukar setara dengan independensi tergantung pada beberapa variabel acak laten (dalam hal ini, lopsidedness dari koin).

— Matthew Gunn
sumber

Pada dasarnya, pendekatan bayesian akan memperlakukan pernyataan "variabel acak iid" bukan sebagai aksioma bahwa mereka harus IID tetapi hanya sebagai asumsi sebelumnya yang sangat kuat bahwa mereka begitu - dan jika bukti yang lebih kuat menunjukkan bahwa sangat tidak mungkin diberikan asumsi benar, maka "ketidakpercayaan dalam kondisi yang diberikan" ini akan tercermin dalam hasilnya.

— Peteris

Terima kasih banyak atas jawaban Anda. Saya telah memutakhirkannya, tetapi saya pikir jawaban Sobi, menunjukkan secara lebih eksplisit di mana masalahnya terletak, yaitu secara implisit mengasumsikan struktur model (atau ini sejauh yang saya mengerti)

— Cupitor

@Matthew Gunn: rapi, teliti, dan dijelaskan dengan sangat baik! Saya belajar beberapa hal dari jawaban Anda, terima kasih!

— Sobi