Mengapa statistik yang cukup berisi semua informasi yang diperlukan untuk menghitung estimasi parameter apa pun?

Saya baru saja mulai mempelajari statistik dan saya tidak bisa mendapatkan pemahaman yang memadai tentang kecukupan. Untuk lebih tepatnya saya tidak dapat mengerti bagaimana menunjukkan bahwa dua paragraf berikut ini setara:

Secara kasar, diberikan satu set X data independen yang terdistribusi secara identik dikondisikan pada parameter yang tidak diketahui θ, statistik yang cukup adalah fungsi T (X) yang nilainya berisi semua informasi yang diperlukan untuk menghitung estimasi parameter apa pun.

Statistik T (X) cukup untuk parameter dasar θ tepatnya jika distribusi probabilitas bersyarat dari data X, mengingat statistik T (X), tidak bergantung pada parameter θ.

(Saya telah mengambil kutipan dari statistik Cukup )

Meskipun saya memahami pernyataan kedua, dan saya dapat menggunakan teorema faktorisasi untuk menunjukkan apakah statistik yang diberikan cukup, saya tidak dapat memahami mengapa statistik dengan properti seperti itu juga memiliki properti yang "berisi semua informasi yang diperlukan untuk menghitung setiap estimasi parameter ". Saya tidak mencari bukti formal, yang akan membantu memperbaiki pemahaman saya, saya ingin mendapatkan penjelasan intuitif mengapa kedua pernyataan itu setara.

Singkatnya, pertanyaan saya adalah: mengapa kedua pernyataan itu setara? Bisakah seseorang memberikan penjelasan intuitif untuk kesetaraannya?

sufficient-statistics

— gcoll
sumber

Ide intuitif utama adalah bahwa Anda kadang-kadang tidak perlu melihat seluruh sampel karena Anda dapat menemukan statistik yang merangkum semua informasi yang dibutuhkan dari sampel. Ambil contoh, distribusi binomial: yang perlu Anda ketahui untuk model Anda adalah jumlah keberhasilan. Anda melakukan apa pun tidak kalah dari nilai jika saya hanya memberitahu Anda bahwa

\sum_{i}^{n} x_{i} = c

$\sum_{i}^{n} x_i = c$ , bukannya menunjukkan Anda seluruh rangkaian nilai-nilai sampel

x = {1, 0, 0, 1, 0, 1, . . .}

$x = \{1, 0, 0, 1, 0, 1, ... \}$ .

— mugen

Saya mengerti mengapa saya membutuhkan statistik yang cukup dan bagaimana menunjukkan bahwa jumlah keberhasilan adalah statistik yang cukup untuk p dalam proses Bernoulli. Yang tidak saya mengerti adalah mengapa statistik seperti yang dijelaskan dalam paragraf kedua berisi semua informasi yang diperlukan untuk menghitung estimasi parameter apa pun.

— gcoll

Sebenarnya, kutipan pertama salah besar. Ada banyak estimator yang dapat dihitung dari seluruh dataset yang tidak dapat dihitung hanya dari statistik yang memadai. Itulah salah satu alasan mengapa kutipan dimulai "secara kasar." Alasan lain adalah bahwa ia tidak menyediakan definisi kuantitatif atau informasi "informasi." Karena karakterisasi yang jauh lebih akurat (tetapi masih intuitif) telah diberikan dalam paragraf sebelumnya, ada sedikit masalah dengan kutipan ini dalam konteks yang tepat.

— whuber

Ini memiliki koneksi ke kemungkinan maksimum dan pada dasarnya informasi yang dibutuhkan dalam kemungkinan maksimum

— Kamster

Mengikuti komentar whuber dan @Kamster, saya mungkin mendapat pemahaman yang lebih baik. Ketika kami mengatakan bahwa statistik yang cukup berisi semua informasi yang diperlukan untuk menghitung estimasi parameter apa pun, apakah kami benar-benar bermaksud bahwa itu cukup untuk menghitung estimator kemungkinan maksimum (yang merupakan fungsi dari semua statistik yang memadai)? Jika ini benar, masalahnya adalah semua yang berkaitan dengan definisi (informasi) non-seperti yang disarankan Whuber, dan pertanyaan saya dijawab.

— gcoll

Jawaban:

Mengikuti komentar @whuber dan @Kamster, saya mungkin mendapatkan pemahaman yang lebih baik. Ketika kami mengatakan bahwa statistik yang cukup berisi semua informasi yang diperlukan untuk menghitung estimasi parameter apa pun, yang kami maksud sebenarnya adalah bahwa itu cukup untuk menghitung estimator kemungkinan maksimum (yang merupakan fungsi dari semua statistik yang memadai).

Mengingat bahwa saya menjawab pertanyaan saya sendiri, dan karenanya saya tidak 100% yakin akan jawabannya, saya tidak akan menandainya sebagai benar sampai saya mendapatkan umpan balik. Silakan tambahkan komentar dan pilih-turun jika Anda pikir saya salah / tidak tepat / dll ...

(Beri tahu saya jika ini tidak kompatibel dengan etiket SE, karena ini pertanyaan pertama saya, saya mohon maaf jika saya melanggar aturan apa pun)

— gcoll
sumber

Ketika saya belajar tentang kecukupan, saya menemukan pertanyaan Anda karena saya juga ingin memahami intuisi tentang Dari apa yang saya kumpulkan, inilah yang saya hasilkan (beri tahu saya apa yang Anda pikirkan, jika saya membuat kesalahan, dll).

Misalkan menjadi sampel acak dari distribusi Poisson dengan rata-rata . $X_1,\ldots,X_n$ $\theta>0$

Kita tahu bahwa adalah statistik cukup untuk , karena distribusi bersyarat dari diberikan adalah bebas dari , dengan kata lain, tidak tergantung pada . $T({\bf{X}})=\sum_{i=1}^{n} X_i$ $\theta$ $X_1,\ldots,X_n$ $T({\bf{X}})$ $\theta$ $\theta$

Sekarang, ahli statistik tahu bahwa dan menciptakan nilai acak dari distribusi ini: $A$ $X_1,\ldots,X_n \overset{i.i.d}{\sim} Poisson(4)$ $n=400$

n<-400
theta<-4
set.seed(1234)
x<-rpois(n,theta)
y=sum(x)

freq.x<-table(x) # We will use this latter on
rel.freq.x<-freq.x/sum(freq.x)

Untuk nilai yang dibuat oleh ahli statistik , ia mengambil jumlahnya dan bertanya kepada ahli statistik berikut ini: $A$ $B$

"Saya telah nilai-nilai sampel ini diambil dari distribusi Poisson. Mengetahui bahwa , apa yang bisa Anda ceritakan tentang distribusi ini?" $x_1,\ldots,x_n$ $\sum_{i=1}^{n} x_i = y = 4068$

Jadi, hanya mengetahui bahwa (dan fakta bahwa sampel muncul dari distribusi Poisson) sudah cukup bagi ahli statistik untuk mengatakan sesuatu tentang ? Karena kita tahu bahwa ini adalah statistik yang cukup, kita tahu bahwa jawabannya adalah "ya". $\sum_{i=1}^{n} x_i = y = 4068$ $B$ $\theta$

Untuk mendapatkan intution tentang makna ini, mari kita lakukan hal berikut (diambil dari "Pengantar Statistik Matematika" Hogg & Mckean & Craig, edisi ke-7, latihan 7.1.9):

" memutuskan untuk membuat beberapa pengamatan palsu, yang dia sebut (karena dia tahu mereka mungkin tidak akan sama dengan nilai asli ) sebagai berikut. Dia mencatat bahwa probabilitas bersyarat Poisson independen variabel acak yang sama dengan , diberikan , adalah $B$ $z_1,z_2,\ldots,z_n$ $x$ $Z_1,Z_2\ldots,Z_n$ $z_1,z_2,\ldots,z_n$ $\sum z_i = y$

\frac{\frac{θ^{z_{1}} e^{- θ}}{z_{1}!} \frac{θ^{z_{2}} e^{- θ}}{z_{2}!} \dots \frac{θ^{z_{n}} e^{- θ}}{z_{n}!}}{\frac{n θ^{y} e^{- n θ}}{y!}} = \frac{y!}{z_{1}! z_{2}! \dots z_{n}!} {(\frac{1}{n})}^{z_{1}} {(\frac{1}{n})}^{z_{2}} \dots {(\frac{1}{n})}^{z_{n}}

$\cfrac{\frac{\theta^{z_1}e^{-\theta}}{z_1!} \frac{\theta^{z_2}e^{-\theta}}{z_2!} \cdots \frac{\theta^{z_n}e^{-\theta}}{z_n!}}{\frac{n \theta^{y}e^{-n\theta}}{y!}}=\frac{y!}{z_1!z_2! \cdots z_n!} \left(\frac{1}{n}\right)^{z_1} \left(\frac{1}{n}\right)^{z_2} \cdots \left(\frac{1}{n}\right)^{z_n}$

since $Y=\sum Z_i$ has a Poisson distribution with mean $n \theta$ . The latter distribution is multinomial with $y$ independent trials, each terminating in one of $n$ mutually exclusive and exhaustive ways, each of which has the same probability $1/n$ . Accordingly, $B$ runs such a multinomial experiment $y$ independent trials and obtains $z_1,\ldots,z_n$ ."

This is what the exercise states. So, let's do exactly that:

# Fake observations from multinomial experiment
prob<-rep(1/n,n)
set.seed(1234)
z<-as.numeric(t(rmultinom(y,n=c(1:n),prob)))
y.fake<-sum(z) # y and y.fake must be equal
freq.z<-table(z)
rel.freq.z<-freq.z/sum(freq.z)

And let's see what $Z$ looks like (I'm also plotting the real density of Poisson(4) for $k=0,1,\ldots,13$ - anything above 13 is pratically zero -, for comparison):

# Verifying distributions
k<-13
plot(x=c(0:k),y=dpois(c(0:k), lambda=theta, log = FALSE),t="o",ylab="Probability",xlab="k",
     xlim=c(0,k),ylim=c(0,max(c(rel.freq.x,rel.freq.z))))
lines(rel.freq.z,t="o",col="green",pch=4)
legend(8,0.2, legend=c("Real Poisson","Random Z given y"), 
       col = c("black","green"),pch=c(1,4))

So, knowing nothing about $\theta$ and knowing only the sufficient statistic $Y=\sum X_i$ we were able to recriate a "distribution" that looks a lot like a Poisson(4) distribution (as $n$ increases, the two curves become more similar).

Now, comparing $X$ and $Z|y$ :

plot(rel.freq.x,t="o",pch=16,col="red",ylab="Relative Frequency",xlab="k",
     ylim=c(0,max(c(rel.freq.x,rel.freq.z))))
lines(rel.freq.z,t="o",col="green",pch=4)
legend(7,0.2, legend=c("Random X","Random Z given y"), col = c("red","green"),pch=c(16,4))

We see that they are pretty similar, as well (as expected)

Jadi, "untuk tujuan membuat keputusan statistik, kita dapat mengabaikan variabel acak individu $X_i$ dan mendasarkan keputusan sepenuhnya pada $Y=X_1+X_2+\cdots+X_n$ "(Ash, R." Inferensi Statistik: Kursus singkat ", halaman 59).

— Gus_est
sumber

Biarkan saya memberikan perspektif lain yang dapat membantu. Ini juga kualitatif, tetapi ada versi ketat yang sangat penting dalam Teori Informasi - dikenal sebagai properti Markov.

Pada awalnya, kita memiliki dua objek, data (berasal dari Variabel Acak, sebut saja X) dan parameter, $\theta$ (rv lain, secara implisit diasumsikan karena kita berbicara tentang estimatornya). Keduanya, dianggap tergantung (jika tidak, tidak ada gunanya mencoba memperkirakan satu dari yang lain). Sekarang, objek ketiga memasuki permainan, Statistik Cukup, T. Gagasan intuitif ketika kita mengatakan T sudah cukup untuk diperkirakan $\theta$ benar - benar berarti bahwa jika kita tahu T (yaitu dikondisikan pada T), X tidak memberikan info tambahan, yaitu, X dan $\theta$ independen. Dengan kata lain, pengetahuan tentang X setara dengan pengetahuan tentang T sejauh estimasi $\theta$ prihatin. Perhatikan bahwa dalam probabilitas adalah di mana semua ketidakpastian ditangkap, dan karenanya "setiap perkiraan" ketika probabilitas (bersyarat) independen (mis. Kepadatan bersyarat faktorisasi).

— Mahdi
sumber