Ada sejumlah penaksir skala yang kuat . Contoh penting adalah deviasi absolut median yang berhubungan dengan deviasi standar sebagai $\sigma = \mathrm{MAD}\cdot1.4826$ . Dalam kerangka kerja Bayesian ada sejumlah cara untuk memperkirakan dengan kuat lokasi distribusi yang kira-kira normal (misalnya, Normal yang terkontaminasi oleh pencilan), misalnya, dapat diasumsikan bahwa data didistribusikan sebagai distribusi atau distribusi Laplace. Sekarang pertanyaan saya:

Akan seperti apa model Bayesian untuk mengukur skala distribusi normal dengan cara yang kuat, kuat dalam arti yang sama dengan MAD atau penduga kuat yang serupa?

Seperti halnya dengan MAD, akan lebih rapi jika model Bayesian dapat mendekati SD dari distribusi normal dalam kasus ketika distribusi data sebenarnya terdistribusi normal.

edit 1:

Sebuah contoh khas dari model yang kuat terhadap kontaminasi / outlier ketika asumsi data $y_i$ adalah kira-kira normal menggunakan di distribusi seperti:

Di mana $m$ adalah mean, $s$ adalah skalanya, dan $\nu$ adalah derajat kebebasan. Dengan prior yang sesuai pada $m, s$ dan $\nu$ , $m$ akan menjadi perkiraan rata-rata $y_i$ yang akan kuat terhadap outlier. Namun, $s$ tidak akan menjadi estimasi yang konsisten dari SD $y_i$ karena $s$ tergantung pada $\nu$ . Misalnya, jika $\nu$ akan diperbaiki ke 4.0 dan model di atas akan dipasang ke sejumlah besar sampel dari $\mathrm{Norm}(\mu=0,\sigma=1)$ distribusi maka$s$ akan menjadi sekitar 0,82. Yang saya cari adalah model yang kuat, seperti model t, tetapi untuk SD alih-alih (atau sebagai tambahan) artinya.

edit 2:

Berikut mengikuti contoh kode dalam R dan JAGS tentang bagaimana model-t yang disebutkan di atas lebih kuat sehubungan dengan mean.

# generating some contaminated data
y <- c( rnorm(100, mean=10, sd=10), 
        rnorm(10, mean=100, sd= 100))

#### A "standard" normal model ####
model_string <- "model{
  for(i in 1:length(y)) {
    y[i] ~ dnorm(mu, inv_sigma2)
  }

  mu ~ dnorm(0, 0.00001)
  inv_sigma2 ~ dgamma(0.0001, 0.0001)
  sigma <- 1 / sqrt(inv_sigma2)
}"

model <- jags.model(textConnection(model_string), list(y = y))
mcmc_samples <- coda.samples(model, "mu", n.iter=10000)
summary(mcmc_samples)

### The quantiles of the posterior of mu
##  2.5%   25%   50%   75% 97.5% 
##   9.8  14.3  16.8  19.2  24.1 

#### A (more) robust t-model ####
library(rjags)
model_string <- "model{
  for(i in 1:length(y)) {
    y[i] ~ dt(mu, inv_s2, nu)
  }

  mu ~ dnorm(0, 0.00001)
  inv_s2 ~ dgamma(0.0001,0.0001)
  s <- 1 / sqrt(inv_s2)
  nu ~ dexp(1/30) 
}"

model <- jags.model(textConnection(model_string), list(y = y))
mcmc_samples <- coda.samples(model, "mu", n.iter=1000)
summary(mcmc_samples)

### The quantiles of the posterior of mu
## 2.5%   25%   50%   75% 97.5% 
##8.03  9.35  9.99 10.71 12.14 

Bayesian inference dalam model T noise dengan prior yang tepat akan memberikan estimasi lokasi dan skala yang kuat. Kondisi tepat yang kemungkinan dan kebutuhan sebelumnya untuk dipenuhi diberikan dalam makalah Bayesian modelling parameter lokasi dan skala oleh Andrade dan O'Hagan (2011). Estimasi ini kuat dalam arti bahwa pengamatan tunggal tidak dapat membuat estimasi besar secara sewenang-wenang, seperti yang ditunjukkan pada gambar 2 dari makalah ini.

$\nu$$\sigma$$s$$s$$s = \sigma f(\nu)$$f$

library(stats)
library(stats4)
y = rnorm(100000, mean=0,sd=1)
nu = 4
nLL = function(s) -sum(stats::dt(y/s,nu,log=TRUE)-log(s))
fit = mle(nLL, start=list(s=1), method="Brent", lower=0.5, upper=2)
# the variance of a standard T is nu/(nu-2)
print(coef(fit)*sqrt(nu/(nu-2)))

$\nu=4$$f(\nu)=1.18$$\hat{\sigma} = s/f(\nu)$

Saat Anda mengajukan pertanyaan tentang masalah yang sangat tepat (estimasi kuat), saya akan menawarkan jawaban yang sama persis. Namun, pertama-tama, saya akan mulai mencoba menghilangkan asumsi yang tidak beralasan. Tidak benar bahwa ada perkiraan bayesian lokasi yang kuat (ada perkiraan bayesian lokasi tetapi seperti yang saya ilustrasikan di bawah mereka tidak kuat dan, tampaknya , bahkan estimator kuat yang paling sederhana dari lokasi bukanlah bayesian). Menurut pendapat saya, alasan tidak adanya tumpang tindih antara paradigma 'bayesian' dan 'kuat' dalam kasus lokasi sangat membantu dalam menjelaskan mengapa tidak ada penduga penyebaran yang baik dan bayesian.

$m, s$$\nu$$m$$y_i$

Sebenarnya tidak. Perkiraan yang dihasilkan hanya akan kuat dalam arti kata yang sangat lemah. Namun, ketika kami mengatakan bahwa median kuat untuk outlier kami berarti kata kuat dalam arti yang jauh lebih kuat. Yaitu, dalam statistik yang kuat, kekokohan median mengacu pada properti yang jika Anda menghitung median pada kumpulan data pengamatan yang diambil dari uni-modal, model kontinu dan kemudian mengganti kurang dari setengah pengamatan ini dengan nilai acak. , nilai median yang dihitung pada data yang terkontaminasi dekat dengan nilai yang Anda miliki seandainya Anda menghitungnya pada set data asli (tidak terkontaminasi). Maka, mudah untuk menunjukkan bahwa strategi estimasi yang Anda usulkan dalam paragraf yang saya kutip di atas jelas tidak kuat dalam arti bagaimana kata tersebut biasanya dipahami untuk median.

$F$

1. $$z_i=\frac{|x_i-\mbox{med}(x)|}{\mbox{mad}(x)}$$
2. $z_i>q_{\alpha}(z|x\sim F)$$\alpha$$z$$x\sim F$$F$
3. Jalankan analisis Bayesian (biasanya, tidak kuat) pada pengamatan yang tidak ditolak.

EDIT:

Terima kasih kepada OP untuk menyediakan kode R yang lengkap untuk melakukan analisis bayesian bonna fide masalah.

$n/2-2$

$\mathcal{N}(1000,1)$

n<-100
set.seed(123)
y<-rnorm(n,1000,1)

Tambahkan sejumlah kontaminan:

y[1:30]<-y[1:30]/100-1000 
w<-rep(0,n)
w[1:30]<-1

indeks w mengambil nilai 1 untuk outlier. Saya mulai dengan pendekatan yang disarankan oleh OP:

library("rjags")
model_string<-"model{
  for(i in 1:length(y)){
    y[i]~dt(mu,inv_s2,nu)
  }
  mu~dnorm(0,0.00001)
  inv_s2~dgamma(0.0001,0.0001)
  s<-1/sqrt(inv_s2)
  nu~dexp(1/30) 
}"

model<-jags.model(textConnection(model_string),list(y=y))
mcmc_samples<-coda.samples(model,"mu",n.iter=1000)
print(summary(mcmc_samples)$statistics[1:2])
summary(mcmc_samples)

Saya mendapat:

     Mean        SD 
384.2283  97.0445 

dan:

2. Quantiles for each variable:

 2.5%   25%   50%   75% 97.5% 
184.6 324.3 384.7 448.4 577.7 

(Diam jauh dari nilai target)

Untuk metode yang kuat,

z<-abs(y-median(y))/mad(y)
th<-max(abs(rnorm(length(y))))
print(c(mean(y[which(z<=th)]),sd(y[which(z<=th)])))

satu mendapat:

 1000.149 0.8827613

(sangat dekat dengan nilai target)

$z$th$F$
$t$

• [1] Ricardo A. Maronna, Douglas R. Martin, Victor J. Yohai (2006). Statistik Kuat: Teori dan Metode (Seri Wiley dalam Probabilitas dan Statistik).
• Huber, PJ (1981). Statistik yang kuat. New York: John Wiley and Sons.

Dalam analisis bayesian menggunakan distribusi Gamma terbalik sebagai prior untuk presisi (kebalikan dari varians) adalah pilihan umum. Atau distribusi Wishart terbalik untuk model multivarian. Menambahkan sebelumnya pada varians meningkatkan ketahanan terhadap outlier.

Ada sebuah makalah yang bagus dari Andrew Gelman: "Distribusi sebelumnya untuk parameter varians dalam model hierarkis" di mana ia membahas apa pilihan yang baik untuk prior pada varian dapat.

$\mu$$N$$\sigma^2$$\mu$$t$$N$

$\sigma$$D$

Saya telah mengikuti diskusi dari pertanyaan awal. Rasmus ketika Anda mengatakan ketahanan saya yakin maksud Anda dalam data (outlier, bukan miss-spesifikasi distribusi). Saya akan mengambil distribusi data menjadi distribusi Laplace alih-alih t-distribusi, kemudian seperti dalam regresi normal di mana kita memodelkan mean, di sini kita akan memodelkan median (sangat kuat) alias regresi median (kita semua tahu). Biarkan model menjadi:

ϵ ( 0 , σ 2$Y=\beta X+\epsilon$ , memiliki laplace .$\epsilon$$(0,$$\sigma^2)$

Tentu saja tujuan kami adalah memperkirakan parameter model. Kami berharap prior kami tidak jelas untuk memiliki model yang objektif. Model yang ada memiliki posterior dari bentuk . Memberikan sebelum normal dengan varians yang besar membuat seperti sebelum kabur dan sebelum chis-squared dengan kecil derajat kebebasan untuk meniru sebuah jeffrey ini sebelum (samar-samar sebelum) diberikan kepada keβ σ $f(\beta,\sigma,Y,X)$$\beta$$\sigma^2$. Dengan sampler Gibbs apa yang terjadi? normal sebelum + laplace likehood = ???? kami tahu. Juga chi-square sebelum + kemungkinan laplace = ??? kita tidak tahu distribusinya. Untungnya bagi kita ada teorema dalam (Aslan, 2010) yang mengubah kemungkinan laplace menjadi skala campuran dari distribusi normal yang kemudian memungkinkan kita untuk menikmati sifat konjugasi dari prior kita. Saya pikir seluruh proses yang dijelaskan sepenuhnya kuat dalam hal outlier. Dalam pengaturan multivariat, chi-square menjadi distribusi wishart, dan kami menggunakan multivariat laplace dan distribusi normal.

Misalkan Anda memiliki grup dan Anda ingin memodelkan distribusi varians sampel mereka, mungkin terkait dengan beberapa kovariat . Yaitu, anggap titik data Anda untuk grup adalah . Pertanyaannya di sini adalah, "Apa model yang kuat untuk kemungkinan varians sampel?" Salah satu cara untuk pendekatan ini adalah untuk model data ditransformasikan berasal darix k ∈ 1 ... K Var ( y k ) ∈ [ 0 , ∞ ) ln [ Var ( y k ) ] $K$$\bf{x}$$k \in {1 \ldots K}$$\textrm{Var}(y_k) \in [0, \infty)$$\textrm{ln}[\textrm{Var}(y_k)]$$t$$n \rightarrow \infty$, maka Anda dapat memilih distribusi probabilitas dengan dukungan nyata positif yang diketahui memiliki ekor berat dibandingkan dengan distribusi lain dengan lokasi yang sama. Sebagai contoh, ada jawaban baru-baru ini untuk pertanyaan di Cross Divalidasi tentang apakah distribusi lognormal atau gamma memiliki ekor yang lebih berat, dan ternyata distribusi lognormal melakukannya (terima kasih kepada @Glen_b untuk kontribusinya). Selain itu, Anda bisa menjelajahi keluarga setengah-Cauchy.

Alasan yang sama berlaku jika Anda menetapkan distribusi sebelumnya atas parameter skala untuk distribusi normal. Intinya, distribusi lognormal dan invers-gamma tidak disarankan jika Anda ingin membentuk batas menghindari sebelum untuk keperluan perkiraan mode posterior karena mereka memuncak tajam jika Anda men-parameterkannya sehingga mode mendekati nol. Lihat BDA3 bab 13 untuk diskusi. Jadi selain mengidentifikasi model yang kuat dalam hal ketebalan ekor, perlu diingat bahwa kurtosis juga penting bagi kesimpulan Anda.

Saya harap ini membantu Anda sebanyak jawaban Anda untuk salah satu pertanyaan terakhir saya membantu saya.