Dapatkah saya merekonstruksi distribusi normal dari ukuran sampel, dan nilai min dan maks? Saya bisa menggunakan titik tengah untuk proksi mean

Saya tahu ini mungkin sedikit mengikat, secara statistik, tetapi ini adalah masalah saya.

Saya memiliki banyak data rentang, yaitu ukuran minimum, maksimum, dan sampel suatu variabel. Untuk beberapa data ini saya juga memiliki nilai rata-rata, tetapi tidak banyak. Saya ingin membandingkan rentang ini satu sama lain untuk mengukur variabilitas masing-masing rentang, dan juga membandingkan cara. Saya punya alasan kuat untuk mengasumsikan bahwa distribusi simetris di sekitar rata-rata, dan bahwa data akan memiliki distribusi Gaussian. Untuk alasan ini saya berpikir saya dapat membenarkan menggunakan titik tengah distribusi sebagai proksi untuk mean, ketika tidak ada.

Yang ingin saya lakukan adalah merekonstruksi distribusi untuk setiap rentang, dan kemudian menggunakannya untuk memberikan standar deviasi atau kesalahan standar untuk distribusi itu. Satu-satunya informasi yang saya miliki adalah maks dan min yang diamati dari sampel, dan titik tengah sebagai proksi untuk mean.

Dengan cara ini saya berharap dapat menghitung cara tertimbang untuk setiap kelompok, dan juga menghitung koefisien variasi untuk masing-masing kelompok juga, berdasarkan pada rentang data yang saya miliki dan asumsi saya (dari distribusi simetris dan normal).

Saya berencana untuk menggunakan R untuk melakukan ini, jadi bantuan kode apa pun akan dihargai juga.

— green_thinlake
sumber

Saya bertanya-tanya mengapa Anda mengatakan Anda memiliki data untuk nilai minimum & maksimum & maksimum; kemudian Anda memiliki informasi tentang hanya yang diharapkan minimum & maksimum. Mana itu - diamati atau diharapkan?

— Scortchi

Maaf, itu kesalahan saya. Data maksimum dan minimum diamati (diukur dari objek kehidupan nyata). Saya telah mengubah pos.

— green_thinlake

Jawaban:

Fungsi distribusi kumulatif bersama untuk minimum & maksimum untuk sampel dari distribusi Gaussian dengan mean & standar deviasi adalah $x_{(1)}$ $x_{(n)}$ $n$ $\mu$ $\sigma$

F (x_{(1)}, x_{(n)}; μ, σ) = Pr (X_{(1)} < x_{(1)}, X_{(n)} < x_{(n)}) = Pr (X_{(n)} < x_{(n)}) - Pr (X_{(1)} > x_{(1)}, X_{(n)} < x_{(n)} = Φ {(\frac{x_{(n)} - μ}{σ})}^{n} - {[Φ (\frac{x_{(n)} - μ}{σ}) - Φ (\frac{x_{(1)} - μ}{σ})]}^{n}

$F(x_{(1)},x_{(n)};\mu,\sigma) = \Pr(X_{(1)}<x_{(1)}, X_{(n)}<x_{(n)})\\ =\Pr( X_{(n)}<x_{(n)}) - \Pr(X_{(1)}>x_{(1)}, X_{(n)}<x_{(n)}\\ =\Phi\left(\tfrac{x_{(n)}-\mu}{\sigma}\right)^n - \left[\Phi\left(\tfrac{x_{(n)}-\mu}{\sigma}\right) -\Phi\left(\tfrac{x_{(1)}-\mu}{\sigma}\right)\right]^n$

di mana adalah CDF Gaussian standar. Diferensiasi sehubungan dengan & memberikan fungsi densitas probabilitas gabungan $\Phi(\cdot)$ $x_{(1)}$ $x_{(n)}$

f (x_{(1)}, x_{(n)}; μ, σ) = n (n - 1) {[Φ (\frac{x_{(n)} - μ}{σ}) - Φ (\frac{x_{(1)} - μ}{σ})]}^{n - 2} \cdot ϕ (\frac{x_{(n)} - μ}{σ}) \cdot ϕ (\frac{x_{(1)} - μ}{σ}) \cdot \frac{1}{σ^{2}}

$f(x_{(1)},x_{(n)};\mu,\sigma) =\\ n(n-1)\left[\Phi\left(\tfrac{x_{(n)}-\mu}{\sigma}\right) - \Phi\left(\tfrac{x_{(1)}-\mu}{\sigma}\right)\right]^{n-2}\cdot\phi\left(\tfrac{x_{(n)}-\mu}{\sigma}\right)\cdot\phi\left(\tfrac{x_{(1)}-\mu}{\sigma}\right)\cdot\tfrac{1}{\sigma^2}$

di mana adalah standar Gaussian PDF. Mengambil log & menjatuhkan istilah yang tidak mengandung parameter memberikan fungsi log-likelihood $\phi(\cdot)$

ℓ (μ, σ; x_{(1)}, x_{(n)}) = (n - 2) \log [Φ (\frac{x_{(n)} - μ}{σ}) - Φ (\frac{x_{(1)} - μ}{σ})] + \log ϕ (\frac{x_{(n)} - μ}{σ}) + \log ϕ (\frac{x_{(1)} - μ}{σ}) - 2 \log σ

$\ell(\mu,\sigma;x_{(1)},x_{(n)}) =\\ (n-2)\log\left[\Phi\left(\tfrac{x_{(n)}-\mu}{\sigma}\right) - \Phi\left(\tfrac{x_{(1)}-\mu}{\sigma}\right)\right] + \log\phi\left(\tfrac{x_{(n)}-\mu}{\sigma}\right) + \log\phi\left(\tfrac{x_{(1)}-\mu}{\sigma}\right) - 2\log\sigma$

Ini tidak terlihat sangat penurut tapi mudah untuk melihat bahwa itu dimaksimalkan apapun nilai oleh pengaturan $\sigma$ , yaitu titik tengah - istilah pertama dimaksimalkan ketika argumen dari satu CDF adalah negatif dari argumen yang lain; istilah kedua & ketiga mewakili kemungkinan gabungan dari dua varian normal independen. $\mu=\hat\mu=\frac{x_{(n)}+x_{(1)}}{2}$

Mengganti ke dalam log-likelihood & menulis memberikan $\hat\mu$ $r=x_{(n)}-x_{(1)}$

ℓ (σ; x_{(1)}, x_{(n)}, \hat{μ}) = (n - 2) \log [1 - 2 Φ (\frac{- r}{2 σ})] - \frac{r^{2}}{4 σ^{2}} - 2 \log σ

$\ell(\sigma;x_{(1)},x_{(n)},\hat\mu)=(n-2)\log\left[1 - 2\Phi\left(\tfrac{-r}{2\sigma}\right)\right] - \frac{r^2}{4\sigma^2} -2\log{\sigma}$

Ungkapan ini harus dimaksimalkan numerik (misalnya dengan optimizedari R statpaket) untuk menemukan . (Ternyata , di mana adalah konstanta tergantung hanya pada -mungkin orang yang lebih matematis gesit daripada aku bisa menunjukkan mengapa.) $\hat\sigma$ $\hat\sigma=k(n)\cdot r$ $k$ $n$

Perkiraan tidak ada gunanya tanpa ukuran presisi yang menyertainya. Informasi Fisher yang diamati dapat dievaluasi secara numerik (misalnya dengan hessiandari numDerivpaket R ) & digunakan untuk menghitung perkiraan kesalahan standar:

I (μ) = - {\frac{\partial^{2} ℓ (μ; \hat{σ})}{(\partial μ)^{2}} |}_{μ = \hat{μ}}

$I(\mu)=-\left.\frac{\partial^2{\ell(\mu;\hat\sigma)}}{(\partial\mu)^2}\right|_{\mu=\hat\mu}$

I (σ) = - {\frac{\partial^{2} ℓ (σ; \hat{μ})}{(\partial σ)^{2}} |}_{σ = \hat{σ}}

$I(\sigma)=-\left.\frac{\partial^2{\ell(\sigma;\hat\mu)}}{(\partial\sigma)^2}\right|_{\sigma=\hat\sigma}$

Akan menarik untuk membandingkan kemungkinan & metode-saat estimasi untuk dalam hal bias (apakah MLE konsisten?), Varians, & mean-square error. Ada juga masalah estimasi untuk kelompok-kelompok tersebut di mana rata-rata sampel diketahui selain minimum & maksimum. $\sigma$

— Scortchi - Reinstate Monica
sumber

2 \log (r)

$2\log(r)$

σ / r

$\sigma/r$

n

$n$

σ / r

$\sigma/r$

n \to k (n)

$n\to k(n)$

\hat{σ} = k (n) r

$\hat\sigma=k(n)r$ Kisaran studentized .

— whuber

@whuber: Terima kasih! Tampak jelas dengan melihat ke belakang. Saya akan memasukkannya ke dalam jawabannya.

— Scortchi

$\mu$ $\sigma$ $R=x_{(n)} - x_{(1)}$ $99.7$

μ + 3 σ \approx x_{(n)}

$\mu + 3\sigma \approx x_{(n)}$

μ - 3 σ \approx x_{(1)}

$\mu - 3\sigma \approx x_{(1)}$

Mengurangkan yang kedua dari yang pertama kita dapatkan

6 σ \approx x_{(n)} - x_{(1)} = R

$6\sigma \approx x_{(n)} - x_{(1)}= R$

\hat{σ} = \frac{1}{6} ({\bar{x}}_{(n)} - {\bar{x}}_{(1)})

$\hat \sigma = \frac 16 \Big(\bar x_{(n)} - \bar x_{(1)}\Big)$

Memiliki nilai untuk mean dan untuk standar deviasi sepenuhnya mencirikan distribusi normal.

— Alecos Papadopoulos
sumber

Itu bukan perkiraan dekat untuk kecil

n

$n$ atau hasil asimptotik untuk yang besar

n

$n$ .

— Scortchi

@Stortchi Yah, saya tidak mengatakan bahwa ini adalah perkiraan yang bagus -tapi saya percaya bahwa selalu baik untuk memiliki solusi yang mudah diimplementasikan, bahkan sangat kasar, untuk mendapatkan pemahaman kuantitatif dari masalah yang ada, selain itu pendekatan yang canggih dan efisien seperti misalnya yang diuraikan dalam jawaban lain untuk pertanyaan ini.

— Alecos Papadopoulos

Saya tidak akan menyerah pada "harapan kisaran sampel ternyata sekitar 6 kali standar deviasi untuk nilai

n

$n$ mulai dari 200 hingga 1000 ". Tetapi apakah saya kehilangan sesuatu yang halus dalam derivasi Anda, atau tidakkah itu bekerja dengan baik untuk membenarkan pembagian rentang dengan angka berapa pun?

— Scortchi - Reinstate Monica

@Scortchi Well, the spirit of the approach is "if we expect almost all realizations to fall within 6 sigmas, then it is reasonable to expect that the extreme realizations will be near the border" -that's all there is to it, really. Perhaps I am too used to operate under extremely incomplete information, and obliged to say something quantitative about it... :)

— Alecos Papadopoulos

I could reply that even more observations would fall within

10 σ

$10 \sigma$ of the mean, giving a better estimate

\hat{σ} = \frac{R}{10}

$\hat\sigma=\frac{R}{10}$ . I shan't because it's nonsense. Any number over

1.13

$1.13$ will be a rough estimate for some value of

n

$n$ .

— Scortchi

Sangat mudah untuk mendapatkan fungsi distribusi maksimum dari distribusi normal (lihat "P.max.norm" dalam kode). Dari itu (dengan beberapa kalkulus) Anda bisa mendapatkan fungsi kuantil (lihat "Q.max.norm").

Dengan menggunakan "Q.max.norm" dan "Q.min.norm" Anda bisa mendapatkan median rentang yang terkait dengan N. Menggunakan ide yang disajikan oleh Alecos Papadopoulos (dalam jawaban sebelumnya) Anda dapat menghitung sd.

Coba ini:

N = 100000    # the size of the sample

# Probability function given q and N
P.max.norm <- function(q, N=1, mean=0, sd=1){
    pnorm(q,mean,sd)^N
} 
# Quantile functions given p and N
Q.max.norm <- function(p, N=1, mean=0, sd=1){
    qnorm(p^(1/N),mean,sd)
} 
Q.min.norm <- function(p, N=1, mean=0, sd=1){
    mean-(Q.max.norm(p, N=N, mean=mean, sd=sd)-mean)
} 

### lets test it (takes some time)
Q.max.norm(0.5, N=N)  # The median on the maximum
Q.min.norm(0.5, N=N)  # The median on the minimum

iter = 100
median(replicate(iter, max(rnorm(N))))
median(replicate(iter, min(rnorm(N))))
# it is quite OK

### Lets try to get estimations
true_mean = -3
true_sd = 2
N = 100000

x = rnorm(N, true_mean, true_sd)  # simulation
x.vec = range(x)                  # observations

# estimation
est_mean = mean(x.vec)
est_sd = diff(x.vec)/(Q.max.norm(0.5, N=N)-Q.min.norm(0.5, N=N))

c(true_mean, true_sd)
c(est_mean, est_sd)

# Quite good, but only for large N
# -3  2
# -3.252606  1.981593

— Vyga
sumber

Melanjutkan pendekatan ini,

E (R) = σ \int_{- \infty}^{\infty} 1 - (1 - Φ (x))^{n} - Φ (x)^{n} d x = σ d_{2} (n)

$\operatorname{E} (R) = \sigma \int_{-\infty}^{\infty} 1-(1-\Phi(x))^n -\Phi(x)^n\, \mathrm{d} x = \sigma d_2(n)$ , where

R

$R$ is the range &

Φ (\cdot)

$\Phi(\cdot)$ the standard normal cumulative distribution function. You can find tabulated values of

d_{2}

$d_2$ for small

n

$n$ in the statistical process control literature, numerically evaluate the integral, or simulate for your

n

$n$ .

— Scortchi - Reinstate Monica