Nilai korelasi palsu yang diharapkan

Kami menarik sampel , masing-masing ukuran , secara independen dari distribusi Normal . $N$ $n$ $(\mu,\sigma^2)$

Dari sampel kami kemudian memilih 2 sampel yang memiliki korelasi Pearson tertinggi (absolut) satu sama lain. $N$

Berapa nilai yang diharapkan dari korelasi ini?

Terima kasih [PS Ini bukan pekerjaan rumah]

— P Sellaz
sumber

(+1) Ini akan membuat pertanyaan pekerjaan rumah yang cukup menantang :-). Apakah Anda memerlukan jawaban umum atau dapatkah Anda (mungkin) memusatkan perhatian pada nilai-nilai spesifik atau ? Misalnya, dimungkinkan untuk mengembangkan perkiraan yang baik ketika jauh lebih besar dari ; pendekatan yang berbeda akan diperlukan dalam kasus lain.

N

$N$

n

$n$

n

$n$

N

$N$

— whuber

Saya berharap untuk jawaban umum, tetapi di mana asumsi akan baik-baik saja! Untuk nilai-nilai spesifik dan , itu tidak akan begitu menarik, karena saya dapat melihat kasus-kasus tertentu dengan simulasi (itulah yang saya lakukan saat ini), tetapi mungkin masih menarik.

n >> N

$n>>N$

N

$N$

n

$n$

— P Sellaz

Saya pikir solusi umum dari utilitas nyata mungkin tidak mungkin, meskipun saya bisa saja salah. Ini cukup terkait erat dengan beberapa masalah terbuka pada antarmuka geometri dan aljabar linier. Dalam aplikasi, kebutuhan untuk informasi tentang jumlah tersebut muncul, misalnya, dalam penginderaan terkompresi.

— kardinal

FWIW, ini adalah hasil dari simulasi yang baru saja saya jalankan: menggunakan Normal (0,1), saya menemukan bahwa korelasi rata-rata, (lebih dari 1000 simulasi), dan jumlah sampel kira-kira terkait dengan untuk dan menggunakan model regresi linier. Model fit dan diagnosa biasa cukup baik. Saya juga menemukan bahwa korelasi rata-rata kira-kira terdistribusi normal (meskipun sedikit condong ke kanan).

ρ

$\rho$

N

$N$

ρ = 0.025 + 0.113 \ln (N) - 0.008 \ln (N)^{2}

$\rho=0.025+0.113\ln(N)-0.008\ln(N)^2$

n = 100

$n=100$

4 \leq N \leq n

$4\leq N \leq n$

— P Sellaz

Jawaban:

Saya menemukan artikel berikut, yang membahas masalah ini: Jiang, Tiefeng (2004). Distribusi Asimptotik dari Entri Terbesar dari Contoh Korelasi Sampel. The Annals of Applied Probability, 14 (2), 865-880

Jiang menunjukkan distribusi asimptotik statistik, di mana adalah korelasi antara vektor acak ke - dan ke- dari panjang (dengan ), adalah $L_n = \max_{1\leq i<j\leq N} |\rho_{ij}|$ $\rho_{ij}$ $i$ $j$ $n$ $i\neq j$

lim_{n \to \infty} Pr [n L_{n}^{2} - 4 \log n + \log (\log (n)) \leq y] = \exp (- \frac{1}{a^{2} \sqrt{8 π}} \exp (- y / 2)),

$\lim_{n \to \infty} \Pr[ nL_n^2 - 4\log n + \log(\log(n)) \leq y] = \exp\left(-\frac{1}{a^2\sqrt{8\pi}}\exp(-y/2)\right) \,,$ mana diasumsikan ada di koran dan adalah fungsi dari .

a = lim_{n \to \infty} n / N

$a = \lim_{n\to\infty} n/N$

N

$N$

n

$n$

Rupanya hasil ini berlaku untuk ~~setiap distribusi~~ distribusi dengan jumlah momen terbatas yang cukup ( Edit: Lihat komentar @ cardinal di bawah). Jiang menunjukkan bahwa ini adalah distribusi nilai ekstrim Tipe I. Lokasi dan skalanya adalah

σ = 2, μ = 2 \log (\frac{1}{a^{2} \sqrt{8 π}}) .

$\sigma=2,\quad\mu = 2\log\left( \frac{1}{a^2\sqrt{8\pi}} \right).$

Nilai yang diharapkan dari distribusi EV Tipe-I adalah , di mana menunjukkan konstanta Euler. Namun, seperti yang disebutkan dalam komentar, konvergensi dalam distribusi tidak, dengan sendirinya, menjamin konvergensi sarana dengan distribusi terbatas. $\mu + \sigma \gamma$ $\gamma$

Jika kita dapat menunjukkan hasil seperti itu dalam kasus ini, maka nilai yang diharapkan asimptotik dariakan menjadi $n L_n^2 -4\log n + \log(\log(n))$

lim_{n \to \infty} E [n L_{n}^{2} - 4 \log n + \log (\log (n))] = - 2 \log (a^{2} \sqrt{8 π}) + 2 γ .

$\lim_{n\to\infty} \mathbb E\left[ nL_n^2 - 4\log n + \log(\log(n)) \right] = -2\log\left(a^2\sqrt{8\pi} \right) + 2\gamma \,.$

Perhatikan bahwa ini akan memberikan nilai yang diharapkan asimtotik dari korelasi kuadrat terbesar, sedangkan pertanyaannya menanyakan nilai yang diharapkan dari korelasi absolut terbesar. Jadi tidak 100% di sana, tapi tutup.

Saya melakukan beberapa simulasi singkat yang membuat saya berpikir 1) ada masalah dengan simulasi saya (kemungkinan), 2) ada masalah dengan transkripsi / aljabar saya (juga kemungkinan), atau 3) aproksimasi tidak valid untuk nilai dan saya gunakan. Mungkin OP dapat mempertimbangkan dengan beberapa hasil simulasi menggunakan perkiraan ini? $n$ $N$

— jmtroos
sumber

Dan tambahan: Saya sangat suka pertanyaan ini - saya bertanya-tanya tentang pertanyaan ini sebelumnya. Saya terkejut dengan koneksi ke distribusi Tipe-I - saya menemukan itu cukup keren. Saya hanya berharap saya mengerti matematika yang mengarah ke sana ...

— jmtroos

(+1) Temuan bagus !! Saya pikir kita dapat mengasumsikan bahwa akar kuadrat positif dari ini setara dengan nilai yang diharapkan dari korelasi absolut terbesar? Dalam ekspresi Anda untuk ekspektasi, tidak bisakah kita mengambil semua bagian yang melibatkan untuk menghasilkan: ? Bagaimanapun, saya telah membandingkan ini dengan simulasi saya dan terlihat cukup dekat! Kode R saya benar-benar ceroboh, jadi saya akan mencoba merapikannya hari ini atau besok dan mempostingnya ...

L_{n}

$L_n$

n

$n$

E [L_{n}^{2}] = \frac{1}{n} {2 \log (\frac{N^{2}}{n^{2} \sqrt{8 π}}) + 2 γ + 4 \log n - \log (\log (n))}

$E\left[L_n^2 \right]= \frac{1}{n} \left \{ 2\log\left( \frac{N^2}{n^2\sqrt{8\pi}} \right) + 2\gamma+ 4\log n - \log(\log(n))\right \}$

— P Sellaz

BTW, makalah ini tersedia langsung dari sini projecteuclid.org/DPubS/Repository/1.0/…

— P Sellaz

(+1) Ini adalah kertas yang sangat bagus, dan saya hanya membaca sekilas saja, tetapi kita perlu sedikit berhati-hati di sini. Beberapa komentar: ( 1 ) Hasilnya adalah untuk rezim , sehingga dimensi vektor harus tumbuh secara kasar sebanding dengan jumlah vektor yang dipertimbangkan untuk hasil ini untuk menahan. ( 2 ) Bahkan dalam kasus ini, hasilnya tidak berlaku untuk distribusi "apa pun"; memang, kondisi dalam makalah mengharuskan variabel acak menjadi "hampir terikat secara eksponensial" dalam arti bahwa kita pada dasarnya memerlukan momen ke-30 menjadi terbatas! (lanjutan)

n / p \to γ \in (0, \infty)

$n/p \to \gamma \in (0,\infty)$

— kardinal

(lanjt.) ( 3 ) Konvergensi dalam distribusi tidak menjamin konvergensi sarana dengan distribusi terbatas. Untuk itu, kami biasanya menggunakan sesuatu yang mirip dengan seragam dari set . Ini belum ditunjukkan di koran dan, karena berurusan dengan distribusi nilai ekstrem, mungkin tidak benar. Salah satu contoh favorit saya dari fenomena ini adalah urutan variabel acak yang menyatu dalam distribusi ke a , tetapi cara dapat dibuat untuk konvergen ke konstanta positif yang dipilih seseorang.

{L_{n}}

$\{L_n\}$

χ_{1}^{2}

$\chi^2_1$

— kardinal

Lebih jauh ke jawaban yang diberikan oleh @jmtroos, di bawah ini adalah rincian simulasi saya, dan perbandingan dengan derivasi @ jmtroos dari harapan dari Jiang (2004) , yaitu:

E [L_{n}^{2}] = \frac{1}{n} {2 \log (\frac{N^{2}}{n^{2} \sqrt{8 π}}) + 2 γ + 4 \log n - \log (\log (n))}

$E\left[L_n^2 \right]= \frac{1}{n} \left \{ 2\log\left( \frac{N^2}{n^2\sqrt{8\pi}} \right) + 2\gamma+ 4\log n - \log(\log(n))\right \}$

Nilai-nilai harapan ini tampaknya di atas nilai-nilai simulasi untuk kecil dan di bawah untuk besar dan mereka tampak sedikit berbeda ketika meningkat. Namun, perbedaannya berkurang untuk meningkatkan , seperti yang kita harapkan sebagai makalah yang mengklaim bahwa distribusi asimptotik. Saya telah mencoba berbagai . Simulasi di bawah ini menggunakan . Saya cukup baru untuk R, jadi setiap saran atau saran untuk membuat kode saya lebih baik akan disambut dengan hangat. $N$ $N$ $N$ $n$ $n \in [100,500]$ $n=200$

set.seed(1)

ns <- 500
# number of simulations for each N

n <- 200
# length of each vector

mu <- 0
sigma <- 1
# parameters for the distribution we simulate from

par(mfrow=c(5,5))
x<-trunc(seq(from=5,to=n, length=20))
#vector of Ns

y<-vector(mode = "numeric")
#vector to store the mean correlations

k<- 1
#index for y

for (N in x) {
# loop over a range of N

    dt <- matrix(nrow=n,ncol=N)

    J <- vector(mode = "numeric")
    # vector to store the simulated largest absolute 
    # correlations for each N

    for (j in 1:ns) {
    # for each N, simulated ns times    

      for (i in 1:N) {
        dt[,i] <- rnorm(n,mu,sigma)
      }
      # perform the simulation

      M<-matrix(cor(dt),nrow=N,ncol=N)
      m <- M
      diag(m) <- NA
      J[j] <- max(abs(m), na.rm=TRUE)   
      # obtain the largest absolute correlation
      # these 3 lines came from stackoverflow
  }

    hist(J,main=paste("N=",N, " n=",n, " N(0,1)", "\nmean=",round(J[j],4))) 
    y[k]<-mean(J)
    k=k+1
}

lm1 <- lm(y~log(x))
summary(lm1)

logx_sq=log(x)^2
lm2<-lm(y~log(x)+logx_sq)
summary(lm2)
# linear models for these simulations

# Jiang 2004 paper, computation:

gamma = 0.5772
yy <- vector(mode = "numeric")
yy <- sqrt((2*log((x^2)/(sqrt(8*pi)*n^2)) + 2*gamma-(-4*log(n)+log(log(n))))/n)


plot(x,yy)
# plot the simulated correlations
points(x,y,col='red')
# add the points using the expectation

— P Sellaz
sumber

Lihat komentar saya untuk jawaban lain, yang mungkin (atau mungkin tidak) membantu menjelaskan beberapa perbedaan yang Anda catat.

— kardinal