Shrunken

Ada beberapa kebingungan di kepala saya tentang dua jenis penduga nilai populasi dari koefisien korelasi Pearson.

A. Fisher (1915) menunjukkan bahwa untuk populasi normal bivariat, empiris $r$ adalah penaksir bias negatif dari $\rho$ , meskipun bias bisa dibilang cukup besar hanya untuk ukuran sampel kecil ( $n<30$ ). Sampel $r$ meremehkan $\rho$ dalam arti bahwa ia lebih dekat ke $0$ daripada $\rho$ . (Kecuali ketika yang terakhir adalah $0$ atau $\pm 1$ , untuk kemudian $r$ adalah berisi.) Beberapa hampir estimator berisi dari $\rho$ telah diusulkan, yang terbaik mungkin menjadi Olkin dan Pratt (1958) mengoreksi $r$ :

r_{unbiased} = r [1 + \frac{1 - r^{2}}{2 (n - 3)}]

$r_\text{unbiased} = r \left [1+\frac{1-r^2}{2(n-3)} \right ]$

B. Dikatakan bahwa dalam regresi diamati melebih-lebihkan populasi yang sesuai R-square. Atau, dengan regresi sederhana, itu adalah bahwa overestimates . Berdasarkan fakta itu, saya telah melihat banyak teks yang mengatakan bahwa adalah bias positif relatif terhadap , yang berarti nilai absolut: lebih jauh dari daripada (apakah pernyataan itu benar?). Teks mengatakan itu adalah masalah yang sama dengan estimasi berlebihan dari parameter standar deviasi dengan nilai sampelnya. Ada banyak formula untuk "menyesuaikan" mengamati $R^2$ $r^2$ $\rho^2$ $r$ $\rho$ $r$ $0$ $\rho$ $R^2$ lebih dekat ke parameter populasinya, Wherry (1931) menjadi yang paling terkenal (tapi bukan yang terbaik). Akar tersebut disesuaikan disebut menyusut : $R_\text{adj}^2$ $r_\text{adj}^2$ $r$

r_{shrunk} = \pm \sqrt{1 - (1 - r^{2}) \frac{n - 1}{n - 2}}

$r_\text{shrunk} = \pm\sqrt{1-(1-r^2)\frac{n-1}{n-2}}$

Hadir adalah dua penduga yang berbeda dari . Sangat berbeda: yang pertama mengembang , yang kedua mengempiskan . Bagaimana cara mendamaikan mereka? Di mana menggunakan / melaporkan satu dan di mana - yang lainnya? $\rho$ $r$ $r$

Secara khusus, dapatkah benar bahwa penaksir "menyusut" juga (hampir) tidak bias, seperti yang "tidak bias", tetapi hanya dalam konteks yang berbeda - dalam konteks regresi yang asimetris. Sebab, dalam regresi OLS kami menganggap nilai-nilai satu sisi (prediktor) sebagai tetap, hadir tanpa kesalahan acak dari sampel ke sampel? (Dan untuk menambahkan di sini, regresi tidak perlu normalitas bivariat .)

— ttnphns
sumber

Saya bertanya-tanya apakah ini hanya karena sesuatu berdasarkan ketidaksetaraan Jensen. Itu, dan normalitas bivariat mungkin merupakan asumsi yang buruk dalam banyak kasus.

— shadowtalker

Juga, pemahaman saya tentang masalah dalam B. adalah bahwa regresi

adalah perkiraan terlalu tinggi karena kecocokan regresi dapat ditingkatkan secara sewenang-wenang dengan menambahkan prediktor.

r^{2}

$r^2$

— Bagi

Apakah benar bahwa

adalah estimasi bias positif

untuk semua nilai

? Untuk distribusi normal bivariat, hal ini tampaknya tidak berlaku untuk

cukup besar.

r^{2}

$r^2$

ρ^{2}

$\rho^2$

ρ

$\rho$

ρ

$\rho$

— NRH

Bisakah bias bergerak berlawanan arah dengan kuadrat estimator? Misalnya, dengan estimator sederhana, hal itu dapat menunjukkan bahwa

untuk beberapa rentang

? Saya pikir ini akan sulit dilakukan jika

, tetapi mungkin contoh yang lebih sederhana dapat dilakukan.

E [\hat{θ} - θ] < 0 < E [{\hat{θ}}^{2} - θ^{2}]

$E[\hat{\theta}-\theta] < 0 < E[\hat{\theta}^2-\theta^2]$

θ

$\theta$

θ = ρ

$\theta = \rho$

— Anthony

Jawaban:

Mengenai bias dalam korelasi: Ketika ukuran sampel cukup kecil untuk bias memiliki signifikansi praktis (misalnya, n <30 yang Anda sarankan), maka bias cenderung menjadi yang paling sedikit dari kekhawatiran Anda, karena ketidaktepatan mengerikan.

Mengenai bias R ² dalam regresi berganda, ada banyak penyesuaian berbeda yang berkaitan dengan estimasi populasi yang tidak bias vs estimasi yang tidak bias dalam sampel independen dengan ukuran yang sama. Lihat Yin, P. & Fan, X. (2001). Memperkirakan penyusutan R ² dalam regresi berganda: Perbandingan metode analitik. Jurnal Pendidikan Eksperimental, 69, 203-224.

Metode regresi modern juga membahas penyusutan koefisien regresi serta R ² sebagai konsekuensi - misalnya, jaring elastis dengan validasi silang k- lipat, lihat http://web.stanford.edu/~hastie/Papers/ elasticnet.pdf .

— Fred Oswald
sumber

Saya tidak tahu apakah ini benar-benar menjawab pertanyaan

— shadowtalker

Saya pikir jawabannya adalah dalam konteks regresi sederhana dan regresi berganda. Dalam regresi sederhana dengan satu IV dan satu DV, R sq tidak bias positif, dan pada kenyataannya mungkin bias negatif mengingat r bias negatif. Tetapi dalam regresi berganda dengan beberapa IV yang mungkin berkorelasi sendiri, R sq mungkin bias positif karena setiap "penindasan" yang mungkin terjadi. Jadi, pendapat saya adalah bahwa mengamati R2 melebih-lebihkan populasi yang sesuai R-square, tetapi hanya dalam regresi berganda

— Dingus
sumber

R sq is not positively biased, and in-fact may be negatively biasedMenarik. Bisakah Anda menunjukkannya atau memberikan referensi? - Dalam populasi normal bivariat, dapatkah sampel statistik Rsq yang diamati menjadi penaksir yang bias negatif?

— ttnphns

Saya pikir kamu salah. Bisakah Anda memberikan referensi untuk mendukung klaim Anda?

— Richard Hardy

Maaf, tapi ini lebih merupakan latihan pikiran, jadi saya tidak punya referensi.

— Dingus

Saya keluar dari Komentar A di atas, di mana Fischer menunjukkan bahwa dalam situasi normal bivariat, r adalah penaksir bias yang negatif terhadap rho. Jika demikian, bukankah R sq juga bias negatif?

— Dingus

Mungkin ini akan membantu dalam percakapan digitalcommons.unf.edu/cgi/…

— Dingus